Explicación
La teoría de la multimodalidad reconoce que el significado puede distribuirse entre recursos diversos sin convertirlos en un diccionario universal. Llama modo a un recurso organizado social y culturalmente para producir significado, como el habla, la escritura, la imagen, el gesto, el color, la música o la disposición espacial. Buena parte de estos estudios procede de la semiótica social de Halliday, desarrollada entre otros por Kress y van Leeuwen.
Cada modo tiene affordances propias: facilita o restringe ciertos tipos de significado. Una imagen puede mostrar a la vez posición, color, tamaño y relaciones espaciales, mientras que una oración hablada se despliega en el tiempo de manera secuencial; un mapa deja ver relaciones espaciales y una tabla facilita la comparación de valores. Ningún modo es intrínsecamente superior a otro.
Cuando varios modos participan a la vez, pueden relacionarse por redundancia, complementariedad, elaboración o contradicción. También importa cuándo aparece cada recurso: un gesto puede preceder al habla, coincidir con una palabra o prolongarse después de ella, y una pausa puede modificar cómo se interpreta la frase anterior. Por eso la comunicación multimodal se analiza como un proceso temporal.
Distinciones útiles
Modo no es lo mismo que canal ni que medio: el canal es el soporte sensorial, auditivo, visual o táctil, y el medio, el soporte tecnológico o material, como el papel o una interfaz digital. Una imagen y un texto escrito pueden usar el mismo canal y el mismo medio y ser modos diferentes. La multimodalidad tampoco autoriza a leer gestos como señales fijas: cruzar los brazos o evitar la mirada carecen de una correspondencia estable con el engaño o con emociones específicas.
Ejemplos
Un presentador dice que las cifras aumentaron mientras una gráfica muestra una línea ascendente: los modos son redundantes. Si el texto explica el mecanismo y la gráfica muestra la magnitud, son complementarios.
En un gráfico de temperatura de una interfaz médica, la forma de la curva es icónica, cada punto de medición es indicial y las etiquetas «°C», «fecha» o «paciente» son simbólicas.
En una interfaz en la que el verde indica normalidad, el amarillo precaución y el rojo alerta, el valor de cada color surge de una oposición organizada y no de una propiedad necesaria.
En un artículo científico, el texto explica, las tablas organizan comparaciones, las figuras muestran tendencias y las ecuaciones formalizan relaciones.
Comparar «Multimodalidad» con otro concepto ↗
Lectura y fuentes
Esta entrada se apoya en Del signo al discurso y la multimodalidad. Allí puedes consultar el desarrollo y la bibliografía.
También en estas lecturas
- Halliday y la semiótica social
- Fundamentos de semiótica visual
- La gramática del diseño visual de Kress y van Leeuwen
- Imagen, composición, saliencia y encuadre
- Color, tipografía y materialidad significante
- Gesto, mirada y espacio interactivo
- Multimodalidad e integración de modos
- Montaje, sonido y temporalidad en la semiótica audiovisual
- Métodos para analizar textos multimodales
Conceptos relacionados
REFERENCIA DE LA EDICIÓN WEB
Citar esta página
Multimodalidad. (s. f.). Lingüística y Semiótica. https://linguisticaysemiotica.org/glosario/multimodalidad
Referencia encabezada por el título: la dirección editorial del proyecto no se presenta como autoría individual de cada texto. Consulta los criterios de citación y el registro de cambios.
La fecha de publicación de esta entrada no está documentada. Actualización del contenido: .