Una persona entra a una sala donde hay cuatro sillas vacías. Se detiene junto a una, la señala y dice Siéntate aquí. Las palabras identifican la acción solicitada, pero dejan sin resolver su destino. El gesto selecciona la silla. Una mirada breve establece a quién se dirige la invitación y la entonación ayuda a distinguirla de una orden. Si el hablante añade una sonrisa o aparta su bolso del asiento, esas acciones completan la escena. Para comprender lo ocurrido, el destinatario necesita relacionar indicios que no pertenecen al mismo sistema expresivo.
En una página web ocurre algo comparable, aunque la interacción tenga otras reglas. Un título encabeza una sección y el tamaño de su letra establece jerarquía. La fotografía seleccionada orienta la interpretación y un botón propone una acción que quizá no aparece desarrollada en el cuerpo del texto. El lector puede entender cada elemento y, pese a ello, equivocarse sobre lo que la página le pide hacer. La organización de los recursos importa tanto como su contenido individual.
La multimodalidad estudia estas configuraciones. Kress y van Leeuwen (2001) y Kress (2010) sitúan el problema en las prácticas sociales de producción de significado. El análisis debe reconstruir qué aporta cada modo, cómo se relaciona con los demás y qué interpretación resulta de la configuración conjunta. Las relaciones pueden ser cooperativas, redundantes, contradictorias o jerárquicas. No existe garantía de que productor e intérprete recorran el conjunto de la misma manera.
Las páginas precedentes examinaron imagen, color, tipografía, gesto y espacio con cierta autonomía. Esa separación fue útil para reconocer sus recursos. Al encontrarlos reunidos aparece una dificultad nueva, porque algunas relaciones de significado existen precisamente entre modos. La referencia de aquí se resuelve en el dedo que señala, la autoridad de un formulario reside parcialmente en su diseño y el sentido de un video depende de sonidos que ninguna imagen fija contiene. La unidad de análisis tiene que ampliarse.
Qué cuenta como modo y qué cuenta como medio
En semiótica social, un modo es un recurso socialmente organizado para construir significado. La escritura, el habla, las imágenes, la música y ciertas prácticas gestuales disponen de convenciones y repertorios reconocibles. Un medio, en cambio, remite a las condiciones materiales y técnicas de producción o circulación. Una pantalla puede mostrar escritura, fotografías, movimiento y formas gráficas. Un mismo modo, como la escritura, puede aparecer en papel, piedra, tela o dispositivos digitales.
La distinción evita equiparar multimodalidad con multimedia. Un sitio con un artículo y un video totalmente independientes reúne formatos técnicos, pero la relación semiótica entre ellos puede ser mínima. Una conversación presencial integra palabras, entonación, mirada, gestos y disposición de objetos sin necesidad de soporte electrónico. Los seres humanos construían mensajes multimodales mucho antes de disponer de cine o pantallas.
El término modo no tiene fronteras pacíficas. No está resuelto si el color es un modo autónomo o modifica otros, ni si la tipografía dispone de un sistema propio o pertenece a la escritura. La respuesta depende del grado de organización convencional que se exija. Kress (2010) adopta una noción amplia, atenta a los recursos utilizados en una comunidad. Otros trabajos, como el de van Leeuwen (2005), prefieren hablar de recursos semióticos cuando las regularidades todavía no justifican tratarlos como sistemas diferenciados.
La discusión importa porque una taxonomía demasiado generosa convierte cualquier propiedad perceptible en un modo. Una taxonomía demasiado estrecha reserva la significación a la lengua y deja fuera contrastes indispensables para comprender una interacción. El criterio útil es empírico y consiste en identificar un conjunto de opciones, describir las convenciones que orientan su uso y mostrar qué trabajo realizan en la práctica estudiada. La mirada tiene posibilidades organizativas distintas de las del gesto manual, aun cuando ambas dependan del cuerpo.
Capacidades diferentes, trabajos distribuidos
Los modos tienen condiciones materiales distintas. La imagen fija dispone relaciones en una superficie y facilita la inspección simultánea de elementos. El habla se desarrolla en el tiempo y puede ajustar su curso mediante la respuesta inmediata del interlocutor. La escritura conserva un registro revisable. Un movimiento manual representa una trayectoria mientras ocurre. La música estructura duraciones, recurrencias y tensiones que pueden modular una secuencia sin describir proposiciones precisas.
Kress denomina affordances modales a estas posibilidades, retomando y adaptando una noción de Gibson (1979). Su alcance no es exclusivamente físico. Una fotografía puede registrar numerosos detalles a la vez, pero el valor probatorio que una institución le atribuye depende de procedimientos de producción, archivo y verificación. De manera semejante, una tabla y un gráfico pueden comunicar los mismos valores numéricos con facilidades diferentes para comparar magnitudes o localizar una observación.
Piénsese en un manual de anatomía. Una ilustración muestra la relación espacial entre estructuras que costaría describir verbalmente. Las etiquetas aportan nombres exactos y un párrafo explica una función que la ilustración, por sí sola, dejaría abierta. El ensamblaje aprovecha las capacidades de cada recurso y obliga al lector a cruzar información. Si una estructura solo aparece indicada por una flecha ambigua, o si el texto menciona un órgano ausente del diagrama, la organización falla en el punto de encuentro.
La distribución puede ser flexible. Una secuencia de viñetas representa temporalidad a través de imágenes fijas y una tabla verbaliza relaciones espaciales mediante filas y columnas. Ningún modo tiene una especialización natural que prohíba otros usos. Las comunidades inventan convenciones para extender sus capacidades y compensar algunas limitaciones. Aun así, los costos varían. Describir por escrito una rotación tridimensional suele exigir más trabajo que mostrarla mediante un modelo manipulable.
La cuestión práctica es qué información se ha asignado a cada recurso y con qué consecuencias. Repetir exactamente una explicación oral en una diapositiva puede ser útil para ciertas tareas, pero también fuerza a leer mientras se escucha la misma cadena de palabras. Un esquema que concentra las relaciones y deja a la voz desarrollar la inferencia establece otra división del trabajo. Juzgar la eficacia de una u otra combinación requiere considerar lectores, objetivos y situación.
Relaciones entre imagen, palabra y otros modos
Las relaciones intersemióticas adquieren formas reconocibles. Dos recursos pueden repetir información o uno puede precisar lo que otro deja abierto. También pueden aportar piezas complementarias o construir un contraste. Describirlos como «elementos que se apoyan mutuamente» pierde la operación concreta que interesa explicar.
Barthes (1964) distinguió el anclaje del relevo en las relaciones entre texto e imagen. En el anclaje, una expresión verbal selecciona ciertas posibilidades interpretativas de una imagen. Una fotografía de una multitud puede acompañarse de Trabajadores esperan respuestas o de Manifestantes bloquean el acceso. Cada pie dirige la atención hacia una acción y una categorización distinta, aunque el material fotográfico sea idéntico. En el relevo, palabra e imagen se reparten el desarrollo del mensaje. En una historieta, por ejemplo, el dibujo representa una acción y el diálogo introduce información sin la cual no puede reconstruirse la escena completa. Estas categorías admiten casos mixtos. Una leyenda puede identificar quién aparece en una fotografía y, al mismo tiempo, avanzar una interpretación. Una imagen de meme con una frase superpuesta puede producir una contradicción deliberada en la que ni la imagen ni el texto bastan para reconstruir la broma. Las distinciones de Barthes son más útiles como orientación que como clasificación exclusiva.
Royce (1998, 2007) estudió la complementariedad intersemiótica entre lenguaje e imagen. Puede haber repetición de referentes, relaciones parte-todo, semejanza conceptual o contraste. Una infografía sobre un brote epidémico puede combinar un titular sobre el aumento de casos con una curva que muestra su distribución temporal y un mapa donde se reconoce su concentración territorial. El texto identifica el problema y las representaciones visuales suministran relaciones que el titular no contiene. La inferencia depende de leer texto y representaciones visuales en conjunto.
O'Halloran (2004) y otros autores de orientación sistémico-funcional han empleado distinciones como elaboración, extensión y realce para caracterizar vínculos entre segmentos semióticos. Una ilustración elabora una explicación cuando especifica un detalle, un recuadro extiende el contenido al añadir información independiente y un mapa puede situar espacialmente un hecho presentado en texto. Conviene usar estas categorías sobre relaciones observables y evitar convertirlas en etiquetas intercambiables.
La redundancia merece un análisis aparte. Repetir información mediante distintos recursos puede reducir incertidumbre, especialmente cuando uno de ellos es difícil de percibir. Una repetición extensa e innecesaria, en cambio, consume atención. El problema aparece con claridad en una clase donde el docente lee cada oración proyectada. El oyente intenta seguir dos secuencias verbales simultáneas, con pequeñas diferencias de ritmo. La elección puede funcionar peor que una narración acompañada de un diagrama que represente las relaciones relevantes (Mayer, 2009). Como el resultado depende de la tarea y de la audiencia, sería imprudente formular una prohibición universal.
Cuando el contenido cambia de forma
Un párrafo puede resumirse en una oración, una tabla puede convertirse en un gráfico y una entrevista puede transformarse en un informe. Estas operaciones se parecen porque seleccionan información, aunque no actúan sobre el mismo tipo de material. Kress (2010) distingue entre la transformación dentro de un modo y la transducción entre modos. En el primer caso cambia la organización de una representación verbal, visual o sonora dentro del mismo dominio. En el segundo, el contenido pasa, al menos parcialmente, a otro modo y debe reorganizarse según sus recursos.
Convertir una tabla en una curva exige escoger ejes, escalas, unidades y la relación visual que destacará. Una tabla permite recuperar con facilidad el valor exacto de un mes. El gráfico resultante, en cambio, facilita ver tendencia y variación. La frase «contienen la misma información» puede ser cierta respecto de los datos y falsa respecto de las operaciones que cada forma favorece. Cambia lo que el lector encuentra primero y lo que le costará esfuerzo reconstruir.
Iedema (2003) propuso la noción de resemiotización para seguir cadenas de reformulación entre prácticas. Un proyecto arquitectónico puede comenzar con conversaciones, pasar a bocetos, planos y presupuestos, materializarse en un edificio y terminar representado en fotografías promocionales. Cada fase conserva algunas decisiones y produce otras. El presupuesto obliga a contar partidas, el plano fija dimensiones y la fotografía construye una perspectiva que puede omitir problemas de funcionamiento.
Las cadenas institucionales importan porque cada conversión puede modificar la autoridad del contenido. Una conversación clínica se registra como nota, ciertos pasajes se clasifican mediante un código y el código entra en una estadística administrativa. La estadística puede circular después como descripción aparentemente directa de la realidad. Se han perdido la voz original, las dudas expresadas, las aclaraciones y la situación de entrevista. La transformación era necesaria para determinados fines, pero su resultado no equivale a una reproducción transparente de la interacción.
Este enfoque permite formular preguntas precisas sobre qué información se preservó, qué desapareció, qué categorías nuevas se introdujeron y quién estuvo autorizado para decidirlo. Las respuestas deben reconstruirse comparando las etapas. La sospecha general de que «algo se perdió» es insuficiente sin mostrar las transformaciones concretas.
El ensamblaje ocurre en el tiempo
Los modos pueden coincidir en un instante o distribuirse en secuencia. Un profesor inicia un gesto antes de pronunciar el término correspondiente, luego mira el gráfico y espera a que el grupo oriente la atención. Una cámara muestra primero una habitación vacía y deja escuchar después pasos fuera del cuadro. Un lector ve una figura antes de encontrar la oración que la explica. El orden modifica qué se anticipa y qué se interpreta retrospectivamente.
La idea de orquestación multimodal ha servido para describir esta coordinación (Jewitt, 2009). Su utilidad depende de tomar en serio la temporalidad. Una captura de pantalla puede documentar que coexistieron una imagen y una frase, pero no revela cuándo apareció una animación, si la voz la precedió o si el usuario alcanzó a leer la frase. En una interacción presencial, unas décimas de segundo cambian la función de la mirada o de un gesto. La sincronización puede confirmar un referente y su retraso puede dejarlo ambiguo.
Norris (2004) propuso estudiar la densidad modal dentro de las acciones. La densidad depende de la cantidad de trabajo que distintos modos realizan para una actividad y no del simple recuento de señales presentes. Una explicación quirúrgica puede depender simultáneamente del habla, la orientación del instrumento y el movimiento en una pantalla. Diez elementos decorativos sobre la misma pantalla podrían añadir poca información útil. En sentido contrario, un solo gesto de señalamiento puede completar una instrucción.
La escala de acción también cambia el análisis. Levantar un brazo dura un instante. Examinar a un paciente comprende una secuencia extensa que incorpora múltiples acciones menores. Si el investigador elige una unidad demasiado breve, perderá la finalidad de la actividad. Si selecciona toda la consulta como un bloque, no podrá explicar cómo una mirada concreta organizó la respuesta siguiente. La descripción necesita adecuar el tamaño del fragmento a la pregunta que se investiga.
Coherencia y referencia entre modos
Un ensamblaje es coherente cuando el lector puede establecer relaciones suficientes entre sus recursos para reconstruir la acción o el argumento. Esa coherencia puede depender de continuidad temática, ubicación, repetición de motivos, referencia cruzada o coordinación temporal. La semejanza estética ayuda a reconocer una unidad, pero no garantiza que sus contenidos concuerden.
Bateman (2014) ha insistido en examinar la composición como una organización con unidades y relaciones. Un gráfico no se entiende solo porque esté «al lado» de un párrafo. Una referencia como véase la zona sombreada vincula una expresión verbal con una propiedad de la figura. Una línea, una etiqueta numérica o una flecha pueden establecer esa relación con distintos grados de precisión. La cohesión cruza el límite entre sistemas expresivos.
Cuando esas referencias fallan, el lector tiene que reparar el mensaje. La línea roja representa al grupo control deja de identificar una serie si la figura se imprime en grises sin otra marca. El esquema superior puede volverse incorrecto en un teléfono cuando el diseño apila las figuras. El mismo archivo llega a configuraciones visuales distintas según el dispositivo, la ampliación o la exportación a papel. Las referencias deberían depender de identificadores estables cuando la distribución espacial puede cambiar.
La coherencia no exige consonancia. Una voz puede contradecir deliberadamente una imagen y provocar ironía, o un gráfico puede cuestionar la afirmación triunfal del titular. En esos casos la relación interpretativa es estable precisamente porque hay tensión entre recursos. La pregunta es si el contraste queda señalado y si el lector dispone de elementos para reconocerlo. La contradicción inadvertida y la discrepancia expresiva pueden parecer semejantes en una captura aislada y tener funciones muy distintas.
Cuerpos, objetos y lugares como parte del mensaje
El habla y el gesto son un caso privilegiado de integración. McNeill (1992, 2005) sostuvo que ambos participan de una organización expresiva común. Un hablante dice El automóvil dobló así y mueve la mano trazando una curva. La dirección no se deduce de así. Tampoco el gesto identifica por sí solo el automóvil del que se habla. La referencia se completa al coordinar palabra y movimiento.
A veces los recursos divergen. Goldin-Meadow (2003) estudió situaciones en las que niños explican un problema de una manera y realizan con las manos un movimiento compatible con otra estrategia. La diferencia puede anticipar aprendizaje, pero no permite decidir sin más cuál sería su «pensamiento verdadero». Puede revelar que el conocimiento disponible está distribuido entre recursos y todavía no se expresa de manera uniforme.
Goodwin (2000) amplió el análisis hacia la acción encarnada y situada. Un geólogo señala una línea sobre una muestra mientras explica un estrato, un clínico gira un monitor para mostrar una imagen y una persona marca una ruta con el dedo sobre un mapa. Los objetos no son un escenario inerte. La forma del mapa, la orientación de la muestra y la superficie donde se señala contribuyen a la actividad.
Scollon y Scollon (2003) denominaron geosemiótica al estudio de signos insertos en lugares y prácticas. Solo personal autorizado organiza una frontera cuando está escrito en una puerta y, en una página de lingüística, puede funcionar como ejemplo citado. Un cartel cambia de función según su emplazamiento. La materialidad y el espacio institucional determinan a quién interpela, desde dónde puede leerse y qué acción regula.
Géneros, diseño y autoridad
Los géneros crean expectativas sobre la distribución de recursos. Un artículo científico admite figuras numeradas, pies de figura, referencias y convenciones para indicar variables. Un noticiero identifica al entrevistado mediante un rótulo inferior, alterna declaraciones con planos de apoyo y dispone un espacio reconocible para el presentador. Los formatos digitales recientes combinan imagen, escritura superpuesta y gestos de navegación que el usuario aprende con el uso.
Kress (2010) usa design para referirse a la selección y organización de recursos según propósitos e intereses. El autor puede intentar guiar la lectura, aunque el lector conserva capacidad para omitir, recorrer en otro orden o atribuir significados no previstos. En una página web quizá se lea primero el botón y después el texto. En una exposición científica el público puede inspeccionar la figura mientras el investigador habla. La intención de diseño debe distinguirse de la recepción efectiva.
El reparto entre modos tiene consecuencias de poder. Una plataforma decide qué opciones aparecen destacadas y cuántos pasos exige alcanzar las demás. En una reunión, la persona que controla la presentación decide cuándo cambia la imagen común. Los asistentes pueden corregirla oralmente sin disponer de medios para modificar lo proyectado. En una institución, una categoría escrita puede circular con mayor autoridad que el relato del que procede.
La descripción de esas asimetrías se apoya en elementos observables, como una opción secundaria que exige tres clics y la principal uno, un testimonio sustituido por una categoría sin conservar la fuente o un gráfico que el público ve sin poder examinar los datos. De ahí pueden derivarse cuestiones éticas, pero la atribución de una intención manipuladora requiere evidencia adicional.
La figura científica y la explicación docente
La ciencia distribuye argumentos entre modos continuamente. Una curva de supervivencia representa tiempos hasta un evento, el texto explica qué comparación interesa, el pie precisa la muestra y las condiciones, la leyenda distingue grupos. Si la figura contradice la interpretación escrita, el lector puede descubrir el problema. Existe una posibilidad de control cruzado entre representaciones.
Esa capacidad depende de la calidad de la codificación. Una visualización compleja puede parecer concluyente por su densidad técnica sin sostener la afirmación del autor. Un diagrama de flechas puede sugerir causalidad cuando los datos solo muestran asociaciones. La semiótica permite describir el exceso inferencial al comparar qué relación dibuja la figura con qué evidencia sustenta realmente el estudio. El prestigio institucional del gráfico no sustituye esa comprobación.
En docencia, la cuestión cambia parcialmente. El alumno necesita procesar una explicación mientras construye la representación correspondiente. Mayer (2009) examinó experimentalmente cuándo las combinaciones de narración, texto e imagen facilitan o sobrecargan el aprendizaje multimedia. Su programa psicológico no coincide con la semiótica social, que atiende a las convenciones y a la función social de los modos. Ambos enfoques son pertinentes cuando una combinación bien articulada desde el punto de vista semiótico produce, pese a ello, una carga innecesaria para el aprendiz.
Piénsese en una diapositiva sobre circulación cerebral. Un esquema estático puede mostrar relaciones espaciales estables mientras la voz explica un trayecto. Si el esquema cambia antes de que los alumnos hayan localizado la estructura, la sincronización falla. Si cada palabra pronunciada reaparece simultáneamente por escrito, se añade otra tarea de lectura. El análisis debe distinguir entre la coherencia de los recursos y las condiciones cognitivas para integrarlos.
De la entrevista a la historia clínica
La consulta es una actividad multimodal con consecuencias documentales. Una persona relata síntomas, cambia de postura, guarda silencio, señala una región del cuerpo y responde a preguntas mientras el clínico revisa exámenes. El profesional necesita considerar fuentes heterogéneas que tienen distinto estatuto. Una imagen, un relato y una observación propia pueden converger o entrar en tensión.
Si el paciente dice estoy bien mientras llora, existe una diferencia entre contenido verbal y conducta observable. Esa diferencia puede expresar alivio, angustia, cansancio, una convención de cortesía o algo todavía no aclarado. La discrepancia justifica explorar. Convertirla directamente en «el paciente niega lo evidente» agrega una interpretación que el episodio no acredita. Una nota puede conservar ambos datos, por ejemplo Refiere encontrarse bien; durante el relato presenta llanto. La descripción deja abierto lo que aún necesita explicación.
Al redactar la historia clínica, el profesional lleva una escena temporal y corporal a una forma escrita relativamente estable. La entonación desaparece, los gestos se resumen, las preguntas se omiten y la secuencia se reorganiza según secciones institucionales. Esta resemiotización puede mejorar la posibilidad de consulta posterior y, al mismo tiempo, introducir pérdidas. Importa especialmente conservar fuente, temporalidad, correcciones y modalidades cuando de ellas depende la inferencia clínica. La precisión de una nota no exige transcribir todos los movimientos, pero sí que lo registrado conserve su relación con la evidencia disponible. La selección es inevitable y sus criterios deben responder al propósito documental, sin transformar interpretaciones tentativas en observaciones directas.
Accesibilidad e interfaces que hacen actuar
Una información distribuida entre modos puede quedar parcialmente inaccesible. Quien no recibe una señal visual pierde el contenido expresado exclusivamente por una flecha o un gesto. Un video sin subtítulos puede excluir a quien no percibe el habla. Una instrucción redactada con vocabulario técnico también puede ser opaca para el usuario que carece de ese repertorio. La transducción aporta soluciones, como descripción alternativa de imágenes, subtítulos, audiodescripción o explicaciones verbales de diagramas.
La traducción entre modos exige decidir qué conservar. Un texto alternativo selecciona lo pertinente para la función de una fotografía y deja fuera otras propiedades de esa imagen. Subtitular recupera buena parte del contenido hablado y puede perder entonación o solapamientos. En una conferencia, lo importante quizá sea preservar los argumentos. En un estudio de conversación, una pausa o una superposición puede ser el dato central. La equivalencia se define respecto de la tarea y no consiste en una identidad absoluta entre formatos.
Las interfaces digitales plantean una cuestión adicional porque el usuario actúa sobre ellas. Un botón, una etiqueta y su estado visual forman una instrucción práctica. Un elemento atenuado puede indicar indisponibilidad, un borde rojo puede señalar que un campo requiere corrección y una barra puede representar progreso. La convención necesita sostenerse en el comportamiento real del sistema. Si algo parece pulsable y no responde, la apariencia induce una expectativa que la acción desmiente.
Consideremos una pantalla de consentimiento con dos elecciones. Aceptar todo aparece grande y contrastante. Configurar opciones tiene un cuerpo pequeño y bajo contraste. Un dibujo amistoso ocupa la mitad de la pantalla y el encabezado promete Mejorar tu experiencia. Las opciones verbales existen, pero el recorrido visual y el costo de accionarlas son diferentes. Un análisis puede identificar esa asimetría sin afirmar de inmediato que el diseñador buscaba manipular. La estructura de la interfaz forma parte de la decisión que la persona termina realizando.
Los sistemas generativos también distribuyen significado
La inteligencia artificial multimodal puede relacionar una instrucción verbal con objetos de una imagen, resumir audio, analizar secuencias o producir presentaciones. Esas funciones realizan tareas de integración intersemiótica, aunque la arquitectura computacional y el repertorio experiencial no sean los de un intérprete humano. Identificar correctamente un objeto dentro de una imagen es una capacidad y explicar qué papel cumple respecto de una afirmación escrita es otra.
Un sistema puede reconocer que un gráfico contiene dos curvas y aun así confundir cuál pertenece al grupo control. Puede transcribir una frase y perder una ironía indicada por prosodia. Puede producir una presentación correcta en el texto y alterar su argumento al convertir una asociación estadística en una flecha causal. Estos errores pasan inadvertidos cuando se evalúa solo la fluidez del resultado verbal.
También cambia la distribución de la autoría. Un sistema que escoge la imagen representativa de una noticia, recorta una entrevista o destaca una cifra toma decisiones con consecuencias interpretativas. Quien emplea el producto necesita evaluar qué transformaciones se produjeron y si preservan las distinciones que justificaban el documento. La automatización facilita una tarea, pero no concede por sí misma legitimidad epistémica al resultado.
Para analizar cualquier ensamblaje basta partir de la acción pertinente, delimitar una unidad y observar las relaciones necesarias entre los recursos. Un examen más sistemático tendrá que justificar la segmentación, la selección de fragmentos y el tratamiento de la secuencia temporal, cuestiones desarrolladas en la lectura Métodos para analizar textos multimodales. Antes corresponde considerar el audiovisual, un caso donde el tiempo organiza prácticamente toda la integración y donde imagen y banda sonora pueden cambiar de significado con un solo corte.
Referencias
Barthes, R. (1964). Rhétorique de l'image. Communications, 4, 40–51.
Bateman, J. A. (2014). Text and image: A critical introduction to the visual/verbal divide. Routledge.
Gibson, J. J. (1979). The ecological approach to visual perception. Houghton Mifflin.
Goldin-Meadow, S. (2003). Hearing gesture: How our hands help us think. Harvard University Press.
Goodwin, C. (2000). Action and embodiment within situated human interaction. Journal of Pragmatics, 32(10), 1489–1522.
Iedema, R. (2003). Multimodality, resemiotization: Extending the analysis of discourse as multi-semiotic practice. Visual Communication, 2(1), 29–57.
Jewitt, C. (Ed.). (2009). The Routledge handbook of multimodal analysis. Routledge.
Kress, G. (2010). Multimodality: A social semiotic approach to contemporary communication. Routledge.
Kress, G., y van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. Arnold.
Mayer, R. E. (2009). Multimedia learning (2.ª ed.). Cambridge University Press.
McNeill, D. (1992). Hand and mind: What gestures reveal about thought. University of Chicago Press.
McNeill, D. (2005). Gesture and thought. University of Chicago Press.
Norris, S. (2004). Analyzing multimodal interaction: A methodological framework. Routledge.
O'Halloran, K. L. (Ed.). (2004). Multimodal discourse analysis: Systemic-functional perspectives. Continuum.
Royce, T. D. (1998). Synergy on the page: Exploring intersemiotic complementarity in page-based multimodal text. JASFL Occasional Papers, 1(1), 25–49.
Royce, T. D. (2007). Intersemiotic complementarity: A framework for multimodal discourse analysis. En T. D. Royce y W. L. Bowcher (Eds.), New directions in the analysis of multimodal discourse (pp. 63–109). Lawrence Erlbaum.
Scollon, R., y Scollon, S. W. (2003). Discourses in place: Language in the material world. Routledge.
van Leeuwen, T. (2005). Introducing social semiotics. Routledge.