Una institución sanitaria publica en su sitio web una página para explicar cómo solicitar una hora. El texto indica que debe pulsarse «Reservar», pero el botón está situado al final de la pantalla, después de una fotografía, una lista de prestaciones y varios recuadros informativos. Algunos usuarios terminan llamando por teléfono. Sería fácil atribuir la dificultad a una instrucción mal redactada. La página, en realidad, contiene las palabras correctas. Lo que quizá falla es la relación entre esa instrucción, su posición, la jerarquía visual y los elementos que compiten por la atención.
Analizar la página exige observarla como un conjunto organizado y decidir qué cuestión se intenta resolver. Si interesa la claridad de las instrucciones, habrá que examinar el recorrido que conduce a la reserva. Si la pregunta es cómo la institución construye autoridad, serán pertinentes la fotografía, el encabezado, las credenciales visibles y el tratamiento del logotipo. Si se investiga qué hacen los usuarios, los datos deben incluir sus acciones. Examinar solo el diseño deja ese comportamiento fuera de alcance.
El análisis multimodal comienza precisamente con esa elección. Los modos de significación son numerosos y ninguna investigación puede atenderlos todos con el mismo detalle. La delimitación de la pregunta decide qué aspectos del objeto se convierten en datos. Jewitt (2014), así como Bezemer y Jewitt (2010), han descrito esta condición metodológica, según la cual estudiar un artefacto compuesto exige seleccionar unidades y relaciones que respondan a un problema reconocible. Acumular categorías sobre color, gestos, planos o tipografías antes de saber para qué se usarán produce, en cambio, inventarios extensos de escaso valor explicativo.
Hay que evitar dos pérdidas opuestas. Una transcripción reducida al texto verbal puede ocultar la contribución del gesto, del sonido o de la composición. Registrar cada propiedad visible de una secuencia de veinte minutos puede generar tal volumen de material que ya resulte imposible explicar qué fue importante. La precisión consiste en justificar las decisiones de observación, incluida la decisión de dejar fuera ciertos detalles. Esa omisión debería poder revisarse si la pregunta cambia.
Corpus, límites y versiones del objeto
Definir un corpus implica una operación conceptual previa, la de determinar dónde comienza y termina aquello que se analizará. Una noticia digital puede incluir el artículo, una fotografía, publicidad, comentarios y un video recomendado que cambia con el tiempo. Según la pregunta, algunos elementos pertenecen al objeto editorial y otros al entorno en que el usuario lo encuentra. Una campaña puede componerse de afiches impresos, videos breves y publicaciones que circulan con textos añadidos por quienes las comparten. Si el interés está en la circulación, limitarse al archivo original de la campaña dejaría fuera buena parte del fenómeno.
La delimitación debe constar en el método. En páginas y aplicaciones digitales es especialmente importante conservar la versión observada, con su fecha, dispositivo, dimensión de pantalla, estado de la sesión y, cuando corresponda, idioma o configuración de accesibilidad. Dos usuarios pueden abrir la misma dirección y encontrar composiciones diferentes. Una captura de pantalla documenta una realización concreta, pero puede perder lo que ocurre al desplazarse o al pulsar un botón. Para analizar esas operaciones se necesita registrar también la interacción.
El muestreo tiene consecuencias menos visibles. Examinar las diez portadas más llamativas de un periódico puede iluminar recursos de dramatización, pero sería injustificado extrapolar desde ellas una tasa de uso de esos recursos en todas las portadas del año. Un corpus estratificado por mes, sección y tipo de noticia respondería mejor a una pregunta de distribución. El muestreo teórico, por su parte, es adecuado cuando se buscan contrastes entre casos que ponen a prueba una categoría interpretativa. La representatividad estadística y la riqueza de un caso son propiedades distintas.
En ocasiones hay un segundo muestreo dentro de cada pieza. Se seleccionan los planos donde aparece una persona, los instantes en que un docente señala una pantalla o las regiones que contienen advertencias. El criterio debe declararse porque modifica la evidencia disponible. Un estudio que codifica solo el primer fotograma de cada video no puede concluir cómo se distribuye la presencia de mujeres a lo largo del relato. Un estudio de la interacción que omite los segundos anteriores a una reparación puede perder el acontecimiento que la hizo necesaria.
La conservación del material original es parte del diseño. El corpus es la referencia a la que deben poder regresar las interpretaciones y las correcciones. Cuando una investigación solo guarda etiquetas codificadas y elimina los documentos o fragmentos que les dieron origen, dificulta seriamente una revisión posterior.
Las unidades cambian según el fenómeno
Una página admite una división en bloques gráficos, imágenes y unidades verbales. En una película pueden identificarse planos a partir de los cortes, escenas por continuidad espaciotemporal y secuencias por funciones narrativas. En una conversación, la unidad relevante puede ser un turno, una acción de señalar o el episodio durante el cual dos personas intentan identificar el mismo objeto. Ninguna de esas unidades es una medida universal de multimodalidad.
Las fronteras materiales tampoco coinciden siempre con las analíticas. Un plano tiene límites relativamente observables, pero una «escena de amenaza» depende de la interpretación del acontecimiento. Un recuadro tiene un borde gráfico, aunque su carácter de advertencia depende también de la función textual y del contexto. Conviene conservar ambos niveles. Primero se documentan los cortes, las posiciones y los turnos. Después se construyen agrupaciones funcionales vinculadas a ese registro.
La elección de la unidad puede cambiar dentro de un mismo estudio. Para describir la composición de una página se necesita la superficie completa. Para examinar el uso de un botón conviene acercarse a la secuencia de búsqueda, pulsación y respuesta de la interfaz. Si una interpretación exige pasar de una escala a otra, el análisis debería mostrar cómo se relacionan esas escalas. Una región visual pertenece a una página, una mirada se produce dentro de una acción y una acción contribuye a una secuencia de coordinación.
El audiovisual impone una dificultad peculiar porque sus componentes operan a velocidades distintas. La música puede mantenerse durante varios planos y un rótulo puede aparecer durante dos intervenciones de voz. Un gesto puede empezar antes de la palabra cuya interpretación facilita y terminar después de ella. Obligar a todos los modos a ajustarse a las fronteras del montaje introduce cortes artificiales. Bateman y Schmidt (2012) defienden por eso una descripción del material audiovisual suficientemente explícita antes de construir una interpretación discursiva.
Un registro temporal con marcas de inicio y fin resuelve parte del problema. Puede representar la emisión verbal en una banda, la mirada en otra, los gestos en una tercera y la imagen proyectada en una cuarta. Las bandas se añaden solo cuando permiten comprobar que aquí se pronunció durante el gesto que seleccionó un lugar, o que una pregunta recibió una respuesta corporal antes de recibir palabras. Una simultaneidad registrada deja de ser una impresión reconstruida después de ver el video.
La transcripción conserva y transforma
Transcribir es una forma de análisis. Al reducir una grabación a palabras ortográficas se decide que ciertas diferencias no serán visibles, como la pausa antes de una respuesta, la prolongación de una sílaba, un solapamiento o la mirada dirigida a la pantalla. Una transcripción conversacional registra algunos de estos rasgos y una transcripción multimodal añade trayectorias corporales y relaciones con objetos. Cada notación obliga a delimitar acontecimientos y modifica la facilidad con que el lector puede encontrarlos.
Baldry y Thibault (2006) desarrollaron propuestas que organizan la descripción audiovisual por fases. O'Halloran (2004) estudió cómo registrar recursos de sistemas semióticos distintos en una misma configuración. La propuesta de Mondada (2018), vinculada al análisis de la interacción, usa alineamientos temporales para mostrar cuándo comienza una acción corporal, cómo se prolonga y qué relación mantiene con el habla. En trabajos de Goodwin (2000, 2007), el entorno material adquiere igual relevancia que el habla. Una marca sobre un documento o la superficie que dos participantes observan puede ser indispensable para explicar su coordinación.
Piénsese en una consulta en que el médico pregunta «¿Dónde siente la presión?». El paciente contesta «por aquí» mientras mueve la palma sobre una región del tórax. La oración aislada no identifica el lugar. Una fotografía fija del gesto quizá tampoco determine si el movimiento indica extensión, trayectoria o intensidad. La secuencia completa permite ver qué pregunta antecede al gesto y si el médico solicita una aclaración. El sentido depende de relaciones que una transcripción puramente verbal perdería.
No siempre hace falta la misma precisión. Si se estudian los argumentos de un documental, basta tal vez una segmentación por escenas y por fuentes de voz. Si se investiga cómo dos personas resuelven una referencia espacial, diferencias de pocas décimas de segundo pueden cambiar el análisis. La granularidad se justifica por la hipótesis, con independencia de la cantidad de información que un programa sea capaz de extraer.
Una transcripción no reemplaza al archivo. Las decisiones dudosas deben poder confrontarse con el audio o el video. Lo mismo ocurre con las capturas de pantalla. Una imagen anotada puede ayudar a localizar un recurso, pero la versión sin anotaciones debe mantenerse disponible. La trazabilidad exige conservar tanto el dato como las operaciones realizadas sobre él.
De los recursos a las relaciones entre modos
Identificados los segmentos, comienza una pregunta más difícil, la de qué hace cada recurso dentro del conjunto. Un video puede contener palabras, subtítulos, música e imágenes. Describir esa presencia tiene utilidad limitada mientras no se explique cómo se distribuye el trabajo semiótico. Una fotografía y su pie pueden repetir información, pero también pueden producir una interpretación que ninguna de las dos piezas sostiene por separado.
Royce (1998, 2007) desarrolló la noción de complementariedad intersemiótica para estudiar correspondencias entre lenguaje e imagen. Lemke (1998) llamó la atención sobre los significados que surgen de su combinación en textos científicos. Un diagrama anatómico muestra simultáneamente relaciones espaciales, sus etiquetas aportan nombres precisos y el párrafo contiguo puede explicar una función fisiológica. Si las etiquetas se desplazan de manera incorrecta, el sistema deja de transmitir la relación esperada aunque cada palabra siga siendo correcta.
La relación puede describirse con operaciones concretas. Un rótulo restringe las interpretaciones abiertas por una fotografía, un mapa agrega una distribución espacial ausente de la explicación verbal y una música introduce continuidad afectiva entre planos filmados en momentos diferentes. Un subtítulo puede contradecir irónicamente la voz. En cada caso hay que mostrar qué información queda disponible gracias a la combinación y cómo la secuencia o la composición hacen reconocible ese vínculo.
Un contrafáctico sencillo, preguntar qué cambiaría al retirar el recurso, ayuda a precisar funciones. Sin el pie, la fotografía podría admitir otra identificación. Sin música, la sucesión de planos conservaría sus acontecimientos pero perdería un marco evaluativo. Sin la flecha que conecta dos cajas en un gráfico, el lector podría seguir reconociendo los elementos sin saber qué relación causal o secuencial pretende representarse. Estas comparaciones no prueban lo que experimentaría cualquier usuario, pero afinan la descripción de la propuesta comunicativa del artefacto.
La coordinación temporal merece especial atención. Una señal sonora y un cambio de plano que coinciden pueden formar una transición. Si el sonido precede al corte, prepara una expectativa distinta. Un gesto que aparece después de una palabra ambigua puede reparar su referencia, mientras otro que la anticipa guía la comprensión desde el principio. El orden modifica la acción. Una descripción multimodal que enumera recursos sin preservar su posición temporal deja fuera esa parte del fenómeno.
Codificar para comparar sin borrar diferencias
Cuando el estudio incluye muchos casos, es útil definir variables. Una matriz puede registrar el tamaño relativo de una imagen, la presencia de logotipo, la posición del encabezado, el tipo de plano o el intervalo entre una pregunta y una respuesta. Las categorías pueden ser nominales o graduadas. Algunas medidas son continuas, otras temporales. La elección debe corresponder a lo que se pretende comparar.
Las variables excesivamente interpretativas producen problemas desde el comienzo. «Imagen positiva» reúne fenómenos diferentes y permite que dos codificadores proyecten sus propias evaluaciones. «Sonrisa visible» es más observable, aunque el significado de esa sonrisa sigue abierto. Un ángulo de cámara bajo puede codificarse como propiedad del plano antes de proponer qué relación de autoridad construye. Separar el registro del argumento evita que la conclusión quede introducida subrepticiamente en la tabla de datos.
En estudios de contenido, un manual de codificación describe los límites de cada categoría, ejemplos y casos dudosos. La concordancia entre codificadores permite evaluar si el procedimiento genera resultados reproducibles. Un porcentaje alto de acuerdo puede ser engañoso cuando casi todas las piezas pertenecen a la misma clase. Medidas como el kappa de Cohen o el alfa de Krippendorff corrigen de maneras distintas parte de ese problema y deben seleccionarse según el diseño (Krippendorff, 2018). Ninguna buena cifra compensa una variable conceptualmente defectuosa, porque dos personas pueden coincidir perfectamente al aplicar una definición equivocada.
La flexibilidad interpretativa no desaparece en los estudios cualitativos, donde las decisiones también necesitan quedar documentadas. Puede ser legítimo que dos analistas describan de distinta forma la autoridad que construye una imagen. Lo exigible es que cada lectura esté apoyada en rasgos identificables y que las alternativas reciban una consideración proporcionada. Un desacuerdo razonado puede revelar mejor los límites de una categoría que una concordancia obtenida al eliminar todos los casos difíciles.
Los casos negativos merecen conservarse. Si la hipótesis sostiene que cierto tipo de campaña representa sistemáticamente a los pacientes desde una perspectiva pasiva, las imágenes donde aparecen decidiendo o instruyendo a otros son particularmente importantes. Su existencia puede obligar a restringir la afirmación, diferenciar subgéneros o revisar el corpus.
Tradiciones analíticas y escalas de observación
La semiótica social de Kress y van Leeuwen (2006) estudia cómo la representación, la relación con el observador y la organización compositiva construyen significado dentro de prácticas sociales. Su vocabulario sirve para comparar campañas, libros escolares, portales institucionales o documentos. La categoría «dado/nuevo», asociada a ciertas distribuciones horizontales, tiene sentido cuando una convención de lectura y el conjunto del diseño la sostienen. Aplicarla automáticamente a cualquier elemento de la izquierda transforma una hipótesis cultural en una regla rígida.
El análisis multimodal de la interacción trabaja a otra escala. Su unidad principal es la acción situada, con atención a lo que hacen los propios participantes. Goodwin (2000) estudió configuraciones en que el habla, el gesto y los objetos componen una práctica conjunta. Norris (2004, 2019) desarrolló un marco para analizar acciones de distinta escala y su densidad modal. Mondada (2018) ha mostrado cómo la coordinación se despliega temporalmente y cómo ciertas acciones corporales adquieren sentido por el turno al que responden. En estas investigaciones, lo ocurrido después puede ser una prueba de cómo se trató lo anterior.
Los estudios audiovisuales necesitan unidades y restricciones propias. Bateman y Schmidt (2012) diferencian la estructura material del film de las interpretaciones que se elaboran sobre ella; Wildfeuer (2014) investiga la construcción inferencial de la coherencia fílmica. Medir la duración de planos, la distribución de voces o la recurrencia musical ayuda cuando esas medidas se vinculan con una pregunta narrativa concreta. Un personaje que ocupa más tiempo de pantalla no adquiere por ese solo hecho mayor agencia. Quizá se lo muestra repetidamente escuchando mientras otros deciden.
Estas tradiciones no deben fusionarse en una taxonomía general. Una investigación puede combinarlas, siempre que aclare qué tipo de dato aporta cada una. La descripción de una jerarquía en la página, el análisis secuencial de una reparación y la reconstrucción de una estrategia narrativa responden a preguntas de nivel diferente, aunque sus términos se parezcan.
Documentos, interfaces y figuras científicas
Los textos impresos permiten una segmentación espacial relativamente estable. Encabezados, cuerpos, márgenes, pies y recuadros organizan el recorrido. Un análisis puede describir áreas, proximidad, contraste tipográfico o densidad de información y vincularlos con la función del documento. En una infografía, además, deben revisarse las convenciones cuantitativas. La escala de un eje y la correspondencia entre colores y magnitudes forman parte del significado representado. Un gráfico puede ser visualmente atractivo y distorsionar una comparación si la escala elegida exagera la diferencia.
Las figuras científicas requieren, por ese motivo, un doble control. Hay que comprobar si la forma representa adecuadamente los datos y examinar después cómo orienta la inferencia. Una flecha dentro de un diagrama puede sugerir causalidad cuando la investigación solo respalda asociación. Una ilustración anatómica de límites tajantes puede ocultar transiciones graduales. Describir el efecto retórico exige conocer el fenómeno que se pretende representar. El análisis visual no sustituye al conocimiento estadístico ni al disciplinar.
Las interfaces añaden comportamiento. Un botón propone una acción, pero su efecto depende del sistema que responde al pulsarlo. El analista debe seguir estados y rutas para saber qué aparece antes, qué puede seleccionar el usuario, dónde recibe confirmación y cómo se recupera de un error. La posición de un menú escondido puede tener poca saliencia y gran importancia funcional. Examinar únicamente una captura hace invisible esa relación.
Una misma interfaz cambia con el tamaño de pantalla, la configuración de accesibilidad y las decisiones previas del usuario. El objeto analizado puede necesitar varias realizaciones y un registro del camino recorrido. La noción de affordance es útil cuando se especifica la acción que un elemento hace posible y las condiciones en que la facilita. Atribuir «intuitividad» a un diseño por su apariencia no equivale a demostrar que las personas lo entienden.
Del artefacto a la recepción
El análisis del diseño describe una oferta de significado. Para conocer qué hacen los lectores con ella se necesitan otros datos. El seguimiento ocular registra fijaciones y trayectorias visuales, pero una región muy observada pudo captar interés o producir confusión. Una entrevista aporta interpretaciones declaradas, expuestas a reconstrucción retrospectiva. Una prueba experimental que varía la posición de un botón puede medir diferencias en tiempo de búsqueda o tasa de éxito, aunque su situación controlada simplifique la experiencia real.
Estas técnicas responden a preguntas distintas. Una captura basta para afirmar que un logotipo ocupa la parte superior. El registro de pantalla y los movimientos del cursor son pertinentes para estudiar si el usuario lo encuentra. Para sostener que genera confianza se necesitan medidas específicas de esa evaluación. La secuencia entre propiedad del artefacto, interpretación y conducta debe justificarse. Ninguna de esas etapas puede darse por sentada con solo documentar la anterior.
La combinación de métodos sirve cuando sus errores no se superponen. Un estudio puede detectar una zona visualmente saliente mediante análisis de composición, observarla con seguimiento ocular y comprobar mediante entrevistas qué significado le atribuyeron distintos lectores. Los resultados pueden divergir. Quizá el elemento fue visto de inmediato y considerado irrelevante. Esa divergencia es un hallazgo, porque rompe la equivalencia fácil entre atención y persuasión.
Los recursos computacionales amplían el tamaño del corpus. La visión computacional y el reconocimiento de texto permiten localizar escenas, objetos o inscripciones; las representaciones vectoriales facilitan agrupar casos. Esos recursos también producen errores que deben medirse. Un clasificador de rostros sonrientes puede identificar expresiones sin demostrar emociones. Un sistema capaz de detectar miles de escenas con una exactitud global elevada puede fallar de forma sistemática en la clase minoritaria que sostiene la investigación. La revisión humana de muestras y de casos límite, la documentación de versiones y la evaluación específica por clase evitan tratar la automatización como evidencia infalible.
En los modelos multimodales generativos, el problema se vuelve más visible. Describen una imagen y, en la misma frase, atribuyen motivos a sus participantes. Para el investigador, «la persona mira la cámara» y «la persona intenta generar confianza» son afirmaciones de niveles distintos. La primera puede contrastarse con el material; la segunda necesita una interpretación contextual y, según el diseño, datos adicionales. Las instrucciones dadas al modelo, su versión y el procedimiento de validación forman parte del registro metodológico.
Cuando el material es clínico
Una entrevista clínica grabada contiene información que una nota escrita difícilmente preserva. La latencia entre pregunta y respuesta, un gesto de señalar, un cambio de volumen o una orientación hacia un acompañante pueden formar parte de la acción observada. Su relevancia depende de la pregunta de investigación. En un análisis de cómo se aclara una experiencia perceptiva, el dato principal puede ser que el paciente acompañe «lo oigo por aquí» con un gesto hacia un oído. En un estudio de turnos, quizá importe más la secuencia en que el profesional propone una categoría y el paciente la corrige.
La separación entre descripción e inferencia exige especial cuidado. «Después de la pregunta, permanece en silencio 3,2 segundos y luego responde con volumen bajo» es un registro de conductas. «Se muestra evasivo» propone una interpretación sobre la disposición del paciente. Para sostenerla habría que examinar el patrón, la situación y posibles alternativas. El silencio puede acompañar una búsqueda de memoria, una dificultad auditiva o una pregunta mal formulada.
El valor del registro no elimina sus riesgos. El rostro, la voz y los elementos del entorno pueden identificar a una persona incluso cuando se omite su nombre. Un proyecto necesita criterios de consentimiento, acceso, conservación y eventual reutilización del material acordes con esa sensibilidad. También debe considerar que la cámara puede modificar la conducta. La existencia de una grabación de alta calidad técnica no garantiza que la situación haya sido natural.
La documentación clínica habitual persigue un propósito diferente del de una transcripción de investigación. Una historia clínica no puede registrar todos los microacontecimientos del encuentro. La elección responsable consiste en conservar aquellos elementos que sostienen una afirmación clínica y en identificar qué partes son palabras del paciente, observaciones del profesional o interpretaciones posteriores.
Una campaña de vacunación como caso de trabajo
Supóngase un corpus de veinte piezas digitales orientadas a promover la vacunación. La pregunta de investigación es cómo se construye visualmente la credibilidad de la recomendación. Cada pieza se conserva en su versión original y se registra la plataforma donde circuló. La unidad principal es la publicación completa; dentro de ella se distinguen la imagen, el titular, los logotipos, las fuentes citadas y las indicaciones de acción.
El análisis comienza con variables descriptivas que registran si aparece o no un profesional identificado, si existe referencia verificable a una institución, si se incluye una cifra, si el llamado a la acción ocupa una zona prominente y si la fotografía muestra o no una mirada dirigida al observador. Otras variables necesitarán una lectura de conjunto. Por ejemplo, una credencial visible al lado de una persona fotografiada vincula la imagen individual con una autoridad profesional. La credencial aislada en una nota legal puede cumplir una función distinta.
Las relaciones entre recursos son el centro del caso. Un retrato con nombre y cargo, acompañado de una referencia científica, propone una legitimación diferente de la de una imagen anónima con un eslogan. Una curva epidemiológica puede aportar evidencia o limitarse a sugerir apariencia técnica si carece de escala y fuente. Un código cromático constante puede identificar a la institución a lo largo de la campaña. Cada interpretación debe mostrar el elemento que la sostiene y su posición dentro de la pieza.
Imagínese que catorce publicaciones utilizan la figura de un profesional, mientras seis se apoyan en testimonios de usuarios. Con esos datos se puede describir una diferencia de estrategias dentro del corpus. Para concluir que la primera estrategia produce más confianza que la segunda habría que observar la recepción, controlar la familiaridad con la institución y definir cómo se medirá la confianza. Confundir la autoridad que el diseño propone con la autoridad que el público reconoce sería pasar del objeto a sus efectos sin evidencia.
El informe final debería mostrar ejemplos de ambos patrones, describir las excepciones y permitir regresar a las piezas. Una conclusión sobria, como que la campaña utiliza credenciales profesionales y fuentes visibles para respaldar su recomendación, conserva la relación entre evidencia y alcance. Las afirmaciones más ambiciosas requieren más datos.
En un informe de este tipo, una imagen anotada de cada patrón puede ser más informativa que varias páginas de categorías abstractas. El lector ve la evidencia y puede confrontar la lectura propuesta con otras posibles. Para una investigación de frecuencias, esa demostración se complementa con tablas de distribución y criterios de codificación. Para una investigación interpretativa, hay que mostrar el contexto suficiente para que una elección de encuadre o de palabra adquiera su función. La forma de presentar los resultados debe responder al tipo de argumento, exactamente como sucedió al seleccionar el corpus.
Referencias
Baldry, A., y Thibault, P. J. (2006). Multimodal transcription and text analysis. Equinox.
Bateman, J. A. (2014). Text and image: A critical introduction to the visual/verbal divide. Routledge.
Bateman, J. A., y Schmidt, K.-H. (2012). Multimodal film analysis: How films mean. Routledge.
Bezemer, J., y Jewitt, C. (2010). Multimodal analysis: Key issues. En L. Litosseliti (Ed.), Research methods in linguistics (pp. 180–197). Continuum.
Goodwin, C. (2000). Action and embodiment within situated human interaction. Journal of Pragmatics, 32(10), 1489–1522.
Goodwin, C. (2007). Participation, stance and affect in the organization of activities. Discourse & Society, 18(1), 53–73.
Jewitt, C. (Ed.). (2014). The Routledge handbook of multimodal analysis (2.ª ed.). Routledge.
Kress, G. (2010). Multimodality: A social semiotic approach to contemporary communication. Routledge.
Kress, G., y van Leeuwen, T. (2006). Reading images: The grammar of visual design (2.ª ed.). Routledge.
Krippendorff, K. (2018). Content analysis: An introduction to its methodology (4.ª ed.). Sage.
Lemke, J. L. (1998). Multiplying meaning: Visual and verbal semiotics in scientific text. En J. R. Martin y R. Veel (Eds.), Reading science: Critical and functional perspectives on discourses of science (pp. 87–113). Routledge.
Mondada, L. (2018). Multiple temporalities of language and body in interaction: Challenges for transcribing multimodality. Research on Language and Social Interaction, 51(1), 85–106.
Norris, S. (2004). Analyzing multimodal interaction: A methodological framework. Routledge.
Norris, S. (2019). Systematically working with multimodal data: Research methods in multimodal discourse analysis. Wiley-Blackwell.
O'Halloran, K. L. (Ed.). (2004). Multimodal discourse analysis: Systemic-functional perspectives. Continuum.
Royce, T. D. (1998). Synergy on the page: Exploring intersemiotic complementarity in page-based multimodal text. JASFL Occasional Papers, 1(1), 25–49.
Royce, T. D. (2007). Intersemiotic complementarity: A framework for multimodal discourse analysis. En T. D. Royce y W. L. Bowcher (Eds.), New directions in the analysis of multimodal discourse (pp. 63–109). Lawrence Erlbaum.
Wildfeuer, J. (2014). Film discourse interpretation: Towards a new paradigm for multimodal film analysis. Routledge.