# Modelos de habla y sistemas multimodales

Aunque conserve todas las palabras de una intervención, una transcripción puede perder una parte decisiva de lo ocurrido. En ella no consta necesariamente que la persona señaló una imagen, prolongó una sílaba, habló mientras otra intentaba intervenir o respondió después de una pausa incómoda. El lenguaje hablado se realiza en una señal temporal y suele formar parte de actividades en las que cuentan también la mirada, los objetos, los gestos y el entorno. Un sistema que procesa voz, imágenes y texto tiene que resolver las relaciones entre esas fuentes, además de convertirlas a un formato común.

La expresión multimodal abarca tecnologías muy distintas. Puede designar un buscador que relaciona imágenes y descripciones, un transcriptor que aprovecha señales visuales o un asistente que recibe audio y responde con voz. Cada configuración conserva una parte de la información y descarta otra, de modo que para comprender sus posibilidades hay que observar qué entra al sistema, cómo se representa, qué objetivo orienta el aprendizaje y qué salida se considera correcta.

El texto va de la señal de habla a la integración de modalidades y se pregunta cómo conectar las operaciones computacionales con distinciones lingüísticas e interaccionales sin confundir el reconocimiento de una forma con la interpretación de una situación, ni ninguno de los dos con la producción de una respuesta adecuada.

## Señal acústica, espectrogramas y resolución temporal

Una grabación digital registra las variaciones de una señal mediante muestras temporales. Esa señal mezcla propiedades de la producción vocal, del espacio, del micrófono y de los demás sonidos presentes. Antes de reconocer palabras, el sistema necesita extraer regularidades útiles para su tarea. Algunas arquitecturas trabajan con representaciones derivadas de la señal, como los espectrogramas; otras aprenden parte de esa transformación directamente desde las muestras. En ambos casos el procesamiento impone una organización sobre un flujo continuo. Un espectrograma muestra cómo cambia la energía en distintas frecuencias a lo largo del tiempo, aunque eso no significa que cada zona corresponda limpiamente a un fonema. La realización del habla incluye coarticulación, variaciones de velocidad y superposición de propiedades. Las fronteras entre unidades lingüísticas rara vez aparecen en la señal como separaciones inequívocas. Reconocer habla obliga a tratar con esa variabilidad, más allá de asignar etiquetas a segmentos acústicos independientes.

La resolución temporal impone un compromiso. Una representación muy comprimida reduce costos a riesgo de perder detalles relevantes. Si es demasiado extensa, consume más memoria y dificulta modelar dependencias largas. El diseño varía según se busque transcribir, localizar un evento, identificar un cambio de hablante o interpretar la prosodia. La transformación adecuada para una tarea puede resultar insuficiente para otra, de modo que al comparar representaciones hay que precisar qué información conserva cada una.

La calidad del audio debe documentarse desde el comienzo. Ruido, reverberación, compresión, distancia y canales superpuestos pueden afectar el resultado. Las conclusiones obtenidas con grabaciones limpias no pueden aplicarse a conversaciones en un espacio público sin comprobarlas de nuevo. Tampoco corresponde atribuir todos los fallos al hablante cuando es la infraestructura la que modifica la señal. La evaluación recae sobre una relación entre personas, condiciones de registro y sistema, aunque algunas pruebas analicen los componentes por separado.

## Aprender del habla con y sin transcripciones

El reconocimiento supervisado utiliza grabaciones asociadas con transcripciones. Con estas parejas el modelo aprende correspondencias entre la señal y la secuencia escrita, aunque elaborar esas parejas requiere trabajo. Toda transcripción aplica además convenciones que pueden omitir vacilaciones, normalizar pronunciaciones o introducir puntuación. De esas convenciones depende el objetivo que aprende el modelo. Un sistema entrenado para producir texto editorial no debe evaluarse como si hubiera aprendido a conservar todos los detalles de la interacción oral.

El aprendizaje autosupervisado aprovecha regularidades de las grabaciones sin necesitar una transcripción para cada ejemplo. En wav2vec 2.0, Baevski y colaboradores (2020) enmascararon tramos de las representaciones latentes del audio y entrenaron el modelo con un objetivo contrastivo antes de adaptarlo con habla transcrita. Con ese procedimiento mostraron que era posible reducir la dependencia de datos etiquetados en las condiciones estudiadas. Otra estrategia amplía la supervisión mediante grandes colecciones de audio asociado a texto de calidad variable. Radford y colaboradores (2023) la estudiaron en el sistema conocido como Whisper, con resultados que señalan el peso de la escala y la diversidad de la supervisión en la generalización entre conjuntos de prueba. Ninguno de los dos trabajos autoriza una afirmación universal de robustez ni garantiza el mismo beneficio para cualquier lengua, dispositivo o situación acústica. Cada aplicación tiene que comprobar sus condiciones de uso y sus tipos de error con la evaluación lingüística correspondiente.

Estas estrategias pueden combinarse con la adaptación a dominios concretos. Un archivo de historia oral, una clase y una llamada de atención al público presentan distribuciones diferentes de vocabulario, duración y turnos. Al adaptar un modelo hay que comprobar que mejora en los fenómenos de interés sin empeorar en otros y que el conjunto de prueba no contiene voces, grabaciones o segmentos casi idénticos a los del entrenamiento. Cuando esa separación falla, una buena puntuación puede deberse a la familiaridad del modelo con el material.

## Reconocimiento y alineamiento temporal

La secuencia acústica y la secuencia de palabras tienen longitudes diferentes. La duración de una misma palabra varía mucho, de modo que el número de unidades de la representación acústica no determina directamente cuántas palabras habrá. Cada familia de modelos de reconocimiento aprende o estima la correspondencia temporal entre ambas secuencias con supuestos y mecanismos propios, entre ellos los alineamientos latentes, la atención o las predicciones que combinan el estado acústico con el historial de salida. El alineamiento forzado plantea una tarea más acotada. Dados un audio y un texto propuesto, el alineador localiza aproximadamente dónde se realiza cada unidad, sin comprobar que el texto sea correcto. Si la transcripción contiene una palabra que no se pronunció, el alineador puede asignarle un intervalo poco plausible. Por eso, en los trabajos donde cuentan las pausas, los solapamientos o los detalles fonéticos, los tiempos producidos requieren revisión. Una marca temporal con muchos decimales no garantiza una precisión establecida empíricamente.

El reconocimiento en flujo añade restricciones. El sistema debe producir hipótesis antes de recibir la intervención completa y puede corregirlas cuando llega información posterior. Esa revisión es computacionalmente razonable, aunque crea problemas de interfaz. Si una aplicación ejecuta una acción a partir de una hipótesis provisional, la corrección puede llegar tarde. Consideremos el ejemplo construido «envía el borrador a Marta… no, a Marina». Un transcriptor que entrega el texto final puede registrar ambas expresiones; un agente que actúa en cuanto reconoce el primer nombre podría enviar el documento a la destinataria equivocada. El problema excede el reconocimiento de nombres, ya que requiere integrar temporalidad, reparación y criterios para actuar. Conviene separar el texto parcial, el segmento estabilizado y la decisión confirmada, sobre todo cuando una negación o una autocorrección cambian el sentido del mensaje. Además de acertar con las palabras, el sistema tiene que estimar cuándo una contribución está lo bastante terminada para orientar una acción.

## Formatos de transcripción, puntuación y disfluencias

Ninguna transcripción es adecuada para todos los fines. La versión destinada a la lectura puede eliminar repeticiones y distribuir signos de puntuación. Para el análisis conversacional, en cambio, hay que conservar justamente los detalles que esa edición considera prescindibles. Los subtítulos, por su parte, se ajustan a límites de espacio y de tiempo. Las decisiones de cada formato deben quedar explícitas para que el lector no atribuya al audio propiedades que se introdujeron durante la transformación.

La puntuación muestra bien el problema. La señal no contiene comas ni puntos como unidades materiales, de modo que los sistemas los infieren a partir de regularidades acústicas y lingüísticas. Hay secuencias que admiten segmentaciones distintas, con consecuencias para su interpretación. Si la transcripción se presenta como registro literal, el usuario puede pasar por alto que ciertas fronteras de oración son decisiones del sistema y no datos observados directamente.

Las disfluencias también obligan a decidir. Según el contexto, una repetición puede expresar vacilación, énfasis o una reparación, por lo que no siempre es un residuo descartable. En un resumen, eliminarla puede mejorar la lectura. En un estudio de producción del habla, en cambio, hacerlo destruiría información relevante. En la práctica, la solución es conservar una versión trazable y distinguir las transformaciones aplicadas, de manera que desde el texto editado se pueda volver al fragmento de audio correspondiente cuando una interpretación necesite revisión. La incertidumbre pide un tratamiento parecido. La transcripción útil para el propósito declarado, que no es necesariamente la más pulida, conserva la información necesaria y deja ver dónde el sistema carece de evidencia para decidir. Un nombre poco audible puede marcarse como dudoso o presentarse con alternativas, según el uso previsto. Sustituirlo por una palabra frecuente da una frase más fluida, aunque puede introducir una afirmación falsa.

## Evaluar errores de reconocimiento

Una medida habitual es la tasa de error de palabras, que compara una hipótesis con una transcripción de referencia. Se suman sustituciones, eliminaciones e inserciones y el total se divide por el número de palabras de la referencia. La medida facilita comparar configuraciones, aunque su valor varía con la propia referencia y con las reglas de normalización. Los números escritos con cifras o con letras, las contracciones y la puntuación pueden alterar una comparación si el protocolo no los trata de forma consistente. Como el denominador es la longitud de la referencia, la tasa no indica qué porcentaje de las palabras producidas es incorrecto. Si la referencia tiene diez palabras y el alineamiento cuenta dos sustituciones, una eliminación y tres inserciones, la tasa es 6/10 = 60 %. Una hipótesis con muchas inserciones puede incluso superar el 100 %. Son ejemplos aritméticos. Un protocolo real tiene que especificar cómo alinea las secuencias y qué normalización aplica antes del recuento.

La tasa agregada no distingue la gravedad comunicativa de los errores. Confundir un artículo puede afectar menos que omitir una negación, aunque ambos errores sumen lo mismo en el recuento. En otra tarea, en cambio, una pequeña diferencia de forma puede pesar mucho porque se estudia precisamente esa construcción. La evaluación tiene que relacionar los errores con el objetivo y examinar aparte los nombres, las cantidades, las referencias temporales y los términos especializados cuando orientan decisiones posteriores.

Koenecke y colaboradores (2020) documentaron diferencias marcadas entre grupos de hablantes en cinco sistemas comerciales de reconocimiento, en las versiones disponibles cuando los evaluaron con su corpus. El hallazgo muestra cómo una cifra global puede ocultar desigualdades en la calidad del servicio. La consecuencia metodológica es mantener, también para los productos posteriores, auditorías desagregadas que analicen las condiciones acústicas, las variedades lingüísticas y la distribución de los datos.

La evaluación debería medir además el trabajo de corrección. Con tasas parecidas, una salida que introduce una frase plausible pero ausente del audio puede exigir más revisión que otra con una omisión claramente señalada. Medir el tiempo de edición, la capacidad de detectar errores y el acceso al audio ayuda a decidir si el sistema reduce el trabajo o lo desplaza hacia una revisión menos visible.

## Hablantes, turnos y voces superpuestas

La diarización intenta determinar quién habla cuándo, normalmente mediante etiquetas que agrupan segmentos por hablante. Con ellas el sistema distingue entre «hablante uno» y «hablante dos» sin saber los nombres de esas personas, de modo que diarizar una grabación e identificar civilmente a alguien son tareas distintas. A la inversa, reconocer una voz conocida tampoco resuelve necesariamente la segmentación temporal. Mantener separadas ambas tareas impide atribuir capacidades que no se han demostrado y hace posible evaluar cada componente con sus propios criterios.

Las voces superpuestas complican el procesamiento. En una misma grabación pueden aparecer habla simultánea, risas o continuadores breves como «sí» y «ajá». Si el sistema lo asigna todo a una sola persona, puede alterar la estructura de participación. En una reunión, una afirmación atribuida al hablante equivocado puede cambiar el sentido de un acuerdo; por eso, la calidad de un acta automática depende de más factores que el reconocimiento correcto de las palabras predominantes. La segmentación por silencio tampoco coincide siempre con los turnos. Hay pausas dentro de una misma intervención y cambios de hablante que se producen sin silencio alguno. El tratamiento automático de estas fronteras necesita integrar señales diversas y admitir incertidumbre. Una etiqueta de «fin de intervención» es, en particular, una hipótesis operativa que debe evaluarse según lo que habilita en cada aplicación, ya sea mostrar una transcripción, responder, interrumpir o registrar una decisión institucional.

Para el análisis lingüístico, los solapamientos son datos que pueden indicar cooperación, competencia por el turno o coordinación rutinaria. La separación automática de voces puede facilitar su estudio e introducir a la vez artefactos. Conservar el audio original y documentar las transformaciones hace posible revisar los efectos del procesamiento. La versión procesada, por clara que resulte, no debe sustituir sin aviso a la evidencia original cuando el fenómeno investigado está ligado a las características temporales de la grabación.

## Prosodia y límites de la inferencia

La prosodia comprende propiedades como la entonación, el ritmo y la prominencia, cuya realización combina recursos acústicos y convenciones lingüísticas. Puede contribuir a marcar información nueva, a organizar unidades o a distinguir acciones. Una propiedad acústica aislada, con todo, rara vez determina un significado único. Sin contexto ni comparación con las prácticas pertinentes, una voz más intensa no prueba enojo, como tampoco una pausa larga prueba inseguridad.

Cuando un sistema aprende correlaciones entre señales y etiquetas asignadas por anotadores, su rendimiento refleja cómo se definieron esas etiquetas y qué material se utilizó. Si las grabaciones son actuaciones, los resultados no describen necesariamente conversaciones espontáneas. Los desacuerdos entre jueces pueden revelar que el fenómeno es ambiguo. Presentar una etiqueta emocional como lectura directa de un estado interno confunde una predicción sobre convenciones observables con un acceso a la experiencia subjetiva. La prosodia interactúa además con el contenido verbal. «Qué bien» puede expresar satisfacción, ironía o el cierre de un intercambio, según su realización y su contexto. Un modelo que solo recibe la transcripción pierde parte de esa evidencia. Otro que recibe audio dispone de más información potencial, aunque todavía tiene que aprender a usarla. Para saber si los rasgos prosódicos intervienen de hecho en sus decisiones hacen falta pruebas específicas.

Un diseño prudente describe primero lo observable. Si la medición es fiable, puede informar que hubo una pausa o que una palabra recibió prominencia y marcar como tales las interpretaciones construidas sobre esas observaciones. En aplicaciones interactivas suele ser más útil responder a una petición explícita o preguntar por una dificultad que atribuir automáticamente una emoción. Con esa orientación se aprovecha la información vocal sin convertir las variaciones de la voz en diagnósticos personales o en certezas psicológicas injustificadas.

## Síntesis de habla, prosodia generada e identidad vocal

La síntesis de habla transforma una representación lingüística u otra entrada en una señal audible. Algunos sistemas separan la predicción acústica de la generación de la onda, mientras otros integran esas operaciones de diferentes maneras. Tacotron 2, presentado por Shen y colaboradores (2018), combinó la predicción de espectrogramas con un modelo de generación de señal y es una referencia útil para entender cómo se articulan texto, representación acústica y voz, aunque hay otras arquitecturas posibles.

La naturalidad perceptiva es solo una dimensión de la calidad. Hay que considerar además la inteligibilidad, la pronunciación de nombres, la estabilidad, el ritmo y la adecuación del énfasis. Una voz agradable puede leer mal una cifra o convertir una enumeración en una frase ambigua. La evaluación tiene que hacerse con contenidos representativos y no limitarse a fragmentos escogidos por su buen resultado. En textos especializados, la lectura de abreviaturas y símbolos obliga a tomar decisiones que a veces dependen del dominio.

La prosodia generada añade decisiones comunicativas que la salida escrita no contiene, puesto que las pausas pueden señalar fronteras y las prominencias, cambiar qué contraste parece relevante. Si el sistema aplica una entonación categórica a una afirmación incierta, puede aumentar la impresión de seguridad. La correspondencia entre contenido y realización vocal debería evaluarse, sobre todo cuando la interfaz invita a escuchar sin revisar una transcripción.

La identidad vocal plantea otras decisiones de diseño. Aunque el sistema carezca de edad, procedencia o personalidad, su voz puede evocarlas. Para usar voces identificables hace falta la debida autorización y claridad sobre su carácter sintético. Asimismo, la presentación vocal no debería ocupar el lugar de la información sobre las capacidades reales del servicio. La confianza del usuario tiene que apoyarse en resultados y límites comprensibles, además de en una interacción perceptivamente cómoda.

## Tres rutas para un asistente de voz

La primera ruta encadena reconocimiento, procesamiento textual y síntesis. Su ventaja analítica es que pueden inspeccionarse las representaciones intermedias, es decir, lo que se transcribió, la respuesta que se redactó y lo que se pronunció. A cambio, puede perder información prosódica si entre los componentes solo circula texto. Los errores se propagan, de manera que una transcripción incorrecta puede dar lugar a una respuesta coherente con el texto recibido y equivocada respecto de lo que la persona dijo.

La segunda ruta lleva representaciones de audio más directamente al modelo que genera la respuesta. Así pueden conservarse propiedades que una transcripción descarta y establecerse relaciones más estrechas entre percepción y producción. Esta ruta, sin embargo, no vuelve transparente el proceso ni garantiza que el modelo sea sensible a toda la información disponible. Hay que establecer mediante pruebas qué señales influyen de hecho en la respuesta, qué capacidades se mantienen de una condición a otra y de qué modo una persona puede rastrear el origen de una respuesta problemática.

Una tercera configuración combina ambas rutas. Puede conservar una transcripción para la búsqueda y la documentación mientras usa representaciones acústicas para gestionar los tiempos o producir voz. Esta organización introduce exigencias nuevas de consistencia. Si dos componentes interpretan de manera distinta una interrupción o una negación, el sistema necesita una política que resuelva el desacuerdo y fije qué información gobierna cada decisión.

El servicio previsto orienta la elección. En un dictado que el usuario revisará puede ser preferible una transcripción visible con control de edición. En una conversación accesible pueden pesar más la latencia y la posibilidad de interrumpir. Cuando se trata de documentar una reunión, la atribución y la trazabilidad pasan a primer plano. Una arquitectura técnicamente sofisticada puede resultar inadecuada para estos usos si impide corregir los errores que sus usuarios necesitan controlar.

## Visión, lenguaje y fusión de modalidades

Los sistemas de visión y lenguaje aprenden relaciones entre representaciones visuales y lingüísticas. Un enfoque contrastivo acerca los pares asociados y separa, dentro del entrenamiento, las combinaciones que no se corresponden. CLIP, desarrollado por Radford y colaboradores (2021), es una referencia central de esta estrategia con imágenes y texto. Su capacidad de relacionar descripciones con contenido visual hizo posibles distintas formas de transferencia, aunque una puntuación de similitud entre imagen y texto no basta para explicar por completo la imagen. Otros sistemas conectan un codificador visual con un modelo de lenguaje y se ajustan para responder a instrucciones sobre imágenes. Liu y colaboradores (2023) exploraron esta orientación en LLaVA, ejemplo de que una interfaz conversacional puede incorporar información visual al generar sus respuestas. El rendimiento tiene que examinarse por tarea, ya que describir una escena, leer una tabla, localizar un objeto y comparar relaciones espaciales plantean exigencias diferentes y dan lugar a errores distintos.

Las imágenes tienen, además, un alcance limitado como evidencia. Una fotografía muestra un campo visual bajo condiciones particulares de encuadre, resolución e iluminación. A veces basta para reconocer objetos, aunque no aclare la función, la procedencia ni el estado interno de esos objetos. Con asociaciones aprendidas, un modelo puede completar detalles y producir una descripción plausible que exceda lo visible. Distinguir entre observación e inferencia es especialmente importante cuando la respuesta emplea expresiones categóricas sobre elementos pequeños, parcialmente ocultos o ambiguos. La lectura de documentos visuales añade problemas propios. En una tabla, el sentido de cada valor lo fijan sus relaciones con filas, columnas, encabezados y notas, de modo que, además de reconocer cada palabra, hay que conservar esas relaciones. Un error de asociación puede producir una cifra bien leída pero atribuida al grupo equivocado. Las pruebas tienen que abarcar la estructura, las referencias y el contexto gráfico. En tareas de precisión puede hacer falta complementar la descripción verbal general con extracción estructurada y comprobaciones explícitas.

Integrar modalidades obliga a decidir en qué etapa se combinan sus representaciones. Con una combinación temprana el modelo puede aprender interacciones detalladas entre las señales, mientras que una combinación tardía conserva componentes relativamente separados. Estas descripciones generales admiten muchas variantes. En cada sistema hay que identificar qué dependencias puede aprender y qué información queda fuera. Dos servicios llamados multimodales pueden basar sus decisiones en recorridos muy diferentes y presentar, sin embargo, una interfaz parecida al usuario.

La sincronización se vuelve un problema central cuando las señales cambian en el tiempo. Si una persona dice «este» mientras señala un objeto, para identificar el referente hay que relacionar en el tiempo el habla y el gesto. Asociar la palabra con una imagen capturada mucho antes o mucho después puede producir una interpretación errónea. La precisión necesaria varía con la actividad. Una descripción general de una sala tolera retrasos que serían problemáticos si se tratara de seguir instrucciones sobre objetos en movimiento.

Las modalidades también pueden contradecirse, como ocurre con un subtítulo que difiere del audio, una persona que señala un elemento mientras nombra otro o una pantalla con información desactualizada. El sistema necesita tratar esas discrepancias como problemas interpretativos, sin resolverlas siempre a favor de una fuente fija. A veces la tarea define una prioridad y otras veces corresponde explicitar el conflicto o pedir aclaración. Disponer de más evidencia puede incluso aumentar las preguntas necesarias.

Una modalidad puede además faltar o degradarse. Un sistema bien diseñado debería reconocer esa situación y ajustar su conducta, por ejemplo absteniéndose de sacar conclusiones visuales cuando la cámara no aporta imágenes útiles. Las pruebas deben incluir estas condiciones junto con los casos en que todo funciona. La dependencia excesiva de una fuente cómoda durante el entrenamiento puede pasar inadvertida hasta que esa fuente desaparece. Las evaluaciones con ausencias y perturbaciones muestran cómo se reparte en la práctica el trabajo entre los componentes.

## Demostrar que la información adicional se utiliza

Un buen resultado en una prueba multimodal puede obtenerse con un sistema que apenas integra las modalidades y resuelve la prueba mediante pistas textuales, regularidades de las preguntas o asociaciones frecuentes. Para estudiar el aporte de una modalidad se comparan condiciones diseñadas con cuidado, como la entrada completa, la ausencia de cierta señal o su sustitución por otra pertinente. Estas intervenciones tienen que preservar el sentido de la tarea, porque eliminar información de manera artificial puede crear casos sin correspondencia con situaciones reales y confundir la interpretación.

Los pares mínimos son una herramienta útil. Dos imágenes pueden diferir en una relación espacial relevante mientras la pregunta permanece igual. Si el sistema responde lo mismo en ambos casos, hay evidencia de que es insensible a esa diferencia, siempre que se haya comprobado que la modificación es perceptible y que la respuesta correcta está bien definida. Ese fallo puede provenir de una resolución insuficiente, de la codificación visual o del razonamiento posterior. La intervención localiza la dificultad, aunque no siempre identifica por sí sola cuál de esos mecanismos interviene.

En el habla podemos hacer algo análogo manteniendo una secuencia de palabras y variando su realización prosódica mediante grabaciones controladas. El objetivo es examinar una distinción comunicativa delimitada y validada por participantes, sin exigir una interpretación emocional única. También pueden compararse audio y transcripción en una tarea en la que se sabe qué información pierde el texto. Con estos diseños se formulan preguntas más precisas que la de si el sistema «entiende la voz».

La evaluación final debe volver al uso. La integración útil se reconoce en decisiones coherentes a lo largo de la interacción. Un modelo puede superar pruebas de percepción aislada y fallar después al explicar su incertidumbre, aceptar una corrección o mantener las referencias de una conversación. Documentar tanto los estudios de componentes como las pruebas de actividad completa ayuda a evitar que una capacidad demostrada bajo control experimental se presente como competencia general en situaciones reales.

## Un archivo audiovisual como caso de trabajo

Imaginemos un archivo de entrevistas sobre memoria local cuyo objetivo es permitir búsquedas temáticas y producir transcripciones revisables, con las grabaciones conservadas como evidencia. El equipo empieza por definir qué transformaciones son aceptables. La versión de lectura puede normalizar ciertas repeticiones mientras una capa analítica conserva las pausas y los cambios de hablante. Ambas se vinculan al mismo material original e indican qué partes se generaron automáticamente y cuáles pasaron por revisión humana. En la búsqueda cabe combinar texto reconocido, metadatos y descripciones visuales, siempre que sus fuentes queden separadas. Cuando un sistema identifica un objeto visible, la anotación resultante pertenece a una capa distinta de la que registra lo que dijo el entrevistado. Del mismo modo, un resumen que relaciona dos episodios tiene que remitir a los fragmentos que sustentan esa relación. Una interfaz que lo presente todo como un único relato puede borrar las diferencias entre testimonio, observación e interpretación automática.

La revisión se prioriza según las consecuencias. Nombres, lugares, fechas y atribuciones suelen requerir atención, al igual que las negaciones y las autocorrecciones. Los participantes pueden tener preferencias sobre el acceso, la edición y la circulación del material. Las decisiones al respecto forman parte del proyecto y de su calidad, sin quedar relegadas a una etapa administrativa aparte. Aun siendo técnicamente consultable, un archivo puede dar una imagen equivocada de sus participantes si elimina matices, les atribuye palabras erróneas o permite usos incompatibles con los acuerdos establecidos.

## Capacidades técnicas y alcance para la lingüística

Los modelos de habla y los sistemas multimodales amplían las formas de entrada y salida disponibles para la computación lingüística. Su aporte depende de cómo conservan y relacionan la información, de las tareas que se les asignan y de las posibilidades de revisión que dejan a sus usuarios. Reconocer palabras, describir imágenes y generar una voz son logros distintos de interpretar correctamente una actividad. Mantenerlos separados permite valorar capacidades específicas sin convertirlas en explicaciones generales de la comunicación.

Para la lingüística y la semiótica, estas tecnologías son a la vez instrumentos y objetos de investigación. Con ellas se exploran representaciones, se comparan modalidades y se estudian fallos de integración. Su uso modifica también las condiciones en que las personas hablan, leen y coordinan acciones, por lo que el análisis tiene que seguir ambas direcciones y atender, junto al procesamiento de señales, a las prácticas en las que una transcripción, una imagen interpretada o una respuesta vocal adquieren autoridad y producen consecuencias.

## Referencias

Baevski, A., Zhou, H., Mohamed, A., y Auli, M. (2020). wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations. *NeurIPS*. https://arxiv.org/abs/2006.11477

Koenecke, A., et al. (2020). Racial disparities in automated speech recognition. *Proceedings of the National Academy of Sciences, 117*(14), 7684–7689. https://doi.org/10.1073/pnas.1915768117

Liu, H., Li, C., Wu, Q., y Lee, Y. J. (2023). Visual Instruction Tuning. *NeurIPS*. https://arxiv.org/abs/2304.08485

Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. *Proceedings of ICML, 139*, 8748–8763. https://proceedings.mlr.press/v139/radford21a.html

Radford, A., et al. (2023). Robust Speech Recognition via Large-Scale Weak Supervision. *Proceedings of ICML, 202*, 28492–28518. https://proceedings.mlr.press/v202/radford23a.html

Shen, J., et al. (2018). Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions. *ICASSP*. https://arxiv.org/abs/1712.05884