Reconocimiento de señales y participación en actividades
Aunque un agente multimodal reciba palabras, imágenes, sonidos y estados de un entorno y emplee esa información para producir respuestas o acciones, la actividad en curso puede seguir siendo opaca para él. Reconocer una taza y una mano deja sin decidir si alguien ofrece una bebida, retira un objeto o muestra una grieta. El problema central es determinar qué función cumplen los elementos perceptibles en ese momento concreto. La comunicación situada exige relacionar las señales con su secuencia, con los fines de quienes intervienen y con las condiciones de participación.
La multimodalidad técnica designa la combinación de tipos de datos, mientras que la multimodalidad de la interacción describe cómo distintos recursos participan en una acción comprensible. Ambas perspectivas pueden cruzarse sin llegar a coincidir. Nada impide que un modelo integre representaciones visuales y lingüísticas sin reconocer quién tiene autoridad para solicitar un cambio, o que identifique correctamente un gesto y le atribuya una función equivocada. La evaluación de un agente debe examinar las relaciones entre percepción, interpretación, decisión y consecuencias, además de su rendimiento en tareas de reconocimiento aislado.
El término agente se usa aquí en sentido funcional y designa un sistema que mantiene alguna relación entre objetivos, información y acciones dentro de un entorno. La palabra no le atribuye conciencia, experiencia corporal humana ni una responsabilidad moral comparable a la de una persona. Incorporar sensores y actuadores amplía las capacidades operativas del sistema, aunque es insuficiente para resolver esas cuestiones filosóficas. Mantener esa distinción ayuda a describir con precisión lo que un sistema puede hacer y evita que una metáfora de participación termine convertida en una atribución injustificada.
Esta lectura relaciona la arquitectura técnica con la organización comunicativa. A partir de ejemplos construidos se examinará cómo cambian la referencia, el tiempo, la coordinación y la reparación cuando un sistema puede observar o actuar. El propósito es identificar las preguntas que cada aplicación debe responder, sin proponer una receta universal para diseñar agentes. Una ayuda para organizar objetos, una interfaz de trabajo y un robot móvil comparten algunos problemas, aunque sus capacidades, sus riesgos y sus condiciones de autorización requieren evaluaciones diferentes.
Recursos semióticos y configuraciones de actividad
Goodwin (2000) analizó cómo el habla, los cuerpos y la organización material del entorno participan conjuntamente en la acción. Su propuesta permite examinar las configuraciones de recursos que resultan relevantes para los participantes y evita tratar todo lo no verbal como un contexto indiferenciado. Esta perspectiva procede de la investigación sobre interacción humana. Trasladarla a agentes artificiales requiere una elaboración adicional, ya que no cabe suponer que un sistema que recibe datos se oriente hacia ellos como lo hacen los participantes humanos de una actividad social.
Pensemos en una mesa con documentos, etiquetas y una pantalla. Los mismos objetos pueden formar parte de una clasificación archivística, de una discusión editorial o de la preparación de envíos. Cada una de esas actividades modifica qué diferencias cuentan. Durante una clasificación, el color de una etiqueta puede indicar una categoría; durante una discusión editorial, quizá señale un asunto pendiente. Un agente que reconoce colores sin conocer la convención local puede actuar de manera técnicamente consistente y funcionalmente equivocada. La interpretación necesita conectar las propiedades observables con el uso que organiza la tarea.
Las configuraciones cambian, además, durante la interacción. Puede ocurrir que un objeto inicialmente irrelevante pase a ser el centro de atención cuando alguien lo señale o lo incorpore a una explicación. También una pantalla puede dejar de mostrar el estado actual tras una actualización. El agente necesita mantener hipótesis revisables sobre la relevancia de cada elemento, sin suponer que todo lo visible pesa lo mismo. La selección de lo relevante tampoco debería ocultarse tras afirmaciones de percepción completa, ya que cualquier sistema opera con límites de acceso, resolución, tiempo y representación que condicionan sus respuestas. La actividad tiene también una historia. «Como antes» puede remitir a una organización acordada en otro momento; «el que falta» supone un conjunto establecido previamente. Algunas referencias pueden resolverse con el entorno inmediato y otras requieren memoria o una aclaración. Un agente útil debe combinar lo presente con los antecedentes de la actividad sin confundirlos. Ha de reconocer, asimismo, cuándo dispone de base suficiente para actuar y cuándo una diferencia aparentemente pequeña puede cambiar el objeto, el destinatario o la finalidad de la acción solicitada.
Arquitecturas que conectan lenguaje y percepción
En términos generales, un sistema multimodal transforma entradas heterogéneas en representaciones utilizables por sus componentes de razonamiento y acción, para lo cual puede integrar las señales en una arquitectura común o coordinar módulos especializados. Esa elección condiciona qué información se conserva y cómo se propagan los errores. Ninguna traducción entre modalidades preserva todas las funciones de cada una. Una descripción textual de una imagen facilita algunas operaciones y puede perder detalles espaciales; una representación visual conserva otras relaciones, aunque, aislada, no explica el significado social de lo observado.
PaLM-E, presentado por Driess y colaboradores (2023), incorporó entradas visuales, estimaciones continuas de estado y texto en un modelo de lenguaje multimodal. Sus evaluaciones abarcaron tareas y configuraciones específicas de planificación robótica y de comprensión visual, de modo que sus resultados no acreditan una comprensión situada general ni hacen de la integración de modalidades un equivalente de la experiencia humana. El trabajo interesa aquí porque muestra una vía técnica para conectar el lenguaje con información perceptiva y con estados de un sistema.
Una arquitectura tiene que distinguir la percepción actual de la representación almacenada. Si una imagen se captó antes de que alguien moviera un objeto, su interpretación puede quedar desactualizada aunque el reconocimiento original fuera correcto. La memoria del agente debe asociar cada contenido a un momento y a una fuente e impedir que una descripción generada se reutilice como si fuera una observación nueva e independiente. Sin esa separación, un error inicial puede adquirir apariencia de confirmación por circular entre módulos o por reaparecer en resúmenes sucesivos.
Las modalidades tampoco tienen por qué pesar lo mismo. En una tarea, una instrucción explícita puede prevalecer sobre una conjetura visual; en otra, una observación actual puede corregir una descripción antigua. El diseño necesita criterios para resolver discrepancias y para presentar la incertidumbre, porque una respuesta que mezcla señales incompatibles en una narración fluida puede ocultar el problema. La coordinación técnica debe permitir reconocer qué información respalda cada decisión y qué cambio en el entorno obligaría a revisarla.
Referencia, deixis y atención compartida
Expresiones como «esto», «allí» o «el de la derecha» dependen de una organización espacial y discursiva. Interpretarlas puede obligar a relacionarlas con una mirada, un gesto, un cursor o una selección previa. Con todo, la coincidencia temporal entre una palabra y un movimiento no basta para fijar la referencia. Piénsese en una mano que atraviesa el campo visual sin señalar nada o en un cursor que se queda sobre un objeto que dejó de ser el foco de la conversación. Para resolver la referencia hay que examinar cómo se combinan las señales dentro de la secuencia y qué alternativas siguen siendo plausibles. La perspectiva espacial introduce otras ambigüedades. «A la izquierda» puede significar la izquierda de quien habla, la de quien escucha o la de una representación compartida; la orientación de una cámara añade una cuarta posibilidad. La asistencia debe emplear convenciones claras cuando la tarea lo requiera y pedir una aclaración proporcionada cuando una confusión pueda alterar materialmente el resultado. No hay que interrumpir por cualquier detalle irrelevante, aunque tampoco cabe asumir una referencia única cuando el entorno presenta varios candidatos y la acción tendría consecuencias difíciles de corregir.
Que dos sistemas dispongan de la misma imagen es apenas una condición de partida para la atención compartida. Las personas pueden saber que observan el mismo objeto y ajustar su comunicación a ese reconocimiento mutuo. En un agente artificial conviene precisar en términos operacionales qué señales coordinan la referencia, como resaltar un elemento, mostrar una selección o confirmar una descripción. Estas acciones hacen visible una interpretación y abren la posibilidad de corregirla. No prueban que los participantes tengan estados mentales idénticos, aunque pueden sostener una coordinación práctica suficiente para una actividad determinada.
Hay referencias que se construyen de forma progresiva. Una persona pide «la carpeta grande», el agente distingue dos opciones y la persona añade «la que tiene la etiqueta doblada». Esta reparación, que no indica necesariamente un fallo, puede ser una manera eficiente de resolver la incertidumbre sin pedir desde el principio una descripción completa, siempre que el agente conserve las restricciones previas y actualice la selección. Si repite preguntas ya resueltas o ignora la aclaración, debilita la coordinación y carga al usuario con trabajo innecesario.
Posibilidades de acción y límites materiales
Entender una instrucción verbal y poder ejecutarla son capacidades distintas, de modo que un agente puede describir una secuencia razonable y carecer de los medios materiales o digitales para llevarla a cabo. En una interfaz, un control puede estar deshabilitado; en un entorno físico, un objeto puede ser inaccesible. Una respuesta adecuada tiene en cuenta esas condiciones y mantiene visible la diferencia entre la pertinencia de una acción y su viabilidad para el sistema concreto, sin dar por completada una tarea por haber explicado de forma plausible cómo realizarla.
SayCan conectó propuestas lingüísticas de alto nivel con habilidades robóticas y con estimaciones de su viabilidad en el entorno (Ichter et al., 2023). La cita remite a las actas publicadas en 2023 del trabajo presentado en CoRL 2022. Con el repertorio de habilidades y en las condiciones que se evaluaron, el sistema restringió la planificación mediante capacidades concretas. Su diseño ejemplifica una separación útil, pues una acción puede ser pertinente para una instrucción y, aun así, irrealizable para el robot en su estado actual.
Las posibilidades de acción tampoco se agotan en las propiedades físicas. Hay documentos técnicamente editables que un agente determinado no está autorizado a modificar y objetos que pueden moverse aunque su función institucional obligue a conservar su posición. El diseño debe combinar capacidad, finalidad y permiso sin confundirlos, ya que el acceso perceptivo a un recurso no confiere por defecto el derecho de intervenir sobre él. La comunicación con el usuario necesita expresar estas diferencias en términos comprensibles, sobre todo cuando la tarea requiere delegación o implica cambios que afectan a otras personas.
La planificación debe incluir la comprobación de los resultados, porque una orden ejecutada puede dejar sin cumplir su propósito, como ocurre con un archivo guardado con un contenido incorrecto o con un objeto que se desplazó sin quedar en la posición requerida. El agente necesita observar las consecuencias de lo que hizo y compararlas con criterios de finalización. Esa verificación puede ser sencilla en tareas acotadas y más compleja cuando intervienen personas. En cualquier caso, el agente solo debe anunciar el cumplimiento cuando dispone de evidencia del resultado, sin sustituirla por una narración de lo que pretendía hacer.
Tiempo, latencia y coordinación
La comunicación situada ocurre mientras el entorno cambia. Una respuesta correcta pierde utilidad si llega demasiado tarde. En el extremo contrario, una intervención rápida puede interrumpir una acción todavía incompleta. La latencia tiene efectos interaccionales además de técnicos, ya que modifica el turno, las expectativas y la posibilidad de coordinarse. En una conversación audiovisual, una pausa debida a la transmisión o al procesamiento puede interpretarse como el final de una intervención. El agente debe manejar esa ambigüedad sin atribuir intención a cualquier intervalo de silencio. Las modalidades, además, pueden llegar desincronizadas, como cuando un gesto observado corresponde a una palabra anterior o una imagen se actualiza después del audio. Si el sistema combina señales sin atender a sus tiempos, puede construir relaciones inexistentes. La arquitectura ha de conservar la información temporal que la tarea necesite. Del lado del usuario, una interfaz que muestra con claridad qué selección se interpretó le da ocasión de reconocer un desfase y reparar errores que, de otro modo, permanecerían ocultos hasta la acción final.
El momento de actuar debe ajustarse al grado de compromiso de la acción. En algunas tareas, preparar una propuesta es reversible y puede adelantarse, mientras que ejecutar un cambio requiere mayor certeza. Esta diferencia permite coordinar velocidad y control sin pedir confirmación para cada operación menor, porque el sistema puede avanzar por pasos autorizados y detenerse cuando falta una decisión material. Para ejercer bien su autonomía, el agente tiene que reconocer esos límites en el contexto concreto, sin maximizar siempre su iniciativa ni trasladar al usuario cada elección rutinaria.
La interrupción es también un recurso de la interacción. Mientras el agente trabaja, el usuario puede corregir el objetivo o advertir que una condición ha cambiado. El sistema necesita incorporar esa información sin seguir rígidamente el plan anterior. Esta capacidad se vincula con requisitos específicos de seguridad en los entornos físicos y con la cancelación y la revisión de efectos en los digitales. En ambos casos, la comunicación debe dejar claro hasta dónde llegó la ejecución interrumpida y qué queda pendiente, para que la actividad pueda retomarse con expectativas compartidas y verificables.
Percepción parcial y límites de inferencia
Todo agente observa de manera parcial. Una cámara tiene un campo limitado, un micrófono recoge determinados sonidos y una interfaz expone algunos estados mientras oculta otros. Cuando un objeto sale del campo visual, el sistema pierde información sobre él, pero no debería afirmar que desapareció; tampoco puede dar por realizada una acción que no produjo ninguna señal accesible solo porque su resultado era esperable. La representación del entorno tiene que separar las observaciones actuales de las inferencias plausibles y de los aspectos desconocidos, de modo que el alcance de cada afirmación se ajuste a la evidencia y a la función de la tarea. Esa separación alcanza a las descripciones de personas. Una expresión facial, un tono o una postura no indican de manera universal emociones, intenciones o rasgos. Si la tarea lo justifica, el agente puede describir las señales observables, aunque debe abstenerse de convertirlas en una lectura segura de estados internos. Lo apropiado es pedir una aclaración antes que aventurar una atribución unilateral o una interpretación personal que la tarea no necesita.
La incertidumbre puede localizarse por componentes. El sistema quizá reconoce el objeto sin saber si pertenece al conjunto que debe modificar, o comprende la instrucción pero desconoce si la acción previa terminó. Presentar estas diferencias ayuda al usuario a aportar la información que falta. En cambio, una advertencia genérica de baja confianza resultaría poco útil si no indicara qué está en duda. La explicación debe vincular la incertidumbre con la siguiente decisión y mantener un nivel de detalle proporcionado a la complejidad real de la actividad.
Mediante nuevas observaciones, como pasar a una vista autorizada, ampliar una región o pedir una descripción adicional, la percepción activa puede reducir la incertidumbre. Observar más no siempre es necesario ni legítimo. Una tarea sencilla no justifica recopilar información personal adicional sin relación con su objetivo. El agente debe sopesar la relevancia, los permisos y el costo de atención al decidir qué hace falta conocer y qué puede quedar fuera, para evitar que la capacidad de captura derive en una política de vigilancia exhaustiva del entorno.
Reparación y recuperación de la actividad
Los errores de interpretación son inevitables en sistemas complejos, aunque sus consecuencias varían según cómo se detecten y se reparen. Señalar una ambigüedad antes de actuar, mostrar una selección preliminar o dejar que se revierta una modificación son mecanismos que responden a tipos distintos de problema. La reparación no debe reducirse a una disculpa genérica. Tiene que identificar qué ocurrió, qué interpretación se corrigió y cómo se reanuda la tarea, para que el usuario decida si el proceso puede continuar sobre una base fiable.
La corrección humana puede llegar de forma indirecta. «Me refería al otro» presupone que el sistema conserva el conjunto de candidatos; «todavía no» corrige el momento de una acción; «déjalo como estaba» pide restaurar un estado anterior. El agente debe interpretar la función de estas expresiones dentro de la secuencia, porque si responde solo a su contenido literal aislado puede dejar el problema sin resolver. La memoria que el agente necesita abarca las acciones, las selecciones y los compromisos recientes, además de las palabras que aparecieron en la conversación.
La recuperación exige conocer los efectos ya producidos. Si una operación cambió tres elementos antes de ser interrumpida, el sistema tiene que representar el estado resultante y determinar qué cambios pueden revertirse antes de reiniciar. En las acciones externas, algunas consecuencias pueden persistir aunque se restaure una interfaz. Por eso el sistema debe comunicar con precisión hasta dónde llega la reparación y prometer reversibilidad solo cuando dispone de capacidades reales para revertir, sin hacer de esa promesa una fórmula tranquilizadora que oculte cambios materiales o sociales.
También conviene aprender de la corrección dentro del alcance adecuado. Si el usuario aclara una convención local, el agente puede utilizarla durante la actividad, aunque no debe convertirla automáticamente en una preferencia permanente ni en una regla general para otras personas. La memoria de reparación necesita contexto y duración, porque una solución situada que se generaliza sin control puede producir errores futuros. El agente ha de conservar lo necesario para coordinar el trabajo y permitir que las convenciones se revisen cuando cambian la tarea, el entorno o la persona con quien interactúa.
Un caso de organización de materiales
Consideremos un escenario construido. Una investigadora prepara una exposición con carpetas digitales, fotografías de objetos y un plano de sala. Mientras señala una región del plano, pide a un agente que coloque «estas tres piezas junto a la entrada». La tarea combina referencia visual, selección documental y organización espacial. Antes de modificar nada, el sistema necesita reconocer qué piezas forman el conjunto y qué significa «junto» a esa escala. Identificar tres imágenes y una puerta en una representación gráfica resuelve solo una parte del problema.
El agente muestra una selección preliminar que incluye una fotografía duplicada. La investigadora corrige la selección, porque se refería a tres objetos distintos, no a tres archivos. La aclaración cambia la unidad de trabajo. El sistema debe relacionar las imágenes con las entidades que representan y conservar la distinción entre documento y objeto; si se limitara a contar archivos, podría producir una distribución visualmente ordenada que incumpliría el propósito. La reparación hace explícita una condición semántica de la tarea que la instrucción inicial no expresaba.
Aparece después una restricción. Una de las piezas requiere una vitrina que no cabe en la zona señalada. Ante ese obstáculo, el agente puede proponer alternativas, pero debe evitar presentar una ubicación físicamente inviable como si el problema fuera solo gráfico.
El agente tiene que distinguir, además, un boceto de distribución de una decisión aprobada por el equipo responsable, porque la capacidad de editar el plano no le da autoridad para confirmar la instalación. Una respuesta útil describe la restricción y propone opciones compatibles con el estado actual del proyecto.
Por último, la investigadora cambia el orden del recorrido y la entrada relevante pasa a ser otra. El sistema debe revisar las ubicaciones que dependían de esa referencia, conservar los elementos no afectados y mostrar qué cambió.
El escenario, que es ilustrativo y no evalúa ningún producto concreto, muestra una comunicación situada en la que percepción, lenguaje y acción se ajustan mutuamente. Para cumplir el encargo, el agente tiene que resolver problemas de unidades, convenciones, restricciones y autoridad, además de generar una interpretación razonable de la primera frase recibida.
Cuerpos, interfaces y atribuciones de capacidad
La forma de presentación de un agente modifica las expectativas de sus interlocutores. Un cuerpo robótico, una voz expresiva o un avatar que orienta la mirada pueden sugerir atención y capacidad de acción, por lo que esas señales deben corresponder de manera suficiente a lo que el sistema puede hacer. Cuando el agente parece mirar un objeto que no reconoce, el usuario puede omitir información necesaria; cuando afirma estar escuchando sin procesar audio, la coordinación se vuelve engañosa. El diseño comunicativo tiene que mostrar los estados funcionales del sistema sin que una apariencia convincente le atribuya capacidades inexistentes.
La corporalidad artificial tiene, a su vez, límites propios. Un robot posee sensores y posibilidades de movimiento distintos de los de una persona. A una interfaz digital le ocurre algo parecido cuando accede a estados que el usuario no ve y carece de otros que para este resultan obvios. Cuando esas asimetrías afectan a la tarea, la colaboración requiere hacerlas comprensibles indicando qué observación o acción está disponible, sin necesidad de explicar toda la arquitectura. La expresión «lo veo» debe usarse de manera coherente con la información a la que el sistema accede realmente.
La antropomorfización a veces facilita algunas convenciones de interacción y dificulta otras. Con un gesto reconocible se puede marcar el turno o la selección; en cambio, una conducta demasiado humana puede sugerir una comprensión emocional que nadie ha demostrado. La evaluación debe estudiar efectos situados, sin declarar de antemano que toda semejanza humana beneficia o perjudica. El criterio es si la apariencia ayuda a construir expectativas adecuadas y una coordinación verificable, lo cual obliga a analizarla junto con la función del agente, el entorno de uso y las interpretaciones que produce en usuarios diversos.
La transparencia funcional puede lograrse con señales sencillas que indiquen que una acción se está preparando, que falta una observación o que se necesita una decisión. Esas señales deben integrarse en la actividad sin sobrecargarla, porque una interfaz que explica constantemente sus procesos internos puede distraer más de lo que ayuda. Para que las personas comprendan qué pueden esperar y cómo intervenir, el agente necesita ser legible en sus acciones relevantes, aunque su funcionamiento interno siga siendo técnicamente complejo.
Normas de participación y acciones autorizadas
En una interacción con varias personas, el agente necesita distinguir quién solicita una acción y bajo qué reglas puede atenderla. Una orden audible no siempre está autorizada, pues puede proceder de una conversación ajena, de una reproducción audiovisual o de alguien sin atribuciones sobre el recurso. El diseño debe conectar la interpretación lingüística con los permisos y con el contexto de participación aun cuando la instrucción sea clara, porque la claridad de una orden y la legitimidad de ejecutarla son dimensiones diferentes que deben examinarse antes de intervenir. Algo parecido ocurre con el lenguaje que el agente percibe en los objetos del entorno, como carteles, documentos o ventanas de aplicaciones. Ese contenido puede ser información para la tarea sin ser una instrucción dirigida al sistema. La arquitectura debe preservar la diferencia entre fuente observada y autoridad de control; de lo contrario, una descripción o un mensaje ajeno podría alterar el objetivo autorizado. Cabe entender el problema como una distinción pragmática acerca de quién habla, a quién y con qué función dentro de la actividad que el agente realiza.
La delegación varía en amplitud. Es posible autorizar la organización de unos borradores sin autorizar su envío, o la exploración de una distribución sin confirmar una compra. El agente tiene que mantener esas fronteras a lo largo de modalidades y pasos sucesivos. Como una señal visual de aprobación puede requerir contexto para saber qué se aprobó, la confirmación debe referirse a una acción concreta y a una versión identificable de la propuesta. Pedir permiso de manera indiscriminada deja intacta la ambigüedad cuando el usuario no puede comprender qué consecuencia está aceptando.
Las normas incluyen también la cortesía, los turnos y las prioridades. En la práctica, quizá el agente necesite esperar a que termine una intervención, distinguir una conversación lateral o atender una corrección antes de continuar. Estas reglas no siempre están escritas y varían entre actividades, de manera que la implementación debe estudiarlas en contextos reales y admitir una adaptación razonable. La competencia comunicativa abarca, junto con la ejecución correcta de órdenes, saber cuándo actuar o proponer una alternativa y advertir cuándo una intervención aparentemente útil interfiere con lo que los participantes intentan hacer juntos.
Accesibilidad y pluralidad de entornos
La multimodalidad puede ampliar el acceso al admitir distintas formas de entrada y de salida. Hay quien prefiere la voz, el texto, la selección visual o una combinación de ellos. No obstante, añadir modalidades no asegura la accesibilidad si todas dependen de la misma capacidad o si las alternativas pierden información relevante. El diseño debe permitir realizar la tarea de manera equivalente en lo esencial, sin suponer que todos perciben, se mueven o se expresan del mismo modo. La evaluación tiene que incluir usuarios y situaciones que representen esa diversidad.
Las convenciones gestuales y espaciales tampoco son universales. Un mismo movimiento puede cumplir funciones diferentes según la comunidad, la actividad y la experiencia de quien lo realiza, por lo que el sistema debe evitar atribuciones rígidas basadas en categorías generales. La adaptación tiene que apoyarse en información pertinente y, cuando corresponda, en el consentimiento de las personas, no en inferencias de identidad basadas en la apariencia. La comunicación situada requiere atender a las diferencias sin convertirlas en estereotipos automáticos de comportamiento.
Los entornos técnicos varían en ruido, iluminación, conectividad y disponibilidad de sensores. Una demostración en condiciones controladas cubre solo una parte de esas situaciones. El agente debe reconocer cuándo su funcionamiento se degrada y ajustar sus acciones; a veces bastará con pedir una nueva observación y otras habrá que proponer un procedimiento alternativo o suspender una función. Una degradación comprensible es preferible a una apariencia de normalidad que se mantiene mientras crece la incertidumbre, porque el usuario necesita saber qué limitación afecta a la tarea para decidir cómo continuar.
La privacidad adquiere aquí una dimensión ambiental. Una cámara o un micrófono pueden captar a personas que no participan directamente en la actividad, de manera que la capacidad del agente debe limitarse a la información necesaria y a condiciones autorizadas. Explicar el uso al interlocutor principal resulta insuficiente si quedan involucrados terceros o materiales protegidos.
Los requisitos concretos varían con el contexto. En todos los casos, sin embargo, el diseño debe contemplar la visibilidad de la captura, el alcance del procesamiento y la posibilidad de interrumpirla, porque la coordinación técnica se inserta siempre en relaciones sociales que van más allá del intercambio inmediato con el sistema.
Evaluación de competencia situada
La evaluación de agentes multimodales necesita tareas que obliguen realmente a relacionar modalidades. Si una respuesta puede obtenerse solo a partir del texto, una buena puntuación no es prueba de la integración visual; del mismo modo, el reconocimiento de objetos deja sin examinar la coordinación temporal y la capacidad de recuperación. Conviene que las pruebas descompongan el éxito en funciones para identificar de dónde procede cada parte del rendimiento sin atribuir a una capacidad compleja lo que podrían explicar pistas más simples de los materiales o del diseño de la tarea. Deberían incluir, además, cambios de estado, referencias ambiguas y correcciones, ya que un agente que solo funciona cuando su primera interpretación es correcta puede resultar frágil en la interacción real. También interesa observar qué hace el sistema cuando carece de información suficiente. Una abstención localizada, una pregunta útil o una propuesta reversible pueden ser mejores respuestas que una acción rápida y equivocada. La evaluación debe valorar esas conductas según el objetivo y las consecuencias, sin penalizar cada interrupción como si fuera una falta de competencia.
La comparación tiene que considerar el sistema completo. Un modelo que mejora el reconocimiento quizá aumente al mismo tiempo la latencia o la carga de supervisión. A la inversa, en una actividad limitada una arquitectura más sencilla puede rendir mejor porque presenta estados claros y facilita la reparación. Las métricas deben relacionarse con los resultados de la tarea, el esfuerzo de los participantes y la distribución de los errores. La observación cualitativa podría explicar fallos que una tasa global no muestra; las medidas cuantitativas, por su parte, ayudan a determinar frecuencias y variaciones bajo condiciones de uso definidas.
La transferencia exige estudiar cambios de personas, objetos y convenciones, ya que un agente puede aprender asociaciones locales que dejan de sostenerse en otro entorno. La evaluación debe distinguir la generalización legítima de la extrapolación no comprobada y documentar las versiones y las condiciones técnicas necesarias para interpretar los resultados. La competencia situada es una relación entre capacidades, actividad y entorno que debe volver a establecerse cuando alguno de esos términos cambia. Describirla con precisión permite reconocer los usos adecuados sin inflar las conclusiones sobre inteligencia o comprensión general.
Integración técnica y coordinación pública
Los agentes multimodales vuelven visible una tesis central de la semiótica, según la cual el significado de una señal depende de relaciones que exceden su forma aislada. Una palabra, una imagen y un gesto pueden elaborarse mutuamente dentro de una actividad. Para actuar de manera adecuada, la tecnología necesita representar parte de esas relaciones. Las dimensiones sociales de la participación, la autoridad y la responsabilidad quedan, sin embargo, fuera del alcance de la mera integración de datos. La evaluación tiene que atender a ambas escalas y evitar que el éxito técnico en una operación pase por una explicación completa de la comunicación.
Un diseño sólido conecta la percepción parcial con acciones verificables y con posibilidades de corrección. Cuando la tarea lo necesita, hace visible qué objeto se seleccionó, qué objetivo se sigue y qué resultado se obtuvo. Al mantener, además, las diferencias entre observación, inferencia y autorización, permite que las personas intervengan con criterio y que el agente ajuste su conducta. La cooperación práctica requiere una coordinación suficiente para la tarea y una forma comprensible de resolver los desajustes cuando aparecen, sin necesidad de que los participantes tengan capacidades idénticas. La autonomía útil se define por esa coordinación, que deja al agente avanzar en operaciones rutinarias autorizadas y solicitar decisiones cuando una incertidumbre afecta materialmente al resultado. La comunicación situada da el marco para fijar el equilibrio entre iniciativa y confirmación según la reversibilidad, las consecuencias y la claridad del objetivo, ya que relaciona cada acción con el momento, los recursos y las expectativas que le dan sentido en la actividad compartida.
La lectura siguiente examina las normas sociales del discurso mediado por IA. Incluso un agente que percibe y actúa correctamente necesita operar dentro de expectativas sobre atribución, consentimiento, cortesía y responsabilidad. Esas normas, que no se desprenden sin más de una arquitectura multimodal, se construyen y se negocian en prácticas sociales e institucionales. Comprenderlas permite evaluar si una acción puede realizarse y quién puede solicitarla, así como la forma en que debe presentarse y los compromisos que crea para quienes participan en ella.
Referencias
Driess, D., Xia, F., Sajjadi, M. S. M., Lynch, C., Chowdhery, A., Ichter, B., Wahid, A., Tompson, J., Vuong, Q., Yu, T., Huang, W., Chebotar, Y., Sermanet, P., Duckworth, D., Levine, S., Vanhoucke, V., Hausman, K., Toussaint, M., Greff, K., Zeng, A., Mordatch, I., y Florence, P. (2023). PaLM-E: An Embodied Multimodal Language Model. Proceedings of the 40th International Conference on Machine Learning, PMLR 202, 8469–8488. https://proceedings.mlr.press/v202/driess23a.html
Goodwin, C. (2000). Action and embodiment within situated human interaction. Journal of Pragmatics, 32(10), 1489–1522. https://doi.org/10.1016/S0378-2166(99)00096-X
Ichter, B., Brohan, A., Chebotar, Y., et al. (2023). Do As I Can, Not As I Say: Grounding Language in Robotic Affordances. Proceedings of the 6th Conference on Robot Learning, PMLR 205, 287–318. https://proceedings.mlr.press/v205/ichter23a.html