Una respuesta puede conservar todas las palabras importantes de una instrucción y alterar, sin embargo, su significado. «No todos los documentos están firmados» no tiene las mismas condiciones de verdad que «ningún documento está firmado». De «cada participante eligió un texto» no puede deducirse que todos eligieran el mismo. Para preservar las condiciones de verdad de un enunciado hay que atender, por tanto, a las relaciones estructurales que determinan cómo se combinan sus componentes, algo que el reconocimiento del vocabulario y la producción de una frase plausible dejan sin controlar.
Los errores semánticos son especialmente difíciles de detectar cuando la respuesta mantiene el tema y parece razonable. Un resumen puede convertir una posibilidad en certeza; en una consulta, la negación puede recaer sobre el conjunto equivocado; en una traducción puede perderse la diferencia entre obligación y permiso. Esta lectura examina esas alteraciones con ejemplos construidos y procedimientos de análisis para identificar qué contenido cambió, cómo comprobarlo y qué límites tienen las pruebas disponibles, sin extender a cualquier inteligencia artificial lo observado en modelos específicos.
Qué cuenta como error semántico
Hay error semántico cuando la interpretación o la producción de un enunciado modifica una distinción de significado relevante para la tarea, sea en los participantes, las relaciones, las cantidades, el tiempo, la modalidad o la referencia. No toda diferencia de palabras es un error, ya que dos paráfrasis pueden conservar las mismas condiciones pertinentes. Tampoco toda frase extraña es semánticamente incorrecta. Hay que explicitar qué ha de preservarse y en qué contexto se juzga, porque la equivalencia se determina siempre respecto del contenido y de las inferencias que la actividad necesita mantener.
Un error de hecho difiere de un error de composición. Afirmar una fecha equivocada puede deberse a información incorrecta. Interpretar «después de esa fecha» como «antes» altera, en cambio, una relación aunque la fecha sea exacta. Ambos fallos pueden coexistir y piden reparaciones distintas. Una fuente más fiable no siempre repara una inversión de alcance. A la inversa, un mejor análisis estructural no asegura que el dato recuperado sea verdadero. La investigación ha de localizar qué parte del proceso produce la discrepancia. La ambigüedad añade un tercer caso, el de un enunciado que admite varias lecturas sin dar información suficiente para elegir entre ellas. Seleccionar una interpretación posible no siempre es un error semántico, aunque presentarla como la única puede ser una decisión inadecuada; cuando la ambigüedad afecta al resultado, el sistema debería conservarla o pedir una aclaración. Corresponde a la evaluación separar las respuestas incompatibles con todas las lecturas disponibles de las que son compatibles con una lectura que la interacción no dejó suficientemente establecida.
Un procedimiento básico consiste en construir un contraejemplo. Si una paráfrasis supuestamente equivalente es verdadera en una situación donde la original es falsa, hay una diferencia que examinar. La técnica ayuda a controlar inferencias locales, aunque no resuelve toda la semántica del lenguaje. Los ejemplos deben especificar lo necesario para que el desacuerdo no provenga de información omitida. Bien construida, la comparación entre situaciones posibles suele revelar el problema mejor que una valoración general de la semejanza entre dos cadenas de palabras.
Alcance y orden de aplicación
El alcance indica sobre qué contenido opera una expresión. La negación, los cuantificadores y los operadores modales pueden combinarse de varias maneras. «No es obligatorio entregar un apéndice» niega una obligación, mientras que «es obligatorio no entregar un apéndice» impone la de omitirlo. Aunque las palabras principales coinciden, el orden en que se aplican los operadores cambia y, con él, la relación normativa. Una interpretación correcta conserva esa estructura. Detectar los términos «obligatorio», «entregar» y «no» deja sin determinar el orden en que se aplican.
Una notación puede hacer visible el contraste. Si A designa la acción de entregar el apéndice y O el operador de obligación, la primera lectura puede escribirse como y la segunda como . Las fórmulas solas no eliminan las dificultades del lenguaje natural, ya que dependen de que la traducción inicial sea adecuada y de cómo se interprete la modalidad. Su utilidad está en mostrar que la posición relativa de los operadores produce diferencias que una representación basada solo en las palabras compartidas puede ocultar.
El alcance no siempre coincide de manera simple con el orden superficial, porque en las lenguas la sintaxis, la prosodia y el contexto intervienen en las lecturas disponibles. Desplazar un adverbio puede modificar las preferencias interpretativas sin que exista una regla mecánica válida para todos los casos. Un sistema debe reconocer cuándo una estructura admite varias interpretaciones y qué información las restringe. Antes de atribuir una confusión al sistema, quien analiza errores tiene que comprobar que la oración de prueba no sea también ambigua para lectores competentes.
La relevancia práctica de estas distinciones aparece al ejecutar instrucciones. En «revisar todos los archivos que no estén aprobados», la negación restringe el conjunto de archivos que se revisarán, sin ordenar que se deje de revisar todo. En «no revisar todos los archivos», la lectura puede permitir una revisión parcial. Tratar ambas órdenes como equivalentes modifica la cobertura de la tarea. Antes de actuar, el sistema debería representar de forma explícita el conjunto afectado y la operación que va a aplicarle.
Negación y conservación de alternativas
Negar una proposición elimina su verdad dentro del marco pertinente sin determinar cuál de las alternativas es la verdadera. «El paquete no llegó el lunes» es compatible con que llegara otro día y con que todavía no haya llegado. Inferir que llegó el martes añade información, un salto que aparece cuando un sistema completa la narración con la alternativa más habitual. La coherencia del relato puede ocultar entonces que la conclusión no se deduce del contenido disponible y que haría falta evidencia adicional para aceptarla.
La negación también puede tener objetivos locales. «No cambies el título, cambia el subtítulo» conserva una parte del documento y modifica otra. Cuando el sistema solo identifica una actitud global de corrección, puede alterar tanto el título como el subtítulo. Para interpretar la instrucción, el sistema debería vincular cada predicado con su objeto y su polaridad. Las correcciones contrastivas son buenas pruebas precisamente porque obligan a mantener a la vez una prohibición y una acción positiva, sin asignar un valor negativo a toda la intervención del usuario.
Las lenguas difieren en la manera de expresar la negación. En español, «no vino nadie» es un caso de concordancia negativa, en el que varios elementos negativos de una misma construcción expresan una sola negación; leer la oración como una doble negación lógica que afirma una llegada sería un error. Una evaluación multilingüe que traduzca literalmente patrones de otra lengua puede fabricar errores o esconderlos. El análisis ha de atender a las convenciones de cada variedad y separar el número de formas negativas visibles del número y la disposición de los operadores que intervienen en la lectura.
Ettinger (2020) aplicó a BERT diagnósticos inspirados en experimentos psicolingüísticos y encontró dificultades relevantes con la negación en sus pruebas. Kassner y Schütze (2020) documentaron también limitaciones de modelos preentrenados mediante contrastes negativos y contextos distractores. Estos resultados, obtenidos con modelos que hoy son históricos, justifican evaluar la negación de manera dirigida. De ellos no puede concluirse que todos los modelos posteriores fallen de la misma manera, ni que cualquier respuesta correcta ante una oración negativa acredite un dominio general de su composición semántica.
Cuantificadores y dependencias
Los cuantificadores indican cómo se distribuye una propiedad sobre un dominio. «Todos», «algunos», «ninguno», «exactamente tres» y «la mayoría» imponen condiciones diferentes, de modo que un resumen que sustituya uno por otro puede cambiar por completo el resultado aunque mantenga el resto de la frase. En su lectura lógica mínima, «algunos participantes discreparon» es compatible con que todos lo hicieran, aunque en ciertos contextos puede sugerir que no fueron todos. Esa inferencia pragmática se suma al contenido cuantificacional básico y debe analizarse por separado.
Cuando se combinan cuantificadores aparecen dependencias. «Cada estudiante consultó un artículo» puede describir un artículo distinto por estudiante o, en ciertos contextos, un mismo artículo compartido. Con las restricciones apropiadas sobre estudiantes y artículos, la lectura distributiva puede representarse como y la de un artículo común como . Basta imaginar tres estudiantes que consultan tres artículos distintos para ver que la primera condición puede cumplirse sin que se cumpla la segunda. Las lecturas colectivas introducen otra distinción. «Cuatro personas levantaron una mesa» puede describir una acción conjunta y no cuatro levantamientos independientes; reformularla como «cada persona levantó una mesa» cambia la distribución y quizá también el número de objetos. Una representación adecuada conserva si el predicado se aplica al grupo o a sus integrantes. Para ello hay que analizar, además de contar entidades, la estructura del evento y las relaciones de participación que el enunciado permite atribuir.
El dominio de cuantificación también debe quedar establecido. «Todos llegaron» puede abarcar a las personas invitadas, a quienes confirmaron su asistencia o al grupo presente en la conversación. Un sistema que amplía el dominio sin justificación obtiene una conclusión más fuerte que la autorizada. La dificultad es a la vez semántica y contextual, ya que el cuantificador mantiene su función mientras cambia el conjunto sobre el que opera. Lo prudente en tareas estructuradas es registrar ese conjunto. En una conversación puede bastar una aclaración cuando varias opciones afectan a la respuesta.
Monotonicidad e inferencias léxicas
La monotonicidad estudia en qué casos la sustitución de una expresión por otra más amplia o más restringida conserva una inferencia. Si todos los caniches son perros, de «algunos caniches ladraron» se sigue «algunos perros ladraron»; la sustitución amplía la clase del sujeto y conserva la afirmación existencial. A partir de «todos los caniches ladraron», en cambio, es inválido concluir que todos los perros lo hicieran. El mismo vínculo léxico tiene consecuencias distintas según la estructura cuantificacional en la que aparece la expresión sustituida. Con «ningún perro entró» la dirección es la contraria a la del existencial. Reemplazar perro por caniche conserva la validez, ya que si ningún integrante de la clase amplia entró, tampoco lo hizo ninguno de su subclase; que ningún caniche entrara, sin embargo, es compatible con la entrada de un perro de otra raza. Un sistema que trate la semejanza semántica como permiso general de sustitución confundirá relaciones léxicas con relaciones inferenciales. La evaluación ha de comprobar las dos direcciones, incluidos los casos en que ampliar el vocabulario lleva a una conclusión inválida.
Los numerales añaden contrastes. De «al menos tres caniches entraron» se sigue que al menos tres perros entraron. Con «exactamente tres caniches entraron» falla la inferencia paralela hacia «exactamente tres perros entraron», porque pudo entrar además algún perro que no fuera caniche. El número se mantiene en la superficie mientras cambia la cuantificación sobre el conjunto total. Estas pruebas ayudan a separar el reconocimiento de cantidades del manejo de las condiciones que hacen verdadera una afirmación numérica.
Yanaka y colaboradores (2019) introdujeron HELP, un conjunto de datos para estudiar inferencias que combinan fenómenos léxicos y lógicos, con atención a la monotonicidad. En sus experimentos, el aumento de datos produjo mejoras desiguales según el tipo de inferencia. El interés metodológico del trabajo está en sus contrastes dirigidos, que separan fenómenos que una precisión agregada mezcla. Para evaluar otro sistema hay que repetir las pruebas que correspondan y estudiar su generalización, sin suponer que más ejemplos de entrenamiento resuelven de manera uniforme todas las combinaciones estructurales.
Participantes, relaciones y voz gramatical
Una oración expresa relaciones entre participantes y no se reduce a una colección de entidades mencionadas. «La editora corrigió al traductor» y «el traductor corrigió a la editora» comparten vocabulario y describen eventos diferentes. Es posible conservar los nombres e invertir, aun así, quién realiza la acción y quién resulta afectado. La voz pasiva permite el movimiento opuesto, una paráfrasis que cambia el orden superficial y mantiene la relación («el traductor fue corregido por la editora»). La evaluación tiene que separar los cambios de forma de los cambios de roles semánticos. Los predicados relacionales exigen además atención a la dirección y a la aridad. «Ana envió el informe a Luis» incluye un emisor, un objeto y un destinatario. En un resumen general puede aceptarse que se omita al destinatario, pero sustituirlo por Ana es un error. Algunos fallos surgen cuando la representación conserva solo pares de palabras y pierde el vínculo completo. En las tareas de extracción conviene comprobar cada argumento y su relación con el evento, sobre todo cuando varias personas y documentos aparecen próximos dentro de un mismo párrafo.
La causalidad agrega relaciones de otro orden. «La reunión se aplazó después del corte eléctrico» establece una secuencia temporal sin afirmar necesariamente que el corte causara el aplazamiento. Una paráfrasis causal añade un compromiso. Los modelos pueden preferirla porque es plausible, aunque una lectura puede ser plausible sin estar implicada por el enunciado. El sistema debe distinguir lo expresado, lo inferido y lo desconocido, sobre todo cuando el resultado se usará como registro de hechos.
Las nominalizaciones pueden ocultar a los participantes. Según el contexto, «la revisión del comité» designa una revisión realizada por el comité o una revisión cuyo objeto es el comité. Resolver automáticamente la ambigüedad por frecuencia puede bastar en algunos usos informales y ser problemático en una extracción precisa. Una prueba adecuada da un contexto desambiguador y comprueba si el modelo lo utiliza; si ese contexto falta, la respuesta debería admitir las dos lecturas sin imponer una asignación de roles.
Polisemia, tipos e intensionalidad
La polisemia permite que una palabra participe en sentidos relacionados. En «la universidad publicó el informe», universidad designa por lo general una organización; en «la universidad está junto al río» puede designar sus instalaciones. La interpretación tiene que ajustarse al predicado y al contexto.
Se produce un fallo de tipo cuando el sistema atribuye a una entidad propiedades que corresponden a otra lectura sin una transición justificable. La definición de diccionario es apenas un punto de partida para evitarlo. Hay que seguir, además, cómo el discurso construye su referente y lo modifica.
Los predicados intensionales restringen ciertas sustituciones. Alguien puede buscar un libro todavía no identificado sin que exista un libro concreto que ya esté buscando bajo una descripción determinada. En la atribución de creencias hay que conservar, de modo semejante, la perspectiva del sujeto. Dos nombres pueden designar a la misma persona y no ser intercambiables en un informe sobre lo que otro sabe. La equivalencia referencial externa no asegura la equivalencia en todos los contextos de pensamiento o de información atribuida.
Un ejemplo construido aclara el problema. Clara sabe que la autora de una novela asistirá al encuentro, pero desconoce que esa autora usa cierto seudónimo. Si un informe sobre lo que Clara sabe reemplaza la descripción por el seudónimo, podría atribuirle información que no posee. El sistema necesita representar por separado lo que sabe el narrador y lo que se atribuye a Clara, distinción que pesa en los resúmenes de entrevistas, el análisis de testimonios y la reconstrucción de decisiones tomadas con información incompleta.
Las expresiones evaluativas también dependen del contexto. «Un buen traductor» evalúa a una persona respecto de una función y no implica que sea buena en cualquier dimensión moral o profesional. «Un antiguo director» no quiere decir que alguien sea antiguo y además director en el presente. En algunos casos, el modificador altera la forma en que se aplica el sustantivo. Una composición que trate siempre los modificadores como propiedades independientes producirá inferencias indebidas, aunque cada palabra haya recibido por separado una representación léxica razonable.
Modalidad, posibilidad y obligación
La modalidad sitúa una proposición respecto de posibilidades, conocimientos, capacidades o normas. Según la situación, «puede entrar» expresa permiso, capacidad o posibilidad. Un sistema que traduzca todas esas lecturas como una misma autorización puede realizar una acción que el enunciado solo describía como factible. La interpretación debe identificar la fuente modal, sean reglas, circunstancias, evidencia o habilidades. Cuando esa fuente no está clara y afecta a la ejecución, una pregunta breve puede evitar que una posibilidad se convierta en instrucción.
La negación modal produce contrastes centrales. «No es necesario asistir» deja sin decidir si se asiste, mientras que «es necesario no asistir» excluye la asistencia dentro de la norma. En el terreno epistémico, «no se sabe que ocurrió» y «se sabe que no ocurrió» atribuyen al conocimiento contenidos distintos. Una simplificación estilística que borre estas diferencias transforma la incertidumbre en evidencia negativa, de modo que las revisiones de claridad deben comprobar que la reducción de palabras deje intacto el alcance de los operadores epistémicos y normativos.
Los condicionales también pueden perder su estructura. «Si se recibe la aprobación, se publicará el texto» no afirma que exista aprobación ni que la publicación haya ocurrido. Un resumen que presente ambas cosas como hechos convierte un plan condicionado en una secuencia realizada. El seguimiento de la tarea exige distinguir el requisito pendiente, la condición satisfecha y la acción ejecutada, sea en lenguaje natural o en una estructura formal, aunque los eventos aparezcan próximos en la descripción.
La modalidad tiene grados y fuentes que no siempre admiten una escala numérica simple. Una hipótesis plausible, una obligación administrativa y una capacidad física no son variantes de una misma probabilidad. Asignarles un único valor de confianza puede borrar diferencias conceptuales. El análisis debe identificar primero qué clase de compromiso expresa el enunciado; solo después tiene sentido preguntar si alguna incertidumbre puede cuantificarse y qué significaría esa medida para la decisión del usuario.
Tiempo, aspecto y cambios de estado
El tiempo verbal ubica los eventos respecto de puntos de referencia, aunque solo fija una parte de la cronología. «Cuando llegó la carta, el equipo ya había terminado» establece una anterioridad que puede perderse si el resumen sitúa ambos eventos en el mismo pasado. Una respuesta correcta conserva qué ocurrió antes, qué estaba en curso y qué sigue pendiente. Esa información es necesaria siempre que una decisión dependa del estado de cosas en un momento determinado, como en la reconstrucción histórica o el seguimiento de proyectos. El aspecto, por su parte, diferencia procesos, culminaciones y estados. «Estaba redactando el informe» es compatible con que el informe quedara sin terminar. «Dejó de revisar» presupone una actividad previa y marca su interrupción, sin probar que la revisión estuviera completa. Los sistemas que favorecen desenlaces plausibles pueden convertir procesos en resultados. La verificación debe preguntar qué evidencia hay de culminación. En herramientas operativas, comenzar una tarea, obtener una salida parcial y confirmar su finalización requieren señales distintas y no deberían anunciarse los tres con el mismo lenguaje de éxito.
Los límites temporales requieren precisión. Si el criterio opera sobre años completos, «después de 2018» excluye ese año y «desde 2018» suele incluirlo. «Antes del cierre» depende de cuál sea el cierre y de la unidad temporal. Una consulta estructurada debe traducir esas relaciones a comparaciones adecuadas y conservar la zona horaria cuando corresponda. El error puede producirse en el paso del lenguaje a los datos aunque el modelo explique bien la diferencia en una respuesta verbal.
Las actualizaciones de estado pueden invalidar información anterior. Si un documento estuvo pendiente y luego fue aprobado, un resumen que mezcle ambos momentos puede producir una contradicción aparente. Para deshacerla hay que ordenar temporalmente los estados, con independencia de cuál de las afirmaciones sea más frecuente. Un cambio real se distingue, además, de una corrección del registro. «Se aprobó hoy» describe un evento; «la fecha anterior era incorrecta» modifica una representación. Ambos obligan a actualizar la información, aunque de maneras semánticamente diferentes si se quiere conservar la historia del documento.
Entailment, contradicción e información insuficiente
La inferencia textual distingue entre lo que se sigue de un enunciado (entailment), lo que lo contradice y lo que permanece indeterminado. Si en el contexto la expresión admite una lectura mínima, de «Marta leyó dos artículos» no se desprende necesariamente que leyera solo dos. Tampoco se desprende que leyera cinco. La etiqueta correcta se decide según la interpretación que el contexto haya establecido. Una anotación que presupone exactitud donde los lectores aceptan una lectura mínima puede penalizar respuestas semánticamente defendibles sin reconocer la ambigüedad, por lo que el conjunto de evaluación debe controlar estas posibilidades. La ausencia de información, por su parte, no equivale a la falsedad. Si un catálogo no registra la afiliación de un autor, la conclusión de que carece de ella solo sería válida bajo una política explícita que garantizara la completitud del registro y definiera cómo representar las ausencias. Los sistemas que consultan bases de datos deben distinguir el mundo descrito del contenido registrado. Una respuesta negativa puede provenir de la falta de resultados, de una condición realmente falsa o de datos insuficientes para evaluar el caso solicitado.
ScoNe, presentado por She y colaboradores (2023), emplea contrastes controlados para examinar cuándo una negación afecta a una inferencia y cuándo la deja fuera de su alcance relevante. El trabajo muestra también que el formato de la tarea puede modificar el desempeño de los modelos evaluados. Una puntuación aislada es, por tanto, una base débil para atribuir una capacidad general. Conviene describir con precisión las condiciones de evaluación y comparar formulaciones, tareas y contextos manteniendo controlada la distinción semántica que se estudia. Las explicaciones generadas no sustituyen la comprobación de inferencias. Un sistema puede producir una justificación plausible después de elegir una etiqueta incorrecta, o acertar gracias a una pista superficial y dar un razonamiento que no determinó su respuesta. Para evaluar el comportamiento hacen falta contrastes que cambien la conclusión cuando cambia el alcance y la mantengan cuando el cambio es irrelevante. La consistencia entre casos aporta una evidencia más fuerte que una única explicación convincente sobre un ejemplo que coincide con las expectativas comunes.
Una consulta bibliográfica como caso de estudio
Supongamos que una investigadora solicita artículos publicados después de 2018, con al menos dos autores y sin ninguna afiliación fuera de Chile. La petición, ficticia, reúne una restricción temporal, una cuantificación sobre autores y una negación sobre afiliaciones, cada una de las cuales debe aplicarse al objeto correcto. Contar afiliaciones y contar autores son operaciones diferentes. Tampoco coinciden excluir los artículos cuyos autores están todos fuera de Chile y excluir cualquier artículo que contenga una afiliación extranjera, que es lo que pide la investigadora.
Consideremos cinco registros. El primero, de 2019, tiene dos autores con afiliación en Chile y satisface todas las condiciones declaradas. El de 2020 reúne tres autores, uno de ellos con afiliación argentina, por lo que debe excluirse. Para el registro de 2021, con dos autores y una afiliación desconocida, hay que decidir cómo se trata la incertidumbre. El cuarto queda fuera por el límite temporal, ya que es de 2018. El quinto, de 2022, tiene un solo autor y no alcanza el mínimo exigido.
El registro de 2021 obliga a explicitar la política de datos. Si la tarea exige asegurar que ninguna afiliación sea extranjera, el valor desconocido impide incluirlo con seguridad, aunque tampoco justifica clasificarlo como extranjero. Queda una tercera posibilidad, mantenerlo como pendiente de verificación, que respeta la diferencia entre ausencia de evidencia y evidencia de ausencia. El sistema debería explicar esa decisión cuando afecta al conjunto entregado, sin presentar la incertidumbre como una propiedad real de un artículo cuya afiliación no se ha podido comprobar.
Una validación útil traduce la instrucción a condiciones explícitas, prueba cada registro y revisa los casos límite antes de contrastar el resultado con la formulación original. Si el sistema reformula la petición como «artículos chilenos recientes con varios autores», pierde restricciones e introduce criterios que nadie definió. Esa paráfrasis puede aceptarse como descripción informal, aunque resulta inadecuada como especificación de la consulta. Una respuesta semánticamente adecuada debe conservar los operadores, los dominios y el tratamiento de los datos desconocidos hasta el resultado final de la tarea.
Diseñar pruebas que detecten el fallo
Una prueba dirigida modifica un elemento y mantiene los demás tan constantes como sea posible. Cambiar «todos» por «algunos», desplazar una negación o invertir los participantes permite examinar la sensibilidad a una distinción concreta. El control formal tiene un límite, porque las frases deben seguir siendo interpretables y las respuestas esperadas han de estar justificadas; un contraste artificialmente extraño puede terminar midiendo la adaptación a un formato inusual. Lo recomendable es combinar los ejemplos controlados con tareas naturales en las que la misma estructura tenga consecuencias reconocibles para el usuario.
Las pruebas tienen que incluir cambios relevantes e irrelevantes. Un modelo que modifica su respuesta ante cualquier palabra negativa puede parecer sensible a la negación mientras ignora su alcance. Una oración incidental como «el autor no estaba disponible» quizá no afecte a la clasificación de un argumento situado en otro segmento. El sistema debe distinguir dónde opera la negación. Si se evalúan ambas clases de cambio, es posible detectar estrategias superficiales que dan buenos resultados cuando los ejemplos solo contienen correlaciones simples entre forma y etiqueta.
Para estudiar la generalización hay que variar vocabulario, estructura y contexto. Cabe que un sistema aprenda una plantilla con perros y gatos y falle cuando la misma relación aparece entre documentos y versiones, o que maneje una negación y pierda consistencia cuando esta se combina con cuantificación o modalidad. Las pruebas deberían incluir composiciones distintas de las vistas en el entrenamiento o la demostración, con resultados desglosados por familias de fenómenos para que una precisión agregada no esconda un fallo concentrado en estructuras relevantes para la aplicación.
Las respuestas ambiguas de los lectores humanos son información sobre el material y deben conservarse. Que la mayoría de los anotadores prefiera una lectura indica que esa lectura es frecuente, aunque para sostener que es la única hace falta otra justificación. Se puede entonces revisar la formulación, dar más contexto o aceptar más de una respuesta. Una buena prueba semántica no debería premiar al sistema por reproducir sesgos de anotación ni penalizarlo por reconocer una ambigüedad real. Cuando se afirma que solo una lectura es válida, deben documentarse las interpretaciones previstas y los motivos para excluir las alternativas.
Reparar significado y limitar propagación
La reparación empieza por identificar la distinción que se perdió. Una explicación como «Interpreté “no todos” como “ninguno”» localiza el problema mejor que una disculpa genérica. A continuación deben revisarse el resultado y sus dependencias, porque una selección errónea puede haber afectado a una tabla, a un resumen y a una conclusión, consecuencias que quedan intactas si se corrige solo la frase visible. Una reparación semántica completa conserva el alcance de la modificación y comprueba qué partes del trabajo deben recalcularse o reinterpretarse para que el conjunto vuelva a ser coherente.
Las representaciones intermedias ayudan en este trabajo cuando vuelven inspeccionables las decisiones interpretativas y permiten corregirlas. Explicitar condiciones, participantes y estados facilita la detección de inversiones antes de ejecutar una tarea, aunque la representación intermedia también puede estar equivocada y debe validarse contra la instrucción y contra casos de prueba pertinentes. Una notación formal no exime de comprobar la traducción del lenguaje a la estructura, porque esa traducción es precisamente uno de los lugares donde aparecen errores.
Pedir una aclaración tiene sentido cuando las distintas lecturas cambian materialmente el resultado. Si «cada persona revisa un documento» puede significar un documento distinto por persona o uno común, el sistema puede formular una pregunta específica. Cuando el contexto ya resuelve la cuestión, insistir en aclaraciones innecesarias añade costo. Se busca una interpretación suficiente para la actividad, con las incertidumbres localizadas, que evite tanto la ejecución precipitada como la parálisis ante ambigüedades irrelevantes para la decisión.
Los fallos de alcance muestran que la precisión lingüística es una condición operativa de la IA. Negaciones, cuantificadores, modalidades y relaciones temporales determinan qué se afirma y qué se hace. La lectura siguiente extiende el análisis a lo que se comunica mediante implicaturas, presuposiciones y contexto, donde la interpretación excede lo expresado de manera explícita.
Referencias
Ettinger, A. (2020). What BERT Is Not: Lessons from a New Suite of Psycholinguistic Diagnostics for Language Models. Transactions of the Association for Computational Linguistics, 8, 34–48. https://doi.org/10.1162/tacl_a_00298
Kassner, N., & Schütze, H. (2020). Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly. En Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 7811–7818). https://aclanthology.org/2020.acl-main.698/
She, J. S., Potts, C., Bowman, S. R., & Geiger, A. (2023). ScoNe: Benchmarking Negation Reasoning in Language Models With Fine-Tuning and In-Context Learning. En Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, Volume 2: Short Papers (pp. 1803–1821). https://aclanthology.org/2023.acl-short.154/
Yanaka, H., Mineshima, K., Bekki, D., Inui, K., Sekine, S., Abzianidze, L., & Bos, J. (2019). HELP: A Dataset for Identifying Shortcomings of Neural Models in Monotonicity Reasoning. En Proceedings of the Eighth Joint Conference on Lexical and Computational Semantics (pp. 250–255). https://aclanthology.org/S19-1027/