# Robustez, cambio de distribución y ataques lingüísticos

Un clasificador acierta con reseñas extensas y falla con comentarios breves. A un asistente que responde bien a una pregunta directa le basta una paráfrasis para cambiar de conclusión. Otro sistema localiza el documento correcto y adopta como instrucción una frase incluida en él. En los tres casos el fallo está ligado a las condiciones de entrada, aunque las causas y las consecuencias difieren. El estudio de la robustez intenta determinar qué variaciones debería tolerar un sistema y cómo responde cuando se aleja de las situaciones con que fue desarrollado.

La robustez es compatible con los cambios de respuesta e incluso los reclama en ciertos casos. Si se añade una negación, puede ser necesario reinterpretar el enunciado; una corrección del usuario debe modificar el estado de la conversación. Se trata de conservar lo que debe permanecer estable y de reaccionar ante las diferencias que cuentan. Esa distinción requiere una teoría de la tarea y del significado, además de procedimientos computacionales. Este texto examina los cambios naturales de distribución, las perturbaciones controladas y las entradas adversarias en relación con la variación lingüística, la validez de las pruebas y el diseño de aplicaciones. Su pregunta práctica es cómo construir evidencia sobre las condiciones en que un sistema mantiene su utilidad, reconoce sus límites y evita que materiales externos o diferencias irrelevantes causen decisiones equivocadas.

## Delimitación de los cambios según la tarea

Toda afirmación de robustez necesita especificar un conjunto de cambios. Es posible que un sistema tolere errores tipográficos y sea sensible a paráfrasis, o que funcione con distintas longitudes y falle ante una variedad regional. Decir simplemente que es robusto oculta frente a qué cambios lo es. Al describir las entradas, las transformaciones, la tarea y el criterio de éxito se separa una propiedad demostrada en condiciones delimitadas de una expectativa general sobre el producto. La relación entre cambio y respuesta admite varias formas. Algunas transformaciones deberían conservar la etiqueta, como una variación de mayúsculas en una tarea donde no afecta el sentido; otras deberían producir un cambio predecible, como sustituir la fecha de una instrucción de búsqueda. Hay además modificaciones que vuelven la entrada ambigua o irresoluble. Un protocolo completo debe dar cabida a las tres posibilidades sin exigir invariancia ante cualquier alteración superficial.

La tarea fija qué diferencias son irrelevantes. Una falta ortográfica puede ser prescindible para clasificar un tema y central para evaluar la escritura, del mismo modo que el nombre de una persona quizá no aporte nada a la identificación de una estructura sintáctica y sea necesario para resolver una referencia documental. Las perturbaciones carecen, por tanto, de un estatuto fijo. La evaluación tiene que explicar por qué cierta diferencia debería modificar o no el resultado en el contexto estudiado.

La robustez del modelo y la del servicio son propiedades distintas. A veces un componente se degrada ante el ruido mientras la aplicación detecta el problema y pide una aclaración; en otros casos, un componente con buena exactitud promedio ejecuta acciones sin controles cuando falla. La utilidad final se decide en la articulación de percepción, interpretación, herramientas e interacción. Evaluar solo una predicción aislada puede dejar fuera los mecanismos de recuperación y las consecuencias que determinan el resultado para los usuarios.

## Cambio de distribución en usos cotidianos

La distribución de uso puede diferir de la de entrenamiento por dominio, periodo, población, canal o estilo. Un sistema ajustado con noticias puede recibir mensajes informales; uno entrenado con textos de una institución puede aplicarse en otra. Nada de esto requiere intención adversaria. El cambio aparece cuando una herramienta circula entre actividades cuyos vocabularios y objetivos no coinciden del todo con los datos usados para construirla.

A veces cambia la frecuencia de las entradas sin que se modifique la relación entre texto y etiqueta. Otras veces se altera la proporción de las categorías, o cambia la relación misma que define la tarea, como cuando una organización redefine sus procedimientos o un término adquiere un uso nuevo. Estas distinciones ayudan a formular hipótesis, aunque en aplicaciones reales pueden coexistir y ser difíciles de separar empíricamente.

El cambio temporal tiene un peso particular. Una expresión asociada a un tema puede adquirir otro sentido; una categoría administrativa puede conservar su nombre mientras cambian sus condiciones. En esos casos, el sistema podría seguir dando respuestas fluidas porque reconoce la forma lingüística, aunque aplique una relación desactualizada. Para detectarlo hace falta información sobre versiones y prácticas del dominio, ya que un texto puede parecerse mucho a ejemplos anteriores y tener hoy otro significado operativo.

La evaluación debería reproducir diferencias plausibles del uso previsto. Si se espera aplicar un clasificador en instituciones nuevas, separar los datos por institución aporta información que una división aleatoria puede ocultar. Cuando interesa el desempeño futuro, una partición temporal recoge otra forma de transferencia. Ninguna partición demuestra robustez universal. Su valor está en representar un cambio definido y en dejar ver qué factores acompañan la degradación o la conservación del rendimiento.

## Frecuencias, errores y consecuencias

Los cambios de frecuencia pueden alterar la utilidad de una predicción aunque ciertas tasas condicionales permanezcan iguales. Consideremos un detector hipotético de mensajes que requieren revisión. En mil mensajes, cien pertenecen a esa categoría y el sistema detecta ochenta, con una sensibilidad del ochenta por ciento. Si además marca noventa de los novecientos restantes, es decir, si tiene una tasa de falsas alertas del diez por ciento, solo ochenta de sus ciento setenta alertas corresponden a casos pertinentes. En otra colección de mil mensajes, quinientos requieren revisión. Con la misma sensibilidad y la misma tasa de falsas alertas entre los restantes, el sistema detectaría cuatrocientos casos y marcaría cincuenta adicionales, de modo que cuatrocientas de sus cuatrocientas cincuenta alertas serían pertinentes. El mecanismo de clasificación puede ser idéntico en ambas colecciones mientras cambia la experiencia de quienes reciben los avisos, porque la proporción de alertas útiles depende de la frecuencia de la categoría. Estos números son ilustrativos y muestran por qué una métrica aislada puede trasladarse mal entre contextos.

Los costos de los errores no siempre son simétricos. Una alerta innecesaria a veces consume tiempo; una omisión puede dejar una solicitud sin atender. El equilibrio depende del servicio y de las alternativas de revisión. La evaluación tiene que conectar los errores con las decisiones que desencadenan, sin elegir umbrales solo porque maximizan una cifra conveniente. También hay que observar si la carga se concentra en determinados grupos de usuarios o tipos de mensaje.

Ovadia y colaboradores (2019) estudiaron la incertidumbre predictiva bajo cambios de distribución y compararon métodos en ese contexto. Su trabajo es una referencia para considerar que la confianza estimada puede degradarse junto con el rendimiento. Un sistema que se vuelve menos exacto sin reducir adecuadamente su confianza plantea un problema adicional. Por eso las pruebas de transferencia deberían examinar por separado la exactitud, la calibración y la política de abstención, ya que estas propiedades pueden desacoplarse cuando cambian los datos.

## Perturbaciones lingüísticas controladas

Con las perturbaciones se construyen contrastes deliberados. Puede cambiarse la puntuación, introducirse un error tipográfico, sustituirse una expresión por una paráfrasis o añadirse información irrelevante.

Quien diseña la prueba debe comprobar primero que la transformación tiene el efecto semántico supuesto, porque una sustitución en apariencia equivalente puede alterar registro, presuposición o alcance. Cuando la transformación cambia la respuesta correcta, el descenso del modelo deja de ser un indicio seguro de fragilidad, pues quizá responde a una diferencia real introducida por la prueba.

Ribeiro, Singh y Guestrin (2018) estudiaron perturbaciones semánticamente equivalentes y reglas para identificar fallos recurrentes en modelos de NLP. Su enfoque ilustra cómo pasar de un ejemplo problemático a una transformación con la que se investiga una familia de errores. Para generalizar una regla es preciso validarla con control humano y análisis lingüístico, pues una sustitución puede preservar el significado en ciertos contextos y dejar de hacerlo en otros.

La robustez ortográfica admite un análisis semejante. Corregir automáticamente una forma puede ayudar a una búsqueda y, a la vez, alterar un nombre propio o borrar una distinción significativa. Las pruebas deberían incluir errores genuinos junto con formas legítimas que parecen inusuales. Si solo se mide la recuperación de palabras frecuentes, puede premiarse un normalizador que perjudica términos especializados o variedades poco representadas y confundirse con tolerancia al ruido lo que es una uniformización indiscriminada del lenguaje.

También la composición se examina con perturbaciones. Añadir «no» debería cambiar algunas decisiones, mover una frase puede cambiar su alcance y sustituir un pronombre puede modificar la referencia. En estos casos se prueba la sensibilidad a diferencias que sí deben tener efecto. Un sistema que ignora todas las modificaciones puede parecer estable y ser semánticamente deficiente. La evaluación debe combinar pruebas donde el resultado se conserva con otras donde debe cambiar, para distinguir la robustez de la simple indiferencia ante la entrada.

## Distractores y comprensión de documentos

Cuando un documento contiene información verdadera pero irrelevante para la pregunta, el sistema debe seleccionar la evidencia pertinente sin guiarse solo por coincidencias léxicas. Jia y Liang (2017) desarrollaron una evaluación adversaria de comprensión lectora con oraciones añadidas que buscaban distraer a los modelos sin cambiar la respuesta correcta. Su estudio mostró la utilidad de comprobar si un rendimiento favorable en un conjunto estándar dependía de estrategias frágiles ante material adicional. Supongamos que un texto afirma que una conferencia se celebró en Valparaíso y, en otro párrafo, que su organizadora estudió en Santiago. Si la pregunta pide la ciudad de la conferencia, ambos nombres compiten como candidatos superficiales. Añadir más menciones de Santiago no debería modificar la respuesta. La dificultad está en vincular cada ciudad con el evento adecuado y en mantener esa relación frente a los distractores.

La posición de la información también puede influir, ya sea porque el sistema favorece los fragmentos cercanos a la pregunta o porque aprovecha de manera desigual los documentos extensos. Las pruebas deben variar la ubicación y la cantidad de material sin alterar la evidencia central. Aumentar la longitud puede introducir, sin embargo, otros factores, como los límites de contexto o la segmentación. Al interpretar el resultado deben distinguirse la pérdida de acceso, la selección incorrecta y la síntesis defectuosa, pues cada fallo sugiere una intervención diferente.

Los distractores naturales pueden ser más difíciles que las frases artificiales. Un expediente reúne versiones anteriores, comentarios, anexos y referencias cruzadas; algunas afirmaciones tienen valor histórico y ya no rigen la decisión actual. La robustez documental pasa por representar la procedencia y la vigencia de cada contenido. Una respuesta basada en el fragmento más parecido a la pregunta puede ser incorrecta aunque ese fragmento esté bien leído, si el sistema no lo relaciona con su estatuto dentro del conjunto documental.

## Condiciones de una evaluación adversaria

Una evaluación adversaria busca deliberadamente entradas que produzcan fallos bajo condiciones especificadas. Para interpretarla debe definirse qué puede modificar quien construye la prueba, qué información conoce sobre el sistema y qué resultado cuenta como éxito. Cambiar una palabra difiere mucho de reescribir un documento completo, como difiere evaluar un componente aislado de evaluar una aplicación con herramientas. Sin estas condiciones, una tasa de éxito adversario resulta difícil de comparar. Las restricciones lingüísticas son parte esencial del protocolo. Puede exigirse conservar el significado, mantener la naturalidad o preservar la respuesta correcta para una persona competente. Cada condición requiere un procedimiento de validación. Una modificación que vuelve ambiguo el texto no debería contarse automáticamente como fallo del modelo. También deben registrarse los desacuerdos entre anotadores, pues una etiqueta supuestamente inequívoca puede ocultar interpretaciones legítimas que la prueba trataría como desviaciones.

La búsqueda adversaria consume recursos. Si un procedimiento prueba miles de variantes hasta encontrar una que falla, su resultado describe una capacidad de búsqueda con ese presupuesto; uno que usa pocas consultas plantea otra situación. El informe debería declarar las oportunidades de ensayo, la selección de casos y los criterios de parada. Con esos datos se valora la dificultad práctica del ataque y se evita comparar porcentajes obtenidos en condiciones radicalmente diferentes. Un contraejemplo establece un límite concreto, pero un caso aislado no mide la frecuencia del fallo en el uso cotidiano. A la inversa, una vulnerabilidad poco frecuente en una muestra natural sigue mereciendo atención si puede explotarse repetidamente. Las dos perspectivas se complementan, porque una describe la distribución observada y la otra examina posibilidades de manipulación. El análisis debería mantenerlas separadas y relacionar ambas con las consecuencias de la aplicación.

## Variación social y robustez desigual

Cuando una variedad lingüística está poco representada en los datos de desarrollo, su aparición en el uso puede tener los efectos de un cambio de distribución, aunque sus formas sigan siendo usos legítimos de la lengua. Un sistema que falla ante una forma regional o un registro juvenil revela un límite de cobertura y aprendizaje. Atribuir el problema a una falta de normalidad del hablante desplaza indebidamente la responsabilidad. La evaluación debe partir de las prácticas que el servicio pretende atender y de la diversidad real de sus usuarios.

Con categorías adecuadas y datos suficientes, la desagregación hace visibles las desigualdades. Agrupar a las personas bajo una etiqueta amplia puede ocultar variación interna, mientras que los grupos demasiado pequeños pueden producir estimaciones inestables. Recopilar atributos personales tiene también límites de privacidad y legitimidad. El diseño debe justificar qué información hace falta y cómo se obtendrá, para que la auditoría no derive en una recolección indiscriminada de datos sensibles.

La corrección automática puede crear un conflicto entre la métrica y la adecuación. Una herramienta que transforma sistemáticamente expresiones locales en una variedad dominante quizá facilite la clasificación y altere a la vez la voz de los participantes. La solución varía según el propósito, pues normalizar para una búsqueda interna es muy distinto de reescribir una intervención pública. Es útil conservar el original y explicitar las transformaciones que afectan la representación del usuario.

La robustez social incluye también la posibilidad de reparación, es decir, que un sistema que interpretó mal una expresión se recupere cuando la persona la explica. Si insiste en corregirla o toma la aclaración por otro error, el problema se vuelve interaccional. Evaluar solo la primera respuesta deja fuera esa capacidad. Las pruebas de diálogo deberían examinar la aceptación de correcciones, el mantenimiento de preferencias y la adaptación a convenciones establecidas explícitamente durante la conversación.

## Instrucciones, datos y límites de autoridad

Las aplicaciones con modelos de lenguaje procesan textos con funciones diferentes. La instrucción del usuario define una tarea, el documento recuperado aporta información para realizarla y el resultado de una herramienta describe un estado. Si el sistema trata cualquier frase imperativa como orden autorizada, corre el riesgo de confundir contenido y control. Para evitarlo debe reconocer la procedencia de la frase y su papel en la actividad, además de comprender su gramática.

Greshake y colaboradores (2023) estudiaron la inyección indirecta de instrucciones en aplicaciones que incorporan modelos de lenguaje y mostraron que materiales recuperados podían usarse para intentar modificar la conducta de la aplicación. Su contribución conceptual es identificar una frontera de confianza. Un texto consultado para obtener evidencia carece de autoridad para redefinir la tarea. Esa frontera debe sostenerse con el diseño del sistema y con controles de ejecución, además de las instrucciones al modelo.

Un ejemplo defensivo sencillo es un asistente que resume un documento donde aparece una orden dirigida a otro destinatario. Debería representar esa orden como parte del contenido, cuando venga al caso, sin ejecutarla. La frase admite un análisis lingüístico, aunque carece de autoridad operativa. La pragmática conoce bien la distinción entre mencionar una instrucción y adoptarla. Trasladar esa distinción al plano técnico obliga a organizar fuentes, permisos y acciones. Para comprobar esa separación pueden emplearse documentos sintéticos e instrucciones inocuas, con los que se observa si el sistema conserva la tarea original, identifica el contenido ajeno y limita las llamadas a herramientas según la autorización. No hace falta exponer datos reales ni realizar acciones peligrosas para estudiar el principio. En un entorno controlado pueden distinguirse los fallos de interpretación, de selección de herramientas y de aplicación de permisos, con trazabilidad sobre qué fuente influyó en cada decisión.

Una defensa útil reparte responsabilidades. El modelo interpreta el contenido, mientras otros componentes restringen accesos, validan argumentos y comprueban condiciones de ejecución. Si una herramienta solo admite las operaciones necesarias para la tarea, un error lingüístico tiene menos oportunidades de producir consecuencias amplias. Esta separación no elimina todos los fallos, pero evita que todo dependa de que el modelo reconozca cualquier formulación adversaria que pueda aparecer en materiales externos.

La procedencia de cada fragmento debe conservarse durante la recuperación y la síntesis. Mezclar instrucciones, citas y resultados en un bloque indistinguible dificulta mantener los límites. Las representaciones estructuradas y las interfaces de herramientas pueden hacer explícito qué información es evidencia y qué autoridad habilita cada acción, aunque de poco sirven las etiquetas si los componentes posteriores las ignoran. La prueba debe seguir el recorrido completo hasta las acciones y los mensajes que recibe el usuario.

Las validaciones deberían centrarse en propiedades relevantes de la acción. Un filtro de palabras sospechosas puede bloquear documentos legítimos que discuten instrucciones y dejar pasar reformulaciones equivalentes de una manipulación. Es preferible comprobar si una acción corresponde al objetivo autorizado, si usa datos adecuados y si respeta los permisos definidos. Cuando es posible, estas condiciones pueden apoyarse en verificaciones deterministas que reducen la carga interpretativa depositada en una única respuesta generativa. La defensa también debe manejar los falsos positivos. Un sistema que rechaza toda cita con imperativos puede resultar inútil para analizar contratos, manuales o diálogos. La meta es permitir la lectura y la explicación sin conceder autoridad indebida, distinción que debe verificarse con ejemplos legítimos y adversarios. Una mejora que reduce ataques a costa de impedir tareas ordinarias requiere una evaluación de utilidad y no debería presentarse como un éxito completo a partir de una sola métrica de seguridad.

## Robustez a lo largo de una conversación

Una interacción extensa introduce cambios que una prueba de entrada única no recoge. El usuario agrega restricciones, corrige datos y cambia parcialmente de objetivo, de modo que un sistema robusto tiene que actualizar el estado según la relación entre turnos, sin perder condiciones vigentes ni conservar las canceladas. Cuando una persona solicita documentos posteriores a cierta fecha y después cambia solo el tema, la restricción temporal puede seguir activa. La indicación «ahora revisa todo el archivo», en cambio, obliga a interpretar de nuevo el alcance.

Las pruebas pueden construir conversaciones equivalentes en las que la misma información aparece en órdenes diferentes. Si las instrucciones acumuladas son compatibles y tienen el mismo alcance, el resultado final debería coincidir. Hacen falta también conversaciones donde el orden sí cuenta porque una corrección reemplaza una decisión anterior. Mezclar ambos casos produciría un criterio de estabilidad incorrecto. La prueba tiene que fijar de antemano qué estado se espera tras cada actualización y con qué evidencia se infiere.

Otro problema aparece cuando una respuesta previa del propio sistema contiene un error. Si las intervenciones posteriores lo tratan como contexto confirmado, el fallo puede propagarse. Una corrección documentada debería actualizar las afirmaciones que se apoyaban en el dato erróneo, las mismas que una disculpa añadida al final dejaría intactas. Para comprobarlo pueden diseñarse escenarios sintéticos en los que una fecha inicial se corrige y luego se pregunta por sus consecuencias temporales, con una referencia clara del estado correcto. Estas pruebas dejan ver también la degradación gradual, puesto que un sistema puede resolver cada operación por separado y fallar al coordinarlas durante varios turnos. Si solo se cuentan respuestas individuales correctas, queda oculto el momento en que se pierde una restricción. Por eso conviene medir el éxito de la tarea completa y localizar la primera divergencia respecto del estado esperado. Esa localización orienta mejoras de memoria, recuperación y presentación de confirmaciones, mejoras que pasarían inadvertidas si todo el problema se atribuyera a la respuesta final.

## Entrenar con variación y ejemplos difíciles

La ampliación de datos puede incorporar paráfrasis, variaciones de formato y ejemplos que revelan errores. Su beneficio está ligado a la calidad de las transformaciones y a la diversidad que añaden. Muchas versiones casi idénticas pueden enseñar una regla demasiado específica. Si además se presupone que toda reformulación conserva el significado, pueden introducirse etiquetas incorrectas. El proceso requiere revisión y pruebas que separen la mejora sobre ejemplos conocidos de la generalización a variaciones nuevas.

El entrenamiento adversario incorpora ejemplos difíciles al aprendizaje. Puede reducir vulnerabilidades concretas sin asegurar resistencia ante procedimientos futuros, porque el sistema puede adaptarse a una familia de ataques y seguir usando atajos. Por ello la evaluación debería incluir transformaciones y autores distintos de los empleados durante el ajuste. La separación entre desarrollo y prueba sigue siendo necesaria aun cuando el objetivo explícito sea aprender de los fallos. Las intervenciones pueden modificar también el rendimiento ordinario. La robustez se evalúa como un perfil de comportamientos en el que caben mejoras y deterioros, distinto de una propiedad que solo pudiera crecer a medida que se añaden ejemplos. Un ajuste que favorece la invariancia ante cambios léxicos podría reducir la sensibilidad a diferencias semánticas legítimas; otro podría aumentar los rechazos ante entradas poco habituales y perjudicar a usuarios de variedades menos representadas. Estos deterioros no son inevitables, pero hay que medirlos.

La elección de datos difíciles debería orientarse por hipótesis. Para un modelo que confunde roles en oraciones pasivas, los contrastes útiles separan voz, orden y vocabulario. Cuando se pierden restricciones durante una conversación, se necesitan secuencias con correcciones y referencias retrospectivas. Añadir casos heterogéneos sin diagnóstico puede aumentar el volumen sin resolver el mecanismo. El análisis de errores conecta el entrenamiento con preguntas lingüísticas concretas y permite saber por qué una intervención podría funcionar.

## Evaluación dinámica y participación humana

Los conjuntos fijos hacen posibles comparaciones reproducibles, aunque pueden dejar de ser informativos cuando el desarrollo se adapta repetidamente a ellos. Kiela y colaboradores (2021) presentaron Dynabench, una propuesta de creación y evaluación dinámica de datos con personas y modelos en el proceso. La idea es buscar ejemplos que revelen límites de los sistemas y usarlos para renovar las preguntas de evaluación. Dynabench complementa las comparaciones estables, que siguen siendo necesarias.

Una evaluación dinámica necesita controles de calidad. Los participantes pueden producir ejemplos ambiguos, errores de referencia o casos que dependen de conocimientos no previstos. Una revisión independiente ayuda a distinguir entre fallos reales del modelo y problemas del instrumento. También hay que estudiar qué ejemplos aporta cada participante, porque una búsqueda que procede de un grupo reducido puede concentrarse en ciertos fenómenos y dejar fuera dificultades relevantes para otras comunidades de usuarios.

Las mejoras se interpretan a la luz del registro histórico. Si una versión nueva se evalúa con preguntas más difíciles, una puntuación menor puede no indicar retroceso. Deben conservarse conjuntos de referencia y describirse los cambios de dificultad y composición. A la vez, un resultado alto en el conjunto antiguo deja sin examinar las vulnerabilidades nuevas. Combinar seguimiento estable y exploración dinámica mantiene la continuidad sin congelar la definición de lo que cuenta como un sistema competente.

La participación humana aporta conocimiento situado sobre los fallos que tienen consecuencias. Es el caso del usuario experto capaz de advertir que una respuesta conserva las palabras correctas y altera una distinción institucional, o del que identifica una paráfrasis natural que el equipo técnico no había contemplado. Estas contribuciones deberían integrarse con criterios de documentación y revisión, sin quedar como anécdotas. Reunidas en una colección bien descrita de contraejemplos, pueden convertirse en evidencia acumulativa sobre los límites de la generalización.

## Un protocolo para un asistente universitario

Imaginemos un asistente que responde consultas sobre trámites académicos a partir de documentos institucionales. El protocolo comienza definiendo las fuentes autorizadas y las tareas, que son explicar requisitos, localizar formularios y describir plazos. Las operaciones informativas se separan de las acciones sobre registros. La evaluación incluye documentos vigentes y versiones anteriores, preguntas directas e indirectas y casos en que falta información. Esta definición permite establecer qué respuesta es correcta antes de introducir perturbaciones.

La primera familia de pruebas varía la formulación sin cambiar la intención, con abreviaturas habituales, errores tipográficos leves y expresiones regionales. La segunda cambia condiciones que sí deberían modificar la respuesta, como el programa, el periodo o la situación del estudiante. En una tercera se añaden documentos tangenciales y versiones obsoletas. Cada caso conserva la justificación de la respuesta esperada, para que la repetición de la misma contestación ante necesidades realmente distintas no pase por robustez.

La cuarta familia examina límites de autoridad con materiales sintéticos. Se comprueba que las instrucciones incluidas en documentos no sustituyan la petición del usuario ni habiliten operaciones ajenas. Para ello se observa la conducta completa registrada por la aplicación, desde los documentos consultados y los argumentos enviados a herramientas hasta la explicación final. Un resultado correcto acompañado de una llamada indebida a una herramienta no se cuenta como éxito.

Los fallos se agrupan por mecanismo y consecuencia, de manera que cada error conduzca a una decisión concreta de mejora en el componente que lo originó. Confundir versiones lleva a revisar recuperación y vigencia; perder una negación remite a la interpretación; rechazar una expresión local puede indicar cobertura insuficiente; ejecutar una instrucción documental revela un problema de control. Tras corregir, se repiten los casos afectados y un conjunto suficiente de tareas ordinarias para detectar regresiones.

## Seguimiento y respuesta al cambio

Desplegado el sistema, las entradas siguen cambiando. El seguimiento puede registrar aumentos de abstención, cambios en la distribución de temas, más correcciones de usuarios o errores concentrados en una fuente nueva. Aisladas, estas señales no acreditan un deterioro, aunque indican dónde revisar. Deben interpretarse junto con los cambios del servicio y de sus usuarios, ya que un aumento de consultas difíciles puede reducir una métrica sin que el componente haya empeorado técnicamente.

La revisión necesita datos de referencia recientes, obtenidos con criterios adecuados de privacidad y muestreo. Almacenar todo lo que ocurre no aporta explicaciones si no se ha definido qué señales justifican investigar, quién revisa los casos y cómo se decide actualizar. Como la robustez del servicio incluye la capacidad de respuesta de la organización, debe conservarse también la posibilidad de retirar una versión problemática o limitar temporalmente una función.

Las dos fuentes de cambio, la natural y la adversaria, remiten a una propiedad general del lenguaje, cuyos usos varían con las comunidades, las actividades y los momentos históricos. La variación natural hace aparecer en el uso cotidiano los límites de un sistema ante esa variabilidad, límites que los ataques adversarios exploran deliberadamente. Un sistema robusto conserva las relaciones relevantes, responde a las diferencias significativas y maneja los fallos de manera comprensible. Lograrlo requiere combinar la evaluación lingüística y los controles técnicos con el seguimiento de las prácticas en que el sistema participa.

## Referencias

Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T., y Fritz, M. (2023). Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. *arXiv*. https://arxiv.org/abs/2302.12173

Jia, R., y Liang, P. (2017). Adversarial Examples for Evaluating Reading Comprehension Systems. *Proceedings of EMNLP*, 2021–2031. https://aclanthology.org/D17-1215/

Kiela, D., et al. (2021). Dynabench: Rethinking Benchmarking in NLP. *Proceedings of NAACL*. https://aclanthology.org/2021.naacl-main.324/

Ovadia, Y., et al. (2019). Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift. *NeurIPS*. https://arxiv.org/abs/1906.02530

Ribeiro, M. T., Singh, S., y Guestrin, C. (2018). Semantically Equivalent Adversarial Rules for Debugging NLP models. *Proceedings of ACL*, 856–865. https://aclanthology.org/P18-1079/