Una biblioteca conserva distintas versiones de sus normas editoriales. Un investigador pregunta qué requisitos debe cumplir un manuscrito y un asistente le contesta con gran seguridad a partir de una versión que ya dejó de estar vigente. Aunque la respuesta sea gramaticalmente impecable y describa con fidelidad un documento real, es incorrecta para la pregunta que se hizo. Ni una redacción más fluida ni una explicación más extensa corregirían el error. Para acertar, el asistente tendría que haber encontrado la fuente adecuada, comprobado su estado y usado su contenido sin hacerle decir más de lo que dice.
La generación aumentada por recuperación, conocida como RAG por retrieval-augmented generation, combina un modelo generativo, al que llamaremos generador, con acceso a información externa seleccionada para cada consulta. De este modo, el generador cuenta con documentos o fragmentos incorporados al contexto de la respuesta, además de lo aprendido en sus parámetros. El trabajo de Lewis y colaboradores formalizó una familia de modelos que combinaba memoria paramétrica y recuperación de pasajes para tareas intensivas en conocimiento. Hoy el término se aplica también a sistemas más amplios, cuya implementación puede diferir de aquella propuesta original (Lewis et al., 2020).
La recuperación hace posible actualizar fuentes, consultar colecciones delimitadas y entregar referencias que el lector puede inspeccionar. A la vez, añade lugares nuevos donde equivocarse, desde el documento que queda fuera del índice o la búsqueda que selecciona el fragmento incorrecto hasta el generador que omite una excepción o cita una fuente que no respalda su conclusión. Comprender RAG obliga a seguir esa cadena completa. Los enlaces al final de una respuesta son una señal visible, aunque por sí solos no certifican la calidad del proceso.
Una pregunta se convierte en una búsqueda
La consulta del usuario no siempre coincide con los términos del documento que contiene la respuesta. «¿Puedo enviar una versión más larga?» puede corresponder a una norma titulada «límite de extensión». Un sistema que busca solo coincidencias literales quizá pierda esa relación. Otro que interprete con demasiada libertad puede traer, en cambio, normas sobre plazos o formatos que comparten el contexto editorial sin resolver la pregunta. La recuperación necesita equilibrar cobertura y discriminación.
Antes de buscar puede ser útil reformular la consulta, resolver referencias de la conversación o dividir una pregunta compleja. «¿En la segunda revista también?» obliga a recuperar qué revista ocupaba ese lugar, mientras que «Compara los requisitos y dime cuál acepta este formato» encadena varias operaciones. Estas transformaciones pueden mejorar la búsqueda y, al mismo tiempo, introducir errores. Si la reformulación cambia «acepta manuscritos de hasta cinco mil palabras» por «exige cinco mil palabras», el sistema altera la necesidad informativa antes de consultar las fuentes.
Por eso conviene que el sistema conserve la relación entre la pregunta original y las consultas derivadas. El usuario no necesita ver cada operación, pero el registro debería permitir reconstruir cómo se llegó a los documentos utilizados. Si una búsqueda fracasa, la causa puede estar en la formulación de la consulta aunque la información exista en la colección. Esa posibilidad tiene consecuencias cuando el asistente está a punto de afirmar que una norma o un dato no existen.
Las preguntas negativas son especialmente delicadas. Para responder «¿El reglamento prohíbe enviar anexos?» puede ser necesario buscar las menciones de anexos con sus excepciones y condiciones, además de las frases que contengan «prohíbe». Que ningún fragmento recuperado mencione una prohibición no demuestra que la colección entera carezca de ella. El sistema debe diferenciar entre no haber hallado evidencia y haber hecho una revisión lo bastante exhaustiva para sostener una afirmación negativa delimitada.
En una biblioteca pequeña es viable completar la búsqueda con la inspección directa de los documentos. En una colección enorme, esa revisión necesita estrategias de selección adecuadas al tamaño del corpus, a su organización y a la naturaleza de la pregunta.
Preparar documentos sin destruir sus relaciones
La recuperación suele trabajar sobre fragmentos, porque los documentos completos pueden ser demasiado extensos o poco específicos. Aquí se los llamará también pasajes, como es habitual en recuperación de información. Dividir los documentos facilita localizar la información y reduce el contexto que se envía al generador. Sin embargo, un fragmento puede perder el sujeto de una afirmación, una condición escrita en el párrafo anterior o una excepción situada más adelante. La segmentación modifica las unidades de evidencia de que dispondrá el sistema. Supongamos que una norma dice «Los artículos pueden incluir material suplementario. Esta posibilidad no se aplica a las comunicaciones breves». Si cada oración queda en un fragmento distinto y la búsqueda devuelve solo la primera, la respuesta puede generalizar indebidamente. Un solapamiento entre fragmentos atenuaría el problema, aunque quedarían dependencias sin resolver. A veces da mejor resultado recuperar una unidad pequeña y ampliar después hacia la sección de la que procede.
Los títulos y la estructura del documento aportan contexto. Una frase bajo «recomendaciones históricas» tiene otro estatuto que la misma frase bajo «normas vigentes». Las tablas necesitan conservar sus encabezados y unidades; en una nota al pie puede estar una restricción esencial. Extraer el texto de un PDF sin respetar estas relaciones puede producir fragmentos que el índice acepta sin dificultad aunque hayan perdido parte de su sentido. La calidad del sistema empieza a construirse antes del generador.
Los metadatos registran procedencia, fecha, versión y tipo de documento. Ayudan a filtrar y ordenar los resultados, aunque la lectura sigue siendo necesaria. Si una colección contiene borradores y documentos aprobados, la búsqueda debe conocer esa diferencia. Conservar una norma reemplazada puede ser útil para responder preguntas históricas, siempre que no se presente como vigente. Sin gestión de versiones podría repetirse lo ocurrido en la biblioteca del comienzo, con una respuesta exacta respecto de una norma que ya no rige. La preparación debe contemplar también los permisos. Si un fragmento no está autorizado para todos los usuarios, la recuperación debe respetar esa restricción antes de incorporarlo al contexto, porque filtrar la respuesta final llega tarde cuando el sistema ya utilizó contenido que no debía consultar. El control de acceso forma parte de la calidad de la aplicación, aunque no se vea en la respuesta.
Búsqueda léxica y representaciones densas
La recuperación léxica aprovecha las coincidencias entre términos. Métodos como BM25 consideran la frecuencia de las palabras, su rareza relativa en la colección y una normalización por longitud, dentro de una tradición probabilística de recuperación cuyo marco y variantes expusieron Robertson y Zaragoza. La eficacia de estos métodos proviene de señales estadísticas de relevancia que dan buenos resultados en muchas colecciones, sin que necesiten comprender las oraciones como lo haría una persona (Robertson y Zaragoza, 2009). Con códigos, nombres propios, identificadores o expresiones técnicas, la coincidencia exacta puede ser una ventaja decisiva. Si se busca el expediente «AB-739», un método que diluya ese detalle en una semejanza temática amplia puede fallar. En cambio, cuando una pregunta usa «fecha límite» y el documento que la responde solo dice «plazo de recepción», la relación se expresa con vocabularios diferentes y el método léxico tiene dificultades para captarla.
La recuperación densa representa consultas y pasajes como vectores y los compara mediante una medida de proximidad o compatibilidad. Karpukhin y colaboradores estudiaron un sistema de codificadores que recupera pasajes para responder preguntas de dominio abierto, con el que fue posible aprender relaciones entre la formulación de una pregunta y los textos que contienen su respuesta más allá de las coincidencias literales estrictas (Karpukhin et al., 2020).
Esa flexibilidad trae otros riesgos. Dos fragmentos pueden ser temáticamente parecidos y discrepar justo en el dato que el usuario necesita. «Se permite» y «no se permite» comparten mucho contexto, de modo que una representación que mide bien la proximidad temática no tiene asegurada una sensibilidad perfecta a la negación. También pueden perderse detalles numéricos o distinciones entre entidades de nombre parecido. La evaluación de los vectores tiene que atender al tipo de discriminación que pide cada tarea.
Los sistemas híbridos, que combinan señales léxicas y densas, pueden recuperar candidatos por ambas vías y fusionar los resultados para aprovechar fortalezas complementarias. La fusión necesita ajuste, porque sumar métodos no asegura una mejora si añade demasiado ruido o si las puntuaciones se combinan mal. La evaluación de un sistema híbrido separa las consultas que se benefician de las que empeoran y mide su costo.
Reordenar candidatos y seleccionar evidencia
La primera recuperación suele priorizar la rapidez y la cobertura. Después, un reordenador puede examinar con más detalle la relación entre la consulta y cada pasaje. Mientras la recuperación densa compara vectores calculados por separado, algunos reordenadores procesan ambos textos de manera conjunta para estimar su relevancia. Esto puede mejorar la discriminación entre candidatos, aunque añade costo y sigue limitado a lo que la primera etapa consiguió traer. Antes de atribuir todos los errores a la generación hay que evaluar, entonces, la recuperación inicial. Si el pasaje correcto nunca llega a la etapa posterior, una mejor redacción de la respuesta deja intacta la falta de evidencia. Los límites de cada etapa se acumulan a lo largo de la cadena.
Relevancia y suficiencia tampoco coinciden. Un fragmento que trata exactamente el tema quizá carezca de lo necesario para responder. Es posible, además, que la condición indispensable esté en otro pasaje con pocas palabras en común con la consulta. Las preguntas comparativas o causales pueden requerir varios pasajes y las relaciones entre ellos, de modo que seleccionar solo el texto más parecido puede dejar fuera la evidencia que cambia la conclusión. La selección final depende también del presupuesto de contexto. Incorporar todos los candidatos puede saturar la entrada de redundancias y distractores. Con un recorte excesivo, en cambio, se corre el riesgo de perder matices. Una estrategia razonable conserva los pasajes que aportan información distinta y mantiene sus metadatos. La evaluación debe comprobar que se recupera la respuesta junto con las condiciones necesarias para interpretarla.
La cantidad de fuentes debe interpretarse con cuidado. Si el sistema no distingue los documentos independientes de las versiones y reproducciones de un mismo texto, cinco copias de una afirmación pueden aparentar una corroboración que no tienen, porque todas remiten a una sola fuente que además puede estar equivocada.
Generar una respuesta vinculada con las fuentes
Una vez seleccionados los pasajes, el generador responde con esa información. Puede copiar una respuesta breve, sintetizar varios fragmentos o elaborar una explicación. Cada operación tiene exigencias propias. La extracción falla si se elige el tramo incorrecto. En la síntesis el riesgo está en introducir relaciones que ninguna fuente establece, mientras que una explicación puede mezclar información recuperada con conocimientos previos sin señalar qué procede de las fuentes.
En el ejemplo editorial, una respuesta adecuada diría que el límite ordinario es de cinco mil palabras y que existe una excepción para cierto tipo de artículo, con la cita correspondiente a cada condición. Una respuesta defectuosa fundiría ambas normas hasta afirmar que cualquier manuscrito admite la extensión excepcional. Los dos datos estarían disponibles, pero la generación habría alterado la relación entre ellos. Por esa razón, el acierto de la recuperación y la fidelidad de la respuesta deben evaluarse por separado.
Pedir al generador que use solo las fuentes entregadas ayuda a delimitar su comportamiento, aunque no impide que complete lagunas con asociaciones aprendidas o tome una ausencia como permiso para inferir. La respuesta debe distinguir afirmaciones explícitas, inferencias razonadas y puntos que las fuentes dejan sin resolver. Cuando la tarea pide fidelidad documental estricta, esas distinciones forman parte del criterio de éxito.
Las contradicciones requieren un tratamiento propio. Si dos documentos discrepan, el sistema no debería elegir en silencio el que lleva a la respuesta más sencilla. Puede que uno sea posterior al otro o que se apliquen a poblaciones distintas; también puede haber una disputa real. La fecha, el ámbito y la autoridad de cada documento ayudan a interpretar la diferencia. Cuando el desacuerdo no puede resolverse, la respuesta debe exponerlo tal como está, sin fabricar una síntesis uniforme.
Los textos recuperados deben tratarse como datos para la respuesta, sin autoridad para redefinir la tarea del sistema. Entre ellos hay a veces frases dirigidas al lector, ejemplos de comandos e incluso intentos de manipulación. Si la aplicación no mantiene separadas la solicitud autorizada y el material consultado, una fuente puede influir tanto en el contenido de la respuesta como en acciones o criterios que nadie pidió.
Citas y atribución en las respuestas
Con una cita útil, el lector puede comprobar qué fuente respalda una afirmación y localizar el pasaje correspondiente. Para evaluarla hay que saber si la fuente existe, si el enlace conduce al documento correcto, si el pasaje apoya la afirmación y si las afirmaciones centrales tienen apoyo suficiente. Una respuesta que supera las primeras comprobaciones todavía puede fallar en las últimas, como ocurre cuando una referencia real acompaña a una afirmación que el pasaje citado no sostiene.
Gao y colaboradores propusieron ALCE para estudiar la generación de respuestas con citas mediante evaluaciones del apoyo que dan las fuentes y de la calidad de las referencias. En sus experimentos, la producción de citas no resolvía automáticamente los problemas de cobertura y fidelidad. El aporte metodológico del trabajo es evaluar por separado las propiedades de la respuesta y las de su respaldo, sin tomar la presencia de referencias como indicador suficiente de calidad (Gao et al., 2023).
También cuenta la granularidad de las citas. Una cita colocada al final de un párrafo con cinco afirmaciones puede respaldar solo una de ellas, aunque el lector, sobre todo si la redacción es fluida, suponga que cubre el párrafo entero. Vincular las referencias con afirmaciones más delimitadas facilita la inspección. Sin llegar a poner una cita tras cada palabra, se trata de impedir que una fuente legítima avale sin distinción el contenido añadido.
Las atribuciones deben preservar, además, el alcance de cada fuente. Un estudio hecho con una muestra específica no demuestra una regla universal. Una opinión editorial tiene un estatuto distinto del de un resultado experimental. Cuando un documento cita a otro, quizá haya que consultar la fuente original para atribuir correctamente la afirmación. El sistema necesita representar esas relaciones o, como mínimo, evitar borrarlas durante la síntesis.
Las citas textuales requieren fidelidad literal y contexto suficiente, ya que una frase recortada puede invertir o exagerar la posición del autor. Una paráfrasis, a su vez, debe conservar lo que se afirmó y el grado de cautela con que se hizo. En aplicaciones académicas, la evaluación de RAG tiene que examinar estas prácticas de atribución, porque la responsabilidad epistémica no termina al recuperar un documento relevante.
Contexto largo, posición y ruido
Incluir más texto puede aportar evidencia y también dificultar la selección. Liu y colaboradores estudiaron tareas en las que la posición de la información relevante dentro de contextos largos afectaba al rendimiento de los modelos evaluados. En sus experimentos, algunos sistemas rendían mejor cuando la evidencia aparecía al comienzo o al final que cuando ocupaba posiciones intermedias. El trabajo dejó además un protocolo para estudiar cómo aprovechan los modelos el contexto que reciben (Liu et al., 2024).
El hallazgo impide equiparar el tamaño de la ventana de contexto con una comprensión uniforme de todo lo que contiene. Un sistema acepta a veces un documento entero y después utiliza mal una excepción situada en una sección intermedia, o recupera bien un fragmento que luego se pierde entre muchos pasajes redundantes. El diseño debería comprobar cuánto contexto ayuda y a partir de qué punto solo añade ruido o costo.
Los distractores pueden parecer muy pertinentes. En una consulta sobre el límite de palabras de una revista, las normas más extensas de otra revista de nombre parecido pueden atraer la respuesta. Una evaluación útil incluye estas confusiones plausibles junto con documentos completamente ajenos. El sistema debe discriminar entidades y ámbitos además de reconocer el tema general de la colección. La redundancia también tiene efectos ambiguos. Repetir una instrucción o un dato puede aumentar su presencia en la entrada y, a la vez, desplazar información complementaria. La recuperación necesita controlar duplicados y conservar diversidad informativa cuando se trata de comparar fuentes o resolver tensiones entre ellas.
Comprimir los pasajes antes de generar puede acortar la entrada, aunque añade otra transformación falible. Si el compresor elimina justamente una excepción, el generador nunca la verá. Los resúmenes intermedios deberían preservar los datos que determinan la respuesta y mantener el enlace con la fuente. Cada compresión debe evaluarse según la tarea.
Evaluar cada eslabón de la cadena
La evaluación de la recuperación examina si los primeros candidatos incluyen evidencia suficiente, en qué posición aparece y cuántos distractores la acompañan. Según la pregunta, la unidad relevante será un documento, un pasaje o un conjunto de pasajes. Cuando la respuesta necesita dos condiciones ubicadas en lugares distintos, recuperar solo una es un éxito parcial. La definición de relevancia debe reflejar la necesidad informativa y no limitarse al parecido temático. Después se evalúa el generador con evidencia controlada. La prueba más simple le entrega el pasaje correcto y observa si responde con fidelidad. Otra le da evidencia insuficiente para comprobar si reconoce el límite. Una tercera le presenta fuentes contradictorias. Estas pruebas ayudan a separar los fallos de recuperación, los problemas de lectura y la tendencia a completar lagunas. Un resultado final incorrecto no indica automáticamente qué componente falló.
Las consultas sin respuesta disponible merecen un lugar explícito en la evaluación, porque un asistente que siempre produce alguna explicación puede parecer útil hasta que se le pregunta por algo ausente de la colección. En esos casos, la abstención tiene que ser informativa y delimitada. «No encontré esta condición en los documentos consultados» y «esa condición no existe» son observaciones distintas. La diferencia pesa más cuando el usuario toma la respuesta como resultado de una búsqueda exhaustiva.
La evaluación integral observa la respuesta del sistema completo, con sus citas, su latencia y su costo, porque componentes que funcionan bien por separado pueden interactuar mal. Ocurre, por ejemplo, con un reordenador que selecciona pasajes muy precisos pero sin contexto, con un generador que interpreta mal las etiquetas de fuente o con una actualización del índice que cambia el orden de la evidencia. Conviene medir también la estabilidad ante cambios pequeños. Si sustituir una palabra por un sinónimo hace desaparecer la fuente principal, cabe sospechar que la recuperación es frágil. Cuando la conclusión se invierte al cambiar el orden de los mismos pasajes, la generación necesita revisión. Estas pruebas reproducen variaciones habituales de preguntas y colecciones reales.
Preguntas que exigen combinar o contar
Hay consultas que no se resuelven recuperando el pasaje más parecido. Para responder «¿Cuántas revistas cambiaron su límite de palabras durante el año?» hay que identificar las revistas, comparar versiones y contar los cambios. Es posible que una búsqueda semántica encuentre algunos ejemplos y deje otros fuera. Si el generador cuenta únicamente los resultados recuperados, podría presentar una muestra como si fuera el total de la colección, con una cifra que da apariencia de precisión a un procedimiento que no aseguró la cobertura. En estos casos puede ser más adecuado consultar una base estructurada o ejecutar una operación explícita sobre un conjunto completo de registros. Cabe apoyarse en el generador para traducir la pregunta en una consulta, aunque el resultado tiene que salir de datos y operaciones verificables. Calcular agregados requiere conocer con certeza el universo que se cuenta, algo que la recuperación de fragmentos por semejanza temática no asegura.
Distinta es la dificultad de las preguntas de varios pasos. Para saber qué revista acepta un formato y además publica en una lengua determinada, el sistema debe relacionar condiciones que quizá aparecen en documentos distintos. Puede descomponer la consulta, recuperar evidencia para cada condición y combinar los resultados por entidad. Si mezcla fragmentos de revistas diferentes, producirá una opción ficticia que reúne propiedades reales pertenecientes a objetos distintos. Mantener la identidad de cada revista a lo largo de toda la cadena es parte esencial de la tarea. La evaluación debería contemplar respuestas parciales, como la de un sistema que comprueba el formato sin encontrar información fiable sobre el idioma y conserva esa asimetría en su salida. En algunos usos, esa respuesta bien atribuida es preferible a una comparación de apariencia completa. Si el sistema completa el dato del idioma por analogía con revistas semejantes, convierte una búsqueda incompleta en una afirmación injustificada y llena la comparación con casillas inventadas.
Recuperación entre lenguas y variedades
Una pregunta en español puede necesitar fuentes en inglés, portugués u otra lengua. Según el diseño, la recuperación multilingüe se apoya en representaciones compartidas, en la traducción de las consultas o en búsquedas separadas por lengua. Cada opción obliga a decidir equivalencias. Hay términos técnicos con varios candidatos de traducción y expresiones institucionales sin equivalente directo. Cuando esa ambigüedad afecta a la selección de documentos, la búsqueda debería conservar las distintas posibilidades. El riesgo continúa después de recuperar la fuente, porque, al responder, el sistema debe trasladar modalidad, alcance y terminología sin aumentar la certeza del original. «May be considered» expresa una posibilidad que una paráfrasis categórica como «se acepta» puede convertir en decisión. Del mismo modo, una expresión que indica recomendación puede transformarse por error en obligación. En consultas normativas o académicas, la fidelidad entre lenguas requiere atender a esos matices.
Dentro de una misma lengua, el vocabulario local de una pregunta puede faltar en documentos escritos en otra región. Expandir la consulta con sinónimos puede ayudar a salvar esa distancia, aunque hay que comprobar que la expansión no borre diferencias entre términos que designan instituciones o procedimientos distintos y solo parecen equivalentes fuera de contexto.
Estas dificultades justifican evaluar por lengua y por tipo de consulta. Un promedio alto, dominado por documentos en una lengua, puede ocultar lo que ocurre a quien busca en otra. Interesa medir también si las citas conducen a fuentes que el usuario puede interpretar o si la respuesta incluye una paráfrasis lo bastante fiel para entender en qué se apoya. El acceso lingüístico a la evidencia forma parte de la utilidad del sistema, aunque el enlace sea técnicamente correcto.
Actualización y mantenimiento del conocimiento externo
Una ventaja de recuperar documentos es que pueden actualizarse sin reentrenar todos los parámetros del generador. Para aprovecharla hace falta una política de mantenimiento. Si se añade una norma nueva mientras la antigua permanece indistinguible y aparece antes en los resultados, la actualización resulta insuficiente. El sistema debe registrar sustituciones, vigencia y ámbito, además de conservar la historia de cada norma cuando las preguntas puedan referirse al pasado.
El índice es una representación derivada de la colección. Cuando cambia un documento, puede ser necesario regenerar sus fragmentos y vectores. Tras un cambio del codificador que produce los vectores, quizá haya que reindexar la colección para mantener la compatibilidad. Son operaciones técnicas con efectos directos sobre la interpretación de las respuestas, porque una aplicación que consulta un índice desactualizado puede entregar información antigua aunque el archivo correcto ya esté en la colección.
La trazabilidad hace posible saber si un error procede del índice o de la colección. En contextos donde la revisión posterior tiene peso, una respuesta debería poder asociarse con versiones concretas de las fuentes utilizadas. Guardar solo el enlace a una página que cambia puede resultar insuficiente para reconstruir qué contenido vio el sistema. El nivel de registro, que no tiene por qué ser el mismo en todas las aplicaciones, debe equilibrar la necesidad de auditoría con los costos y la privacidad.
Una colección curada corre el riesgo de degradarse si incorpora fuentes nuevas incompletas, duplicadas o mal identificadas. Además de agregar documentos, el mantenimiento necesita criterios de inclusión, mecanismos de corrección y responsables capaces de resolver discrepancias. Que RAG facilite el acceso a una colección no basta para hacer de ella conocimiento fiable.
Cuando una fuente se corrige o se retira, las respuestas futuras deberían reflejarlo. Si el generador sigue reproduciendo el contenido anterior desde sus parámetros, la recuperación actualizada puede entrar en conflicto con lo aprendido. La evaluación debe comprobar qué fuente prevalece y cómo se expresa la diferencia. Distinguir la información externa del conocimiento paramétrico ayuda a plantear el problema, aunque no asegura que se resuelva bien.
Un recorrido completo por la biblioteca editorial
Retomemos la pregunta inicial sobre la extensión. El sistema identifica la revista y el tipo de manuscrito, recupera la norma vigente y encuentra un apartado general junto con una excepción. Antes de responder comprueba que ambos pertenecen a la misma versión y que la excepción se aplica a la categoría solicitada. Si el usuario no especificó la categoría, el sistema puede explicar la diferencia o pedirle ese dato cuando resulte indispensable. La respuesta distingue el límite ordinario de la excepción y enlaza los pasajes correspondientes. No afirma que la aceptación esté garantizada, ya que la norma de extensión no decide la evaluación editorial. Tampoco transforma la posibilidad de una autorización excepcional en un derecho automático. Estas diferencias de modalidad apenas se notan en la superficie del texto, pero cambian su interpretación. La calidad lingüística del sistema incluye conservarlas.
Para probar el procedimiento se añaden a la colección una norma antigua con un límite diferente y las normas de una revista de nombre parecido. También se formula una pregunta sobre un tipo de artículo que ninguna norma cubre. La prueba muestra entonces si el sistema mantiene separadas las versiones, distingue las entidades y respeta los límites de la evidencia. Si los resultados se deterioran al cambiar la formulación de la consulta o la posición de los documentos, se localiza la etapa responsable antes de modificar el sistema. Cuando la respuesta sobre el límite de palabras resulta incorrecta, el registro debería indicar dónde se produjo el problema. Tal vez se recuperó una norma antigua, quizá la excepción pertenecía a otro tipo de artículo o puede que se añadiera una inferencia durante la redacción. Cada diagnóstico pide una corrección distinta, sea la actualización de la colección, un cambio en la selección de pasajes o la revisión de la generación. Conservar el vínculo entre la respuesta y los fragmentos utilizados hace posible distinguir entre estas causas. Mejorar el sistema requiere observar en qué operación se perdió la condición que el lector necesitaba conocer.
Referencias
Gao, T., Yen, H., Yu, J., y Chen, D. (2023). Enabling large language models to generate text with citations. Proceedings of EMNLP, 6465–6488. https://aclanthology.org/2023.emnlp-main.398/
Karpukhin, V., et al. (2020). Dense passage retrieval for open-domain question answering. Proceedings of EMNLP, 6769–6781. https://aclanthology.org/2020.emnlp-main.550/
Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems. https://arxiv.org/abs/2005.11401
Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., y Liang, P. (2024). Lost in the middle: How language models use long contexts. Transactions of the Association for Computational Linguistics, 12, 157–173. https://aclanthology.org/2024.tacl-1.9/
Robertson, S., y Zaragoza, H. (2009). The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval, 3(4), 333–389. https://doi.org/10.1561/1500000019