# Alucinación, calibración e incertidumbre

Es posible que una respuesta bien escrita y con la terminología del área contenga una referencia inexistente y que otra, correcta, se exprese con cautela. La seguridad del estilo, la probabilidad computacional de una secuencia y la solidez de una afirmación son propiedades diferentes. Confundirlas dificulta la evaluación de los modelos de lenguaje y el diseño de interacciones en las que las personas puedan decidir qué información merece confianza.

El término alucinación se aplica a una familia heterogénea de errores generativos. Su uso en inteligencia artificial, técnico y metafórico, no atribuye al sistema experiencias perceptivas comparables a las humanas. Para investigar el fenómeno es más productivo sustituir la etiqueta general por preguntas específicas acerca de qué afirmación se produjo, con qué evidencia, respecto de qué tarea y mediante qué proceso de evaluación se la considera incorrecta o infundada. Este texto vincula ese análisis con la calibración y la incertidumbre. Examina cómo interpretar las probabilidades y qué señales aportan la inconsistencia entre respuestas y la entropía semántica, además de cómo decidir entre responder, buscar más información o abstenerse. El propósito es que las afirmaciones y las conductas del sistema se ajusten a la evidencia disponible y a las consecuencias de equivocarse, sin suprimir toda cautela ni llenar las respuestas de advertencias.

## Tipos de error generativo

Un error factual contradice los hechos a los que la respuesta se refiere. Un error de fidelidad distorsiona la fuente que el sistema debía representar. Los dos pueden coincidir, aunque no siempre lo hacen. Si un documento contiene una fecha equivocada y el sistema la reproduce con la atribución correcta, la respuesta puede ser fiel al documento y transmitir a la vez una información falsa. Si al resumirlo el sistema corrige en silencio esa fecha, puede producir una afirmación verdadera que representa mal la fuente.

Otra clase de fallo es la adición sin respaldo, como cuando un resumen introduce una intención que el texto no expresa, una biografía agrega una distinción académica infundada o una respuesta cita un estudio que no existe. En unos casos hay evidencia que refuta la afirmación y en otros solo falta apoyo suficiente. Ausencia de respaldo y falsedad demostrada son estados distintos, aunque ambos pueden impedir presentar la información como verificada. Los errores de atribución forman una categoría aparte, porque una idea puede ser real y pertenecer a otra persona o aparecer en otra obra. Estos errores persuaden con facilidad cuando combinan nombres, fechas y títulos parcialmente correctos. Si se examina cada elemento por separado, puede pasar inadvertido que la relación entre ellos es falsa. Por eso la unidad de verificación debe incluir las conexiones que la respuesta afirma, es decir, quién dijo qué, dónde, cuándo y bajo qué condiciones.

Las tareas creativas se juzgan con otro criterio. Inventar un personaje en un relato solicitado no es un fallo de factualidad. El problema surge cuando el sistema presenta la invención como información sobre el mundo o incumple una exigencia de fidelidad. La evaluación depende del contrato comunicativo, puesto que una misma secuencia puede ser apropiada como ficción e inaceptable como cita documental. Antes de etiquetar un resultado hay que establecer qué contribución se esperaba.

## Por qué una continuación plausible puede ser falsa

Al entrenarse para predecir texto, el modelo aprende las regularidades de las secuencias disponibles, entre las que hay información correcta, errores, convenciones narrativas y asociaciones frecuentes. Que una continuación sea probable puede obedecer a su parecido con textos observados, sin que ningún procedimiento independiente verifique cada afirmación. La fluidez es compatible con la falsedad porque producir secuencias plausibles no incluye comprobar su correspondencia con la evidencia externa.

Los nombres y las referencias muestran este desacople. Un título inventado combina a veces términos habituales de un área, un apellido frecuente y una revista real, de modo que cada fragmento encaja localmente y el conjunto no corresponde a ninguna publicación. Esa familiaridad formal facilita que el error pase inadvertido. Para verificar la cita hay que consultar los registros bibliográficos y comprobar que todos sus elementos pertenecen a una misma publicación, sin dar por suficiente un formato correcto.

Lin, Hilton y Evans (2022) introdujeron TruthfulQA para estudiar, en los modelos de entonces, respuestas que reproducen creencias falsas o errores comunes presentes en textos humanos. El trabajo mostró la utilidad de diseñar pruebas dirigidas a mecanismos específicos de error y de examinar qué distribuciones de afirmaciones aprende a reproducir un sistema, frente al supuesto de que basta aumentar la capacidad general para que las falsedades desaparezcan.

Además del entrenamiento intervienen el contexto y el diseño del servicio. Una instrucción que manda completar todos los campos quizá favorezca respuestas sin evidencia. Si la recuperación es deficiente, el modelo puede trabajar con documentos tangenciales. Ante una pregunta construida sobre una premisa falsa, el sistema puede elaborar una explicación que la da por buena. Identificar cuál de estos factores produjo el fallo hace posible corregirlo donde se originó. Atribuir todos los errores a una propiedad esencial del modelo oculta a veces problemas corregibles de la aplicación.

## Qué incertidumbre está en juego

La incertidumbre recae, según el caso, sobre el mundo, la evidencia, la interpretación de la pregunta o el funcionamiento del sistema. Hay fechas que se desconocen porque faltan documentos; en otros casos la dificultad está en una expresión ambigua, en dos estudios con resultados distintos o en un fallo del modelo al recuperar información que sí existe. Cada situación pide una conducta propia, sea buscar otra fuente, aclarar la pregunta o reconocer una indeterminación que ninguna búsqueda resolverá. En aprendizaje automático es habitual distinguir entre la incertidumbre debida a los límites del conocimiento del modelo y la que proviene de la variabilidad o la ambigüedad del proceso observado. La frontera depende de la representación y de los datos, porque algo que parece irreducible con una entrada puede volverse predecible con información adicional. Por eso es preferible evitar clasificaciones rígidas y describir qué se desconoce, respecto de qué información y mediante qué procedimiento podría reducirse esa incertidumbre.

Una pregunta bibliográfica muestra estas diferencias. Si el título está incompleto, puede haber varias obras compatibles. Cuando el título es exacto pero la base consultada no incluye la revista, el problema es de cobertura. Si dos registros discrepan sobre el año, hay que averiguar si uno recoge la publicación anticipada y el otro la edición definitiva. Responder simplemente «no estoy seguro» descarta información útil sobre el origen del problema y sobre el siguiente paso razonable. Para representar estas diferencias bastan estados internos y explicaciones breves que indiquen, por ejemplo, que hay dos obras con el mismo título, que la fuente disponible omite la fecha o que falta un dato para distinguir entre dos autores. Indicaciones de este tipo ayudan al usuario a comprender qué conclusión es admisible en ese momento y qué paso dar después.

## Probabilidad de texto y probabilidad de corrección

Un modelo autorregresivo asigna probabilidades a continuaciones condicionadas por el contexto. Esas probabilidades describen una distribución sobre unidades de texto y no coinciden necesariamente con la probabilidad de que una proposición sea verdadera. Por su forma, una frase convencional puede recibir una probabilidad más alta que una respuesta correcta que incluye un nombre poco frecuente, de manera que leer la puntuación de una secuencia como confianza factual confunde el objeto de la predicción.

La longitud añade otra dificultad, porque la probabilidad de una secuencia combina las de múltiples unidades y porque distintas formulaciones del mismo contenido pueden tener longitudes diferentes. Comparar sus valores sin atender a la tarea puede favorecer respuestas breves o expresiones frecuentes. Las normalizaciones resuelven algunos problemas operativos, aunque la puntuación normalizada sigue midiendo una propiedad del texto. Estimar la verdad requiere definir un evento evaluable y un procedimiento de calibración adecuado a ese evento. Parámetros como la temperatura modifican, además, la distribución original antes de que se seleccionen las continuaciones. Si se reduce la variabilidad, el sistema puede repetir una respuesta con mayor consistencia aunque sea falsa. Una salida determinista no es conocimiento seguro. La estrategia de decodificación regula cómo se elige dentro de una distribución y no aporta evidencia externa sobre la corrección de lo elegido.

Para estimar la corrección puede entrenarse o evaluarse una señal separada, definida respecto de respuestas y criterios de referencia, que podría basarse en puntuaciones del modelo, en rasgos de la evidencia o en juicios adicionales. Su utilidad se comprueba empíricamente, al examinar si distingue respuestas correctas e incorrectas y si sus valores corresponden a frecuencias observadas. Sin esa validación, un número presentado como confianza puede aparentar una precisión que el sistema es incapaz de justificar.

## Qué significa estar calibrado

En el sentido empleado en clasificación, un estimador está calibrado cuando sus probabilidades corresponden a las frecuencias de acierto dentro de grupos comparables de casos. Si, entre muchas predicciones con confianza cercana a 0,8, aproximadamente ocho de cada diez son correctas, hay una correspondencia local entre confianza y resultado. La propiedad se evalúa sobre conjuntos de casos y no permite saber con certeza cuál de las respuestas individuales será la equivocada.

Consideremos un ejemplo hipotético. Un sistema responde cien preguntas, asigna 0,9 de confianza a todas y acierta sesenta. En esa muestra su confianza es excesiva. Otro sistema asigna 0,6 a las mismas preguntas y también acierta sesenta. Su confianza coincide con la frecuencia de acierto, así que su calibración agregada es mejor aunque ambos tengan la misma exactitud. Con todo, esa confianza, idéntica para todas las preguntas, no distingue las fáciles de las difíciles. Cabe también la situación inversa, en la que un sistema ordena bien los casos según su dificultad y, a la vez, exagera todas sus probabilidades. Sus puntuaciones sirven entonces para priorizar la revisión, aunque los valores no deban tomarse literalmente. Una transformación de calibración puede mejorar la correspondencia entre confianza y frecuencia sin alterar ese orden. Calibración y capacidad discriminativa deben, en consecuencia, evaluarse juntas. Según la aplicación, hará falta ordenar riesgos, estimar frecuencias o seleccionar qué respuestas emitir.

Guo y colaboradores (2017) estudiaron la calibración en redes neuronales y evaluaron técnicas de ajuste posterior, entre ellas el escalado de temperatura. Su trabajo ayuda a comprender que un buen rendimiento clasificatorio y unas probabilidades bien calibradas son propiedades separables. Para trasladar estas técnicas a la generación abierta hay que definir antes qué respuesta, afirmación o evento recibe una probabilidad de corrección.

## Medidas y límites de la evaluación probabilística

Los diagramas de confiabilidad agrupan las predicciones por intervalos de confianza y comparan la confianza media con la frecuencia de acierto. Son útiles para detectar tendencias, aunque dependen de cómo se construyen los grupos y de su tamaño, pues un intervalo con pocos ejemplos da una estimación inestable. Una correspondencia global aceptable puede esconder, además, diferencias entre dominios, lenguas o tipos de pregunta. El gráfico debe acompañarse de datos sobre la composición y el tamaño de la muestra. Las puntuaciones probabilísticas, como la pérdida logarítmica o la puntuación de Brier en problemas bien definidos, penalizan de maneras distintas las estimaciones inadecuadas. Su elección depende de la tarea y de las propiedades que se quiera evaluar. No hace falta presentarlas todas, aunque sí justificar las elegidas y evitar tratarlas como equivalentes. Incluso con una cifra favorable pueden quedar fallos concentrados en las situaciones de mayor peso para el servicio.

Cuando cambia la distribución de los casos, la calibración puede cambiar también. Un estimador ajustado con preguntas generales puede volverse demasiado confiado ante terminología especializada o documentos de otra época. Las instrucciones, el formato de respuesta y las herramientas disponibles pueden influir de manera semejante. De ahí que el conjunto empleado para ajustar las probabilidades deba separarse de la prueba final. La evaluación debería incluir, además, condiciones cercanas al uso previsto.

Si un juez automático clasifica mal la verdad de una respuesta, las frecuencias observadas incorporan los errores del juez y la calidad del estimador de confianza queda atada a la de las etiquetas de referencia. La evaluación debe incluir la revisión de muestras y el examen de los desacuerdos, con criterios documentados. Sin esos controles, una cifra aparentemente precisa puede descansar sobre decisiones semánticas ambiguas que la métrica no deja ver.

## Autoevaluación verbal y señales de conocimiento

Cabe obtener una señal adicional preguntando al sistema si su respuesta es correcta. Kadavath y colaboradores (2022) estudiaron la capacidad de autoevaluación de los modelos y sus estimaciones acerca de qué preguntas podían responder, con resultados que dependían del formato y de la transferencia entre tareas. El trabajo invita a investigar estas señales empíricamente, aunque no autoriza a tomar cualquier expresión espontánea de seguridad como una medición fiable del conocimiento. Una frase como «estoy completamente seguro» forma parte del comportamiento lingüístico del modelo y puede deberse a patrones del entrenamiento, a instrucciones de estilo o a rasgos del contexto. Si se le pide un porcentaje, la cifra puede ser también una producción textual sin calibración demostrada, cuya utilidad solo se conoce al compararla con resultados observables. Un estimador verbal informativo bajo un protocolo deja a veces de serlo cuando cambian la formulación o el dominio.

La revisión posterior tampoco asegura independencia. Al juzgar su propia respuesta, el sistema puede repetir una asociación falsa. Pedirle que «revise cuidadosamente» puede mejorar el resultado en algunas tareas y, en otras, producir una justificación más elaborada del error. Si la revisión no introduce evidencia adicional ni un procedimiento capaz de detectar contradicciones, el segundo texto no debe contarse como confirmación externa del primero. Las señales de autoevaluación pueden combinarse con la recuperación documental, las verificaciones de formato, los resultados de herramientas o la revisión humana, siempre con una política explícita para los casos en que discrepan. Esa política busca vincular la confianza expresada con su justificación, de modo que la fuerza retórica de una respuesta no reemplace en silencio la evaluación de su respaldo. Una respuesta muy segura y sin fuentes que la sostengan debería recibir un tratamiento distinto del de una respuesta apoyada por evidencia verificable.

## Consistencia entre respuestas y detección de anomalías

Otra estrategia consiste en generar varias respuestas a la misma pregunta y comparar sus afirmaciones. Si dan fechas incompatibles o atribuyen una obra a personas diferentes, la variación puede señalar un problema. Manakul, Liusie y Gales (2023) exploraron esta idea en SelfCheckGPT, que evalúa la consistencia entre muestras generadas para detectar ciertos errores sin consultar necesariamente una base externa en cada comprobación. La consistencia es, sin embargo, una señal indirecta de la verdad. Es posible que un sistema reproduzca de manera estable una falsedad aprendida o que, a la inversa, dé respuestas diferentes y correctas cuando la pregunta admite varias soluciones o cuando cambia el nivel de detalle. Por eso la comparación debe atender al contenido y al contrato de la tarea, sin tomar la sola diversidad léxica como indicio de incertidumbre factual ni la repetición literal como prueba de respaldo documental.

El procedimiento de muestreo condiciona los resultados. Con una generación casi determinista, las muestras pueden ser idénticas aunque reproduzcan una asociación falsa. Con una variación excesiva, en cambio, pueden aparecer diferencias debidas a la propia estrategia de decodificación. La evaluación debe documentar estos parámetros y comprobar la estabilidad de la señal. Como producir y comparar múltiples respuestas cuesta tiempo y cómputo, conviene determinar en qué casos la señal compensa ese coste.

La inconsistencia sirve igualmente para priorizar la verificación. Si varias respuestas coinciden en una fecha y discrepan en el nombre de una institución, la revisión puede concentrarse en ese nombre. Para ello hay que descomponer el texto sin perder las relaciones entre sus partes. Una discrepancia en el año de una edición quizá sea compatible con una fecha de publicación anticipada. Antes de declarar un error, el sistema debe comprobar si las versiones aluden al mismo evento y usan la misma convención temporal.

## Entropía semántica

La entropía mide la dispersión de una distribución definida. Aplicada directamente a secuencias de palabras, puede confundir la diversidad de formulaciones con la de contenidos, puesto que varias respuestas pueden expresar la misma información con sinónimos, cambios de orden o distinto grado de detalle. Una medida orientada a la incertidumbre factual debe tener en cuenta esa equivalencia, aunque establecerla de forma automática plantea a su vez un problema de interpretación.

Farquhar y colaboradores (2024) propusieron estimadores basados en la entropía semántica para detectar una clase de generaciones incorrectas y variables que denominaron confabulaciones. El enfoque agrupa las respuestas por significado para estudiar la incertidumbre en ese nivel y no pretende que toda falsedad sea detectable por su variabilidad. Para una asociación equivocada pero estable pueden hacer falta otras formas de verificación.

En el procedimiento estudiado, la agrupación se basa en inferencia textual en ambas direcciones, condicionada por la pregunta, de modo que dos respuestas quedan en el mismo grupo cuando cada una implica a la otra. Sobre esos grupos se estima después una distribución. La variante que utiliza probabilidades de secuencia y la variante de caja negra, basada en las frecuencias de las muestras, dan estimadores no idénticos, sensibles en ambos casos al muestreo y a la calidad de la agrupación.

Una puntuación de entropía puede ordenar bien las respuestas según su riesgo de error y, aun así, tener valores que no coinciden con frecuencias de acierto. Interpretarla como probabilidad calibrada de verdad exige una evaluación adicional (Farquhar et al., 2024).

La agrupación semántica necesita criterios adecuados. «Se publicó en 1998» y «la primera edición apareció en 1998» pueden parecer equivalentes, aunque la segunda añade una condición sobre la edición. «Se publicó a finales de los noventa» es compatible con ambas y tiene menor precisión. Una herramienta de agrupación que confunda equivalencia, compatibilidad y mera semejanza temática introduce errores en la medida.

En una aplicación, la señal de entropía puede orientar la búsqueda adicional, la abstención o la revisión. Cuando se ha evaluado su relación con los errores que se quiere detectar, puede mejorar las decisiones en condiciones definidas, aunque para afirmar un hecho concreto hace falta la evidencia que lo respalde. El umbral no debería elegirse solo porque da una tasa atractiva en un conjunto de desarrollo. Para fijarlo hay que considerar cuántas respuestas correctas se descartan sin necesidad y qué errores pasan sin detectarse.

## Verificación mediante fuentes y afirmaciones

Recuperar documentos puede aportar evidencia externa, aunque nada asegura que la respuesta use bien la fuente recuperada. Hay que comprobar la pertinencia del documento, su autoridad para la pregunta, su fecha y la relación entre el fragmento citado y la afirmación. A veces el documento menciona el tema sin respaldar la conclusión que se le atribuye, o describe como posibilidad una hipótesis que la respuesta presenta como resultado establecido. Además de las coincidencias léxicas, la verificación debe atender a la modalidad de lo afirmado y a las condiciones de las que depende.

Min y colaboradores (2023) propusieron FActScore, que descompone los textos extensos en afirmaciones y evalúa el respaldo de cada una en fuentes. Su aportación metodológica es reconocer que un párrafo puede mezclar información sustentada y no sustentada, heterogeneidad que una evaluación binaria del texto completo perdería. La descomposición ayuda a localizar errores, siempre que conserve las relaciones entre las partes y que la fragmentación de una oración no elimine justamente la condición que determina su verdad.

Una cita se verifica en varios niveles. La fuente tiene que existir, contener información sobre el asunto preguntado y sostener la afirmación tal como está formulada. Quien se limita a comprobar que el enlace funciona puede dejar pasar atribuciones erróneas. Varias páginas que copian una misma afirmación tampoco son necesariamente evidencia independiente. Para evaluar la solidez de una conclusión hay que rastrear la procedencia de las fuentes y sus relaciones, además de contarlas.

Hay verificaciones que terminan sin una respuesta definitiva, porque la fuente resulta inaccesible, las versiones discrepan o la pregunta excede lo documentado. Convertir entonces la búsqueda incompleta en una negación categórica sería otro error. Una conclusión limitada es parte del trabajo informativo y no debe disimularse alargando la respuesta. El sistema ha de informar del estado alcanzado, esto es, de lo que comprobó y de lo que quedó pendiente.

## Abstención, cobertura y decisiones

La abstención selectiva hace que el sistema responda solo cuando una señal supera cierto umbral y se abstenga en los demás casos. Esta estrategia modifica la relación entre la cobertura y el error de las respuestas emitidas. Si el sistema se abstiene en los casos más difíciles, la exactitud de lo que responde puede aumentar aunque el servicio resuelva menos consultas. La evaluación debe mostrar ambas dimensiones. Un sistema que nunca responde evita determinados errores sin cumplir la tarea de asistencia informativa. El umbral depende de las consecuencias y de las alternativas. En una búsqueda exploratoria puede ser útil una hipótesis claramente marcada como tal. Una atribución bibliográfica que va a publicarse como evidencia quizá requiera, en cambio, comprobación documental. Para fijar el umbral no basta una preferencia abstracta por la cautela o por la audacia. El criterio adecuado atiende a lo que el usuario hará con la respuesta y a las opciones disponibles para obtener información adicional de manera proporcionada.

Abstenerse no obliga a abandonar la tarea, puesto que el sistema todavía puede responder la parte sustentada, pedir un dato discriminante, consultar otra fuente o explicar que no encontró evidencia suficiente para una afirmación específica. Estas conductas conservan la utilidad de la respuesta y evitan tratar toda incertidumbre como un bloqueo total, siempre que el sistema separe lo que sabe de lo que falta y deje clara la relación entre la respuesta parcial y la pregunta original.

La política de abstención debe evaluarse también por grupos y dominios. Si el sistema se abstiene con mucha más frecuencia en ciertas lenguas, sus respuestas restantes pueden parecer igual de exactas aunque el servicio que presta sea desigual. Esa desigualdad se detecta desagregando la cobertura por lengua. También conviene estudiar si las aclaraciones solicitadas son comprensibles y si ayudan a resolver el problema. Una abstención técnicamente correcta pero repetitiva puede trasladar al usuario una carga que el diseño debería reducir.

## Comunicación de la incertidumbre al usuario

La incertidumbre útil está ligada a una afirmación concreta. Una formulación como «la fecha varía entre los dos registros consultados» identifica el problema y permite decidir qué revisar. «Podría estar equivocado», en cambio, puede volverse una fórmula genérica que acompaña por igual respuestas sólidas y débiles. Si todas reciben la misma cautela, el usuario pierde la señal que le permitiría distinguir niveles de evidencia. La ubicación también cuenta, porque si el texto presenta una afirmación categórica al comienzo y añade mucho después una reserva, pocos lectores relacionarán la una con la otra. Si un resultado solo se observa en una muestra o bajo cierta definición, esa restricción forma parte de la afirmación y debe figurar junto a ella. Relegarla a una advertencia general puede dejar en pie una conclusión más amplia de lo que la evidencia justifica.

Los porcentajes requieren especial cuidado. Un número de confianza ayuda únicamente si el usuario sabe qué evento describe y si existe un procedimiento que lo sustente. En muchas respuestas abiertas, una explicación cualitativa de la evidencia informa mejor que un porcentaje arbitrario. La precisión verbal puede consistir en distinguir entre «la fuente lo afirma», «la comparación sugiere» y «no hay datos suficientes», siempre que esas expresiones correspondan a estados reales de verificación. Cuando una información está bien establecida y responde a lo preguntado, puede expresarse directamente, sin dramatizar cada límite. La calibración comunicativa busca proporcionalidad, con firmeza donde hay respaldo y con reconocimiento explícito de condiciones y lagunas donde afectan a la conclusión. Ese equilibrio se aprende y se evalúa con casos concretos. Una política de estilo que imponga seguridad o cautela uniformes difícilmente reflejará la diversidad de situaciones epistémicas que enfrenta un asistente.

## Un caso de revisión bibliográfica

Supongamos que un asistente propone cinco referencias para estudiar un concepto. La primera existe y es pertinente. La segunda existe, aunque trata un tema diferente. La tercera mezcla el título de un artículo con los autores de otro, la cuarta corresponde a otra edición de la obra y la quinta no aparece en los registros consultados. Presentarlas como una bibliografía uniformemente verificada sumaría errores de naturaleza diversa. La revisión debe establecer la condición de cada entrada y actuar en consecuencia.

El procedimiento comienza por comprobar la identidad documental de cada entrada (título, autoría, publicación y fecha). A continuación se examina el contenido en la medida necesaria para establecer si la obra trata el concepto. La referencia a otra edición puede corregirse si la relación entre ambas está documentada. La entrada que mezcla registros debe reconstruirse a partir de la evidencia, sin completar campos por familiaridad. Si la búsqueda no da resultados, hay que ampliarla dentro de límites razonables o marcar la referencia como no verificada, sin afirmar que la obra nunca existió.

El informe resultante distingue las referencias utilizables, las entradas corregidas, las descartadas por falta de pertinencia y las que quedan sin verificar. Como el objeto central de la comprobación es la relación entre bibliografía y argumento, el informe revisa además las afirmaciones del texto que dependían de esas referencias. Sustituir una cita falsa por una verdadera deja el problema intacto si la nueva fuente no sostiene la misma conclusión.

## Evaluar el sistema completo

Una evaluación de alucinaciones debe definir qué errores cuenta, cómo los detecta y qué distribución de preguntas representa. Su conjunto de prueba tendría que incluir premisas falsas, información ausente, fuentes contradictorias y consultas en las que sí es posible una respuesta directa. Hay que medir también las correcciones que el sistema introduce ante evidencia nueva, porque reconocer un error y repetirlo en el turno siguiente es un problema de continuidad que una evaluación de respuestas aisladas no registra. La unidad de evaluación puede ser una afirmación, una respuesta o una conversación, cada una de las cuales hace visibles fenómenos distintos. Un porcentaje bajo de afirmaciones incorrectas es compatible con una equivocación central que invalida la conclusión. Al evaluar por respuesta, en cambio, se corre el riesgo de penalizar del mismo modo un detalle menor y una atribución completamente falsa. Conviene combinar las medidas con un análisis cualitativo de las consecuencias y explicitar los criterios para que otros puedan interpretar y reproducir la evaluación.

Alucinación, calibración e incertidumbre están conectadas sin que ninguna se reduzca a las otras. Que las muestras varíen no demuestra que una respuesta sea falsa. Un estimador bien calibrado refleja la frecuencia de error en grupos de casos, aunque cada afirmación individual necesita todavía su verificación. Los documentos citados respaldan la respuesta solo si esta los reproduce con fidelidad. Un sistema más fiable coordina estas operaciones y comunica sus resultados de manera que las personas puedan separar lo sustentado de lo que requiere revisión y saber qué acción permitiría avanzar.

## Referencias

Farquhar, S., Kossen, J., Kuhn, L., y Gal, Y. (2024). Detecting hallucinations in large language models using semantic entropy. *Nature, 630*, 625–630. https://doi.org/10.1038/s41586-024-07421-0

Guo, C., Pleiss, G., Sun, Y., y Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. *Proceedings of ICML, 70*, 1321–1330. https://proceedings.mlr.press/v70/guo17a.html

Kadavath, S., et al. (2022). Language Models (Mostly) Know What They Know. *arXiv*. https://arxiv.org/abs/2207.05221

Lin, S., Hilton, J., y Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. *Proceedings of ACL*. https://aclanthology.org/2022.acl-long.229/

Manakul, P., Liusie, A., y Gales, M. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. *Proceedings of EMNLP*. https://aclanthology.org/2023.emnlp-main.557/

Min, S., et al. (2023). FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. *Proceedings of EMNLP*. https://aclanthology.org/2023.emnlp-main.741/