Un sistema anuncia un noventa y nueve por ciento de aciertos al detectar mensajes que requieren revisión. La cifra impresiona hasta que sabemos que solo uno de cada cien mensajes necesita esa revisión. Un programa que respondiera siempre «no requiere revisión» obtendría el mismo porcentaje sin identificar jamás el caso que interesa. El cálculo sería correcto, pero llevaría a una conclusión equivocada sobre la utilidad del sistema. Evaluar empieza precisamente por impedir que una medida válida responda a una pregunta distinta de la que creemos haber planteado.
En procesamiento del lenguaje, las tareas suelen combinar propiedades difíciles de reducir a un número. Hay traducciones fluidas que alteran una negación y resúmenes que conservan casi todas las palabras relevantes mientras atribuyen una afirmación a la persona equivocada. Un asistente, por su parte, puede ganar comparaciones de preferencia gracias a su tono aunque omita incertidumbres necesarias. Para estudiar estos sistemas necesitamos definir qué conducta nos interesa, construir situaciones que permitan observarla y elegir medidas cuyo significado podamos defender.
Los conjuntos de referencia, habitualmente llamados benchmarks, ayudan a comparar métodos bajo condiciones compartidas, de las que se deriva su valor. Una puntuación obtenida en el laboratorio no se traslada intacta a cualquier uso futuro, ni hace automáticamente de un conjunto de ejemplos una medida de la inteligencia general. Esta lectura propone una manera de leer resultados que vincula las métricas con el diseño experimental y con el análisis lingüístico. Los casos numéricos y las pruebas que se describen son ilustraciones didácticas y no proceden de ningún estudio realizado.
Delimitación del constructo y de su población de referencia
«Comprender un texto» es una formulación demasiado amplia para tratarla como una única variable experimental. Puede significar identificar quién hizo algo, resolver una referencia, extraer una fecha, reconocer una contradicción o explicar una implicatura. Cada tarea deja fuera otras capacidades. La primera decisión consiste en delimitar el constructo y especificar qué observaciones contarían como evidencia a favor o en contra de su presencia. Supongamos que nos interesa el reconocimiento de negaciones. Podemos presentar «el comité aprobó la propuesta» y «el comité no aprobó la propuesta» y preguntar si hubo aprobación. Esta prueba inicial omite, sin embargo, construcciones como «no todos la aprobaron», «se negó que hubiera sido aprobada» o «nadie confirmó que no se aprobara», en las que intervienen distinciones de alcance y de atribución. Una evaluación limitada a la partícula «no» delante del verbo podría premiar una regla local sin estudiar el fenómeno más amplio.
La operacionalización tiene que justificar el paso de los ejemplos a la interpretación. El nombre de un conjunto no garantiza la validez del constructo. Si una tarea de opción múltiple se llama razonamiento, hay que explicar qué operaciones exige y qué atajos permite. Un acierto obtenido por conocimiento previo, por pistas de formato o por desequilibrios entre las opciones sigue siendo un acierto en la tarea, aunque con otro significado teórico.
También hay que definir la población de situaciones a la que se pretende generalizar, puesto que la representatividad de una muestra se juzga respecto de ella. Un corpus de noticias editadas no representa conversaciones espontáneas, mensajes con errores o textos jurídicos. Si el uso previsto se limita a noticias, la restricción puede ser adecuada. Para una afirmación general sobre el español, en cambio, habría que incluir variedad de géneros y procedencias o declarar explícitamente que el alcance es limitado.
Por último, comparar algoritmos y autorizar un uso son objetivos distintos. Lo primero admite valorar mejoras promedio con un presupuesto definido. Lo segundo obliga a considerar las consecuencias de los errores, la disponibilidad de revisión y las condiciones de funcionamiento. Un avance de interés científico quizá resulte insuficiente para una aplicación concreta. Esa diferencia no invalida la investigación, aunque impide atribuirle decisiones que no estaba diseñada para resolver.
Componentes, incentivos y saturación de los benchmarks
Además de una lista de preguntas, un benchmark contiene reglas de selección, respuestas de referencia, formatos de entrada, procedimientos de puntuación y criterios sobre qué variaciones se aceptan. Un cambio en cualquiera de esos componentes puede alterar la comparación. Detalles como admitir espacios adicionales o exigir una etiqueta exacta pueden afectar a modelos que comprenden la tarea pero producen formatos diferentes.
La estandarización hace posible que equipos distintos comparen resultados y detecten avances, aunque también crea incentivos para optimizar los aspectos medidos. Con el tiempo los métodos pueden adaptarse a las peculiaridades del conjunto, aunque nadie memorice deliberadamente sus respuestas. Cuando muchas decisiones de desarrollo se toman mirando el mismo resultado público, ese conjunto pasa a intervenir en la selección de modelos y deja de ser una prueba del todo independiente.
Que una puntuación se sature tampoco significa que el problema general esté resuelto. Puede ocurrir que los ejemplos se hayan vuelto demasiado fáciles para distinguir sistemas, en cuyo caso la medida debe actualizarse, o que las capacidades relevantes estén mal representadas. Una prueba de lectura con preguntas explícitas puede arrojar resultados altos mientras persisten dificultades para interpretar ironía, mantener atribuciones o relacionar información dispersa.
Los marcos de evaluación amplia procuran comparar varias dimensiones y escenarios para no depender de una cifra única. HELM, desarrollado por Liang y colaboradores, propuso una evaluación organizada de modelos de lenguaje que abarcaba múltiples escenarios y métricas, con decisiones y resultados visibles para facilitar la comparación. Su aporte metodológico está en ampliar el objeto de evaluación, aunque HELM, como cualquier colección finita, deja fuera usos posibles del lenguaje (Liang et al., 2023).
Ante una tabla de clasificación, lo primero es averiguar qué versión del modelo se evaluó y con qué instrucciones, si tuvo acceso a herramientas o documentos, cuántos intentos se permitieron y si la puntuación corresponde a una ejecución o a varias. Sin esa información, una misma tabla puede ordenar sistemas que resolvieron tareas operativamente distintas.
Exactitud, precisión y recuperación
La exactitud global, proporción de ejemplos clasificados correctamente, es adecuada para algunas comparaciones, pero puede ocultar las clases poco frecuentes. En una clasificación binaria, los verdaderos positivos, los falsos positivos, los falsos negativos y los verdaderos negativos relacionan la decisión del sistema con una referencia y permiten ver qué tipos de equivocación predominan.
En un conjunto de mil mensajes, cien requieren revisión. El sistema identifica correctamente ochenta, deja escapar veinte y marca por error otros veinte, de modo que quedan ochocientos ochenta verdaderos negativos. Con estas cifras la exactitud alcanza el noventa y seis por ciento, pues hay novecientas sesenta decisiones correctas sobre mil. Entre los cien mensajes marcados, ochenta requieren efectivamente revisión, así que la precisión es del ochenta por ciento. La recuperación, o sensibilidad respecto de esa clase, es también del ochenta por ciento, porque el sistema encontró ochenta de los cien mensajes que requerían revisión. Elevar el umbral para marcar mensajes puede reducir los falsos positivos a costa de perder algunos verdaderos positivos. Bajarlo ayudaría quizá a detectar más casos, al precio de revisar más mensajes innecesarios. La elección del umbral incorpora una decisión práctica. En un filtro que solo organiza una bandeja de entrada, la carga extra de revisión puede tolerarse. Los costos se distribuyen de otro modo cuando la decisión es automática y tiene consecuencias serias.
La medida F1, sus promedios y la matriz de confusión
La medida F1 combina precisión y recuperación mediante una media armónica. Puede ser útil cuando interesa equilibrar ambas, aunque no expresa todos los costos posibles ni incluye directamente los verdaderos negativos. Con varias clases, promediar por clase o agregar las decisiones antes del cálculo produce resultados diferentes. El promedio macro da el mismo peso a cada clase, mientras que el micro puede quedar dominado por las clases frecuentes. Ambos son legítimos si se explica a qué pregunta responde cada uno.
En clasificación multiclase con una sola etiqueta verdadera y una sola predicción por ejemplo, si se incluyen todas las clases, la F1 micro coincide con la exactitud. Cada error aporta un falso positivo a una clase y un falso negativo a otra, de modo que los recuentos agregados de ambos tipos son iguales. Informar las dos cifras puede dar la impresión de que dos métricas se corroboran cuando expresan el mismo resultado. En problemas multietiqueta, o cuando se excluyen clases del cálculo, la identidad ya no se cumple en general.
Una matriz de confusión muestra relaciones que el promedio pierde. Si el sistema distingue bien consultas de correcciones pero confunde reclamaciones con solicitudes de información, la causa puede estar en categorías ambiguas o en la falta de ejemplos. Antes de celebrar o descartar el modelo por su F1, habría que examinar qué diferencias lingüísticas separan esas clases y si la anotación fue consistente.
Probabilidad, calibración y abstención
Es posible que un sistema acierte muchas veces y esté, sin embargo, mal calibrado. Si asigna una confianza del noventa por ciento a numerosos casos, esperamos que, en condiciones comparables, cerca de nueve de cada diez sean correctos. La calibración estudia esa relación entre confianza y frecuencia observada de acierto, una propiedad distinta de la exactitud. De dos sistemas, quizá el más modesto reconozca bien su incertidumbre y el que acierta más se muestre demasiado seguro justamente cuando se equivoca.
La confianza tiene que definirse. Una probabilidad interna de etiqueta, la probabilidad de una secuencia y una frase como «estoy bastante seguro» son objetos distintos. La frase es una salida lingüística cuya relación con el acierto debe evaluarse. Del mismo modo, pedir al modelo un porcentaje no garantiza una probabilidad calibrada. La forma numérica puede dar apariencia de medición sin que exista una correspondencia validada con la frecuencia de éxito.
La abstención añade otra opción, la de no responder o remitir ciertos casos a revisión. Para evaluarla hay que considerar a la vez la cobertura y la calidad de las respuestas emitidas. Un sistema que rechaza todo evita muchos errores y presta poca ayuda, mientras que otro que responde siempre alcanza mayor cobertura a costa de equivocaciones que pueden ser inaceptables. La comparación debe mostrar la relación entre ambas dimensiones sin limitarse a la tasa de aciertos del subconjunto favorable. En el clasificador de mensajes podríamos reservar para revisión manual los casos cercanos al umbral o con señales de ambigüedad. Después mediríamos cuántos mensajes se resuelven sin intervención humana y qué proporción de errores persiste entre ellos. También habría que comprobar si la abstención se concentra en determinados dialectos o tipos de remitente, porque una política aparentemente prudente puede trasladar sistemáticamente la carga a ciertos usuarios.
Nada asegura, además, que la calibración se mantenga cuando cambia la distribución de los datos. Un sistema evaluado con mensajes formales quizá exprese una confianza excesiva ante abreviaturas o ironía, de modo que la calibración obtenida una vez debe volver a comprobarse cuando se modifican las condiciones de uso.
Evaluar textos que admiten varias respuestas
Las tareas generativas plantean un problema adicional, porque muchas respuestas pueden ser válidas. Dos traducciones correctas pueden emplear palabras distintas, del mismo modo que dos resúmenes adecuados pueden seleccionar detalles diferentes según su propósito. La coincidencia exacta con una sola referencia resulta demasiado estrecha, aunque admitir cualquier paráfrasis obliga a comprobar que se conservan el contenido y las relaciones, algo que no siempre se resuelve con una regla simple.
BLEU, propuesto por Papineni y colaboradores, compara secuencias contiguas de palabras, llamadas n-gramas, con traducciones de referencia. Emplea precisiones modificadas que limitan el crédito por repeticiones y añade una penalización por brevedad. En su formulación original agrega recuentos sobre un corpus de traducciones, de modo que una puntuación calculada para una sola oración exige especial cautela. Su utilidad histórica estuvo en facilitar comparaciones automáticas entre sistemas de traducción. La medida no verifica directamente todas las relaciones semánticas y puede penalizar variantes válidas o tolerar errores que mantienen muchas coincidencias superficiales (Papineni et al., 2002).
Para ver por qué una métrica debe interpretarse según lo que realmente calcula, consideremos «la comisión no rechazó el proyecto» y «la comisión rechazó el proyecto». Las dos oraciones comparten casi todo su material y difieren solo en la negación, de modo que una medida basada en solapamiento puede asignarles una semejanza alta sin advertir la contradicción. A la inversa, «la propuesta obtuvo el visto bueno» y «el proyecto fue aprobado» pueden expresar contenidos cercanos con escaso solapamiento literal.
Las medidas basadas en representaciones o en modelos aprendidos pueden captar relaciones más amplias, aunque introducen sus propios supuestos y errores. Incluso con una puntuación semántica alta, un resumen puede contener una cifra cambiada, una atribución errónea o una negación omitida, porque en ciertas condiciones estas medidas pueden ser poco sensibles a esos elementos. Cuando el uso previsto depende de ellos, la evaluación debería incluir comprobaciones dirigidas a detectarlos. En vez de pedir una impresión global indeterminada, conviene evaluar por separado dimensiones del resumen como la cobertura de los puntos esenciales, la fidelidad a la fuente y la claridad. Un texto puede ganar claridad precisamente porque elimina complejidades indispensables, de modo que la mejora en una dimensión no compensa necesariamente el deterioro de otra. La manera de combinarlas tiene que explicitarse, sobre todo cuando la puntuación final determina qué sistema se adopta.
Evaluación humana y desacuerdo
Las personas aportan juicios necesarios sobre adecuación, coherencia y consecuencias comunicativas. Sin embargo, la etiqueta «evaluado por humanos» todavía no describe un procedimiento fiable. Hay que especificar quiénes evaluaron, qué instrucciones recibieron, qué información tuvieron y cómo se trataron los desacuerdos. Una comparación de preferencias puede medir una experiencia de lectura con interés propio, aunque deja sin comprobar la exactitud factual.
Los criterios deben ser comprensibles y aplicables. Si pedimos puntuar la «calidad» de uno a cinco sin definirla, unos evaluadores favorecerán la brevedad, otros el detalle y otros el tono. Esa variación no siempre es ruido, pues puede reflejar una diversidad legítima de necesidades. Hay que decidir si buscamos una preferencia agregada o una propiedad más delimitada, para la cual haría falta una rúbrica específica. El acuerdo entre evaluadores ayuda a describir la consistencia, aunque su interpretación depende de las prevalencias, de las categorías y del diseño. Un acuerdo bajo admite varias explicaciones, como criterios confusos, ejemplos ambiguos o una tarea intrínsecamente interpretativa. Resolver todo desacuerdo con una etiqueta final elimina información que quizá sea relevante. En algunas investigaciones es preferible conservar las distribuciones de juicio o analizar qué casos producen divergencias.
La presentación también influye. Una respuesta que aparece siempre en primer lugar, es más larga o tiene un formato atractivo puede inclinar las preferencias. Ocultar la identidad del modelo, alternar el orden y controlar las instrucciones reduce algunas de estas fuentes de sesgo, aunque no todas. Con ello los resultados pueden atribuirse con mayor precisión. Si se comparan contenidos, hay que evitar que la interfaz decida en silencio la comparación.
En una tarea especializada, la formación de los evaluadores condiciona el resultado. Un lector general aprecia a veces la fluidez de una explicación sin detectar un error técnico que un especialista advertiría, aunque este último quizá tolere una redacción menos amable. La evaluación tiene que reflejar el público y las responsabilidades del uso. Combinar perspectivas puede ser útil, siempre que una media única no oculte las diferencias relevantes entre ellas.
Modelos que evalúan otros modelos
Un modelo usado como juez puede aplicar una rúbrica, comparar dos textos o buscar tipos de error con un costo marginal menor que el de una evaluación humana extensa. El atractivo operativo es evidente, aunque el procedimiento añade a la cadena un nuevo sistema falible cuyo juicio necesita validación independiente y no se vuelve objetivo por producirse automáticamente.
Zheng y colaboradores estudiaron el uso de modelos como jueces en tareas conversacionales y analizaron limitaciones como las preferencias de posición, de extensión y de afinidad con ciertas respuestas. Sus resultados apoyaron la posibilidad de una evaluación escalable, junto con la necesidad de reconocer esos sesgos. El acuerdo con evaluadores humanos se midió en ese conjunto concreto de tareas, por lo que su extensión a otras especialidades o lenguas requeriría nuevas comparaciones (Zheng et al., 2023).
Una primera precaución es cambiar el orden de las respuestas para comprobar si el juicio se mantiene. Otra es comparar los juicios con una muestra revisada por especialistas. Puede evaluarse además si el juez detecta errores insertados deliberadamente, como una cifra alterada o una cita inexistente. Estas pruebas deben adaptarse al propósito, porque un juez excelente para valorar preferencias de estilo puede ser insuficiente para verificar inferencias científicas. A veces el propio texto evaluado contiene instrucciones dirigidas al juez. El protocolo debería tratarlas como objeto de análisis, sin concederles autoridad sobre la tarea. Aun sin ataques deliberados, una respuesta segura y detallada puede persuadir al juez de su corrección. Si generador y juez tienen la misma fluidez, un error puede pasar inadvertido para ambos.
El juicio automático tiene, por tanto, su lugar dentro de un procedimiento de comprobación más amplio, en el que puede priorizar casos, detectar incoherencias y aplicar criterios repetibles, siempre que la opinión del modelo se haya validado antes de tomarla como evidencia de calidad. Las afirmaciones que dependen de fuentes, cálculos o normas requieren controles ajustados a esas dependencias.
Pruebas que revelan atajos
Con una estrategia equivocada se puede obtener un buen promedio. McCoy, Pavlick y Linzen estudiaron heurísticas sintácticas en inferencia de lenguaje natural y construyeron casos en los que esas heurísticas dejaban de funcionar. El trabajo mostró que resultados aparentemente satisfactorios en los conjuntos habituales podían ocultar una dependencia de pistas superficiales. Para detectar esa dependencia hay que diseñar contrastes capaces de separar explicaciones rivales del acierto (McCoy et al., 2019). Una heurística posible supone que, si dos oraciones comparten muchas palabras, una implica la otra. El par «la periodista entrevistó al ministro» y «el ministro entrevistó a la periodista» refuta esa regla. Otra heurística asigna sentimiento a partir de una palabra emocional e ignora la negación o la atribución, de modo que ante «no me pareció excelente» respondería lo mismo que ante «me pareció excelente». Para que el resultado sea interpretable, los ejemplos deben controlar las variables adicionales.
CheckList propuso organizar pruebas de comportamiento en torno a capacidades y tipos de transformación, más allá de la exactitud global. Entre sus ideas útiles figuran la comprobación de capacidades mínimas, la de invariancias esperadas y la de cambios de respuesta que deberían acompañar a modificaciones relevantes de la entrada. El enfoque ayuda a convertir conocimiento lingüístico en pruebas concretas y repetibles (Ribeiro et al., 2020). En una prueba de invariancia se cambia, por ejemplo, un nombre propio sin que deba alterarse la categoría esperada de una solicitud. Las pruebas direccionales introducen, en cambio, modificaciones como una negación, que debería cambiar la interpretación. No toda sustitución preserva el significado, porque nombres, lugares y expresiones pueden introducir conocimientos culturales o ambigüedades. Las transformaciones automáticas deben revisarse para no atribuir al modelo errores que provienen de ejemplos defectuosos.
La dificultad tiene que construirse con un propósito. Cuando un acertijo extravagante revela una limitación, esta puede ser ajena al uso previsto. Un caso raro pero plausible, en cambio, puede pesar mucho si su error tiene consecuencias serias. La selección tiene que combinar frecuencia y relevancia, ya que una evaluación limitada a lo común oculta fragilidades y otra compuesta solo de adversarios artificiales puede dar una imagen igualmente distorsionada del desempeño cotidiano.
Variabilidad, significación y tamaño del efecto
Dos sistemas pueden diferir por pocos aciertos en una muestra. Antes de concluir que uno es superior hay que considerar la incertidumbre y la variabilidad, ya que el orden puede invertirse si cambia la selección de ejemplos, la semilla de entrenamiento o el muestreo de respuestas. Reportar una cifra con muchos decimales no reduce esa incertidumbre ni informa sobre el error de estimación.
Los intervalos y las pruebas estadísticas deben corresponder al diseño. Cuando los mismos ejemplos se evalúan con dos sistemas, las observaciones están emparejadas. Si varios mensajes pertenecen al mismo documento o al mismo usuario, puede haber dependencia entre ellos. Tratar cada fragmento como independiente puede llevar a sobrestimar la información disponible. Dror y colaboradores revisaron los problemas de selección de pruebas de significación en procesamiento del lenguaje y propusieron orientaciones para elegirlas de acuerdo con la situación (Dror et al., 2018).
La significación estadística tampoco decide la relevancia práctica. Con una muestra enorme es posible detectar una diferencia pequeña que no cambia la utilidad del sistema. A la inversa, una diferencia que apenas mueve el promedio global resulta a veces relevante para una clase rara. El informe debería describir magnitud, incertidumbre y distribución de los efectos en relación con la decisión que se pretende apoyar.
Probar muchas configuraciones y reportar solo la mejor introduce un sesgo optimista, que se agrava si además se elige el resultado más favorable entre varias métricas. Conviene fijar los criterios principales antes de examinar la prueba final y separar los análisis exploratorios de los confirmatorios. La exploración es legítima siempre que se declare y no se presente después como una predicción acertada de antemano. En generación, al repetir solicitudes se observa la variabilidad de las respuestas. Hay sistemas que aciertan la mayoría de las veces y fallan ocasionalmente de manera grave. Elegir a mano la mejor respuesta y aceptar la primera describen condiciones distintas. El número de intentos, los parámetros de muestreo y el procedimiento de selección forman parte de la evaluación y deben informarse junto con el resultado.
La conversación como unidad de evaluación
Evaluar respuestas aisladas deja fuera fenómenos que solo aparecen a lo largo de varios turnos. Es el caso del asistente que responde bien a una pregunta inicial y se contradice ante una objeción infundada, del que pide una aclaración adecuada e ignora luego lo que se le contesta o del que mantiene una premisa equivocada porque fue introducida al comienzo. Si el producto se usa de manera dialogada, estas trayectorias forman parte de su funcionamiento y deben entrar en la evaluación.
En un intercambio ficticio, la persona pide un resumen de cien palabras y recibe uno de doscientas. Cuando aclara que el límite es estricto, el asistente responde con una disculpa extensa y otro resumen demasiado largo. Una evaluación de amabilidad podría puntuar favorablemente esa reparación verbal aunque la restricción siga incumplida. Para medir el éxito hay que comprobar el producto final, el número de intentos y la carga de corrección que asumió la persona.
En otro intercambio, el sistema identifica correctamente que un documento expresa duda. El usuario replica «Entonces está confirmado». Si el modelo acepta esa reformulación, el error surge en la negociación posterior y una prueba de un solo turno no lo detectaría. Podemos construir variantes en las que la objeción del usuario sea correcta, incorrecta o ambigua, para observar si el sistema cambia de posición según la evidencia o se limita a acompañar la última afirmación recibida.
La unidad estadística requiere cuidado. Diez respuestas de una misma conversación comparten contexto, decisiones previas y quizá un error que se propaga, así que no cuentan necesariamente como diez observaciones independientes.
Desglosar los resultados por turno puede ser informativo, aunque esos datos deberían complementarse con medidas por conversación, como el cumplimiento del objetivo, la persistencia de las restricciones y la reparación de los fallos. Cada nivel describe una propiedad diferente del sistema.
Las simulaciones con usuarios automáticos amplían las pruebas, aunque incorporan supuestos sobre el comportamiento de las personas. Un simulador quizá sea demasiado cooperativo, insista de forma poco natural o use pistas que facilitan la tarea. Sus resultados necesitan contraste con interacciones reales o con escenarios revisados por humanos. Una conversación entre dos modelos evalúa un entorno particular, que no representa necesariamente la diversidad de los usos humanos.
Un informe que permita reconstruir la comparación
Imaginemos que dos asistentes obtienen preferencias semejantes al resumir documentos, pero uno necesita tres intentos y el otro suele acertar al primero. Un informe que conserve solo la mejor respuesta de cada uno oculta una diferencia relevante para el uso. Uno que conserve solo el primer intento quizá no responda a la pregunta por el mejor resultado obtenible bajo revisión. Ambas evaluaciones son posibles, siempre que se declare cuál se realizó y se aplique el mismo criterio a los sistemas comparados.
Un informe reproducible conserva las entradas, las salidas y las reglas de puntuación, junto con las versiones y configuraciones disponibles. Cuando la privacidad impide compartir documentos, pueden describirse los criterios de selección e incluirse ejemplos sintéticos claramente identificados. La transparencia es compatible con la protección de información sensible, siempre que otros puedan comprender cómo se llegó a la conclusión y qué elementos no pueden inspeccionar directamente. Los resultados que contradicen la impresión general también deben comunicarse. Si un modelo supera al otro en la mayoría de los documentos pero falla sobre todo al atribuir declaraciones a sus fuentes, esa limitación merece aparecer junto al promedio, porque relegarla a una nota secundaria impide valorar las aplicaciones en las que la atribución es esencial. Una evaluación útil hace visibles los compromisos que el lector tendrá que aceptar, sin reducir todas las diferencias a una posición en el ranking.
Análisis de errores y conjuntos de regresión
El análisis de errores comienza con una muestra lo bastante amplia para que aparezcan patrones más allá de las anécdotas. Los fallos pueden clasificarse según afecten a la referencia, el alcance, la temporalidad, la atribución o el formato, siempre que las categorías estén definidas y admitan revisión. Como un mismo caso puede contener varios problemas, asignarle demasiado pronto una única causa oculta a veces la interacción entre la comprensión de la entrada, la recuperación de información y la producción de la salida.
A continuación se buscan contrastes. Si el sistema confunde quién negó una afirmación, comparamos casos con una sola voz y con varias voces anidadas. Cuando altera cifras, distinguimos entre copia, cálculo y conversión de unidades. Ante fallos con textos largos, examinamos la posición de la información y la presencia de distractores. Estas comparaciones acercan el diagnóstico a mecanismos posibles sin afirmar más de lo que muestran los datos.
La intervención siguiente debería responder al diagnóstico. La falta de cobertura puede atenderse con nuevos ejemplos, una tarea mal entendida quizá se aclare con una instrucción mejor redactada y la evidencia ausente puede aportarla una recuperación de información más completa. Si el problema está en etiquetas ambiguas, reentrenar sin revisarlas probablemente no lo resolverá. La evaluación es útil cuando guía cambios específicos cuyo efecto puede comprobarse después.
Cada corrección necesita, además, una prueba de conservación. Mejorar el tratamiento de la negación no debería degradar casos afirmativos sencillos, del mismo modo que un aumento de la abstención no debería bloquear indiscriminadamente una variedad lingüística. Un conjunto de regresión reúne ejemplos de conductas relevantes y de fallos ya identificados para detectar deterioros cuando se modifica el sistema, sin ser la única medida de su calidad futura.
El informe sobre el clasificador de mensajes debería permitir prever qué ocurrirá con un mensaje nuevo, es decir, qué clase puede recibir, cuándo pasará a revisión y qué errores cabe esperar en condiciones semejantes a las evaluadas. La cifra global conserva su utilidad, aunque para apoyar una decisión necesita ese contexto. Si los fallos se concentran en reclamaciones breves o en una variedad lingüística, ese dato orienta una mejora concreta. La evaluación que permite reconstruir el error y poner a prueba una explicación aporta más que la que solo ordena sistemas en una tabla.
Referencias
Dror, R., Baumer, G., Shlomov, S., y Reichart, R. (2018). The Hitchhiker’s Guide to testing statistical significance in natural language processing. Proceedings of ACL, 1383–1392. https://aclanthology.org/P18-1128/
Liang, P., et al. (2023). Holistic Evaluation of Language Models. Transactions on Machine Learning Research. https://openreview.net/forum?id=iO4LZibEqW
McCoy, R. T., Pavlick, E., y Linzen, T. (2019). Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. Proceedings of ACL, 3428–3448. https://aclanthology.org/P19-1334/
Papineni, K., Roukos, S., Ward, T., y Zhu, W.-J. (2002). Bleu: A method for automatic evaluation of machine translation. Proceedings of ACL, 311–318. https://aclanthology.org/P02-1040/
Ribeiro, M. T., Wu, T., Guestrin, C., y Singh, S. (2020). Beyond accuracy: Behavioral testing of NLP models with CheckList. Proceedings of ACL, 4902–4912. https://aclanthology.org/2020.acl-main.442/
Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. https://arxiv.org/abs/2306.05685