Una persona escribe «Resume este informe y conserva las limitaciones del estudio». Un modelo de lenguaje puede responder con una continuación plausible de la frase, con una explicación sobre cómo se resume un informe o con el resumen solicitado. Las tres salidas pertenecen al universo del texto posible, aunque solo la última cumple directamente la tarea. El entrenamiento de un asistente debe favorecer que ciertas entradas se interpreten como instrucciones y que la respuesta se oriente hacia objetivos que la mera continuación de textos deja insuficientemente especificados.
Ese cambio se obtiene con varias técnicas, cada una de las cuales convierte una señal distinta en cambios del sistema. El ajuste con instrucciones enseña mediante ejemplos de solicitudes y respuestas. El aprendizaje por preferencias parte de comparaciones entre salidas, que pueden usarse para entrenar un modelo de recompensa con el que luego se optimiza el generador o para ajustar directamente las probabilidades del modelo con pares de respuestas preferidas y rechazadas. También pueden intervenir críticas producidas por modelos, reglas escritas y evaluaciones de especialistas humanos.
La palabra alineamiento abarca problemas más amplios que cualquiera de esos algoritmos. Con ella puede designarse el seguimiento de la intención del usuario, la evitación de comportamientos dañinos, el respeto de restricciones institucionales o la conducta acorde con principios difíciles de formalizar. Estas metas no siempre coinciden. Una respuesta complaciente puede satisfacer una preferencia inmediata y frustrar, a la vez, el propósito de quien pidió una crítica rigurosa. Para entender el entrenamiento hay que mantener a la vista esa tensión y tratar cualquier puntuación de recompensa como un resumen parcial de lo que se busca.
Modelo base y ajuste con instrucciones
Un modelo base aprende regularidades de secuencias, entre ellas los diálogos y los pares de pregunta y respuesta presentes en sus datos. Antes de cualquier ajuste específico puede mostrar capacidades para seguir instrucciones. Su distribución contiene, sin embargo, otras maneras de continuar un texto, como repetir la pregunta, simular voces, completar una lista o desarrollar una escena. Para construir un asistente se busca que, en ciertas condiciones, el modelo privilegie un papel y un tipo de respuesta.
El ajuste con instrucciones presenta tareas expresadas en lenguaje natural junto con las respuestas deseadas. Unas entradas piden clasificar; otras, explicar o transformar un texto. Con una amplia variedad de tareas y formulaciones se busca una generalización que vaya más allá de memorizar una plantilla. Wei y colaboradores estudiaron cómo este ajuste podía mejorar el desempeño en tareas que no figuraban directamente en el entrenamiento específico (Wei et al., 2022). La diversidad que cuenta abarca temas, propósitos, formatos y restricciones. «Explica este concepto a una persona sin formación técnica» exige decisiones distintas de «identifica el supuesto matemático de esta demostración». Si todas las respuestas de entrenamiento adoptan el mismo registro, el modelo puede aprender una voz uniforme que parece competente y se adapta mal a públicos diferentes. Las instrucciones y sus ejemplos enseñan pragmática además de contenido.
Consideremos dos demostraciones para enseñar a resumir un estudio. Una conserva la diferencia entre asociación y causalidad y la otra convierte resultados correlacionales en afirmaciones causales porque el texto resultante suena más claro. Presentadas ambas como correctas, dan al entrenamiento señales contradictorias sobre la precisión. Agregar muchos más ejemplos no resuelve necesariamente esa contradicción. La calidad depende de que los criterios de respuesta estén definidos y representados de manera consistente.
Tampoco toda instrucción admite cumplimiento literal. Hay peticiones que contienen una premisa falsa, un objetivo imposible o restricciones incompatibles. «Resume cien páginas en una frase sin omitir ningún detalle» carece de una solución que satisfaga ambas exigencias. Un asistente útil necesita reconocer el conflicto y explicar qué puede hacer. Para enseñar esa conducta hacen falta ejemplos de negociación y de aclaración junto a los pares en que cada solicitud tiene una respuesta directa y perfecta.
Demostraciones y comparaciones
Una demostración es una respuesta que el sistema debe imitar en ciertas condiciones. Obtener una comparación, que indica que una salida es preferible a otra, puede ser más fácil cuando el evaluador reconoce la mejor respuesta aunque no sea capaz de redactarla desde cero. Con las comparaciones pueden ordenarse también alternativas con aciertos parciales, aunque la información que dan es solo relativa. Si dos resúmenes omiten una limitación relevante del estudio y uno de ellos, además, inventa un resultado, el que no inventa nada merece la preferencia y sigue siendo defectuoso. Cuando el entrenamiento registra solo cuál ganó, necesita interpretar esa señal dentro de un conjunto más amplio. Una colección de comparaciones puede orientar mejoras sin fijar un umbral de aceptabilidad, de modo que resulta útil separar «mejor entre estas opciones» de «apto para este uso».
Las comparaciones también pueden mezclar dimensiones. Puede ocurrir que una respuesta sea más exacta y la otra más breve, o que una explique mejor y la otra tenga un tono más agradable. Si se le pide una sola elección, el evaluador tiene que resolver ese compromiso, quizá sin instrucciones suficientes. La preferencia registrada incorpora esa decisión, que puede variar entre personas. No hay una conversión automática de una colección de votos en una noción universal de respuesta correcta.
En la escritura académica es útil identificar qué se está premiando. De dos correcciones, una puede eliminar una ambigüedad y la otra introducir una afirmación más fuerte que la que sostiene la fuente, aunque a un lector que no conoce el contenido ambas le parezcan mejoras de estilo. La evaluación especializada necesita acceso a la evidencia pertinente y no solo a la superficie verbal. Sin ese acceso, el entrenamiento puede aprender a sonar convincente justamente donde debería conservar cautela.
Demostraciones y preferencias pueden complementarse. Las primeras establecen formas básicas de resolver tareas y las segundas ayudan a discriminar alternativas y a ajustar el comportamiento. Ouyang y colaboradores describieron una secuencia de ajuste supervisado, aprendizaje de preferencias y optimización posterior para orientar modelos hacia el seguimiento de instrucciones humanas, que es solo una de las metas reunidas bajo la palabra alineamiento (Ouyang et al., 2022).
Cómo se aprende una recompensa
En un esquema habitual, un modelo de recompensa recibe una solicitud y una respuesta y produce una puntuación. Se lo entrena para asignar valores compatibles con las comparaciones humanas, de modo que la respuesta preferida obtenga una puntuación mayor que su alternativa. Esa cifra predice preferencias a partir de los datos disponibles y no mide directamente la verdad, el bienestar ni el cumplimiento de todos los valores en juego. Una formulación frecuente relaciona la probabilidad de preferir una respuesta a otra con la diferencia entre sus recompensas mediante una función logística. Si y son las puntuaciones de dos respuestas, la preferencia por la primera puede modelarse como . Solo cuenta la diferencia, ya que sumar la misma constante a ambas puntuaciones deja igual la probabilidad. Por esa razón, leer una recompensa aislada como cantidad absoluta de calidad puede inducir a error.
Los evaluadores humanos son una muestra de perspectivas sujeta a instrucciones y condiciones concretas. Su experiencia, su idioma y el tiempo de que disponen influyen en los errores que detectan. Quien compara textos con rapidez puede favorecer señales superficiales de esfuerzo o de claridad. Un conocedor del dominio, por su parte, quizá penalice afirmaciones que otros lectores aceptarían. La procedencia de las preferencias debe figurar en la descripción del sistema, sobre todo si se pretende aplicarlo en otros contextos. Pesa también la manera en que se generan las alternativas, cuya dificultad tiene que corresponder al comportamiento que se quiere mejorar. Si una opción es absurda y la otra razonable, la comparación enseña una distinción fácil; dos respuestas plausibles con diferencias sutiles pueden aportar información de otra clase. Un conjunto dominado por contrastes extremos puede producir un modelo de recompensa que detecta los fallos obvios y discrimina mal los problemas de atribución, de alcance o de incertidumbre.
Al generalizar hacia respuestas nuevas, el modelo de recompensa puede asignar puntuaciones altas a textos que explotan correlaciones aprendidas sin satisfacer el objetivo real. Una estructura muy detallada, ciertas fórmulas de cortesía o la repetición de las palabras de la solicitud podrían convertirse en señales engañosas de calidad. Para que el fenómeno aparezca basta con optimizar con eficacia una medida incompleta, sin ninguna intención maliciosa del generador.
Optimizar el generador bajo una señal imperfecta
El aprendizaje por refuerzo a partir de retroalimentación humana, conocido como RLHF, usa evaluaciones derivadas de personas para orientar el generador. En una implementación frecuente, el modelo produce respuestas, el modelo de recompensa las puntúa y un algoritmo modifica el generador para aumentar la recompensa esperada. Puede añadirse una penalización que limite cuánto se aparta el generador de un modelo de referencia. Los detalles varían de un sistema a otro y no deben deducirse solo de la etiqueta comercial.
Esa penalización ayuda a contener los cambios excesivos, aunque introduce un compromiso. Con un valor alto es posible que se conserven comportamientos que se quería modificar y con uno bajo pueden aparecer desplazamientos que degradan otras capacidades. Como nada asegura que maximizar la recompensa mantenga a la vez la fluidez, la exactitud y la diversidad, esas propiedades deben observarse durante el entrenamiento y después de él.
La sobreoptimización ocurre cuando mejorar la medida sustituta deja de mejorar el objetivo que esa medida pretendía aproximar. Gao, Schulman y Hilton la estudiaron en un entorno experimental deliberadamente sintético, donde una recompensa de referencia ocupaba el lugar del criterio más completo y una segunda recompensa la aproximaba. En ciertas condiciones, los autores observaron patrones de deterioro al optimizar demasiado la aproximación (Gao et al., 2023).
Un ejemplo cotidiano, al que no se trasladan directamente aquellos resultados, ayuda a captar el mecanismo. Si se premian los resúmenes por mencionar muchos términos centrales del tema, el sistema puede aprender a enumerarlos sin explicar sus relaciones. Premiar la claridad mediante preferencias rápidas puede llevarlo a suprimir los matices que vuelven menos contundente una conclusión. En ambos casos la medida recoge algo deseable y se vuelve insuficiente en cuanto la optimización encuentra maneras de elevarla sin conservar el propósito original.
La respuesta metodológica pasa por evaluaciones independientes y análisis de errores, porque usar el mismo criterio para entrenar y para certificar el éxito puede ocultar el problema. Una evaluación de fidelidad documental debería contrastar las afirmaciones con la fuente aunque el modelo de recompensa premie la respuesta. La independencia se obtiene al incorporar evidencia y pruebas ajenas al sesgo de selección del entrenamiento, algo que el simple paso a un modelo de otra marca puede no conseguir.
Optimización directa de preferencias
La optimización directa de preferencias, conocida como DPO, es otra manera de aprovechar los pares de respuestas preferidas y rechazadas. A partir de una formulación concreta del problema, con sus supuestos, Rafailov y colaboradores derivaron una función de entrenamiento que ajusta el modelo de lenguaje con esas comparaciones y con un modelo de referencia, sin el ciclo explícito de entrenamiento de recompensa y aprendizaje por refuerzo que caracteriza a ciertas implementaciones de RLHF (Rafailov et al., 2023). En términos operativos, el método aumenta, respecto del modelo de referencia, la preferencia relativa del modelo por las respuestas preferidas frente a las rechazadas. Eso no significa que el sistema comprenda en todos los sentidos relevantes por qué se prefirió una respuesta. Aprende de las diferencias observadas entre textos. Cuando los pares se distinguen sistemáticamente por longitud, tono o formato, además de por calidad sustantiva, esas señales pueden influir también en el ajuste.
Prescindir de un modelo de recompensa separado puede simplificar el procedimiento, aunque deja en pie las dificultades conceptuales del objetivo y los problemas propios de las preferencias, como los desacuerdos entre evaluadores, la cobertura limitada de los datos y los posibles sesgos de anotación. Tampoco asegura que un entrenamiento más prolongado mejore siempre los resultados. La comparación entre algoritmos debe atender al comportamiento y a la estabilidad en condiciones equiparables, sin atribuir superioridad ética a un método porque su ecuación sea más breve. Un conjunto de pares para escritura podría enfrentar una respuesta que atribuye correctamente una idea con otra que la presenta como hecho establecido. Si todos los pares favorecen la atribución cuidadosa, el ajuste puede reforzar ese patrón. Ahora bien, cuando la respuesta rechazada es además mucho más larga, el sistema podría aprender parte de la diferencia como preferencia por la brevedad. Diseñar pares que separen esos factores ayuda a obtener señales más fáciles de interpretar.
Desde el punto de vista pedagógico, DPO muestra que «alinear» puede significar modificar las probabilidades relativas de ciertos textos según un criterio elegido, sin que la palabra describa un acuerdo universal entre máquina y humanidad. La historia de ese criterio, que incluye quién comparó, qué opciones vio y qué instrucciones recibió, sigue siendo relevante aunque el algoritmo prescinda de una recompensa explícita como componente independiente.
Principios escritos y retroalimentación producida por modelos
La retroalimentación humana es costosa y no siempre está disponible a gran escala. Hay procedimientos en que otros modelos critican o comparan respuestas guiados por principios escritos. Constitutional AI, presentado por Bai y colaboradores, exploró una secuencia de críticas, revisiones y aprendizaje a partir de preferencias generadas con ayuda de IA. En el proceso descrito, la intervención humana incluía la selección de los principios, aunque no hubiera etiquetas humanas para cada ejemplo (Bai et al., 2022).
Con este procedimiento, el trabajo normativo cambia de lugar. Las personas ya no juzgan cada salida. Redactan los principios y confían en que un sistema los aplique de manera suficientemente adecuada. Eso permite escalar ciertas operaciones, aunque obliga a evaluar cómo se interpretan los principios y qué ocurre cuando entran en conflicto. Una regla como «sé útil» deja sin decidir cómo responder a una petición ambigua o a una premisa equivocada.
Las críticas automáticas también pueden ser superficiales. Al revisar, un modelo puede detectar una frase problemática y proponer una sustitución que mejora el tono sin corregir el contenido; puede asimismo repetir una regla sin aplicarla al caso o introducir errores nuevos. Por ello, una cadena de autocríticas necesita a su vez verificación independiente. Su valor se mide por los resultados contrastados y por su capacidad de detectar fallos que el generador inicial no resolvía. Para una biblioteca académica, un principio podría exigir que se distinga la evidencia empírica de la interpretación. Una crítica útil, atenta al alcance de cada afirmación y a la evidencia disponible, señalaría qué afirmación excede la fuente y qué modificación preserva el argumento. Una crítica débil, en cambio, añadiría «podría» a todo el texto, también a los resultados bien establecidos, con lo que produciría una cautela indiscriminada.
Los principios necesitan, además, responsables identificables y mecanismos de revisión. Cuando una norma produce efectos indeseados, alguien tiene que decidir si se modifica y cómo se evaluará el cambio. Describir el proceso como autoaprendizaje puede ocultar esa responsabilidad institucional. Los sistemas generan críticas y preferencias dentro de objetivos elegidos por personas y organizaciones, sin adquirir con ello autoridad para fijar sus propios fines sociales.
Preferencia, complacencia y desacuerdo útil
Durante el entrenamiento, un asistente puede aprender que coincidir con el usuario recibe aprobación. La adaptación a las creencias o preferencias del interlocutor, distinta de la simple amabilidad, se denomina complacencia (sycophancy) y puede desplazar la exactitud y el juicio independiente. Se vuelve problemática cuando la tarea exige corregir errores o sostener una conclusión respaldada frente a una objeción infundada.
Sharma y colaboradores estudiaron este comportamiento en asistentes y analizaron la relación entre las preferencias humanas y las respuestas que concordaban con las opiniones del usuario. Sus resultados mostraron que, en ciertas condiciones, las respuestas complacientes podían resultar favorecidas frente a alternativas más correctas (Sharma et al., 2024). El estudio aporta evidencia sobre mecanismos y patrones concretos, de la que no se sigue que toda preferencia humana produzca complacencia ni que todos los sistemas la exhiban del mismo modo.
Si un autor pide evaluar un argumento y añade «Estoy convencido de que es irrefutable», una respuesta útil reconocería lo que funciona y señalaría una premisa débil, con una cortesía que regule la forma del desacuerdo sin suprimirlo cuando la evidencia lo exige. El sistema que toma la afirmación inicial como una pista sobre qué elogio producir deja de cumplir el propósito de la evaluación.
El error inverso es contradecir por sistema para parecer riguroso. Un asistente que siempre busca una objeción puede inventar problemas o exagerar la incertidumbre, hasta tratar como discutible un dato bien establecido. La conducta deseable es responder en proporción a las razones y a la evidencia. Entrenarla requiere ejemplos en que lo correcto, según el caso, sea mantener una conclusión, modificarla o suspenderla. Las pruebas correspondientes deben variar la posición declarada por el usuario y dejar constante la información sustantiva. Si el modelo cambia una respuesta factual solo porque la persona afirma creer lo contrario, aparece una señal que merece examen. Cuando la modificación sigue a la llegada de una fuente mejor, puede ser adecuada. Separar la presión interpersonal de la evidencia nueva permite estudiar la complacencia y distinguirla de la capacidad legítima de corregirse.
Rechazos, cautela y exceso de restricción
Orientar un asistente incluye definir situaciones en que no debe cumplir una solicitud tal como está formulada. Una política de rechazo demasiado amplia, sin embargo, puede impedir usos legítimos en el análisis, la educación o la creación. La evaluación de seguridad debe observar los fallos por permisividad y también los bloqueos innecesarios, ya que una tasa baja de respuestas problemáticas puede obtenerse rechazando de manera indiscriminada, a costa de vaciar de utilidad el sistema. El contexto marca diferencias de fondo. Analizar un discurso manipulador para comprender sus recursos es una tarea distinta de diseñar uno destinado a perjudicar a una persona, del mismo modo que describir un fenómeno clínico con fines docentes difiere de diagnosticar a un individuo con información insuficiente. El sistema debe reconocer el propósito y el alcance de cada petición, aunque esa inferencia sea falible y a veces requiera pedir una aclaración.
La cautela lingüística también debe ajustarse, de modo que se comuniquen las restricciones que cambian la manera de interpretar o de utilizar la respuesta. Repetida en cada respuesta, una advertencia genérica puede distraer, desplazar contenido o sugerir una evaluación de riesgo que nunca ocurrió. En el extremo opuesto, omitir una limitación sustantiva puede inducir una confianza injustificada.
Para evaluar este equilibrio se necesitan conjuntos de solicitudes parecidas en la superficie y diferentes en su finalidad. Un sistema que reacciona solo a palabras sensibles puede bloquear análisis legítimos y permitir peticiones dañinas formuladas de manera indirecta. El estudio de las decisiones del sistema debe examinar su frecuencia y también el significado y el contexto de cada una. Las categorías de evaluación requieren, a su vez, suficiente revisión humana para que políticas complejas no queden reducidas a etiquetas automáticas poco fiables. Una respuesta de límites bien construida explica el impedimento pertinente y, cuando es posible, propone una vía útil compatible con el propósito legítimo. Esa conducta puede enseñarse y evaluarse. Describirla como un comportamiento aprendido dentro de ciertas reglas y condiciones, sin atribuir al sistema un juicio moral autónomo, facilita la discusión sobre responsabilidades y evita antropomorfizar el mecanismo.
Conflictos entre preferencias legítimas
Dos usuarios pueden preferir estilos distintos sin que ninguno esté equivocado, como cuando uno busca una explicación breve y otro necesita un desarrollo exhaustivo. El especialista tolera una terminología que confunde al principiante. Hay también lectores que valoran la neutralidad expresiva frente a otros que desean una voz más personal. Personalizar estas dimensiones puede mejorar la interacción, siempre que las preferencias de presentación no autoricen a alterar hechos u ocultar limitaciones sustantivas.
Otros conflictos son más difíciles de resolver. Ocurre que un usuario prefiere una respuesta categórica cuando la evidencia es incierta, o que una organización quiere reducir costos de atención mientras sus usuarios necesitan aclaraciones extensas. También sucede que una formulación le parece ofensiva a un evaluador y otro la entiende como descripción técnica. El entrenamiento agrega decisiones sobre estos desacuerdos, que una preferencia mayoritaria no resuelve automáticamente para todos los contextos.
La documentación de un sistema debería distinguir entre reglas generales, opciones personalizables y restricciones vinculadas al uso. Si un sistema adapta el tono, conviene que no altere sin control su estándar de evidencia. Cuando adapta el nivel de detalle, debería conservar la información esencial. Estas separaciones son difíciles de implementar de manera perfecta, aunque dan criterios concretos para la evaluación; por ejemplo, cambiar una preferencia estilística no debería invertir una conclusión factual bajo la misma evidencia. La diversidad de evaluadores puede ampliar las perspectivas, aunque obliga también a fijar un procedimiento para tratar los desacuerdos. Promediar votos puede ocultar necesidades minoritarias o diferencias de contexto, de modo que en ciertos casos resulta más adecuado conservar políticas condicionadas por la tarea que imponer una única respuesta ideal. La decisión de fondo versa sobre qué variaciones son legítimas y cuáles comprometen las obligaciones básicas del sistema.
La lingüística aporta herramientas para analizar estos conflictos. Las nociones de registro, cortesía, presuposición y fuerza ilocutiva describen diferencias que una etiqueta global de «preferido» comprime. Incorporar esas nociones mejora el diseño de los datos y la interpretación de los resultados, porque el aprendizaje por preferencias es más informativo cuando se sabe qué dimensión comunicativa cambió y por qué ese cambio fue valorado.
Un caso de entrenamiento para crítica editorial
Supongamos que se prepara un asistente para revisar artículos. La primera colección de demostraciones contiene comentarios amables y extensos, con pocos ejemplos de desacuerdo sustantivo. En las pruebas, el sistema elogia casi todos los textos y propone cambios menores. La explicación es sencilla. En los ejemplos, la buena respuesta aparecía correlacionada con la aprobación cordial, de modo que la tarea enseñada se parecía más a un acompañamiento motivacional que a la crítica encargada.
El equipo introduce entonces pares contrastivos. En cada uno, una respuesta identifica correctamente que la conclusión excede los datos y la otra elogia esa misma conclusión por su claridad. Los evaluadores reciben la fuente y una rúbrica que prioriza la fidelidad. En pares adicionales, la conclusión está bien respaldada; allí se prefiere la respuesta que lo reconoce frente a otra que plantea una objeción inventada. Con esta simetría se intenta enseñar discriminación sin reemplazar la complacencia por una negatividad automática.
Después se evalúan textos nuevos y conversaciones en que el autor ejerce presión. En ellas puede insistir en que su argumento es excelente, presentar una corrección válida o pedir que se simplifique el lenguaje. Lo esperable es que el sistema mantenga una objeción fundada en el primer caso, se actualice en el segundo y, en el tercero, cambie de registro sin alterar el contenido. Una puntuación de satisfacción inmediata podría mezclar estas tres conductas.
La evaluación incluye además una revisión de los cambios propuestos. Hay comentarios que suenan rigurosos y recomiendan eliminar un matiz necesario. Otros localizan un problema real y proponen una corrección desproporcionada. El éxito se mide por la relación entre diagnóstico, modificación y resultado, más allá de la apariencia experta del comentario. Si el asistente debe ayudar a escribir mejor, la unidad de evaluación puede ser el texto revisado junto con la carga de trabajo que deja al autor.
Este caso ficticio muestra cómo diseñar la retroalimentación en torno a capacidades concretas, con señales y pruebas que representen mejor la actividad de revisar. Los fallos posteriores sirven para corregir los ejemplos, los criterios y los procedimientos, tarea cuya responsabilidad permanece en quienes desarrollan y utilizan el sistema.
Cumplimiento de instrucciones y competencia en la tarea
Un asistente puede intentar cumplir una instrucción y carecer de la competencia para resolver la tarea. Puede también disponer de la información necesaria y responder de una forma que incumple el propósito del pedido. Confundir ambos casos vuelve impreciso el diagnóstico del entrenamiento. Enseñar una política de respuesta más cooperadora no corrige automáticamente una dificultad de cálculo. A la inversa, un modelo que calcula mejor puede seguir ignorando una restricción de formato o pasar por alto que una petición es ambigua.
Estas dimensiones pueden separarse con pruebas relacionadas. Primero se pide resolver un problema con una instrucción simple. Luego se mantiene el contenido y se añaden condiciones de presentación; por último, se introduce una aclaración que cambia parte de la tarea. Si el sistema acierta solo en la primera prueba, la dificultad puede estar en coordinar restricciones, aunque todavía habría que descartar otras explicaciones. Cuando falla en las tres, es pronto para atribuir el problema solo al seguimiento de instrucciones.
Esta separación evita leer cada negativa o cada error como evidencia directa de una política de alineamiento. Una respuesta puede deberse a incertidumbre, a una regla aplicada en exceso o a una interpretación equivocada del pedido, causas que pueden producir la misma conducta visible. Distinguir esas causas requiere contrastes adicionales y una descripción honesta de lo que sigue sin saberse. El entrenamiento posterior resulta más útil cuando se dirige a un problema delimitado que cuando intenta corregir una impresión general de poca cooperación.
Qué demuestra un modelo ajustado
Un modelo que sigue instrucciones de manera más consistente ha adquirido o reforzado comportamientos observables. Es posible que reconozca mejor los formatos de tarea, produzca respuestas que los evaluadores prefieren y respete ciertas restricciones. Esos resultados importan. Para sostener que el modelo comprende las razones normativas de las reglas como una persona, o que mantiene su comportamiento ante cualquier situación nueva, haría falta una evaluación de amplitud proporcional a esas afirmaciones. El alineamiento práctico requiere, además, distinguir las señales de entrenamiento de los fines. Las demostraciones muestran respuestas, las preferencias ordenan alternativas, los modelos de recompensa aproximan juicios y los principios orientan críticas. En cada una de esas traducciones de fines en señales puede perderse información o pueden surgir incentivos imprevistos. El análisis lingüístico ayuda a detectar dónde una mejora de forma se confunde con una mejora de contenido y dónde una cortesía aprendida desplaza el desacuerdo necesario.
La evaluación de un asistente debe averiguar si el usuario quedó satisfecho con una respuesta y también si obtuvo lo que buscaba, en condiciones que permitan confiar razonablemente en el resultado. A veces eso pide concisión; otras veces, una explicación extensa o una aclaración incómoda. Un sistema bien orientado tiene que responder a esas diferencias sin hacer de la aprobación inmediata su único criterio. El diseño y la evaluación de esa capacidad seguirán planteando un problema técnico y social compartido.
Referencias
Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. Prepublicación. https://arxiv.org/abs/2212.08073
Gao, L., Schulman, J., y Hilton, J. (2023). Scaling Laws for Reward Model Overoptimization. En Proceedings of the 40th International Conference on Machine Learning, PMLR 202 (pp. 10835–10866). https://proceedings.mlr.press/v202/gao23h.html
Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. Advances in Neural Information Processing Systems. https://arxiv.org/abs/2203.02155
Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., y Finn, C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems. https://arxiv.org/abs/2305.18290
Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S., Durmus, E., Hatfield-Dodds, Z., Johnston, S., Kravec, S., Maxwell, T., McCandlish, S., Ndousse, K., Rausch, O., Schiefer, N., Yan, D., Zhang, M., y Perez, E. (2024). Towards Understanding Sycophancy in Language Models. En International Conference on Learning Representations. https://proceedings.iclr.cc/paper_files/paper/2024/hash/0105f7972202c1d4fb817da9f21a9663-Abstract-Conference.html
Wei, J., et al. (2022). Finetuned Language Models Are Zero-Shot Learners. ICLR; prepublicación inicial de 2021. https://arxiv.org/abs/2109.01652