Una editorial desea clasificar las cartas de sus lectores según su asunto. Dispone de algunos miles de cartas etiquetadas, aunque carece de los recursos necesarios para construir desde cero un sistema que aprenda español. Puede tomar un modelo que ya haya aprendido regularidades a partir de grandes colecciones textuales y adaptarlo a esa tarea. La decisión parece simple hasta que hay que responder qué aprendió el modelo durante el preentrenamiento, qué cambia al adaptarlo y cómo descartar que la mejora provenga de memorizar las etiquetas disponibles.
El ejemplo reúne tres conceptos que suelen confundirse. Modelar el lenguaje significa construir una distribución sobre secuencias o sobre elementos condicionados por un contexto. Preentrenar es aprender parámetros que más tarde podrán reutilizarse. El ajuste fino, llamado fine-tuning, modifica un modelo previamente entrenado para aproximarlo a una tarea, a un dominio o a una forma de responder. Por sí sola, ninguna de estas operaciones verifica hechos ni hace de una distribución de textos una representación fiable de todo aquello de lo que los textos hablan.
Para entender cómo se relacionan, seguiremos el aprendizaje desde la función objetivo hasta la evaluación del modelo adaptado, con casos y un cálculo numérico construidos con fines didácticos para mostrar qué decisiones cambian el comportamiento del sistema.
Qué se aprende al predecir texto
En un modelo causal, la probabilidad de una secuencia puede factorizarse como el producto de las probabilidades de cada token condicionado por los anteriores. Para asignar probabilidad a un texto completo, el sistema considera sucesivamente cada continuación. Durante el entrenamiento recibe secuencias del corpus y ajusta sus parámetros para aumentar la probabilidad de los elementos observados. Una función de pérdida habitual es la suma de los logaritmos negativos de esas probabilidades:
Los parámetros determinan cómo se calculan esas probabilidades y el prefijo reúne los tokens anteriores. Minimizar la pérdida favorece un sistema que asigne mayor probabilidad a las continuaciones presentes en los datos. Esto puede impulsar el aprendizaje de regularidades léxicas, gramaticales y discursivas, porque todas ayudan a anticipar texto. Sin embargo, la función no contiene ninguna instrucción explícita del tipo «esta afirmación debe corresponder a un hecho verdadero del mundo». La diferencia se aprecia en dos frases ficticias, «el informe confirmó el resultado» y «el informe refutó el resultado», cualquiera de las cuales puede ser una continuación lingüísticamente plausible. Para escoger la que describe correctamente un experimento particular hace falta información sobre ese experimento. Nada impide que el modelo aprenda cómo suelen redactarse confirmaciones y refutaciones sin disponer del dato que decide cuál corresponde, en cuyo caso tendría la competencia para producir cualquiera de las dos formulaciones sin el fundamento para afirmar una de ellas.
Predecir no se reduce necesariamente a repetir secuencias frecuentes. Si el modelo encuentra múltiples ejemplos de concordancia, puede aprender relaciones aplicables a combinaciones nuevas y usar esas regularidades en frases que no observó literalmente. Hasta dónde llega esa generalización y en qué condiciones falla son cuestiones empíricas. La etiqueta «predice tokens» describe un objetivo de entrenamiento, del cual no puede deducirse sin pruebas que el sistema solo memorice ni que adquiera una comprensión humana completa.
Una secuencia de baja probabilidad puede, además, ser perfectamente verdadera. Los nombres raros, las combinaciones inesperadas y los descubrimientos nuevos pueden recibir menor probabilidad que las formulaciones comunes. Un sistema entrenado para continuar texto enfrenta una tensión entre la adecuación a regularidades previas y la fidelidad a información excepcional. Una aplicación que deba manejar novedades tiene que suministrar la evidencia sobre esas novedades y evaluar si el modelo la utiliza, sin dar por supuesto que la plausibilidad lingüística basta.
Otras formas de producir una señal de aprendizaje
El modelado causal es una opción entre varias. En el modelado enmascarado se ocultan elementos y se entrena al sistema para reconstruirlos con el contexto disponible. BERT empleó esta estrategia en su entrenamiento original, junto con un objetivo adicional sobre relaciones entre segmentos. Consultar ambos lados de la posición oculta favorece representaciones adecuadas para tareas que disponen de una entrada completa, aunque el procedimiento difiere de la generación estrictamente de izquierda a derecha (Devlin et al., 2019). En otra familia de objetivos se alteran fragmentos del texto y el sistema aprende a reconstruirlos mediante un esquema de entrada y salida. El proyecto T5 exploró objetivos y decisiones de transferencia bajo un formato común de texto a texto, en el que tareas distintas pueden expresarse como una entrada y una respuesta textuales. Ese marco facilita compartir procedimientos y hacer comparaciones dentro de un diseño unificado (Raffel et al., 2020).
Las diferencias entre objetivos modifican la información necesaria para resolver el entrenamiento. Cada objetivo crea incentivos particulares y ninguno abarca todos los usos del lenguaje. Reconstruir una palabra borrada en «la llave está sobre la mesa» permite aprovechar pistas a ambos lados, mientras que continuar «la llave está» obliga a anticipar lo que sigue sin ver el resto. Cuando lo borrado es un fragmento extenso, la reconstrucción puede requerir relaciones discursivas distintas de las que bastan para completar una sola posición.
El término aprendizaje autosupervisado indica que los objetivos se obtienen de los propios datos, por ejemplo al ocultar o desplazar partes de una secuencia, sin necesidad de etiquetas manuales para cada oración. Las decisiones humanas siguen presentes en los criterios de diseño que afectan a lo aprendido, pues alguien selecciona el corpus, define las transformaciones, escoge la función de pérdida y decide qué ejemplos pesan más.
La comparación de objetivos plantea preguntas de interés para la lingüística. Si dos modelos de tamaño semejante reciben los mismos datos y difieren al resolver una dependencia, el objetivo podría explicar parte de la diferencia, siempre que se controlen los demás aspectos del entrenamiento. Las comparaciones entre sistemas completamente distintos suelen mezclar demasiadas variables como para atribuir el resultado a una sola diferencia conceptual.
El corpus como selección del mundo escrito
Un corpus reúne textos producidos por determinadas personas e instituciones en condiciones históricas y tecnológicas particulares. Llamarlo muestra transparente de «el lenguaje humano» oculta esa procedencia. Algunas variedades tienen mayor presencia digital y otras aparecen de forma fragmentaria o en transcripciones de terceros. Los géneros se distribuyen también de manera desigual, pues un corpus puede ser rico en documentación técnica y pobre en conversación espontánea. Estas diferencias influyen en las regularidades que el modelo puede aprender.
La selección suele involucrar filtros de idioma, calidad, duplicación y formato, cada uno con sus consecuencias. Eliminar el texto que parece poco convencional puede mejorar ciertos indicadores y a la vez excluir variedades dialectales, escritura informal o producciones de hablantes no nativos. Conservarlo todo tampoco asegura que el corpus sea representativo y puede añadir ruido y material repetido o irrelevante. Quien analiza el modelo necesita saber qué criterio se utilizó y qué efectos tuvo sobre las poblaciones y los fenómenos estudiados.
Cuando una frase se ha copiado miles de veces entre sitios, su peso en el corpus puede superar al de una formulación igualmente válida pero menos difundida. La frecuencia en el corpus mezcla frecuencia comunicativa, prácticas de publicación y mecanismos de recolección, por lo cual no cabe tomarla sin más por frecuencia de creencia, de verdad o de uso en una población definida. El modelo hereda esas sobrerrepresentaciones junto con el resto de la distribución.
Los límites entre documentos también tienen efectos. Concatenar textos sin señales claras puede crear continuidades artificiales, como cuando una noticia seguida de un comentario sarcástico forma una secuencia cuyo cambio de voz puede resultar difícil de identificar. Las marcas de fuente, fecha o género pueden ayudar, aunque hay que documentar si estaban presentes y cómo se trataron. Si después se pide al modelo que distinga voces o atribuciones, la manera en que se unieron y marcaron los documentos del corpus forma parte de las condiciones en que aprendió a hacerlo.
En la editorial ficticia, un modelo preentrenado sobre documentos generales puede conocer muchos usos de «revisión» e ignorar la clasificación interna de las cartas. Si la palabra designa unas veces corrección de estilo y otras reconsideración de una decisión editorial, la adaptación debe mostrar qué distinción interesa. El conocimiento lingüístico previo ahorra trabajo. Qué se entiende por «revisión» en cada categoría lo decide, sin embargo, la editorial cuando define sus etiquetas y resuelve los casos ambiguos.
Transferencia y adaptación al dominio
La transferencia reutiliza lo aprendido en una etapa para facilitar otra. En la práctica, las representaciones del modelo pueden alimentar un clasificador pequeño, o bien cabe seguir ajustando una parte de sus parámetros con datos nuevos. Con ello se espera no tener que aprender desde cero todas las regularidades necesarias, aunque el beneficio puede ser desigual porque algunas características ayudan y otras reflejan asociaciones poco útiles para el nuevo contexto.
Gururangan y sus colaboradores estudiaron la continuación del preentrenamiento con datos de dominios y tareas específicos. Observaron beneficios en diversas condiciones evaluadas, aunque sus resultados no indican que continuar el preentrenamiento con cualquier corpus mejore el modelo. El trabajo ayuda a distinguir entre adaptar las representaciones a un tipo de texto y enseñar una tarea mediante etiquetas explícitas (Gururangan et al., 2020). Supongamos que las cartas de la editorial contienen abreviaturas internas y referencias a etapas de evaluación. Continuar el preentrenamiento con correspondencia institucional puede familiarizar al modelo con esos patrones; el ajuste supervisado aprende luego a asociar ejemplos con categorías como «consulta de estado» o «corrección de datos». Cada etapa atiende una necesidad distinta. Por abundante que sea, el texto del dominio no trae consigo la definición exacta de las etiquetas.
También existe el riesgo de una especialización excesiva. Si el modelo se adapta solo a cartas de un período muy particular, puede perder rendimiento cuando cambian los formularios o los temas. Con datos nuevos de distribución estrecha, algunas capacidades previas pueden deteriorarse durante el ajuste aunque mejore la medida local de la tarea. Conviene que la evaluación cubra, además de la tarea objetivo, las capacidades previas que el sistema necesita conservar.
La técnica adecuada depende del diagnóstico del problema y de los datos y recursos disponibles. Para una clasificación pequeña puede bastar una representación fija con una capa de salida entrenada con cuidado. En una tarea con convenciones específicas de redacción, quizá resulte útil un ajuste más amplio. Si el problema es sobre todo consultar documentos que cambian cada semana, la recuperación de información puede ser más adecuada que reentrenar continuamente.
Qué cambia durante el ajuste fino
El ajuste fino continúa la optimización de un modelo preexistente. En una clasificación puede modificar parámetros para aumentar la probabilidad de la etiqueta correcta; en una tarea generativa puede usar pares de entrada y respuesta deseada. La operación se define por los parámetros que se actualizan y por la función de pérdida empleada, haya o no una instrucción escrita. Una conversación ordinaria que solo modifica el contexto, sin actualizar parámetros, no es un ajuste fino.
La calidad de los ejemplos condiciona el resultado. Si las etiquetas de la editorial se asignaron con criterios cambiantes, el modelo aprenderá una mezcla de decisiones. Cuando los anotadores discrepan, la causa puede ser un descuido o una ambigüedad legítima de las categorías. Antes de pedir coherencia al modelo hay que revisar si la tarea admite una respuesta inequívoca. A veces lo razonable es redefinir las etiquetas, permitir varias categorías o incluir una opción de revisión humana.
Los conjuntos de entrenamiento y de evaluación deben mantenerse separados. Si una carta y una versión casi idéntica aparecen en ambos, el resultado puede medir el reconocimiento de plantillas. Partir los datos por fecha, remitente o expediente da a veces una prueba más exigente, según el uso previsto. La partición debe responder a la situación en que se usará el sistema, porque clasificar cartas nuevas de remitentes conocidos y generalizar a instituciones y formatos nunca observados son tareas distintas.
La tasa de aprendizaje regula el tamaño de las actualizaciones. Un ajuste demasiado agresivo puede alterar bruscamente comportamientos útiles. Con uno demasiado débil, es posible que la adaptación quede incompleta. También influyen el número de pasos, la regularización y la selección del punto de entrenamiento. Ningún valor sirve para cualquier modelo y conjunto de datos. La práctica responsable compara configuraciones sobre un conjunto de validación y reserva una evaluación final que no haya guiado ninguna decisión.
En las tareas generativas, los ejemplos enseñan además convenciones de forma. Si todas las respuestas correctas comienzan con una fórmula ceremonial, el modelo puede aprenderla aunque la tarea no la requiera. Cuando los ejemplos exageran la certeza, esa postura puede incorporarse a su comportamiento. Junto con la información temática, el ajuste transmite maneras de afirmar y criterios sobre lo que se omite. Para un curso de lingüística, este aspecto vincula directamente el entrenamiento con la pragmática y la autoridad discursiva.
Adaptaciones con menos parámetros entrenables
Modificar todos los parámetros puede ser costoso. Los métodos de adaptación eficiente buscan cambios útiles con el entrenamiento de una fracción menor de componentes. LoRA, presentado por Hu y colaboradores, mantiene congeladas las matrices originales y aprende una actualización parametrizada mediante factores de rango reducido. Así pueden adaptarse ciertas transformaciones sin almacenar ni optimizar una matriz completa de cambio para cada componente seleccionado (Hu et al., 2022; prepublicación inicial de 2021).
La restricción recae sobre el cambio de pesos. Si una matriz original congelada tiene m filas y n columnas, el modelo adaptado utiliza , donde tiene m filas y r columnas y tiene r filas y n columnas, con un rango r pequeño. Los dos factores suman r(m + n) parámetros entrenables, frente a los mn de una actualización completa de esa matriz. Si tiene mil filas y mil columnas, contiene un millón de elementos; con un rango de ocho, los factores suman 16.000 elementos (8 × 2.000). Como la restricción afecta solo al término añadido, la matriz resultante puede conservar rango completo. El cálculo ilustra la reducción de parámetros de la actualización, aunque no da una estimación completa del ahorro real de memoria o de tiempo de un entrenamiento. El modelo base, además, debe cargarse igualmente. El método reduce los parámetros entrenables y los estados asociados a la adaptación, pero no comprime la red completa (Hu et al., 2022).
La restricción de rango incorpora una hipótesis sobre los cambios necesarios. Puede bastar para adaptar ciertos comportamientos y resultar estrecha para otras transformaciones; el rango y las matrices donde se aplica deben elegirse mediante evaluación. Tener menos parámetros entrenables no protege contra el sobreajuste ni contra los defectos de los datos, porque un adaptador pequeño puede aprender con mucha eficacia asociaciones indeseadas.
Otra ventaja práctica es separar un modelo base de los adaptadores entrenados para tareas distintas. Al combinarlos o intercambiarlos, sin embargo, sus propiedades pueden dejar de ser independientes, porque las modificaciones interactúan con el modelo base y con el contexto de uso. Un adaptador que funciona bien aislado debe probarse de nuevo dentro de un sistema con otras instrucciones, herramientas o fuentes documentales.
Desde el punto de vista lingüístico, estos métodos permiten experimentar con cambios de registro o de tarea sin reconstruir el modelo entero, así como estudiar qué parte del comportamiento puede modificarse mediante intervenciones relativamente acotadas. La interpretación debe guardar proporción con lo observado. Si un adaptador cambia la manera de redactar, lo modificado son parámetros que influyen en una distribución de salidas; hablar de un cambio de personalidad sería afirmar la modificación de una entidad psicológica, algo que el cambio de redacción no demuestra.
Aprender con ejemplos dentro del contexto
Cuando un usuario muestra varios ejemplos de clasificación en una misma solicitud y pide que se clasifique un caso nuevo, el modelo condiciona su respuesta por esos ejemplos sin que sus parámetros tengan que actualizarse. Esta adaptación durante el uso suele llamarse aprendizaje en contexto. Brown y colaboradores estudiaron ampliamente configuraciones de este tipo en GPT-3 con distintas cantidades de demostraciones (Brown et al., 2020).
Tanto el aprendizaje en contexto como el ajuste fino pueden cambiar las respuestas, aunque lo hacen por mecanismos diferentes y con costos distintos. En el primero, las demostraciones forman parte de la entrada de una ejecución concreta; si se retiran, el sistema pierde el acceso directo a ellas, salvo que otra función del producto las conserve o recupere. El ajuste fino, en cambio, modifica parámetros o componentes persistentes.
Volvamos a las cartas. Si antes de presentar una carta nueva se incluyen cinco ejemplos de «consulta de estado» y cinco de «solicitud de corrección», representativos y con categorías claras, el sistema puede inferir la tarea buscada. Cuando todos los ejemplos de una categoría son largos y los de la otra breves, podría guiarse por la longitud y pasar por alto la intención comunicativa. El diseño de las demostraciones necesita controles similares a los de un conjunto de entrenamiento pequeño. El orden y la selección también pueden alterar los resultados; una demostración ambigua situada al final puede influir de manera diferente de otra ubicada al comienzo. Influye asimismo que los ejemplos lleven etiquetas arbitrarias o nombres descriptivos. Para evaluar un método de aprendizaje en contexto se recomienda repetir la prueba con distintas selecciones e informar la variabilidad entre ellas como parte del comportamiento estudiado, sin limitarse a la combinación que funcionó mejor.
Lo aprendido en contexto, por otra parte, no es una actualización verificada de los conocimientos generales del sistema. Si el usuario introduce una afirmación falsa como premisa, el modelo puede utilizarla para completar la tarea. Eso es lo correcto en un ejercicio planteado dentro de una ficción o de un supuesto, pero en otros casos la adaptación puede propagar un error. El contexto debe distinguir, por eso, los datos aportados, las reglas del ejercicio y las afirmaciones que requieren comprobación externa.
Escala, datos y límites de las comparaciones
El tamaño del modelo, la cantidad de datos y el presupuesto de cálculo interactúan. Los estudios de escalamiento buscan describir cómo cambian las medidas de pérdida o de rendimiento al variar esos factores. Hoffmann y colaboradores mostraron en sus experimentos cuánto pesa, para aprovechar un presupuesto computacional dado, el equilibrio entre el tamaño del modelo y la cantidad de entrenamiento. Su trabajo cuestionó las estrategias que aumentaban los parámetros sin suficientes tokens de entrenamiento (Hoffmann et al., 2022). Una relación empírica de escalamiento no tiene la generalidad de una ley y quizá describa solo un rango de tamaños, una distribución y una medida específicas. Extrapolarla o usarla para predecir cualquier capacidad requiere comprobación. Una reducción de la pérdida promedio puede coexistir, además, con fallos persistentes en fenómenos raros o difíciles. La agregación estadística no dispensa de pruebas diseñadas para las capacidades que una aplicación necesita.
Tampoco es válido comparar dos productos solo por el número de parámetros anunciado. Pueden diferir en mezcla de datos, duración del entrenamiento, arquitectura, ajustes y herramientas disponibles. Algunos sistemas activan solo una parte de sus parámetros en cada paso; otros incorporan recuperación documental o cálculo externo. Cuando una respuesta es mejor, la causa puede estar en el sistema completo aunque se presente comercialmente como propiedad del modelo central.
La eficiencia depende además del uso esperado. Un entrenamiento que minimiza el costo de alcanzar cierta pérdida puede no ser el más económico en el balance total si el modelo va a utilizarse millones de veces, caso en que podría resultar atractivo un sistema más pequeño entrenado durante más tiempo. Estas decisiones obligan a considerar el ciclo de vida completo del modelo además de la cifra de entrenamiento, criterio del que también puede beneficiarse la investigación lingüística cuando elige modelos para experimentos reproducibles. En el caso de la editorial, carecería de sentido entrenar un modelo enorme si una solución sencilla alcanza el desempeño necesario con errores comprensibles. La comparación tendría que incluir una referencia básica y una estimación del costo de las equivocaciones. Un sistema que solo ordena mensajes para una revisión posterior tiene requisitos distintos de los de una decisión automática con consecuencias serias.
Memorización, generalización y datos de evaluación
En lo que aprende un modelo pueden coexistir regularidades generales e información específica de ciertos ejemplos. Carlini y colaboradores lograron extraer en sus experimentos contenido de entrenamiento de un modelo de lenguaje. El resultado hizo ver que no cabe suponer libre de memorización a un sistema generativo por el solo hecho de que utilice representaciones distribuidas (Carlini et al., 2021).
Ante una respuesta que parece extraordinaria, cabe preguntarse si el ejemplo, o una versión cercana, pudo estar en los datos. Un acierto en una pregunta pública muy difundida es compatible con que el modelo haya visto antes el problema que contiene. La contaminación de pruebas ocurre cuando material de evaluación, o información estrechamente relacionada, entra en el entrenamiento. En corpus amplios puede ser difícil descartarla, de modo que las conclusiones tienen que declarar esa limitación. Una estrategia posible es construir casos nuevos y controlar qué aspectos se modifican; para evaluar la comprensión de relaciones, por ejemplo, se conserva la estructura y se cambian entidades, valores o combinaciones. Los ejemplos así generados también necesitan revisión, sobre todo cuando el conjunto de evaluación pretende separar la memorización de la generalización composicional, porque pueden introducir ambigüedades o alejarse de la distribución de interés.
La privacidad añade otra dimensión. Entre los textos de un corpus hay a veces información personal, aunque esté disponible en algún sitio público. Que un texto pueda descargarse resuelve la cuestión técnica del acceso. Su reutilización y su posible reproducción plantean preguntas éticas de otro orden. Un sistema responsable requiere políticas de datos y controles acordes con su contexto. La arquitectura y el objetivo de entrenamiento no aseguran por sí solos que ninguna salida revele información particular.
En la editorial, una prueba sencilla sería reservar cartas completas de un período posterior y revisar los resultados por tipo de consulta. También habría que comprobar que el modelo no reproduce datos identificables de ejemplos previos cuando redacta respuestas nuevas. Estas verificaciones responden a riesgos concretos del uso previsto y examinan la memorización sin suponer que toda generación sea una copia.
Un ciclo de adaptación que permita aprender de los errores
La primera versión del clasificador editorial acierta en muchos casos, pero confunde las cartas que contienen una cortesía extensa con las solicitudes sustantivas. Sin añadir datos de manera indiscriminada, el equipo revisa ejemplos y descubre que los anotadores habían usado la frase inicial como atajo. El caso muestra que mejorar un modelo puede requerir mejorar la tarea. Si el criterio de referencia está mal definido, un entrenamiento más intenso solo optimiza mejor una señal defectuosa. La solución comienza por corregir la definición operativa para que la categoría dependa del propósito principal del mensaje y no de su apertura. Después se revisan las etiquetas y se incorporan casos en que la cortesía inicial no predice el asunto.
La revisión humana debe concentrarse en los desacuerdos informativos y no limitarse a aprobar salidas plausibles. También es útil registrar la incertidumbre. Algunas cartas contienen dos solicitudes; para ellas puede ser más adecuado admitir varias etiquetas que forzar una sola categoría artificial.
El equipo compara entonces un clasificador sencillo, un modelo preentrenado con ejemplos en contexto y un ajuste supervisado. Evalúa con cartas posteriores que no intervinieron en la selección de métodos y, además del promedio, examina los errores según la longitud y el tipo de remitente. Si el ajuste supervisado mejora solo un subconjunto, ese dato puede orientar dónde emplearlo y fundar una decisión técnicamente defendible aunque ninguna de las tres alternativas resulte superior en todos los casos.
Cuando cambia la política editorial, puede ser necesario actualizar las etiquetas. Ante este cambio institucional hay que entregar al modelo la nueva definición y evaluar cómo la aplica, sin esperar a que «se dé cuenta» de que las categorías cambiaron. La elección entre las vías disponibles requiere separar la información que cambia de la conducta que debe persistir. Los documentos vigentes pueden llegar por un sistema de recuperación. Con un ajuste posterior es posible modificar los hábitos de respuesta y con una instrucción, cambiar el criterio durante una ejecución.
El ciclo termina, de manera provisional, con una descripción de lo que se entrenó, de los datos reservados y de los fallos que siguen abiertos. Con esa documentación pueden interpretarse las mejoras futuras. Sin ella, cada versión puede parecer mejor porque se la prueba con ejemplos distintos o porque se olvidaron los errores anteriores.
Qué pertenece al modelo y qué pertenece al producto
Alrededor de un modelo, la interfaz conversacional puede añadir instrucciones persistentes, recuperar documentos, ejecutar herramientas y aplicar reglas de presentación. Si el usuario observa una mejora, no siempre puede atribuirla al preentrenamiento o al ajuste fino, puesto que quizá cambió la selección de documentos, la plantilla de instrucciones o la forma de comprobar los resultados. La evaluación de un producto tiene que describir ese conjunto. Una investigación sobre entrenamiento, por su parte, necesita aislar las modificaciones del modelo que pretende comparar. La distinción afecta también a la reproducibilidad. Guardar únicamente la pregunta del usuario puede ser insuficiente si existían instrucciones adicionales o información recuperada que no quedó registrada. Repetir el experimento requiere los elementos que condicionaron la respuesta, dentro de los límites de acceso y privacidad aplicables. Sin esas condiciones, una salida sorprendente es una observación interesante, aunque da una base débil para atribuir capacidades específicas al modelo.
En la editorial, dos aplicaciones podrían usar el mismo modelo central y producir clasificaciones diferentes porque una incluye la definición actual de las categorías y la otra conserva una versión antigua. Antes de pensar en reentrenar habría que actualizar el contexto operativo. Así se evita gastar recursos en modificar parámetros cuando el problema reside en la información suministrada durante el uso. Al identificar qué componente introdujo el criterio equivocado, la comprobación ayuda además a asignar con más precisión la responsabilidad por el error.
Operaciones sobre el modelo y su interés para la lingüística
El preentrenamiento y el ajuste fino explican cómo se construyen muchas capacidades lingüísticas computacionales, si bien el uso de esas capacidades plantea cuestiones adicionales. Un sistema que ya completa textos quizá necesite todavía entrenamiento para seguir instrucciones de manera consistente. Aun cuando las siga, pueden aparecer problemas de atribución, exageración o complacencia. Las etapas posteriores intentan orientar esas conductas, aunque sus objetivos y medidas no tienen por qué coincidir con los valores que sugieren sus nombres.
Para interpretar un sistema hay que saber qué cambia en cada operación. El preentrenamiento modifica parámetros a partir de una tarea amplia y la adaptación los acerca a un dominio o a un uso. Las demostraciones en contexto condicionan una ejecución, en tanto que la recuperación añade información disponible para responder. Estas operaciones pueden combinarse, aunque no son intercambiables; una pregunta sobre hechos recientes, una necesidad de formato y una dificultad de clasificación pueden requerir intervenciones distintas.
Para el estudio del lenguaje, estos modelos son además un medio de investigar qué regularidades pueden aprenderse bajo objetivos y datos definidos. Sus éxitos y errores son evidencia sobre procedimientos computacionales, siempre que se eviten inferencias desmedidas hacia la cognición humana. La evaluación debe mantener separados el comportamiento observado, el mecanismo propuesto y la explicación demostrada. Con esa separación, cuando se afirma que un modelo «aprendió» algo, puede precisarse en qué etapa ocurrió el cambio y con qué datos y objetivo se produjo.
Referencias
Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems. https://arxiv.org/abs/2005.14165
Carlini, N., et al. (2021). Extracting training data from large language models. 30th USENIX Security Symposium. https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting
Devlin, J., Chang, M.-W., Lee, K., y Toutanova, K. (2019). BERT: Pre-training of deep bidirectional Transformers for language understanding. Proceedings of NAACL-HLT, 4171–4186. https://aclanthology.org/N19-1423/
Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., y Smith, N. A. (2020). Don’t stop pretraining: Adapt language models to domains and tasks. Proceedings of ACL, 8342–8360. https://aclanthology.org/2020.acl-main.740/
Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models. Advances in Neural Information Processing Systems. https://arxiv.org/abs/2203.15556
Hu, E. J., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR; prepublicación inicial de 2021. https://arxiv.org/abs/2106.09685
Raffel, C., et al. (2020). Exploring the limits of transfer learning with a unified text-to-text Transformer. Journal of Machine Learning Research, 21(140), 1–67. https://www.jmlr.org/papers/v21/20-074.html