Una representación estática asigna un vector a una unidad del vocabulario; una representación contextual calcula un vector para una ocurrencia situada dentro de una secuencia. La diferencia se aprecia con «banco», cuyas apariciones en «el banco concedió un préstamo» y «el banco del parque estaba mojado» conservan la misma forma escrita y participan en relaciones distintas. Un modelo contextual puede producir representaciones diferentes al incorporar información de las palabras que acompañan cada aparición, siempre según la información que recibe y el uso que hace de ella.
El término ocurrencia exige una precisión cuando el sistema trabaja con subpalabras, porque una palabra gráfica puede dividirse en varios tokens y recibir varios vectores contextuales. Hablar del vector de una palabra supone entonces una decisión adicional, que puede consistir en seleccionar una pieza, combinar varias o usar una representación calculada para el segmento completo. El nivel lingüístico que estudia el análisis puede diferir del nivel que procesa directamente la arquitectura, diferencia que debe documentarse antes de comparar resultados.
Contextualizar y desambiguar son operaciones distintas. Que dos apariciones reciban vectores diferentes muestra sensibilidad a alguna diferencia de entrada, que puede ser el orden, la longitud o una palabra cercana sin relación con la interpretación buscada. Para afirmar que el modelo distingue el banco financiero del asiento hace falta una evaluación apropiada, con ejemplos que controlen explicaciones alternativas. La contextualización es una forma de cálculo cuyo valor semántico se comprueba examinando qué distinciones permite hacer y en qué condiciones las conserva o las pierde.
Una función de la secuencia, la posición y la capa
Si es la secuencia de tokens de entrada, la posición que se estudia y el conjunto de parámetros del modelo, una representación en la capa puede escribirse como . La notación expresa que el vector resulta de un cálculo sobre una entrada situada. Las restricciones de acceso forman parte de la función, de modo que la fórmula admite que una posición consulte solo una parte de la secuencia. La representación tampoco se identifica con una definición verbal de la palabra.
Una capa es una etapa de transformación dentro de la red. La representación inicial puede combinar un embedding de identidad con información de posición; las capas posteriores integran información de otras unidades accesibles. Consultar la tabla inicial y extraer un estado posterior son operaciones diferentes, por lo que un informe que solo declara haber usado «los embeddings del modelo» omite qué representación observó, ambigüedad que el nombre del modelo tampoco resuelve.
En un ejemplo didáctico, dos apariciones de «banco» pueden compartir el vector de identidad y diferir en una capa posterior. Esa diferencia localiza el efecto de la contextualización dentro del procesamiento; falta todavía explicar qué propiedad semántica codifica. Para reproducir la comparación deben conservarse la tokenización, la capa seleccionada, las posiciones y las condiciones de cálculo, además de controlar la aleatoriedad si se introduce durante la evaluación. Atribuir toda variación numérica al contexto lingüístico sin comprobar esas condiciones confundiría los cambios de entrada con los del procedimiento usado para observarla.
El contexto accesible y la dirección de la información
En la interpretación humana, la palabra contexto puede designar todo lo que rodea una expresión, mientras que un modelo solo consulta lo que su arquitectura le permite. Una representación causal de izquierda a derecha depende del prefijo disponible hasta su posición. Una representación bidireccional puede incorporar información situada a ambos lados, con distintas maneras de combinarla. La dirección del acceso es una propiedad computacional que condiciona qué diferencias pueden aparecer en un estado determinado.
Considérense dos secuencias didácticas, «Pasó por el banco para descansar» y «Pasó por el banco para retirar dinero». Supongamos que la tokenización conserva exactamente el mismo prefijo hasta «banco». En un modelo causal determinista, con los mismos parámetros y posiciones, el estado de esa ocurrencia tiene que coincidir en ambas secuencias, porque todavía no puede usar la continuación que las distingue. Un estado posterior, calculado después de «descansar» o de «dinero», sí puede incorporar esa información, de manera que la limitación de una posición convive con la capacidad del sistema completo para diferenciar las dos secuencias.
Un codificador bidireccional puede usar la continuación al representar «banco» si la entrada completa está disponible y sus reglas de acceso lo permiten. Esa información adicional mejora las condiciones del análisis, si bien la ambigüedad puede persistir o las pistas resultar insuficientes. La comparación entre modelos debe respetar la información a la que accede cada uno, pues resolver una tarea con acceso al texto posterior y resolverla antes de que aparezca son condiciones distintas; evaluarlas como si fueran iguales atribuiría al aprendizaje un efecto que procede también del acceso a la evidencia.
ELMo y la combinación de recorridos direccionales
Peters y colaboradores (2018) presentaron ELMo como una representación derivada de los estados internos de un modelo de lenguaje bidireccional profundo, entrenado previamente sobre un corpus extenso. Su arquitectura recorre la secuencia con redes recurrentes en sentidos opuestos y combina sus estados. Una red recurrente actualiza una representación a medida que procesa la secuencia; la dirección elegida determina qué información anterior en ese recorrido puede influir en cada actualización. La concatenación de los estados de ambas direcciones reúne sus componentes en un vector mayor, sin convertir retrospectivamente cada recorrido en un cálculo que hubiera consultado ambos lados a la vez en todas sus capas.
El ejemplo del banco ayuda a ver esta distinción. El recorrido hacia adelante incorpora el prefijo y el recorrido inverso incorpora información de la continuación, con lo cual al reunirlos se dispone de señales de ambos entornos que un cálculo posterior puede combinar para una tarea. El camino por el que llegó la información pesa, sin embargo, en el resultado, pues combinar dos descripciones construidas por separado es una operación distinta de permitir que las unidades de ambos lados interactúen en cada transformación profunda.
ELMo permite también combinar estados de varias capas mediante pesos aprendidos para cada tarea, lo que reconoce que la última capa puede no ser la única fuente útil. Sus autores observaron que la capa superior del modelo funcionaba mejor para desambiguar sentidos de palabras y la primera para el etiquetado de categorías gramaticales. La representación más útil depende, entonces, del modo de extraer información del modelo. La arquitectura entrega estados y la aplicación decide cómo incorporarlos a su propio cálculo, una decisión que forma parte de lo que debe evaluarse.
BERT y la predicción de unidades ocultas
Devlin y colaboradores (2019) describieron BERT como un modelo de representaciones bidireccionales basado en Transformer, diseñado para condicionar cada representación a la vez en el contexto izquierdo y en el derecho en todas sus capas. Uno de sus objetivos de preentrenamiento consiste en predecir unidades seleccionadas a partir de una entrada parcialmente alterada, de manera que la tarea no puede resolverse copiando cada unidad visible. El trabajo original usó además un objetivo de predicción de la oración siguiente, que atañe a la relación entre dos segmentos. Ambos objetivos deben distinguirse de la arquitectura que hace los cálculos.
En un ejemplo didáctico, «El banco concedió un [MASK]» permite usar «banco» y «concedió» para proponer una unidad oculta. La oración ilustra qué información entrega la tarea y es ajena a las probabilidades de cualquier modelo real. Variar el verbo o el resto de la secuencia cambia las pistas disponibles. Aprender a resolver muchos casos de este tipo puede producir estados útiles para otras tareas, utilidad que debe comprobarse en cada una. La formulación del objetivo describe una tarea de entrenamiento. Que el modelo recupere el sentido correcto o prediga unidades verdaderas es algo que debe medirse aparte.
El objetivo enmascarado tampoco entrega automáticamente la misma distribución sobre secuencias que un modelo autorregresivo de izquierda a derecha, en el que la regla de la cadena organiza probabilidades condicionadas por prefijos. Predecir una unidad con acceso a ambos lados supone otro condicionamiento, por lo que el producto de predicciones obtenidas con enmascaramientos diferentes carece de justificación como probabilidad conjunta normalizada. Distinguir estas tareas evita confundir representación contextual, puntuación de compatibilidad y generación probabilística. Un codificador puede ser útil para clasificar o comparar textos aunque sus salidas no sean probabilidades de producirlos completos.
Atención y actualización de representaciones
La atención calcula combinaciones ponderadas de la información accesible. En una descripción simplificada, cada posición produce una consulta que se compara con claves de otras posiciones. Esas compatibilidades se transforman en pesos que combinan vectores de valor. Los términos consulta, clave y valor nombran transformaciones numéricas aprendidas, sin ninguna pregunta consciente ni búsqueda humana dentro de la red. La operación define cómo se reúne información para actualizar una representación.
En la autoatención, las posiciones relacionadas pertenecen a la misma secuencia. Una máscara impide usar ciertas relaciones, como las dirigidas a posiciones futuras en un modelo causal; sin esa restricción, un codificador bidireccional puede integrar información de toda la entrada permitida. Las múltiples cabezas de atención hacen varias de estas operaciones en paralelo con parámetros diferentes. La arquitectura Transformer que describieron Vaswani y colaboradores (2017) combina la atención con capas de alimentación directa, conexiones residuales y normalización, por lo que sus estados resultan de varias transformaciones sucesivas y exceden un simple promedio de palabras vecinas.
En un caso didáctico, la posición de un pronombre podría asignar mayor peso a la información de una mención anterior. Ese patrón sería una observación sobre el cálculo cuya relevancia habría que investigar. Para saber si el modelo resolvió bien la referencia, o si esa relación causó la respuesta, hacen falta pruebas adicionales, dado que otras cabezas, capas y componentes también participan en el resultado. Explicar una decisión requiere examinar cómo contribuyen las operaciones al comportamiento, del que una visualización de atención muestra solo una parte.
Posición, orden y diferencias entre secuencias
La organización de una oración depende del orden de sus unidades, además de su identidad. «Lucía llamó a Marta» y «Marta llamó a Lucía» contienen los mismos nombres y el mismo verbo, pero reparten de otra manera los papeles de las participantes, de modo que un sistema necesita información que le permita distinguir esa organización. Las representaciones posicionales dan señales sobre la ubicación de las unidades o sobre sus distancias relativas, según el diseño; su incorporación forma parte de la arquitectura y se distingue de la identidad léxica.
Si una operación combina un conjunto de vectores sin información de orden, puede perder diferencias entre permutaciones. Un promedio de estados contextuales puede, con todo, conservar efectos del orden, porque los estados pudieron incorporarlo antes de promediarse. La operación final es conmutativa respecto de esos vectores, aunque los vectores de una oración reordenada sean diferentes. Separar las etapas evita atribuir al sistema completo la limitación de una operación aislada.
La posición puede introducir además efectos ajenos a la semántica que estudia la investigación. Al comparar dos ocurrencias, una diferencia de estado puede deberse en parte a su ubicación; en un experimento hipotético sobre negación, añadir una palabra al comienzo desplaza todas las posiciones posteriores. Si toda la variación se atribuye a la negación, ese cambio concurrente queda sin considerar. Las comparaciones controladas deben atender a la longitud, la posición y la segmentación junto con el contraste lingüístico principal, dado que un resultado contextual puede contener varias clases de información a la vez y es el diseño de la evaluación el que permite distinguir qué parte es pertinente para la conclusión que se quiere formular.
Capas y selección de información
Cada capa transforma los estados que recibe y puede volver accesibles relaciones diferentes para una tarea posterior. Elegir la última capa es, por eso, una opción entre otras, junto a una capa intermedia, una combinación de varias o una representación adaptada a la tarea. La elección es empírica y depende de cómo se mida la utilidad, puesto que un modelo entrenado para predecir ciertas salidas organiza sus estados según ese objetivo, que puede diferir del que persigue el análisis lingüístico.
En una combinación ponderada, los pesos indican cuánto aporta cada representación al vector que usa la aplicación. En un ejemplo numérico inventado, dos capas podrían combinarse como , siempre que sus dimensiones sean compatibles. Esa operación describe la combinación adoptada bajo ciertas condiciones de aprendizaje, sin atribuir a la segunda capa el triple de significado. La magnitud y la distribución de los estados también afectan al resultado, de ahí que los pesos midan la contribución a esa combinación concreta, una magnitud distinta de la importancia conceptual de cada capa.
Tenney y colaboradores (2019) diseñaron tareas de sondeo de aristas (edge probing) para examinar qué información sobre la estructura oracional podía recuperarse de las representaciones contextuales de cuatro modelos. Encontraron representaciones sólidas para fenómenos sintácticos y mejoras comparativamente pequeñas en tareas semánticas respecto de una línea de base no contextual. Un estudio de este tipo compara la accesibilidad de propiedades sin fijar una ley que asigne la sintaxis a las capas bajas y el significado a las altas en cualquier modelo, ya que la propiedad examinada, el sondeo y la arquitectura intervienen en la observación. Una descripción rigurosa mantiene la conclusión en su nivel, el de cierta información recuperada con un procedimiento determinado en ciertas representaciones; extenderla a una división universal del trabajo lingüístico dentro de las redes requeriría evidencia mucho más amplia.
De los tokens a palabras y segmentos
Una aplicación puede necesitar una representación para una palabra completa, una oración o un documento, aunque el modelo produzca un estado por token. El pooling, operación que reúne varias representaciones en una sola, puede consistir en un promedio, en la selección de una posición especial o en una combinación ponderada aprendida. Cada alternativa conserva y descarta información de manera distinta, por lo que la decisión debe justificarse según la tarea, sin suponer que equivale a extraer directamente el significado del segmento.
Cuando una palabra se divide en subpalabras, seleccionar solo la primera puede ser una convención práctica para ciertos análisis y promediar todas sus piezas es otra. Si una forma contiene una base y una terminación, las pistas útiles podrían repartirse entre varias posiciones, aunque los estados ya intercambien información contextual. Una comparación entre métodos debe mantener la misma segmentación y la misma tarea, ya que ninguna estrategia recupera de antemano mejor la morfología o el sentido.
En una oración completa, el promedio puede verse afectado por las posiciones incluidas. Los tokens de relleno, que se agregan para igualar longitudes durante el procesamiento, son ajenos al texto; las posiciones especiales también exigen una decisión explícita. El estado de una marca de clasificación puede haberse ajustado para otra función, de modo que las distancias entre esos estados tienen que validarse antes de usarlas como medida general de semejanza entre oraciones. Un sistema de recuperación debe evaluar si sus vecinos corresponden al tipo de relación buscada. Obtener un único vector resuelve una necesidad de formato computacional, mientras que su adecuación semántica sigue siendo una pregunta empírica.
Geometría contextual y anisotropía
Los vectores contextuales también se comparan mediante cosenos o distancias, pero su geometría exige atención. En este ámbito, la anisotropía designa una distribución que se comporta de manera desigual según la dirección y puede concentrarse en algunas de ellas. Si muchos vectores comparten un componente dominante, sus cosenos pueden ser elevados incluso cuando las ocurrencias tienen poca relación entre sí. El valor absoluto de una semejanza debe interpretarse respecto de la distribución del espacio, sin umbrales universales.
Ethayarajh (2019) estudió las representaciones de palabras de ELMo, BERT y GPT-2 con oraciones en inglés de conjuntos de evaluación de semejanza textual. Encontró que en ninguna capa de esos modelos las representaciones eran isótropas, que la semejanza de una palabra consigo misma en contextos diferentes disminuía en las capas superiores y que, en promedio, un embedding estático explicaba menos del 5 % de la varianza de las representaciones contextuales de una palabra. Para interpretar sus medidas usó referencias de comparación ajustadas por esa geometría. El coseno sigue siendo útil con esas precauciones, que consisten en examinar qué se compara, en qué capa y respecto de qué distribución de referencia antes de atribuir un valor semántico a una puntuación.
Un ejemplo inventado ilustra el problema. Los vectores y tienen orientaciones próximas porque comparten una primera coordenada grande, aunque difieran por completo en el signo de la segunda. Si esa segunda coordenada fuera útil para una decisión específica, el coseno elevado ocultaría la diferencia. Los números tampoco dicen qué significa cada eje, ya que solo construyen una situación geométrica. Centrar los vectores o transformar el espacio puede cambiar las comparaciones. Esas operaciones exigen a su vez evaluación y una estimación que evite filtrar información de la prueba; un espacio modificado para obtener vecinos más intuitivos tiene que demostrar su mejora en cada tarea que usa la representación.
Sondeos, información recuperable y capacidad del evaluador
Un sondeo (probe) es un modelo auxiliar entrenado para predecir una propiedad a partir de representaciones, como una categoría gramatical, una relación sintáctica o una etiqueta semántica. Un buen resultado en datos separados muestra que la combinación de la representación con ese procedimiento de lectura permite predecir la propiedad en las condiciones estudiadas. La interpretación depende de la capacidad del sondeo y de las regularidades presentes en los datos de evaluación.
Un clasificador muy flexible puede aprender por su cuenta buena parte de la tarea. En un ejemplo hipotético, si ciertas palabras reciben casi siempre la misma etiqueta, el sondeo podría basarse en su identidad sin recuperar la relación estructural que se estudia, un atajo que se facilita cuando las mismas formas se repiten en entrenamiento y prueba. Separar contextos o tipos léxicos, comparar con representaciones sencillas y aplicar controles adecuados ayuda a precisar qué aporta la representación contextual. Cada control responde a una explicación alternativa, de ahí que su elección deba justificarse.
Hewitt y Liang (2019) propusieron tareas de control, que asocian tipos léxicos con salidas aleatorias, para evaluar la selectividad de los sondeos frente a su capacidad de memorizar. En el control para el etiquetado gramatical, cada tipo léxico recibe una etiqueta aleatoria que se mantiene en todas sus ocurrencias. La selectividad es la diferencia entre la exactitud en la tarea lingüística y en la tarea de control. Con ese criterio observaron que varios sondeos habituales sobre ELMo eran poco selectivos y que los aplicados a la segunda capa de ELMo resultaban bastante más selectivos que los de la primera, aunque estos tuvieran una exactitud algo mayor en el etiquetado. Una selectividad alta es relativa a ese control, a esos datos y a ese sondeo, sin convertirse en una medida general de comprensión.
La accesibilidad de una propiedad también debe separarse de su uso efectivo, porque una propiedad puede recuperarse de un estado sin que el modelo original la use para producir una salida particular. El sondeo aprende una función de lectura nueva y su éxito aporta evidencia sobre la información accesible para esa función; una explicación causal del comportamiento del sistema que produjo los vectores exige otra clase de pruebas.
Intervenciones y preguntas causales
Una pregunta causal exige investigar qué cambia cuando se modifica un componente pertinente. Puede alterarse una entrada, reemplazarse una representación o bloquearse una vía de cálculo para observar el efecto sobre una salida, procedimientos distintos de correlacionar estados con etiquetas. Cualquier modificación tiene, con todo, sus propios efectos, porque cambiar un vector puede afectar a varias propiedades a la vez y producir una configuración que el modelo nunca encontró durante el entrenamiento.
En un ejemplo didáctico, sustituir «banco» por «asiento» modifica la identidad léxica y posiblemente la tokenización. Si cambia una predicción, el resultado mezcla varios factores, entre ellos la interpretación financiera frente a la de mobiliario. Una intervención más controlada compararía conjuntos de contextos en los que se mantengan constantes otras características pertinentes, con ejemplos diversos para que una sola frase no decida la conclusión. Un cambio de comportamiento es una observación; explicar qué mecanismo lo produjo requiere examinar las condiciones de la intervención.
También puede intentarse retirar del espacio una dirección que se supone portadora de cierta propiedad. Si el desempeño cambia, la alteración muestra sensibilidad a la transformación aplicada, pero su especificidad necesita una comprobación aparte, porque esa dirección podría contener información útil para varias funciones o la modificación podría alterar la escala de los estados. Los controles ayudan a separar una contribución específica de un daño general al procesamiento. Una explicación mecanicista necesita conectar intervención, componente y resultado mediante evidencia convergente, para precisar qué operación contribuye a una conducta bajo condiciones definidas. Una herramienta interpretativa aporta parte de esa evidencia y es distinta de una demostración completa de cómo el modelo codifica el significado.
Negación y referencia en ejemplos controlados
La negación permite separar la semejanza temática de la compatibilidad proposicional. «Marta entregó el informe» y «Marta no entregó el informe» comparten casi todo su vocabulario y hablan del mismo evento posible, con lo cual sus representaciones pueden quedar cerca bajo una medida orientada al tema cuando una tarea de inferencia necesita reconocer la diferencia de polaridad. Un coseno alto entre ambas oraciones es compatible con que el modelo registre la negación, ya que la información pertinente podría estar en una diferencia pequeña que la medida global resume de manera insuficiente.
El contraste también debe controlar qué afirmación se niega. «Marta no dijo que entregó el informe» y «Marta dijo que no entregó el informe» difieren en el alcance de la negación, que cambia con su ubicación. Una evaluación que solo detecte la presencia de «no» puede acertar en ejemplos simples y fallar en estos casos. Los ejemplos se construyeron con fines didácticos, sin resultados atribuidos a un modelo concreto, para mostrar qué distinción debería exigir una prueba que pretenda evaluar la interpretación del alcance.
La referencia plantea una dificultad semejante. «Lucía habló con Marta cuando ella salió» admite más de una atribución del pronombre sin información adicional. Si un sistema elige una de ellas, el texto sigue siendo ambiguo. Para evaluar la resolución de la referencia hay que distinguir los casos en que los datos de la entrada favorecen una interpretación de aquellos que siguen abiertos. Una representación contextual puede incorporar señales de género, orden y discurso, si bien el éxito debe medirse respecto de una tarea cuya respuesta esté justificada; pedir al modelo una decisión única ante una ambigüedad genuina puede terminar evaluando una convención del conjunto de datos.
Transferencia, adaptación y cambio de tarea
El preentrenamiento ajusta parámetros con un objetivo definido sobre un conjunto de textos; la transferencia usa parte de lo aprendido en otra tarea. Una opción consiste en fijar los parámetros del modelo y entrenar un componente que lea sus estados, mientras que otra permite modificar algunos o todos los parámetros durante la adaptación. Las dos decisiones producen sistemas diferentes a partir del mismo modelo inicial. En ambos casos el resultado depende del volumen y de la calidad de los datos de adaptación, así como de la relación entre las tareas.
En un ejemplo hipotético de clasificación documental, un lector lineal podría usar un vector de oración para distinguir solicitudes de informes. Si los parámetros contextuales permanecen fijos, el aprendizaje modifica sobre todo la regla de clasificación; si también se adaptan, las propias representaciones cambian para favorecer esa distinción. Comparar ambos procedimientos requiere controlar el conjunto de evaluación y los recursos empleados. Que el resultado mejore después de adaptar indica que la representación cambió durante la adaptación, con lo cual ese resultado informa poco sobre cómo separaba las categorías la representación inicial.
La adaptación puede mejorar una finalidad y alterar otras propiedades, puesto que un espacio ajustado para clasificar documentos puede perder parte de sus relaciones de semejanza anteriores. Un cambio de dominio puede introducir, además, usos léxicos o formatos ausentes del entrenamiento, por lo que la evaluación debe distinguir la transferencia en condiciones próximas del desempeño en condiciones nuevas. Las afirmaciones generales sobre la calidad de un embedding contextual tienen que especificar modelo, extracción, adaptación y tarea. La representación forma parte de un sistema de decisiones cuyo comportamiento se comprueba mediante usos definidos; sin esas condiciones, una mejora local puede convertirse en una promesa demasiado amplia.
Documentos largos y límites del contexto disponible
El contexto de entrada es finito. Cuando un documento excede la capacidad prevista por un procedimiento, puede truncarse, dividirse en fragmentos o procesarse con una arquitectura que incorpore información adicional. Cada estrategia modifica las relaciones accesibles. Una ocurrencia de un término al comienzo de una lectura puede depender de una definición situada muchas páginas antes; si esa definición queda fuera del cálculo y no llega por otra vía, la representación carece de ella como parte de la entrada observada.
En un caso didáctico, un informe define «respuesta» como la recepción de cualquier mensaje, sin exigir que la solicitud se resuelva. Un fragmento posterior afirma que aumentó la tasa de respuesta. Si lo analiza de forma aislada, el sistema podría entenderlo en un sentido más fuerte, como solución efectiva del problema, interpretación que podría venir de regularidades previas y que carece de justificación en la definición particular que quedó fuera del fragmento. El ejemplo muestra que elegir bien el contexto pertinente puede dar mejores resultados que acumular texto sin criterio.
Dividir documentos con solapamiento conserva parte de la continuidad, aunque puede duplicar información y exigir reglas para combinar resultados. Recuperar fragmentos emparentados supone otra selección, que obliga a comprobar que aportan el antecedente correcto. Con más tokens disponibles sigue siendo necesario verificar que la relación relevante se use de manera adecuada. Para evaluar la comprensión de un documento hay que identificar qué evidencia necesita cada respuesta, dónde se encuentra y si el procedimiento la incorpora realmente. Un estado contextual resume lo procesado bajo una organización concreta, de modo que su alcance debe describirse respecto de esa organización sin suponer que recoge automáticamente el documento completo.
Contexto textual, situación comunicativa y significado
La contextualización computacional amplía la representación de una ocurrencia con información de otras unidades accesibles. En una interacción humana, el contexto incluye también participantes, referentes, propósitos y condiciones compartidas que pueden no estar expresados en el texto. Una secuencia como «déjalo ahí» requiere identificar un objeto y un lugar. Los tokens circundantes pueden aportar esas referencias o resultar insuficientes si el intercambio depende de gestos o de una situación no registrada, elementos que un vector calculado sobre texto no recibe.
Esta diferencia permite delimitar qué se estudia cuando se analiza el comportamiento de las representaciones contextuales. Un sistema puede aprender regularidades útiles para interpretar muchas secuencias y carecer, al mismo tiempo, de información necesaria en un caso particular. La evaluación debe reconocer cuándo una respuesta se apoya en la evidencia de la entrada, cuándo expresa una inferencia plausible y cuándo la entrada admite varias interpretaciones. Esas diferencias tienen que examinarse aparte de la fluidez de una respuesta o de la organización geométrica de una representación.
El paso desde un vector por tipo hasta estados que dependen de una secuencia modifica las posibilidades de modelado. La palabra conserva relaciones con el vocabulario aprendido, en tanto que su ocurrencia participa en un cálculo sensible a posiciones, capas y reglas de acceso. Para estudiar ese cálculo hay que separar arquitectura, objetivo de aprendizaje, procedimiento de extracción y tarea de evaluación. La lingüística aporta distinciones para formular las preguntas y el análisis computacional permite examinar operaciones y resultados, una división del trabajo que evita tomar las representaciones internas como equivalentes automáticos del significado humano.
Referencias
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 4171–4186). Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423
- Ethayarajh, K. (2019). How contextual are contextualized word representations? Comparing the geometry of BERT, ELMo, and GPT-2 embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 55–65). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-1006
- Hewitt, J., & Liang, P. (2019). Designing and interpreting probes with control tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 2733–2743). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-1275
- Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) (pp. 2227–2237). Association for Computational Linguistics. https://doi.org/10.18653/v1/N18-1202
- Tenney, I., Xia, P., Chen, B., Wang, A., Poliak, A., McCoy, R. T., Kim, N., Van Durme, B., Bowman, S. R., Das, D., & Pavlick, E. (2019). What do you learn from context? Probing for sentence structure in contextualized word representations. In International Conference on Learning Representations. https://doi.org/10.48550/arXiv.1905.06316
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (Vol. 30, pp. 5998–6008). Curran Associates. https://doi.org/10.48550/arXiv.1706.03762