Leer una oración obliga a conservar información mientras llegan palabras nuevas. En «la investigadora que discutió los resultados con los profesores presentó una objeción», el verbo final concuerda con «investigadora», aunque «profesores» esté más cerca. Un procedimiento que solo recuerde la última palabra encontrará una pista engañosa. Otro que acumule indiscriminadamente todo lo anterior tendrá que decidir qué parte de ese pasado es pertinente en cada momento. Las redes recurrentes, las unidades de memoria con compuertas y los mecanismos de atención responden a este problema con soluciones computacionales diferentes. Conocer en qué difieren estas arquitecturas ayuda a interpretar sus resultados y a advertir los límites de las metáforas con que se las describe.
La palabra «memoria» resulta útil, aunque puede confundir. En estos modelos designa estados numéricos y operaciones que conservan o recuperan información; la experiencia autobiográfica, el reconocimiento consciente y la comprensión del tiempo vivido quedan fuera de ese sentido técnico. Es posible que una red mantenga la señal necesaria para predecir una terminación verbal sin representar la oración como lo haría un gramático. La red también puede aprender regularidades sensibles a la estructura sin contener reglas explícitas. La investigación sobre estos modelos se pregunta qué relaciones aprendió el sistema y en qué condiciones las utiliza o deja de generalizarlas.
El recorrido parte de una idea sencilla, la de hacer que cada paso de procesamiento dependa de un estado producido en el paso anterior. Luego se examina por qué esa solución tiene dificultades para aprender dependencias distantes, cómo modifican las LSTM la circulación de la información y qué cambia cuando un sistema puede consultar representaciones previas mediante atención. Los ejemplos son didácticos y sus cifras no proceden de experimentos.
Un estado que cambia con cada entrada
Una red neuronal recurrente, abreviada RNN por recurrent neural network, aplica repetidamente una transformación a lo largo de una secuencia. En cada posición recibe una representación de la entrada actual, como el vector de una palabra o subpalabra, junto con el estado procedente del paso anterior. En su formulación elemental, el estado se actualiza mediante la expresión
En ella, es la entrada en la posición , es el estado actualizado, y son matrices de parámetros aprendidos y es un sesgo. La tangente hiperbólica introduce una transformación no lineal. La reutilización de los mismos parámetros en las posiciones sucesivas hace posible aplicar el procedimiento a secuencias de distinta longitud y expresa una hipótesis arquitectónica, la de que las operaciones básicas de actualización no necesitan ser completamente diferentes para la primera palabra y para la quincuagésima.
El estado inicial puede fijarse en cero o aprenderse, según el diseño. Tras procesar «la investigadora», el estado contiene cierta combinación de información derivada de esas entradas; después de «que discutió», la combinación ya es otra. Nada obliga a imaginar casilleros transparentes rotulados «sujeto femenino singular» o «verbo pendiente». Es posible que una regularidad se distribuya entre muchas dimensiones y que una misma dimensión intervenga en varias regularidades. La representación es funcional respecto del entrenamiento y cuenta en ella lo que ayuda a reducir el error de la tarea.
La arquitectura recurrente que propuso Elman mostró cómo incorporar el contexto temporal mediante conexiones que devuelven las activaciones previas al procesamiento siguiente. Su trabajo de 1990 convirtió la evolución del estado en objeto de estudio para el aprendizaje de secuencias. El aporte conceptual fue hacer ver que la historia podía afectar al procesamiento sin que cada posición temporal ocupara una casilla independiente en la entrada (Elman, 1990).
Supongamos ahora una tarea de predicción de la palabra siguiente. A partir de , una capa de salida calcula puntuaciones para los elementos del vocabulario y una normalización softmax las convierte en una distribución. Tras «el perro», formas como «ladra», «corre» o «duerme» pueden recibir probabilidades diferentes. La red no busca conscientemente entre verbos. Calcula valores que aprendió de las secuencias vistas en el entrenamiento y cuya interpretación lingüística corresponde al investigador que analiza el modelo. El mismo esquema recurrente admite otros usos, como asignar una etiqueta a cada palabra, producir una clasificación al terminar el documento o alimentar un sistema que genere otra secuencia. Como la arquitectura no fija la tarea, decir que se usó una RNN no especifica los datos, la señal de aprendizaje ni el criterio de corrección, decisiones que determinan qué aspectos del lenguaje tendrán incentivos para quedar representados.
Compresión del estado y sensibilidad al orden
Como el estado recurrente mantiene una dimensionalidad fija aunque la secuencia crezca, el modelo está sometido a una presión de compresión. Tras leer cien palabras, la red dispone de un estado actualizado cien veces, que no contiene necesariamente cien registros separados. Si la tarea consiste en reconocer el tema general de un documento, puede bastar con conservar unas pocas propiedades agregadas; si se trata de repetir exactamente una cadena arbitraria, ese mismo tamaño de estado puede convertirse en una restricción seria. Ninguna compresión de un texto es óptima para todos sus usos posibles, como se advierte al comparar dos instrucciones, «clasifica este comentario como favorable o desfavorable» y «copia todos los códigos alfanuméricos que aparecen en este comentario». La primera puede tolerar que se pierdan artículos, nombres propios y varias relaciones locales. La segunda obliga a preservar distinciones quizá irrelevantes para el sentimiento, de modo que la calidad de una memoria computacional depende de la pregunta que deba responder.
Lo anterior previene también contra una lectura excesiva de las visualizaciones. Que una dimensión del estado aumente ante nombres plurales es una asociación descriptiva, a partir de la cual falta averiguar qué información transporta la dimensión y para qué se usa. Podría correlacionarse con la pluralidad porque distingue contextos, frecuencias o clases semánticas que coinciden parcialmente con ella. Para atribuirle una función determinada hay que variar sistemáticamente las entradas o intervenir en la representación y observar después el efecto sobre la salida.
La recurrencia introduce, además, sensibilidad al orden. «El perro persigue al gato» y «el gato persigue al perro» contienen casi las mismas piezas, pero las actualizaciones se suceden en otro orden y pueden conducir a estados diferentes, algo que no consiguen las representaciones que solo cuentan palabras. Con todo, la sensibilidad al orden puede darse sin sensibilidad a la estructura sintáctica. Es posible que un modelo aprenda que cierto sustantivo suele aparecer cerca de un verbo sin identificar su función en una oración nueva. La diferencia aparece cuando las pistas lineales y las estructurales divergen. En «la caja de los juguetes está abierta», el sustantivo más próximo al verbo es plural y el núcleo del sujeto es singular; una estrategia basada en la proximidad puede acertar en muchas oraciones comunes y fallar precisamente en casos como este. Oraciones de este tipo distinguen, por eso, entre procedimientos que obtienen el mismo acierto en los casos sencillos.
Aprender a través del tiempo
Durante el entrenamiento, la red compara sus predicciones con los objetivos y ajusta sus parámetros para reducir una función de pérdida. Cuando el error se produce al final de una secuencia, algunas de las operaciones que contribuyeron a él ocurrieron muchos pasos antes. El procedimiento habitual, conocido como retropropagación a través del tiempo, despliega conceptualmente la recurrencia a lo largo del tiempo y aplica la regla de la cadena para calcular cómo un cambio en una operación temprana habría afectado a la pérdida posterior.
La dificultad surge porque esa influencia atraviesa muchas transformaciones sucesivas. En una analogía escalar, multiplicar repetidamente por un factor menor que uno hace decrecer una señal y multiplicar por uno mayor puede hacerla crecer con rapidez. Si cada paso transmitiera un factor de , después de cincuenta pasos quedaría aproximadamente de la magnitud inicial; con , el factor acumulado sería cercano a . Las redes reales involucran matrices y derivadas variables, pero el cálculo muestra por qué la distancia temporal complica el aprendizaje. Se habla de gradientes que se desvanecen cuando la señal de ajuste se vuelve demasiado pequeña en ciertos recorridos y de gradientes explosivos cuando crece de manera inestable. Ninguno de los dos términos significa que la red olvide forzosamente todo lo lejano ni que cualquier secuencia larga le resulte imposible. Ambos designan una dificultad que la optimización puede encontrar al asignar crédito a operaciones distantes, es decir, un problema de aprendizaje, relacionado con la capacidad representacional de la arquitectura aunque distinto de ella.
El recorte del gradiente limita su magnitud cuando supera un umbral. Puede estabilizar actualizaciones excesivas, aunque nada hace por una señal que ya se ha vuelto diminuta. La retropropagación por segmentos de longitud limitada, otra práctica habitual, reduce el costo computacional a cambio de restringir el tramo en que el entrenamiento atribuye directamente efectos a estados anteriores. El estado puede pasar de un segmento al siguiente aunque el gradiente se corte en cada frontera, con lo que la red recibe información de pasos cuya contribución al error presente ya no se evalúa.
Estos detalles condicionan la interpretación de los resultados. Si una red se desempeña bien con dependencias de veinte posiciones, el resultado puede deberse a la longitud de los fragmentos de entrenamiento, a ejemplos especialmente informativos o a una tarea con supervisión directa. Compararla con otra sin examinar esas condiciones invita a atribuir a la arquitectura diferencias que quizá proceden del entrenamiento. La etiqueta RNN designa una familia entera de modelos y deja sin describir las condiciones experimentales de cada uno.
La memoria controlada de una LSTM
Las redes LSTM, por long short-term memory, se diseñaron para facilitar el aprendizaje de dependencias prolongadas. Hochreiter y Schmidhuber presentaron la propuesta en 1997. Una modificación posterior incorporó una compuerta de olvido adaptable, que resultó importante para procesar flujos que no llegan perfectamente divididos en episodios. De ahí que las ecuaciones que hoy se enseñan como LSTM describan por lo general una variante posterior, distinta en algunos detalles del artículo original (Hochreiter y Schmidhuber, 1997; Gers, Schmidhuber y Cummins, 2000).
La idea central es separar el estado de celda de la salida o estado oculto y regular mediante compuertas cuánto se conserva, cuánto se incorpora y cuánto se expone. La actualización de la celda suele escribirse como
El símbolo indica multiplicación componente a componente. La compuerta regula la contribución del estado anterior; , la de la información candidata . Los valores de las compuertas suelen obtenerse mediante una función sigmoide, que los sitúa entre cero y uno. La salida puede expresarse como , donde controla qué parte del estado transformado se transmite a otras operaciones.
Los verbos «recordar» y «olvidar», que suelen aplicarse a la celda, designan el control numérico que ejercen las compuertas, como muestra un ejemplo con una sola componente. Si la celda anterior contiene , la compuerta de olvido (cuyo valor alto indica conservación) vale , la de entrada vale y la información candidata es , el nuevo valor será . La señal previa permanece, aunque modificada. Si en el paso siguiente la compuerta de olvido cae a y la de entrada aumenta, el contenido puede reemplazarse con rapidez.
El camino aditivo de la celda favorece que ciertas influencias persistan cuando las compuertas adoptan valores apropiados, aunque no elimina todas las dificultades de optimización ni da a la red una memoria ilimitada. La red todavía tiene que aprender cuándo conservar una señal, cuándo actualizarla y cómo convertirla en una salida útil, con recursos finitos y con datos que pueden reforzar asociaciones poco generalizables.
Consideremos un sistema que procesa reseñas. Puede ser útil mantener durante varias frases la orientación de «la premisa era prometedora» y modificarla ante «sin embargo, el desarrollo nunca sostiene esa promesa». Ninguna compuerta trae incorporado el reconocimiento de ese contraste discursivo. La red aprende una política de actualización si el entrenamiento ofrece señales que hacen útil esa distinción. La arquitectura facilita determinadas operaciones, cuya relación con las categorías lingüísticas tiene que establecerse empíricamente.
Variantes y direcciones de lectura
Entre las unidades recurrentes con compuertas hay variantes más compactas que la LSTM. Las GRU, o gated recurrent units, combinan funciones de actualización y de reinicio sin mantener exactamente la misma separación entre estado de celda y salida. Una comparación entre GRU y LSTM debe considerar el número de parámetros, el costo, los datos disponibles y el comportamiento en la tarea. Con menos componentes, una arquitectura puede entrenarse adecuadamente en una situación y resultar insuficiente en otra, sin que exista una jerarquía universal deducible solo del diagrama de cada unidad.
Otra distinción separa el procesamiento unidireccional del bidireccional. Una red que avanza de izquierda a derecha produce representaciones basadas en el prefijo observado; una bidireccional combina ese recorrido con otro en sentido inverso. Para etiquetar una oración ya disponible, ambos contextos pueden ser útiles. En «visitó el banco junto al río», la parte final ayuda a interpretar una palabra anterior. Cuando la oración completa está presente, consultar ese contexto es metodológicamente legítimo. La situación cambia si se evalúa la predicción en tiempo real. Un sistema que debe anticipar la palabra siguiente no puede aprovechar legítimamente palabras que para él todavía no existen; usarlas durante la evaluación produciría una fuga de información. Hay que preguntarse siempre qué información estaba disponible en el momento de cada decisión. Dos sistemas pueden recibir la misma oración completa en el archivo de datos y, aun así, resolver problemas temporalmente distintos.
En algunas tareas, la dirección de procesamiento altera también la interpretación del resultado. Que un modelo con representaciones bidireccionales resulte excelente para reconocer entidades en una historia terminada no prueba que detecte las mismas entidades con igual precisión mientras escucha una conversación en curso, antes de que lleguen las aclaraciones posteriores. Comparar ambas situaciones requiere igualar, además del conjunto de ejemplos, la información disponible en cada momento.
El tiempo del dato y el tiempo del cálculo tampoco coinciden. Una oración escrita tiene un orden lingüístico que un programa puede recorrer en varias direcciones o en múltiples pasadas, lo cual no significa que un hablante humano la haya comprendido del mismo modo. Las arquitecturas son hipótesis computacionales útiles, cuya plausibilidad psicológica requiere pruebas adicionales que incluyan restricciones de procesamiento, datos de conducta y, cuando corresponda, evidencia neurocognitiva.
Modelos codificador-decodificador
Al traducir, resumir o transformar una pregunta en una representación formal, el sistema debe producir una secuencia cuya longitud puede diferir de la de entrada. Una solución histórica combinó un codificador, que procesa el texto de origen, con un decodificador que genera el texto de destino. En la versión básica, el estado final del codificador es la representación condensada que condiciona la generación. Sutskever, Vinyals y Le presentaron en 2014 un sistema de este tipo, basado en LSTM, para traducción automática (Sutskever et al., 2014).
El decodificador calcula una distribución para el primer elemento de salida y luego otra, condicionada por los elementos ya generados, hasta producir una señal de finalización. Para traducir «la investigadora abrió la puerta» debe generar en la lengua de destino una secuencia coherente, que puede disponer en otro orden los componentes del original. La tarea incluye conservar el contenido, escoger las formas gramaticales y decidir cuándo terminar. Una representación de entrada que basta para clasificar el tema podría resultar insuficiente para una transformación tan detallada.
Durante el entrenamiento suele darse al decodificador el elemento anterior correcto de la secuencia objetivo. Con este procedimiento, conocido como teacher forcing, el sistema aprende a predecir la continuación a partir de contextos de referencia. En el uso, en cambio, recibe sus propias salidas previas. Si comete un error temprano, las decisiones siguientes se toman en contextos que pueden diferir de los observados durante el entrenamiento. Esa discrepancia ayuda a explicar por qué la calidad de las predicciones locales no determina por completo la calidad del texto generado. También influye la búsqueda. Elegir en cada paso el elemento más probable puede conducir a una secuencia global peor que otras. La búsqueda por haces conserva varias continuaciones candidatas y las compara por su puntuación acumulada. Un haz más amplio consume más recursos y no asegura que la secuencia más probable tenga todas las propiedades deseables de una traducción. La longitud, la cobertura y la fidelidad pueden requerir controles adicionales.
Concentrar una entrada extensa en un único vector crea un cuello de botella evidente, porque el mismo resumen debe permitir reconstruir múltiples detalles. La atención surgió para dar al decodificador acceso selectivo a representaciones distribuidas a lo largo de la entrada, con lo que la información ya no tiene que permanecer comprimida por entero en el último estado.
Consultar el pasado mediante atención
En un sistema con atención, el codificador produce representaciones para las distintas posiciones de la entrada. Cuando el decodificador prepara una nueva salida, calcula puntuaciones de compatibilidad entre su estado y esas representaciones, las normaliza y las usa como pesos para combinar la información. Si es la puntuación de la posición de entrada durante el paso de salida , una forma habitual del cálculo es
Los pesos suman uno sobre las posiciones consideradas y el vector reúne información de la entrada según esa distribución. En el trabajo de Bahdanau, Cho y Bengio, el mecanismo permitió aprender conjuntamente la traducción y unos alineamientos suaves; el sistema dejó así de depender exclusivamente de un vector fijo para toda la oración (Bahdanau et al., 2015).
Con cuatro posiciones y pesos de , , y , la tercera representación tendrá la mayor influencia en la combinación, a la que las otras tres siguen contribuyendo. El sistema calcula una mezcla ponderada de vectores, sin seleccionar conscientemente ninguna palabra. Además, la representación asociada a una posición puede contener información contextual sobre varias palabras, por lo que atender a esa posición puede dar acceso a algo más que su identidad léxica.
La atención altera la relación entre distancia y acceso. En una recurrencia simple, una señal temprana tiene que sobrevivir a muchas actualizaciones para influir en una salida tardía; con atención, el decodificador puede consultar una representación anterior por una ruta más directa. El beneficio depende de que esa representación conserve información útil y de que el mecanismo aprenda a asignarle peso cuando corresponde, algo que la mera existencia de la ruta no asegura.
Los mapas de pesos de atención plantean otro problema. Pueden sugerir alineamientos interesantes y ayudar a detectar comportamientos extraños, pero como explicación causal de una decisión son incompletos, porque la salida depende también de las representaciones consultadas, de las transformaciones posteriores y de otras rutas del sistema. Como ocurría con las dimensiones del estado recurrente, para averiguar qué información fue decisiva hay que modificar entradas o componentes y observar cómo cambian las respuestas, con controles que eviten interpretaciones apresuradas.
El término atención tiene, entonces, un significado técnico limitado, que no coincide sin más con el de la atención humana, la cual involucra tareas, expectativas, recursos perceptivos y control conductual en sistemas biológicos. La coincidencia del nombre puede orientar una primera intuición, pero las equivalencias psicológicas tienen que demostrarse. Distinguir ambos sentidos es especialmente necesario cuando una interfaz presenta al modelo como si estuviera «prestando atención» a lo que una persona siente o intenta comunicar.
Dónde empieza y termina una secuencia
En una aplicación real, decidir cuándo se reinicia el estado forma parte del modelo operativo. Si se procesan mensajes de personas distintas sin separar sus estados, la interpretación de una entrada puede depender de una conversación ajena; si el reinicio llega demasiado pronto, se pierden antecedentes necesarios. Esta decisión, que suele parecer un detalle de implementación, modifica el problema lingüístico que el sistema puede resolver. El límite del archivo, el del turno y el del episodio comunicativo no siempre coinciden.
Si una persona escribe «de las dos opciones, prefiero la segunda» después de recibir una comparación, el mensaje aislado carece de la relación necesaria para identificar el referente. Conservar el estado entre ambos turnos puede ayudar si ese estado codifica la distinción entre las dos opciones. Si luego empieza una conversación sobre otro asunto, mantener sin discriminación la información anterior podría introducir asociaciones improcedentes. La continuidad útil requiere, además de mayor capacidad para retener valores, un criterio de segmentación que indique cuándo el estado anterior deja de ser un antecedente válido.
El estado utilizado durante una interacción y los parámetros aprendidos durante el entrenamiento pertenecen a niveles distintos. Al leer una frase, una RNN actualiza su estado y puede adaptar su respuesta al contexto sin modificar ninguna de sus matrices. Cambiar pesos, que es aprender en sentido estricto, es una operación distinta de incorporar información temporal a un estado. Quien confunde ambas cosas termina suponiendo que cada conversación reentrena automáticamente el sistema, algo que no se deduce de la arquitectura. Sobre esa separación se apoya una comprobación concreta. Se procesa un prefijo, se guarda el estado resultante y se continúa con dos terminaciones diferentes; luego se repite el procedimiento reiniciando el estado antes de cada terminación. La diferencia entre ambas condiciones ayuda a estimar cuánto aporta el contexto conservado. Habrá que controlar otros factores, pero el experimento sustituye la pregunta imprecisa de si el sistema «recuerda» por una diferencia medible entre dos condiciones.
Al comparar modelos deben documentarse con la misma disciplina los límites de secuencia, los reinicios y el acceso al contexto, tal como en un experimento con participantes humanos se describe qué estímulos recibió cada uno. Una mejora aparente puede deberse a que un sistema recibe antecedentes que el otro no recibe. Antes de atribuirle una memoria superior hay que igualar esas condiciones.
Qué pueden aprender sobre la gramática
Una forma de estudiar el conocimiento sintáctico es observar si el modelo prefiere una continuación compatible con una dependencia gramatical. En «las notas del investigador parecen convincentes», la forma plural del verbo depende del núcleo «notas», aunque entre ambos aparezca un sustantivo singular. Con familias de ejemplos que varían el número, la distancia y los elementos interpuestos se puede averiguar si la red responde a la estructura o a correlaciones superficiales. Linzen, Dupoux y Goldberg examinaron la concordancia en inglés con redes LSTM y encontraron que los resultados variaban según la supervisión y la complejidad de los casos. El estudio, limitado a esos modelos y a esa lengua, ilustra una precaución metodológica duradera, la de que el rendimiento global puede ocultar errores concentrados en las configuraciones donde la secuencia lineal entra en conflicto con la relación estructural (Linzen et al., 2016).
Una pequeña batería de oraciones hipotéticas en español ilustraría el procedimiento. Empezaría por casos simples como «el informe termina» y «los informes terminan». Vendrían después casos con un complemento («el informe de las comisiones termina») y, por último, casos con una subordinada que añade otro verbo. Si la precisión disminuye sobre todo cuando aparece un sustantivo de número opuesto, el patrón sugiere interferencia de una pista lineal. Para sostener esa interpretación habría que equilibrar la frecuencia léxica, la longitud y otras diferencias entre condiciones.
El conjunto de comparación condiciona también la lectura. Un acierto del noventa y cinco por ciento puede parecer notable hasta que se descubre que una regla trivial alcanza una cifra similar en el mismo corpus. La evaluación debe incluir alternativas sencillas y casos informativos. Superar esas alternativas da peso al resultado. Un fallo en un conjunto cuidadosamente controlado también es informativo, porque localiza la dificultad con más precisión que la afirmación general de que el modelo «no entiende el lenguaje».
Las preguntas filosóficas sobre la comprensión siguen abiertas aun cuando el modelo acierta, porque una prueba de concordancia estudia una capacidad delimitada. Su éxito puede mostrar sensibilidad a determinadas relaciones y justificar nuevas hipótesis sobre la representación. Esa prueba no mide si el sistema posee intenciones comunicativas, conocimiento del mundo o experiencia consciente. Limitadas a ese alcance, las conclusiones de distintos estudios pueden acumularse y compararse sin que cada experimento se convierta en un veredicto total sobre la mente.
Elegir y evaluar una solución secuencial
La elección de arquitectura debe partir de las restricciones de la tarea. En un flujo continuo, la latencia y la memoria disponible pueden favorecer un estado recurrente compacto; si la tarea exige consultar muchas partes de un documento completo, puede convenir conservar representaciones y permitir accesos por atención. También influyen la longitud esperada, la cantidad de datos y la necesidad de procesar secuencias en paralelo. El hecho de que una arquitectura sea más reciente es un dato histórico que no resuelve la elección. Junto con la precisión cuentan los recursos, porque dos modelos con resultados cercanos pueden diferir mucho en tiempo de respuesta, consumo de memoria o facilidad de actualización. En un dispositivo de capacidad limitada puede preferirse deliberadamente una solución recurrente, aunque en otras aplicaciones la necesidad de recuperar detalles distantes justifique el costo de retener y consultar estados previos.
Un protocolo razonable separa el entrenamiento, la selección de ajustes y la evaluación final. Si fragmentos de un mismo documento aparecen en particiones distintas, la información compartida puede inflar el resultado. Lo mismo ocurre con los duplicados, con plantillas casi idénticas o con autores cuya forma de escribir delata la etiqueta. Las redes secuenciales pueden aprovechar esas regularidades con eficacia; precisamente por eso hay que verificar que el éxito corresponda al problema que se pretendía estudiar.
La inspección de errores debería ir más allá de los ejemplos llamativos y registrar condiciones como la longitud, la frecuencia de las palabras, el número de dependencias pendientes o la presencia de negación. Si un sistema falla al cambiar el orden de dos cláusulas, cabe preguntarse si perdió un referente, si confundió la dirección temporal o si la tokenización produjo una entrada poco habitual. Estas explicaciones deben probarse por separado, porque mecanismos distintos pueden ocasionar salidas igualmente incorrectas.
Volvamos a la oración de la investigadora. Para que una RNN simple resuelva la concordancia, la información sobre el sujeto debe mantenerse en su estado a lo largo de todas las actualizaciones del inciso. Las compuertas de una LSTM pueden proteger esa información mientras se procesa «que discutió los resultados con los profesores». Con atención, en cambio, la representación del sujeto sigue disponible y el modelo puede consultarla directamente cuando llega al verbo. Para averiguar cuál de estas soluciones aprendió un modelo concreto se puede alargar el inciso, cambiar el número de los sustantivos intermedios y registrar en qué condiciones aparecen los errores. Con esas variaciones, las operaciones numéricas quedan vinculadas a una pregunta lingüística precisa, la de si el modelo recurre de hecho a la estructura sintáctica que su arquitectura le permitiría aprovechar.
Referencias
Bahdanau, D., Cho, K., y Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. Prepublicación inicial de 2014. https://arxiv.org/abs/1409.0473
Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211. https://doi.org/10.1207/s15516709cog1402_1
Gers, F. A., Schmidhuber, J., y Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural Computation, 12(10), 2451–2471. https://doi.org/10.1162/089976600300015015
Hochreiter, S., y Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
Linzen, T., Dupoux, E., y Goldberg, Y. (2016). Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, 4, 521–535. https://aclanthology.org/Q16-1037/
Sutskever, I., Vinyals, O., y Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. Advances in Neural Information Processing Systems. https://arxiv.org/abs/1409.3215