# Arquitectura Transformer

Una palabra cambia de interpretación cuando cambia su relación con las demás. «Banco» no aporta exactamente la misma información en «el banco aprobó el crédito» que en «el banco estaba mojado después de la lluvia». Esa diferencia puede registrarse mediante representaciones que incorporan contexto. La pregunta arquitectónica es cómo hacer circular la información entre posiciones, es decir, qué elementos pueden consultarse, cómo se ponderan y qué transformaciones convierten esas consultas en una representación nueva. El Transformer organiza buena parte de ese trabajo mediante atención.

Vaswani y colaboradores presentaron esta arquitectura en 2017. En el modelo de traducción que estudiaban, la recurrencia quedó sustituida por bloques de atención y por transformaciones aplicadas a cada posición. La importancia histórica del diseño estuvo asociada tanto a sus resultados en traducción como a una organización del cálculo que facilitaba el procesamiento paralelo durante el entrenamiento. La versión original tenía un codificador y un decodificador; las familias posteriores reutilizaron y modificaron componentes de esa propuesta (Vaswani et al., 2017).

El nombre Transformer designa una familia de arquitecturas. Dos modelos de esa familia pueden diferir en datos, objetivos de entrenamiento, dimensiones, formas de representar posiciones y restricciones de acceso al contexto. Tras recibir ajustes adicionales pueden mostrar, además, capacidades distintas. El término no nombra un producto único ni contiene una teoría completa del lenguaje. Para comprender qué explica la arquitectura, resulta útil seguir una secuencia concreta desde la entrada hasta la salida, sin atribuir a cada bloque funciones psicológicas que su definición matemática no le asigna.

## Tokenización y representación matricial de la entrada

El texto pasa primero por un procedimiento de tokenización. Según el sistema, un token puede corresponder a una palabra, a una parte de palabra, a un signo de puntuación o a una unidad derivada de bytes. La segmentación elegida antecede a la mayor parte de las operaciones del Transformer y condiciona cuántas unidades tendrá la secuencia. Si una expresión es desconocida para el tokenizador, puede quedar dividida en varios fragmentos aunque el lector humano la considere una sola palabra, razón por la cual «mil tokens» y «mil palabras» no son medidas intercambiables. La misma diferencia afecta a la comparación entre modelos. Dos sistemas que reciben el mismo párrafo y usan tokenizadores diferentes pueden procesar secuencias de distinta longitud, con efectos sobre el costo y sobre la cantidad de texto que cabe en sus ventanas de contexto. La comparación debe especificar cómo se convirtió la entrada, además de cuántos parámetros tiene cada red. El texto visible para el usuario es solo una de las descripciones posibles del estímulo computacional.

Cada identificador de token se asocia inicialmente con un vector. Si la secuencia contiene $n$ posiciones y cada vector tiene $d$ componentes, los vectores se reúnen en una matriz $X$ de tamaño $n\times d$. Es una representación de trabajo cuyas filas corresponden a posiciones y cuyas columnas contienen dimensiones aprendidas. Nada obliga a que una columna codifique siempre el género gramatical y otra el tiempo verbal, ya que las regularidades pueden distribuirse de manera más compleja y cambiar a medida que avanzan las capas. En la oración «la médica revisó el informe», segmentada para simplificar en cinco tokens, uno por palabra, la representación inicial de «informe» procede de la tabla de vectores. Tras atravesar bloques que incorporan contexto, la representación de esa palabra puede reflejar relaciones con «revisó» y «médica». En «el informe revisó la médica» aparecen las mismas piezas en otra organización. Para distinguir las interpretaciones probables de ambas oraciones, el modelo necesita información sobre el orden y sobre las relaciones aprendidas.

El vector inicial tampoco es un diccionario semántico exhaustivo. Es el punto de entrada a un sistema entrenado. La segmentación en subpalabras da a veces pistas morfológicas útiles, aunque en ciertas lenguas o con nombres propios también puede producir fragmentaciones poco favorables. La arquitectura no subsana todas las decisiones de representación anteriores. Es posible que un error de apariencia semántica comience en una segmentación inusual, en un carácter normalizado de manera inesperada o en un límite de longitud.

## Consultas, claves y valores

La atención trabaja con tres proyecciones de las representaciones, llamadas consultas, claves y valores, que suelen abreviarse como $Q$, $K$ y $V$. En una forma sencilla se obtienen multiplicando $X$ por matrices aprendidas, de modo que $Q=XW_Q$, $K=XW_K$ y $V=XW_V$. Con las consultas y las claves se calculan compatibilidades, según las cuales se combinará después la información contenida en los valores. Separar las proyecciones hace posible que el criterio de selección y el contenido transmitido sean representaciones distintas.

Al comienzo puede ayudar la metáfora de una búsqueda documental. En ella, la consulta expresa qué características permitirían encontrar información útil y cada clave reúne los rasgos por los que su posición puede resultar seleccionada. El valor contiene aquello que esa posición aporta a la combinación. La consulta es, sin embargo, un vector calculado mediante operaciones aprendidas y no incluye necesariamente una pregunta formulada en lenguaje natural. La metáfora deja de ser útil en cuanto lleva a imaginar un bibliotecario interior que interpreta deliberadamente cada solicitud.

La atención por producto escalar escalado se escribe habitualmente con la siguiente expresión.

$$A=\operatorname{softmax}\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}+M\right)V.$$

En el numerador, el producto $QK^{\mathsf T}$ da las puntuaciones entre posiciones. El divisor, calculado a partir de la dimensión de claves y consultas, ayuda a controlar la escala de esas puntuaciones. A ellas puede sumarse la matriz $M$, que introduce restricciones mediante una máscara. La normalización *softmax* se aplica luego sobre las posiciones disponibles para cada consulta y convierte sus puntuaciones en pesos, con los que cada fila de $A$ combina los valores que la máscara deja accesibles.

Un ejemplo numérico reducido aclara qué significa combinar. Supongamos que una consulta asigna pesos $0{,}6$, $0{,}3$ y $0{,}1$ a tres valores bidimensionales, $(2,0)$, $(0,4)$ y $(1,1)$. El resultado es $(1{,}3,1{,}3)$. La mezcla no copia literalmente el primer valor, aunque este tenga el peso mayor, ni selecciona una única palabra. La representación obtenida integra contribuciones de las tres posiciones y puede transformarse después. En un modelo real, las dimensiones y el número de posiciones son mucho mayores. Como los pesos se calculan para cada consulta, otra posición puede asignar una distribución distinta a los mismos valores. De ese modo, una parte de la secuencia podría incorporar información relacionada con la concordancia mientras otra recupera pistas sobre una entidad mencionada antes. Estas descripciones son interpretaciones funcionales posibles de papeles que nadie asignó manualmente a las matrices. Para comprobarlas, la lectura intuitiva de unos cuantos ejemplos debe dar paso a experimentos con modelos entrenados.

## Autoatención y atención cruzada

Se habla de autoatención cuando consultas, claves y valores proceden de la misma secuencia. Cada posición se actualiza con información de otras posiciones del conjunto permitido, de manera que una misma palabra puede adquirir representaciones distintas según las demás unidades presentes y las capas por las que haya pasado. El prefijo «auto» alude al origen compartido de esas representaciones, sin relación con la introspección ni con la autoconciencia. En la atención cruzada, en cambio, las consultas proceden de una secuencia y las claves y valores de otra. La distinción entre ambos tipos especifica una relación entre conjuntos de representaciones, no una diferencia de profundidad en el procesamiento. En un sistema de traducción, el decodificador puede consultar las representaciones que el codificador produjo a partir del texto de origen y, mientras genera una palabra en español, utiliza su estado actual para ponderar información del texto escrito en otra lengua.

Cuando un sistema recibe la descripción de un objeto y debe producir un resumen breve, la autoatención de la entrada puede relacionar características distribuidas entre varias frases. Cada posición del resumen consulta esa información mediante atención cruzada, a la vez que la autoatención de la salida, restringida según el diseño, relaciona lo que ya se ha generado. Las tres operaciones intervienen en el resultado, pero modifican representaciones diferentes y tienen accesos diferentes.

La separación tiene consecuencias cuando se interpreta un gráfico. A primera vista, un mapa de atención entre palabras de origen y de destino puede parecer un alineamiento de traducción. El de autoatención entre las posiciones de una oración muestra otra clase de relación. Ninguno de los dos se convierte automáticamente en un árbol sintáctico. Hay distribuciones que pueden correlacionarse con dependencias lingüísticas y otras que tal vez cumplan funciones difíciles de describir con categorías tradicionales. Determinar qué explica cada patrón y cuánto cambia entre tareas requiere investigar modelos concretos. El análisis de errores plantea una dificultad parecida. Si una salida omite un dato, el fallo puede estar en la representación del dato, en la consulta que no lo recupera o en una transformación posterior que no lo utiliza. Un peso pequeño orienta la búsqueda sin localizar toda la causa, porque el flujo completo de información incluye caminos alternativos. A ello se suma que una intervención mal diseñada puede alterar a la vez varios factores relevantes.

## Atención de múltiples cabezas

La atención de múltiples cabezas calcula varias operaciones de atención con proyecciones diferentes, cuyos resultados se combinan y se proyectan nuevamente. Así pueden representarse relaciones en distintos subespacios sin exigir que una sola distribución de pesos concentre todas las funciones. En ocasiones una cabeza muestra afinidad por posiciones próximas y otra por marcas particulares, aunque esas especializaciones pueden faltar y, cuando aparecen, no son las mismas en todos los modelos.

Resulta tentador imaginar un equipo de especialistas, pero esa imagen introduce una organización demasiado nítida. No se asigna necesariamente una cabeza a la sintaxis, otra a la semántica y otra al discurso. Puede haber redundancia, especialización parcial o dependencia entre componentes. Tampoco hay razones para esperar una correspondencia estable entre una cabeza y un concepto que el investigador considera importante, ya que el sistema se ajusta a sus objetivos de entrenamiento y estos no incluyen dar una explicación pedagógica de sí mismo.

## Composición a través de capas

Las capas sucesivas amplían las posibilidades de transformación. Después de una primera ronda de atención, cada posición contiene ya información contextual. Las capas siguientes consultan representaciones modificadas por otras posiciones, de modo que el resultado es una composición de operaciones. Una sola capa da acceso directo a muchas posiciones, pero la información recuperada puede necesitar varias transformaciones antes de resultar útil para ciertas relaciones.

Un ejemplo ayuda a concretarlo. Para resolver la referencia de «ella» en «Ana entregó el informe a Beatriz porque ella debía revisarlo» resulta insuficiente señalar la palabra más cercana, porque la respuesta puede depender de relaciones entre participantes y acciones, así como de las expectativas que crea el contexto. La arquitectura hace posible combinar esa información a través de varias capas, aunque el entrenamiento influye también en qué antecedente selecciona el modelo y en si mantiene o no la incertidumbre ante una oración ambigua.

La profundidad añade capacidad de transformación y también costo, aunque no cabe suponer que duplicar las capas duplique la comprensión. Tampoco hay que dar por equivalentes dos modelos con el mismo número de capas, porque el ancho de las representaciones, las funciones de activación, las conexiones y la forma de entrenamiento modifican el sistema. Una cifra aislada describe una dimensión del diseño y solo explica diferencias de comportamiento lingüístico cuando se lee junto con el resto de esas decisiones.

## Transformaciones locales y conexiones residuales

Tras el intercambio de información mediante atención, los bloques Transformer transforman cada posición por separado. Una red de alimentación hacia delante aplica funciones aprendidas a los vectores, habitualmente con una expansión dimensional intermedia y una no linealidad. Sus parámetros se comparten entre posiciones dentro de ese bloque. El adjetivo «local» indica solo dónde se aplica la operación, cuya entrada puede llevar ya incorporada información contextual del resto del texto. Esta alternancia entre el intercambio de información y la transformación de características es necesaria, porque una arquitectura que solo promediara representaciones repetidamente perdería parte de la capacidad para construir distinciones útiles. Las transformaciones locales reorganizan lo recibido, de manera que una representación que combina información sobre una negación y sobre un predicado puede convertirse en otra configuración relevante para la predicción siguiente. La naturaleza exacta de esa reorganización debe investigarse, ya que el diagrama de la arquitectura no da su interpretación semántica completa.

Las conexiones residuales suman una transformación a una representación que continúa por una ruta directa. En forma esquemática, la operación produce $x+F(x)$. Gracias a ello, el bloque puede aprender modificaciones sobre una representación ya disponible sin tener que reconstruirla entera en cada paso. Esas rutas directas también deben considerarse al estudiar el comportamiento, porque un componente puede aportar poco en ciertos ejemplos mientras la información circula por otros caminos.

La normalización controla propiedades de escala de las activaciones. La normalización de capa, desarrollada por Ba, Kiros y Hinton, calcula estadísticas dentro de una instancia de activación según las dimensiones definidas, a diferencia de los procedimientos que calculan esas estadísticas sobre un lote de ejemplos (Ba et al., 2016). La posición de esta normalización respecto de otras operaciones afecta al entrenamiento y puede variar entre diseños, por lo que existen varias configuraciones de lo que se llama un bloque Transformer.

Para el lector interesado en el lenguaje, estos detalles explican por qué una salida no puede atribuirse exclusivamente a los pesos de atención. La información atraviesa sumas, normalizaciones y transformaciones no lineales. Un mapa vistoso captura una parte de esa circulación. Comprender la arquitectura requiere mantener el conjunto a la vista, en especial cuando se pretende relacionar un componente con una función como resolver referencias, reconocer una negación o conservar una condición establecida al comienzo del texto.

## Información posicional y orden secuencial

Una atención sin información posicional ni restricciones que distingan lugares tiene una propiedad formal precisa. Si se permutan de manera coherente las filas de entrada, las salidas se permutan de la forma correspondiente. Sin información posicional, la operación no asigna significado lingüístico alguno a ser la primera o la última palabra. Para un sistema que debe distinguir «Pedro llamó a Julia» de «Julia llamó a Pedro», el orden no puede quedar completamente indeterminado.

Para que el modelo pueda distinguir configuraciones secuenciales, el diseño original incorporó representaciones posicionales, entre ellas una construcción sinusoidal. Otras variantes utilizan vectores aprendidos, relaciones entre posiciones o transformaciones que codifican la distancia. Las representaciones rotatorias, conocidas como RoPE, modifican consultas y claves mediante rotaciones determinadas por la posición. Su formulación permite introducir relaciones posicionales en los productos que intervienen en la atención (Su et al., 2024; prepublicación inicial de 2021).

«Esta unidad ocupa el lugar veinte» y «esta unidad está tres posiciones antes que aquella» expresan dos tipos de información posicional, absoluta la primera y relativa la segunda. Cuando se añade texto al comienzo, la información absoluta puede verse alterada por el cambio en la longitud del prefijo, en tanto que la información relativa puede mantenerse. En el lenguaje hay regularidades ligadas a la proximidad y otras ligadas a la estructura o a límites discursivos que no coinciden con una distancia fija.

La información posicional es, además, distinta de la sintaxis. Saber que un sustantivo aparece siete lugares antes de un verbo todavía no dice si es su sujeto. Para construir relaciones lingüísticas a partir de los datos de posición, el modelo tiene que aprender a combinar el orden con el contenido y con el contexto. Aun representando distancias con precisión, una arquitectura puede elegir un antecedente equivocado en una oración ambigua.

La longitud máxima admitida es otra cuestión. Que el modelo acepte una secuencia larga no asegura que utilice uniformemente toda su información. Extrapolar a longitudes distintas de las observadas durante el entrenamiento puede requerir, además, modificaciones y una evaluación específica. El anuncio de una ventana grande solo informa directamente sobre la capacidad formal de entrada, distinta del costo de procesamiento y de la calidad con que se recuperan o relacionan datos lejanos.

## Máscaras y disponibilidad de información

Las máscaras determinan qué posiciones pueden contribuir a una consulta. En un modelo causal de izquierda a derecha, la representación utilizada para predecir una continuación no puede consultar los tokens posteriores de la secuencia objetivo, porque esos accesos se bloquean antes de normalizar las puntuaciones. La palabra «causal» describe aquí una restricción de dependencia temporal. No significa que el modelo haya aprendido un modelo causal del mundo ni que sepa distinguir correlación de intervención.

En un codificador bidireccional, en cambio, cada posición puede consultar el contexto a ambos lados cuando la tarea dispone de la entrada completa. BERT pertenece a esta clase de codificadores, distinta de la de los generadores causales que predicen siempre el token siguiente. Utilizó un Transformer bidireccional con un objetivo de reconstrucción de elementos enmascarados, entre otros componentes de su entrenamiento original. Su diseño mostró una vía para obtener representaciones transferibles a diversas tareas de procesamiento del lenguaje (Devlin et al., 2019).

Las máscaras excluyen también las posiciones de relleno. Cuando se agrupan secuencias de distintas longitudes, suele añadirse un símbolo hasta alcanzar una dimensión común. Si el modelo tratara esos lugares como contenido ordinario, podría aprender relaciones espurias o alterar las representaciones. La máscara indica que esas posiciones están presentes por conveniencia computacional y que deben manejarse conforme al diseño.

Durante el entrenamiento de un generador causal pueden calcularse en paralelo muchas predicciones de una misma secuencia, porque el texto de referencia ya está disponible y la máscara impide los accesos indebidos. En la generación ordinaria, en cambio, el token futuro todavía no ha sido elegido y la salida avanza paso a paso. La afirmación de que «el Transformer procesa todo en paralelo» confunde ambas situaciones. La misma diferencia explica parte de la latencia observable. Cuando el sistema dedica una fase a procesar el contexto recibido y produce después los nuevos tokens de manera secuencial, una respuesta larga necesita más pasos de generación que una breve, aunque ambas partan del mismo documento. En la rapidez que percibe el usuario intervienen además la implementación, el hardware y el tamaño del modelo, factores que la ecuación de atención no recoge.

## Costos, memoria y contexto extenso

La atención densa compara todas las posiciones entre sí. Para una secuencia de longitud $n$, la matriz conceptual de puntuaciones contiene $n^2$ entradas por cabeza, antes de considerar otras dimensiones. Si la longitud se duplica, el número de pares se cuadruplica. Una secuencia de mil posiciones tiene un millón de pares y una de cuatro mil, dieciséis millones. Este cálculo no describe todo el tiempo de ejecución, aunque identifica una fuente considerable de costo.

El costo aritmético es distinto de la necesidad de materializar matrices completas en memoria. FlashAttention reorganizó el cálculo exacto de la atención para reducir los intercambios entre niveles de memoria del hardware y evitó almacenar ciertos resultados intermedios de la manera convencional. Esa contribución muestra que una mejora de implementación puede reducir sustancialmente las necesidades de memoria y de tiempo sin que la atención densa pase necesariamente a ser una operación aritméticamente lineal respecto de la longitud (Dao et al., 2022).

Otras estrategias aproximan la operación o restringen las posiciones que se consultan. Con una ventana local el costo puede bajar, aunque cambian a la vez las rutas disponibles para relacionar información distante. Las conexiones globales o los mecanismos de recuperación pueden compensar parte de esa restricción. Cada elección encierra una hipótesis sobre qué dependencias son relevantes en la tarea. Un documento jurídico, una conversación breve y una secuencia acústica extensa no plantean exactamente las mismas necesidades de acceso.

Durante la generación causal suelen conservarse las claves y los valores de las posiciones anteriores para no recalcularlos íntegramente en cada paso nuevo. Este almacenamiento, conocido como caché de claves y valores, es una memoria de trabajo que permite reutilizar resultados del cálculo durante el procesamiento. No es una base de recuerdos personales ni actualiza de manera permanente los conocimientos del modelo. Su tamaño crece con la longitud del contexto y con varias dimensiones de la arquitectura.

Estas cuestiones de costo y memoria tienen consecuencias prácticas en la interpretación de las ofertas de contexto extenso. Hay sistemas que aceptan documentos muy largos con un costo de procesamiento elevado y otros que recuperan fragmentos seleccionados de una colección externa. Ambos tipos pueden responder preguntas sobre un archivo, aunque sus mecanismos y sus riesgos difieren. En el primer caso hay que comprobar qué ocurre con la información distribuida a lo largo del contexto; en el segundo, además, si la recuperación seleccionó los fragmentos pertinentes.

## Interpretación de los mapas de atención

Cuando se visualizan los pesos de atención, algunas relaciones parecen intuitivas, como la de un pronombre que asigna peso a un nombre anterior o la de una marca de cierre con su apertura. Estas observaciones ayudan a formular hipótesis y a detectar patrones. El problema comienza cuando se las presenta como explicación completa de una respuesta, porque la magnitud de un peso no recoge el contenido del valor transmitido ni sus efectos posteriores. Una visualización que a un humano le parece plausible quizá no identifique el mecanismo decisivo de la predicción. Jain y Wallace cuestionaron que los pesos de atención se usaran de manera general como explicaciones fieles. Wiegreffe y Pinter discutieron después los supuestos y los criterios de evaluación de ese argumento. El intercambio no se resuelve con una consigna universal y obliga a precisar, para cada sistema, qué se entiende por explicación y qué pruebas hacen falta para sostenerla (Jain y Wallace, 2019; Wiegreffe y Pinter, 2019).

Imaginemos que una cabeza asigna mucho peso a «no» en una oración negativa. Podría parecer que se ha encontrado el detector de negación. Sin embargo, eliminar esa cabeza quizá no cambie la salida, porque otras rutas transportan información equivalente; también podría cambiarla por una perturbación general sin relación específica con la negación. Para avanzar hacen falta ejemplos controlados e intervenciones comparables, junto con una medida de la conducta que se quiere explicar.

El mismo cuidado vale para las descripciones que genera el propio sistema. Cuando responde «me fijé en esta palabra», produce una oración condicionada por su entrenamiento y por el contexto. Esa oración no es automáticamente un registro verificable de las operaciones internas. Puede ser útil como propuesta interpretativa, siempre que se la contraste. La arquitectura no incluye ninguna garantía general de introspección exacta expresada en lenguaje natural.

En la investigación lingüística conviene combinar métodos que contestan preguntas distintas. Las pruebas conductuales muestran qué distinciones aparecen en las respuestas, el análisis de representaciones estudia qué información puede recuperarse de los estados internos y las intervenciones estiman contribuciones causales bajo supuestos explícitos. Un resultado que se repite con los tres métodos es más informativo que una imagen aislada, aunque su alcance se limita a las condiciones examinadas.

## Un diagnóstico a partir de una omisión

Consideremos una prueba ficticia. Tras recibir un documento que al comienzo dice «el experimento se realizó sin grupo de control», el sistema redacta un resumen que habla de «eficacia demostrada». Antes de concluir que la atención falló, conviene descomponer el problema. La advertencia inicial pudo quedar fuera de la entrada por truncamiento. Otra posibilidad es que estuviera disponible y perdiera influencia durante el procesamiento. Por último, pudo conservarse correctamente y quedar desplazada en la salida por asociaciones aprendidas entre resultados favorables y lenguaje de eficacia.

Cada hipótesis sugiere una comprobación distinta. Lo primero es verificar qué parte del documento llegó a procesarse. A continuación puede trasladarse la advertencia a varias posiciones mientras se mantiene el resto del contenido, o bien eliminarse detalles irrelevantes para observar si cambia la respuesta. También puede pedirse una extracción literal de las limitaciones antes del resumen. Si la extracción acierta y la conclusión posterior sigue exagerando, resulta menos plausible atribuir el error solo a una incapacidad para acceder a la advertencia.

No todas estas manipulaciones bastan para identificar un mecanismo interno, porque cambiar una instrucción cambia también la tarea y reducir el documento puede modificar varias dificultades a la vez. Sirven para acotar explicaciones y orientar experimentos más controlados. Un diagnóstico responsable mantiene separados lo observado, la hipótesis que lo explicaría y la prueba que todavía falta, con lo que evita que términos técnicos como «atención» o «contexto» se usen como explicaciones automáticas de cualquier resultado indeseado.

El ejemplo muestra además que la fidelidad y el acceso son propiedades diferentes, puesto que nada impide que el sistema recupere la limitación del estudio y redacte aun así una conclusión injustificada. La arquitectura da rutas para transportar información, pero el uso discursivo que se haga de esa información responde a objetivos y a hábitos aprendidos. En aplicaciones de escritura científica, esta diferencia obliga a evaluar las afirmaciones finales y su relación con la evidencia, además de comprobar si el modelo localiza pasajes concretos.

## Arquitectura, entrenamiento y evaluación de capacidades

La arquitectura Transformer tiene rutas flexibles para combinar información entre posiciones y aplicar transformaciones sucesivas, rasgo que ayuda a explicar su utilidad en tareas muy diferentes. El aprendizaje de cada modelo resulta, sin embargo, de la interacción entre la arquitectura, el objetivo, los datos y el procedimiento de optimización. Un modelo entrenado para reconstruir elementos ocultos y otro entrenado para continuar textos pueden compartir componentes y desarrollar comportamientos distintos.

La posibilidad de atender a todo el contexto forma parte de las condiciones en que ocurre el aprendizaje. Para estudiar una capacidad concreta hay que preguntarse, además, qué procedimiento permitiría demostrarla. Las pruebas sobre referencia necesitan ejemplos en que las pistas compitan entre sí. Si se estudia la conservación de condiciones, puede variarse la distancia de estas y añadirse instrucciones distractoras. En el razonamiento composicional conviene separar las combinaciones observadas de las nuevas.

Una descripción rigurosa de un sistema debería identificar su familia arquitectónica, tokenización, restricciones de contexto, objetivo y ajustes relevantes. Cuando esos datos no están disponibles, la incertidumbre tiene que quedar a la vista. Es posible evaluar comportamientos observables sin inventar una arquitectura interna. Inferirla únicamente a partir de la fluidez de la respuesta sería un error, puesto que diseños distintos pueden producir textos parecidos y un mismo diseño puede comportarse de forma muy diferente después de entrenamientos diferentes.

En el caso del resumen que atribuye eficacia a un estudio sin grupo de control, conocer la arquitectura ayuda a ordenar las comprobaciones descritas, desde verificar si la advertencia entró en el contexto procesado hasta moverla o reformularla con los demás elementos constantes. El diagrama del Transformer orienta esas pruebas, aunque solo una intervención adecuada sobre el cálculo permitiría avanzar hacia una explicación del mecanismo. El error observado no indica por sí solo qué cabeza, capa u operación fue decisiva.

## Referencias

Ba, J. L., Kiros, J. R., y Hinton, G. E. (2016). *Layer Normalization*. Prepublicación. https://arxiv.org/abs/1607.06450

Dao, T., Fu, D. Y., Ermon, S., Rudra, A., y Ré, C. (2022). *FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness*. Advances in Neural Information Processing Systems. https://arxiv.org/abs/2205.14135

Devlin, J., Chang, M.-W., Lee, K., y Toutanova, K. (2019). BERT: Pre-training of deep bidirectional Transformers for language understanding. *Proceedings of NAACL-HLT*, 4171–4186. https://aclanthology.org/N19-1423/

Jain, S., y Wallace, B. C. (2019). Attention is not explanation. *Proceedings of NAACL-HLT*, 3543–3556. https://aclanthology.org/N19-1357/

Su, J., Ahmed, M., Lu, Y., Pan, S., Bo, W., y Liu, Y. (2024). RoFormer: Enhanced transformer with Rotary Position Embedding. *Neurocomputing, 568*, 127063. https://doi.org/10.1016/j.neucom.2023.127063

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., y Polosukhin, I. (2017). *Attention Is All You Need*. Advances in Neural Information Processing Systems. https://arxiv.org/abs/1706.03762

Wiegreffe, S., y Pinter, Y. (2019). Attention is not not explanation. *Proceedings of EMNLP-IJCNLP*, 11–20. https://aclanthology.org/D19-1002/