Un modelo completa correctamente «la investigadora que habló con los estudiantes…» con un verbo singular. ¿Qué explica el acierto? Tal vez utiliza una relación estructural entre sujeto y verbo, tal vez aprovecha una regularidad léxica o quizá combina ambas estrategias. Observar la respuesta adecuada permite establecer un comportamiento, pero el proceso que lo produjo necesita una investigación propia. La interpretabilidad estudia cómo formular y contrastar, con herramientas de alcance muy desigual, explicaciones de ese proceso. La tarea es más difícil que abrir una arquitectura y mirar sus números, porque los parámetros y las activaciones pueden ser accesibles sin que lo sea su significado funcional. De una visualización pueden surgir hipótesis cuya prueba corresponde a otros procedimientos. Cuando un clasificador auxiliar recupera una propiedad lingüística a partir de las activaciones, queda por establecer si el modelo la usa para decidir. A veces una intervención modifica la salida y resulta, aun así, demasiado inespecífica para identificar un mecanismo particular.
Esta lectura organiza esas diferencias. Examina qué preguntas responden esos clasificadores auxiliares, llamados sondas o probes (de ahí el término probing), cómo se evalúan sus controles y qué cambia cuando se interviene sobre representaciones internas. El propósito es establecer una relación disciplinada entre observación, hipótesis y evidencia causal. La lingüística necesita esa disciplina para estudiar qué regularidades aprenden los modelos sin tomar cada resultado como una afirmación directa sobre la gramática, la comprensión o la cognición humana.
Alcance, destinatarios y fidelidad de la explicación
El objeto de una explicación puede ser una predicción individual, una clase de comportamientos o la organización general del modelo. Explicar por qué apareció un nombre en una respuesta concreta es una tarea distinta de explicar cómo se representa la referencia en todas las conversaciones, de modo que el alcance debe fijarse antes de evaluar el método. Una explicación local puede ser útil y correcta dentro de su dominio aunque no describa otros contextos en los que el sistema sigue rutas distintas. El destinatario también modifica la pregunta. A un usuario quizá le interese saber qué documento sustenta una afirmación. Un desarrollador tal vez investigue qué componente causó un error; un lingüista puede preguntarse si una representación distingue el número gramatical de la proximidad lineal. Mostrar las fuentes puede mejorar la trazabilidad de una respuesta sin describir el mecanismo interno que decidió citarlas. A la inversa, una herramienta pensada para la investigación puede resultar incomprensible para un usuario final.
Jacovi y Goldberg (2020) insistieron en distinguir entre los criterios con que se evalúan las explicaciones, en especial la fidelidad al funcionamiento del sistema. Una explicación persuasiva o fácil de entender puede ser infiel. Cuando se explica un mecanismo, la claridad tiene que acompañarse de evidencia que vincule la descripción con las operaciones que produjeron el resultado.
La pregunta inicial debe transformarse en una hipótesis contrastable. «El modelo comprende la sintaxis» es una formulación demasiado amplia para un experimento. En cambio, la hipótesis de que «la preferencia por un verbo singular depende de información sobre el número del sujeto, aun cuando interviene un sustantivo plural» se presta a comparaciones controladas. Queda entonces por decidir si se busca describir conducta, localizar información o demostrar una dependencia causal, tres niveles que requieren pruebas distintas y justifican conclusiones de fuerza diferente.
Observar conducta antes de localizar mecanismos
La investigación interna necesita un fenómeno conductual bien establecido. Si el modelo no realiza de manera estable la tarea que se quiere explicar, una activación llamativa puede deberse a un efecto accidental. Conviene empezar el análisis con ejemplos variados y contrastes controlados que incluyan las condiciones en que el modelo falla. En el estudio de la concordancia se cambian el vocabulario, la longitud y las estructuras mientras se mantienen las diferencias relevantes entre el sujeto y los posibles distractores, con el fin de identificar qué regularidad hay que explicar.
La medida de conducta también condiciona lo que se observa. En un modelo generativo, la probabilidad de dos continuaciones, la respuesta emitida y una decisión posterior no siempre coinciden, ya que una pequeña diferencia de puntuación puede cambiar la opción elegida con una estrategia de generación y dejarla intacta con otra. El informe debe especificar qué se midió y cómo se relaciona con la hipótesis. Decir que el modelo «prefiere» una forma requiere, además, una definición operacional.
Los controles conductuales ayudan a excluir pistas simples. Si todas las oraciones con sujeto singular contienen una palabra característica, el modelo podría apoyarse en ella. Algo semejante ocurre cuando los ejemplos difíciles son mucho más largos que los fáciles, ya que entonces el descenso del rendimiento puede deberse a la longitud y no a la estructura. Para separar esas explicaciones se varían los factores de manera sistemática. Ningún diseño controla todos los factores a la perfección, pero documentar los compromisos adoptados evita atribuciones causales más fuertes que las que el diseño admite.
La comparación con otros sistemas, mediante líneas de base, convierte impresiones en diferencias específicas. Una regla que sigue al sustantivo más cercano puede acertar en numerosos casos y fallar ante los distractores; un modelo neuronal que la supera merece análisis, aunque el contraste deja sin probar que utilice exactamente la teoría gramatical del investigador. Las líneas de base revelan también cuándo un resultado en apariencia sofisticado puede obtenerse con mucha menos información de la que se suponía necesaria.
Qué hace una sonda
Una sonda es un modelo auxiliar entrenado para predecir una propiedad a partir de las representaciones de otro modelo. Pueden extraerse, por ejemplo, las activaciones de una capa para predecir con ellas la categoría gramatical, la profundidad sintáctica o alguna relación semántica anotada. Lo habitual es mantener fijos los parámetros del modelo examinado y ajustar solo la sonda. La pregunta es, entonces, si la propiedad puede recuperarse mediante una familia determinada de funciones y bajo un protocolo concreto de datos.
La versión más sencilla aplica una transformación lineal seguida de una decisión. Si esa sonda obtiene un buen rendimiento, hay evidencia de que la información buscada puede recuperarse de la representación mediante una operación relativamente limitada. Ese resultado no indica, sin embargo, que exista una casilla explícita con el nombre de la categoría, porque la información puede repartirse entre dimensiones y una misma dimensión puede intervenir en varias propiedades. La correspondencia hallada vincula una geometría computacional con etiquetas definidas por el análisis. Una sonda más compleja es capaz de recuperar relaciones que la lineal no detecta, aunque también puede aprender por su cuenta una parte mayor de la tarea. Por eso el resultado depende a la vez de la representación, de la capacidad de la sonda y de los datos de entrenamiento. Quien presenta una precisión alta como prueba directa de conocimiento interno omite esa interacción. La pregunta correcta incluye siempre el procedimiento con que se recuperó la propiedad y las alternativas que podrían explicar el éxito.
Recuperar una propiedad y usarla son hechos distintos. La representación de una palabra puede conservar información sobre su longitud o su identidad aunque la decisión estudiada no dependa de ella. Una sonda capaz de extraer esos datos muestra que están disponibles bajo las condiciones de la sonda, pero no establece qué papel cumplen en la salida original. Esa diferencia es el punto de partida para combinar el probing con intervenciones. Si se pierde de vista, cualquier correlación decodificable corre el riesgo de presentarse como mecanismo explicativo.
Complejidad, controles y memorización de la sonda
Hewitt y Liang (2019) propusieron tareas de control para estimar qué parte del rendimiento de una sonda puede atribuirse a su capacidad de memorizar asociaciones. Su procedimiento compara la tarea lingüística con otra en la que cada tipo de palabra recibe una etiqueta de control. La diferencia entre ambos rendimientos ayuda a interpretar la selectividad de la sonda y a evitar que un éxito atribuible a su propio aprendizaje se presente sin más como propiedad de la representación investigada. El control, a su vez, debe ajustarse a la hipótesis. Una etiqueta aleatoria por palabra controla cierto tipo de memorización, pero deja en pie otras explicaciones basadas en las frecuencias, la distribución de las clases o la semejanza entre ejemplos. Si el entrenamiento y la prueba comparten expresiones casi idénticas, una sonda puede rendir bien sin generalizar a estructuras nuevas. Separar los datos por oración, por documento o por vocabulario responde a preguntas diferentes, por lo que la partición elegida debe justificarse de forma explícita.
Las representaciones de referencia, o líneas de base, completan el diagnóstico. Según el fenómeno, pueden emplearse la identidad léxica, la posición, vectores no contextualizados o los estados de un modelo sin entrenar. Cuando una línea de base simple alcanza el mismo resultado, la representación principal conserva su utilidad, pero queda limitada la afirmación de que su entrenamiento incorporó una estructura especial necesaria para resolver la tarea. En la complejidad de la sonda intervienen su número de parámetros y también la regularización, la cantidad de ejemplos, el procedimiento de selección y el tiempo de entrenamiento. Explorar muchas configuraciones y presentar solo la mejor puede producir una imagen demasiado favorable. Conviene mantener la evaluación final separada de las decisiones de desarrollo, informar la variabilidad y conservar los resultados negativos relevantes. La sonda es un instrumento de medición aprendido y sus propias condiciones de ajuste forman parte de la evidencia que debe evaluarse.
Geometría y estructura lingüística
Hewitt y Manning (2019) desarrollaron una sonda estructural para examinar la relación entre las representaciones de las palabras y los árboles sintácticos. El método busca transformaciones bajo las cuales las distancias y las profundidades del árbol puedan recuperarse a partir de propiedades geométricas. La pregunta es más específica que la clasificación de una etiqueta aislada, porque indaga si toda una organización relacional encuentra correspondencias sistemáticas en el espacio de representación. El hallazgo de una transformación útil muestra que cierta información puede organizarse de la manera propuesta. Sostener que el modelo construye literalmente el mismo árbol durante su procesamiento requiere más evidencia, puesto que otras representaciones pueden ser compatibles con la misma conducta y la sonda selecciona solo una lectura entre ellas.
En las visualizaciones, los grupos nítidos de una proyección en pocas dimensiones pueden ser un efecto del método y de sus parámetros. La proyección quizá oculte, además, diferencias presentes en las dimensiones descartadas. La inspección visual ayuda a generar hipótesis, detectar anomalías y comunicar patrones, pero la categoría lingüística que un mapa sugiere tiene que validarse con medidas y comparaciones.
La teoría de anotación también interviene. Un árbol de dependencias expresa decisiones sobre unidades y relaciones que otra teoría podría organizar de otro modo. Cuando una sonda predice bien esa anotación, el resultado concierne a ese sistema descriptivo. Comparar formalismos puede aportar información, aunque obliga a distinguir las diferencias de dificultad de las de consistencia. La investigación gana cuando trata las categorías como instrumentos explícitos del análisis y evita confundir una convención de anotación con la única estructura posible del lenguaje.
Los ejes del espacio plantean un problema adicional. Un cambio de coordenadas puede conservar las relaciones y el comportamiento de una representación y modificar, al mismo tiempo, qué dimensión parece asociada a una propiedad. Por esa razón, buscar una neurona que corresponda en exclusiva a una categoría no siempre tiene sentido. La unidad explicativa puede ser una dirección, un subespacio o una interacción entre componentes. La elección de esa unidad debe apoyarse en regularidades funcionales y en pruebas de intervención. La correlación de un índice numérico con una propiedad en una muestra pequeña es una base insuficiente para atribuirle un significado permanente.
Atribución de importancia y sensibilidad
Los métodos de atribución intentan relacionar una salida con partes de la entrada o con componentes internos. Algunos observan gradientes; otros examinan las variaciones que producen ciertas perturbaciones o las contribuciones definidas por un procedimiento específico. Cada método responde a una noción particular de importancia. La sensibilidad local, por ejemplo, describe cómo cambia una cantidad ante modificaciones pequeñas y no siempre coincide con la necesidad de una palabra dentro de una oración interpretable. En algunos métodos influye además la elección de una referencia. Comparar la entrada con una secuencia vacía, con una versión de palabras sustituidas o con un ejemplo cercano plantea preguntas diferentes. Con una referencia artificial, el sistema puede salir de sus condiciones habituales y producir efectos difíciles de interpretar. Por esa razón conviene explicitar qué contraste define la atribución. Afirmar que una palabra «causó» la respuesta sin mencionar la intervención o la referencia utilizada puede exagerar la evidencia disponible.
Los pesos de atención describen una operación interna de combinación de representaciones, pero no explican automáticamente la predicción en su conjunto. Otras capas, conexiones y componentes pueden transportar también información. A veces un peso alto es relevante en un mecanismo particular y poco informativo sobre el resultado completo. La lectura de los pesos de atención mejora cuando se vincula con hipótesis sobre rutas de procesamiento y se comprueba mediante intervenciones o comparaciones apropiadas.
Cuando la estabilidad forma parte del criterio, una explicación de importancia debería mantenerse ante variaciones irrelevantes para la tarea; si el mapa cambia radicalmente con ellas, hay que averiguar si cambia el comportamiento o solo la explicación. Los errores del sistema merecen una comprobación aparte, porque un método que siempre resalta palabras intuitivamente pertinentes puede parecer convincente incluso cuando no describe los factores que determinaron el error.
Intervenir para estudiar dependencia causal
En una intervención se modifica el sistema (se elimina un componente, se altera una activación o se sustituye una representación por otra) y se observan las consecuencias. La pregunta causal es qué cambia en el resultado cuando se modifica ese elemento en condiciones definidas. La evidencia que se obtiene sobre la dependencia funcional es más directa que la que aporta una correlación, aunque para interpretarla hay que conocer la especificidad y la validez de la intervención.
La ablación retira o neutraliza un componente. Si el rendimiento desciende, ese componente contribuye al comportamiento bajo la intervención utilizada, aunque el descenso puede provenir de una perturbación amplia ajena a la función que se le atribuye. Sustituir una activación por cero, por ejemplo, puede llevar a la red a un estado poco habitual. La comparación con alternativas y controles ayuda a distinguir una pérdida específica de un deterioro general del procesamiento.
La ausencia de efecto tampoco prueba que el componente sea irrelevante. Puede haber redundancia, de modo que otras rutas conserven información suficiente para sostener la tarea. Es posible también que el efecto se limite a ciertos ejemplos o que solo aparezca cuando se interviene sobre varios componentes a la vez. A la inversa, una ablación de gran escala puede identificar una necesidad conjunta sin localizar la contribución de cada parte. Los resultados deben describirse según el nivel de intervención, sin pasar de una observación local a una afirmación universal sobre dónde reside una capacidad.
Necesidad y suficiencia son propiedades distintas. Un componente puede ser necesario en una configuración sin bastar para producir la conducta; una activación puede restaurar una respuesta en un contexto preparado y no desencadenarla en una entrada cualquiera. Como de esas diferencias depende el mecanismo que puede proponerse, la explicación causal debe especificar las condiciones de fondo, los componentes conservados y la clase de situaciones en que se estableció el efecto.
Retirar información y observar el comportamiento
Elazar y colaboradores (2021) propusieron Amnesic Probing para estudiar el uso de las propiedades mediante intervenciones que intentan retirarlas de las representaciones. La idea general consiste en comparar la conducta antes y después de una transformación diseñada para dificultar la recuperación de cierta información. Con ello, la pregunta por la decodificación de una etiqueta se transforma en una pregunta por lo que ocurre cuando se altera la información asociada con ella.
El principal desafío es la selectividad de la eliminación. Las propiedades lingüísticas están correlacionadas entre sí. El número, la categoría, la identidad léxica y el contexto pueden compartir dimensiones o patrones, de modo que una transformación dirigida a una de esas propiedades puede afectar a las demás. Si el rendimiento disminuye, hay que determinar si el efecto corresponde a la propiedad buscada o a pérdidas colaterales. Para decidirlo se necesitan controles, medidas auxiliares y una descripción explícita de la familia de decodificadores que deja de recuperar la información. Que una sonda lineal ya no prediga una propiedad indica que esta ha dejado de ser accesible linealmente, aunque una transformación no lineal podría todavía recuperarla. Cuando la hipótesis trata precisamente de la accesibilidad lineal, esa limitación es aceptable. En los demás casos impide hablar de eliminación completa, por mucho que el nombre de la técnica sugiera un olvido total.
Una respuesta que no cambia tras la intervención admite, como en la ablación, más de una lectura. El sistema podría conservar otra vía para recuperar la propiedad, o la intervención podría haber afectado a un componente redundante en los ejemplos examinados. Una conclusión más amplia exigiría justificar que la manipulación alcanzó las representaciones pertinentes y que la tarea era sensible a su pérdida. Un buen diseño compara también la intervención dirigida con perturbaciones de magnitud semejante que no buscan retirar la misma propiedad. Si ambas deterioran la tarea por igual, la explicación específica pierde apoyo. Una caída del rendimiento que predicen todas las hipótesis competidoras no discrimina entre ellas, aunque sea estadísticamente detectable. La evaluación de comportamientos que deberían permanecer estables completa los controles y ayuda a interpretar tanto el deterioro como la estabilidad del resultado.
Sustituir activaciones entre condiciones
Otra familia de métodos transfiere a una ejecución las activaciones obtenidas con una entrada relacionada, en un punto determinado del procesamiento. Si la salida cambia de manera predecible, hay evidencia de que ese punto transporta información relevante para el contraste. Esa evidencia se interpreta según cómo se emparejen las entradas, qué activación se sustituya y qué diferencias permanezcan entre las condiciones.
Meng y colaboradores (2022) utilizaron intervenciones para estudiar asociaciones factuales en modelos autorregresivos y desarrollaron un procedimiento de edición llamado ROME. Su trabajo relaciona la localización funcional con la modificación de parámetros en tareas específicas y es una referencia importante para comprender que ciertos comportamientos pueden investigarse mediante cambios internos controlados. Como sus experimentos se ocupan de asociaciones factuales en modelos de ese tipo, no muestran que todo conocimiento se almacene en una única región ni que una edición exitosa revele una organización universal de la memoria de los modelos.
Toda sustitución corre el riesgo de crear estados híbridos, porque una activación obtenida en una oración puede ser incompatible con otras partes de la ejecución de destino. Esa posibilidad no invalida de antemano el experimento, pero obliga a precisar qué contraste causal mide y a incluir entre los controles transferencias irrelevantes, variaciones de posición y ejemplos nuevos. Una restauración observada en pocos casos elegidos con cuidado necesita replicarse antes de generalizarse. Los efectos pueden variar también con la medida elegida. Restaurar la preferencia relativa entre dos palabras es un resultado más estrecho que recuperar toda la distribución de salida o la coherencia de una respuesta extensa. En modelos complejos, una explicación útil puede reunir varias dependencias locales coordinadas, cada una con sus condiciones y sus límites. Para conectar esas dependencias locales sin atribuirles capacidades más amplias, el informe tiene que precisar qué aspecto se recupera en cada caso y en qué grado.
Abstracción causal y niveles de explicación
Una explicación lingüística emplea variables como el sujeto, el número o el alcance, mientras que el modelo neuronal opera con vectores y transformaciones. Vincular ambos niveles requiere más que encontrar una correlación. Una abstracción causal propone correspondencias entre variables interpretables y partes del sistema. Luego examina si las intervenciones en uno y otro nivel producen relaciones compatibles. El objetivo es establecer en qué condiciones una descripción de alto nivel da cuenta adecuadamente de ciertas dependencias del procesamiento. Geiger y colaboradores (2021) desarrollaron un enfoque de este tipo basado en intervenciones de intercambio y lo aplicaron a modelos de inferencia lingüística dentro de un entorno definido. Su propuesta permite evaluar correspondencias causales entre representaciones neuronales y variables de un modelo interpretable, aunque el método no convierte cualquier etiqueta asignada a una activación en una entidad causal validada.
Una abstracción puede ser correcta para una clase de entradas y fallar en otra, situación habitual en las explicaciones científicas y aceptable siempre que el dominio quede claro. Una descripción basada en el número del sujeto, por ejemplo, puede explicar la concordancia en ciertas estructuras y resultar insuficiente cuando intervienen la coordinación o la elipsis. Descubrir esos límites ayuda a refinar la teoría, que debe atender los contraejemplos sin abandonar por ello toda explicación de alto nivel. Pueden coexistir, además, abstracciones útiles en escalas diferentes. Cabe que un análisis describa rutas de información entre componentes y que otro organice las regularidades lingüísticas de la conducta. Reducir toda explicación válida a una sola escala empobrece el problema, aunque conectar escalas requiere evidencia y la compatibilidad entre los análisis debe investigarse. Las metáforas neuroanatómicas o gramaticales pueden ayudar a orientar las preguntas, pero solo las comparaciones y las intervenciones permiten evaluar hasta dónde describen el funcionamiento observado.
Un estudio de concordancia paso a paso
Retomemos la oración inicial para construir un estudio hipotético con conjuntos de oraciones en los que el número del sujeto y el de un sustantivo intermedio varían de manera independiente, mientras el vocabulario y la longitud se equilibran tanto como lo permita el diseño. La medida principal compara las continuaciones verbales en singular y en plural. Antes de analizar activaciones se comprueba si el modelo sigue al sujeto, al sustantivo cercano o a una combinación que cambia de una estructura a otra.
En la fase siguiente se extraen representaciones de las posiciones relevantes y se entrenan sondas para recuperar el número del sujeto. Las particiones se construyen de modo que la prueba no dependa exclusivamente de palabras vistas durante el entrenamiento. Se comparan capas y líneas de base. Un conjunto final, que no interviene en la elección de configuraciones, queda reservado para la evaluación. Un resultado positivo indicaría recuperabilidad bajo ese procedimiento. Uno negativo obligaría a considerar la capacidad de la sonda y la dificultad de los datos.
En la fase causal se interviene, con un método cuya selectividad pueda evaluarse, sobre las representaciones asociadas al contraste y sobre posiciones y componentes de control. La hipótesis gana apoyo cuando la preferencia verbal cambia según lo previsto, otras propiedades permanecen estables y el efecto se reproduce con vocabulario nuevo, siempre que una degradación general del modelo no lo explique mejor.
El estudio necesita, además, una estrategia estadística acorde con la amplitud de su búsqueda. Si se examinan muchas capas, posiciones y componentes, la selección hará aparecer efectos grandes aunque algunos sean inestables. Los candidatos que surjan de una exploración inicial deberían comprobarse después en materiales reservados o mediante replicación. Informar únicamente el componente con mayor efecto oculta cuántas oportunidades hubo de encontrarlo. La incertidumbre tiene que reflejar la variación entre ejemplos y también la dependencia entre oraciones construidas a partir de una misma plantilla. Una comprobación especialmente útil consiste en repetir el análisis con varias realizaciones léxicas de cada estructura. Si el efecto desaparece al sustituir nombres y verbos frecuentes, la explicación quizá dependa de asociaciones particulares. Cuando se mantiene, aumenta el apoyo a una regularidad más abstracta, aunque todavía limitada por el conjunto de construcciones. Este procedimiento conecta el diseño estadístico con la pregunta lingüística, porque la unidad de generalización debe ser el tipo de relación que la hipótesis atribuye al sistema y no cada oración del conjunto.
El informe distinguiría entre información decodificable sin efecto causal demostrado, un efecto local compatible con varias explicaciones y una correspondencia más sólida entre intervención y conducta, cada uno de esos resultados con su alcance propio. Incluso el resultado más favorable se limitaría a las construcciones estudiadas. Extenderlo a una teoría general de la sintaxis exigiría investigar otros fenómenos y comprobar cómo se articulan sus mecanismos bajo una hipótesis común.
Explicaciones verbales y relatos posteriores
Cuando se le pregunta por qué dio una respuesta, un modelo puede producir una explicación lingüística que ayude a explicitar criterios o a revisar un procedimiento. Ese texto es, sin embargo, una producción más del sistema, condicionada por la entrada y el entrenamiento. Su existencia no acredita que el modelo tenga acceso privilegiado a las causas internas de la salida. Su fidelidad requiere una evaluación independiente, sobre todo cuando el texto atribuye la decisión a una regla, a un documento o a una intención.
La distinción tiene consecuencias prácticas en las interfaces que muestran razonamientos o justificaciones. Un relato coherente puede omitir factores que influyeron de verdad, incorporar razones plausibles después de producido el resultado o cambiar ante una reformulación de la pregunta. Las explicaciones verbales conservan, con todo, usos legítimos, porque pueden mejorar la comprensión, detectar contradicciones y volver explícitas operaciones verificables. Debe evitarse, en cambio, tratar la fluidez del relato como prueba suficiente de que reproduce el proceso causal que llevó a la respuesta.
Una evaluación útil contrasta la explicación con intervenciones. Si el sistema afirma haber utilizado una fuente, puede examinarse qué ocurre al retirarla o sustituirla, con controles que mantengan comparable la tarea. Cuando declara seguir una regla, se estudian casos que distingan esa regla de sus alternativas. Tales pruebas tienen límites, pero convierten el relato en un conjunto de predicciones que pueden compararse con las dependencias causales medidas en el sistema.
Alcance científico de la interpretabilidad
Las técnicas descritas son formas nuevas de poner en práctica el razonamiento experimental en sistemas cuyo comportamiento resulta de muchas operaciones interdependientes. Con ellas es posible detectar atajos, formular hipótesis lingüísticas, localizar fallos y diseñar intervenciones. Esas mismas técnicas pueden producir conclusiones frágiles si se seleccionan ejemplos favorables o se confunden accesibilidad y uso. La calidad de un estudio se juzga por sus controles, por la diversidad de sus datos y por la correspondencia entre lo que afirma y la evidencia que presenta.
La comparación con la cognición humana requiere un paso adicional. Hallar una regularidad sintáctica en un modelo no demuestra que una persona la represente del mismo modo ni que ambos la aprendan en condiciones comparables. Las diferencias de experiencia, objetivos y arquitectura deben incorporarse al diseño. Como contraste o como prueba de posibilidad computacional, un modelo puede ser útil sin ser una explicación psicológica completa, una distinción que, si se mantiene, aumenta el valor de la comparación.
Una explicación sólida especifica qué fenómeno describe, qué intervención la sostiene, qué alternativas se descartaron y dónde deja de valer. Con ese criterio, el probing y el análisis causal se complementan. El primero ayuda a localizar información recuperable y el segundo examina de qué depende la conducta. La investigación avanza cuando conecta ambos resultados sin borrar sus diferencias y formula afirmaciones revisables sobre los mecanismos del lenguaje computacional, con precisión suficiente para servir de base a nuevas preguntas.
Referencias
Elazar, Y., Ravfogel, S., Jacovi, A., y Goldberg, Y. (2021). Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals. Transactions of the Association for Computational Linguistics, 9, 160–175. https://aclanthology.org/2021.tacl-1.10/
Geiger, A., Lu, H., Icard, T., y Potts, C. (2021). Causal Abstractions of Neural Networks. NeurIPS. https://arxiv.org/abs/2106.02997
Hewitt, J., y Liang, P. (2019). Designing and Interpreting Probes with Control Tasks. Proceedings of EMNLP-IJCNLP. https://aclanthology.org/D19-1275/
Hewitt, J., y Manning, C. D. (2019). A Structural Probe for Finding Syntax in Word Representations. Proceedings of NAACL. https://aclanthology.org/N19-1419/
Jacovi, A., y Goldberg, Y. (2020). Towards Faithfully Interpretable NLP Systems: How Should We Define and Evaluate Faithfulness? Proceedings of ACL. https://aclanthology.org/2020.acl-main.386/
Meng, K., Bau, D., Andonian, A., y Belinkov, Y. (2022). Locating and Editing Factual Associations in GPT. NeurIPS. https://arxiv.org/abs/2202.05262