Una palabra deja huellas de sus usos en los entornos donde aparece, pues los verbos que la acompañan, las palabras con las que se combina y las construcciones que admite informan sobre su comportamiento. La semántica distribucional estudia qué aspectos de las relaciones de significado pueden recuperarse a partir de esas regularidades. Parte de una hipótesis de trabajo según la cual las expresiones usadas en contextos semejantes tienden a compartir propiedades semánticas. La semejanza de distribución es, entonces, evidencia para una interpretación cuya naturaleza depende del contexto considerado y de la tarea.
Harris (1954) formuló un programa de análisis distribucional que permite situar históricamente esta atención a los entornos lingüísticos. Los modelos vectoriales posteriores convierten ciertas relaciones de aparición en representaciones numéricas mediante decisiones adicionales sobre qué cuenta como palabra, qué extensión tiene un contexto y cómo se comparan las distribuciones. La hipótesis general admite muchos algoritmos; la utilidad lingüística de cada medida de proximidad tiene que comprobarse caso a caso.
Considérese un caso didáctico con «revisar el manuscrito», «corregir el manuscrito» y «publicar el manuscrito». La recurrencia del objeto sugiere que los tres verbos comparten un ámbito de actividad, aunque eso no los vuelve intercambiables, porque revisar puede preceder a corregir y una publicación puede ocurrir sin que la revisión haya sido suficiente. Los contextos registran tanto relaciones entre actividades como semejanzas de significado. Para saber qué relación se ha recuperado hay que volver a los usos que contribuyeron a construirla, pues un modelo distribucional organiza regularidades y es el análisis semántico el que precisa qué interpretación admite esa organización.
Qué representa un vector
Un vector es una lista ordenada de números. Para representar una palabra puede asociarse cada posición con un contexto y registrar cuántas veces aparece la palabra en él, o bien aprenderse coordenadas sin asignar de antemano un significado reconocible a cada dimensión. En ambos casos el vector admite operaciones como comparar orientaciones, calcular distancias o combinar información con otros vectores, cuyos resultados dependen de las convenciones que definen el espacio.
El término embedding suele designar una representación aprendida que sitúa unidades discretas en un espacio vectorial, a menudo de dimensión mucho menor que el tamaño del vocabulario. Una representación de identidad, en cambio, dedica una posición a cada palabra, con un uno en esa posición y ceros en las restantes. Ese esquema identifica la unidad, pero bajo las medidas usuales deja a todas las palabras distintas a la misma distancia unas de otras. Un embedding aprendido puede acercar las unidades que cumplen funciones semejantes para el objetivo de entrenamiento, pues sus coordenadas expresan relaciones ajustadas a unos datos y a una función de pérdida.
En un modelo estático cada tipo léxico recibe un vector fijo, cualquiera que sea la aparición particular. Las dos ocurrencias de «banco» en «el banco aprobó el préstamo» y «el banco estaba junto al árbol» consultan la misma entrada si el vocabulario identifica la palabra únicamente por su forma. Un sistema posterior puede examinar las oraciones completas y distinguir ambos usos, aunque la tabla estática, considerada aisladamente, trate igual las dos ocurrencias. Separar la representación inicial de los cálculos posteriores evita atribuir a una tabla capacidades que pertenecen al sistema que la usa.
Construcción de una matriz de coocurrencias
El contexto debe definirse antes de contar. Una ventana de una posición a cada lado registra las unidades inmediatamente vecinas, mientras que una ventana mayor incorpora relaciones más distantes; también pueden usarse documentos completos o relaciones sintácticas, como la que une un verbo con su objeto. Cada alternativa produce una matriz diferente porque responde a una pregunta distinta. La coaparición en un mismo documento favorece asociaciones temáticas, en tanto que una relación gramatical precisa hace visibles las semejanzas de función. Ninguna ventana agota por definición el contexto lingüístico.
El corpus didáctico inventado que usaremos tiene seis secuencias, «gata bebe leche», «perro bebe agua», «gata duerme», «perro duerme», «vaso contiene agua» y «taza contiene leche». Se omite la puntuación, las unidades se separan por espacios y la ventana abarca una posición a cada lado. Para simplificar la exposición seleccionamos cuatro palabras como filas y tres contextos verbales como columnas, por lo que la tabla muestra una proyección de los conteos y excluye la mayor parte de la matriz completa del corpus.
| Palabra | bebe | duerme | contiene |
|---|---|---|---|
| gata | 1 | 1 | 0 |
| perro | 1 | 1 | 0 |
| vaso | 0 | 0 | 1 |
| taza | 0 | 0 | 1 |
Cada celda cuenta una aparición de la palabra junto al contexto correspondiente. «Gata» y «perro» tienen filas idénticas, al igual que «vaso» y «taza». Esa igualdad describe con exactitud la información que conserva la proyección. La selección de columnas eliminó relaciones que podrían distinguir los términos, de modo que la coincidencia solo indica que ambas palabras comparten estos tres contextos; con un corpus mayor o con otros contextos la semejanza podría cambiar. El ejemplo muestra que una representación selecciona relaciones y que dos unidades diferentes pueden volverse indistinguibles dentro de la información seleccionada.
Frecuencia, orientación y similitud coseno
Para comparar vectores hay que decidir qué diferencias cuentan. La distancia euclídea mide la separación entre sus puntos y el producto escalar multiplica las coordenadas correspondientes antes de sumar los productos, de manera que ambas operaciones dependen de las magnitudes. Si una palabra aparece el doble de veces con exactamente las mismas proporciones contextuales, su vector de conteos duplica su longitud. Esa diferencia es pertinente para estudiar la frecuencia y resulta secundaria cuando el objetivo es comparar perfiles de uso.
La similitud coseno compara la orientación de dos vectores no nulos. Si e son las representaciones, su producto escalar y y sus longitudes euclídeas, la expresión es la siguiente.
En nuestra tabla, «gata» y «perro» tienen el vector . Su producto escalar vale dos y cada longitud es , con lo cual el coseno es uno. «Vaso» tiene y su producto escalar con «gata» es cero, igual que su coseno. Si una fila fuera completamente nula, la operación quedaría indefinida porque el denominador sería cero. Una implementación tiene que decidir cómo tratar ese caso sin confundirlo con una semejanza efectivamente calculada.
Multiplicar un vector por una constante positiva conserva su orientación; por eso tiene coseno uno con pese a la diferencia de magnitud. Con coordenadas negativas el coseno puede tomar valores entre menos uno y uno, mientras que con conteos no negativos nunca aparecen orientaciones de signo contrario. Un coseno elevado indica proximidad según esa geometría. Hablar de equivalencia de significado o de sustitución en cualquier oración requiere otras pruebas.
Ponderación de asociaciones con PMI y PPMI
Los conteos brutos pueden dar mucho peso a contextos muy frecuentes. Para saber si una asociación supera lo esperable bajo independencia se compara la frecuencia conjunta con las frecuencias marginales, comparación que la información mutua puntual (PMI) expresa mediante un logaritmo. Si es una palabra y un contexto, la fórmula usa la probabilidad conjunta y las probabilidades marginales y .
Para este cálculo definimos como población de pares solo las seis coocurrencias de la tabla seleccionada. La fila de «gata» suma dos, la columna «bebe» suma dos y su celda vale uno, por lo que y ambas marginales valen . El cociente es y la PMI resulta aproximadamente bits. Para «vaso» y «contiene» el cociente es tres y la PMI llega a aproximadamente bits, diferencia que surge de las marginales, dado que ambos conteos conjuntos valen uno.
La PMI positiva, o PPMI, conserva los valores positivos y reemplaza los negativos por cero. En una celda sin observaciones la PMI empírica tiende a menos infinito si las marginales son positivas; la PPMI la reemplaza por convención con un cero y pierde así la distinción entre grados de asociación negativa. Un conteo conjunto muy pequeño puede producir, por otra parte, una PMI alta cuando sus marginales también son pequeñas, de modo que una asociación intensa según esta medida puede ser estadísticamente frágil. El volumen de evidencia sigue siendo pertinente después de ponderar los conteos.
Representaciones densas y reducción de dimensión
Una matriz con una columna por contexto puede tener miles de dimensiones y muchas celdas nulas. Una representación densa usa menos coordenadas, por lo general con valores distintos de cero. La reducción de dimensión procura conservar las relaciones relevantes mientras comprime la descripción. Una técnica algebraica posible es la descomposición en valores singulares, que expresa la matriz mediante factores y permite construir una aproximación de rango menor. El rango indica cuántas direcciones linealmente independientes necesita la matriz.
Comprimir obliga a elegir qué variación se conserva. Una aproximación puede reproducir bien los patrones amplios y perder distinciones infrecuentes, algo útil cuando esas diferencias son ruido muestral y perjudicial cuando la tarea necesita justamente una distinción rara. La reducción matemática desconoce esa prioridad; son el número de dimensiones y la ponderación previa los que determinan qué relaciones quedan disponibles para las operaciones posteriores.
Nuestra tabla tiene dos perfiles independientes, y , de modo que bastan dos direcciones para representarla sin pérdida. Esa reducción tampoco recupera la diferencia entre «gata» y «perro», cuyas filas ya eran idénticas antes de reducir la dimensión. Este límite permite separar dos problemas distintos, el de perder una diferencia durante la reducción y el de no haberla registrado nunca en la matriz original. Una representación pequeña puede conservar exactamente cierta estructura, en tanto que una enorme puede seguir siendo insuficiente si se construyó con contextos poco informativos para la pregunta planteada.
Aprender vectores mediante predicción
También es posible aprender representaciones entrenando un modelo para predecir unidades lingüísticas. Los vectores se ajustan porque intervienen en ese cálculo predictivo. Si dos palabras aparecen en contextos semejantes, los ajustes que sirven para una pueden resultar útiles para la otra; compartir parámetros permite así generalizar entre combinaciones sin asignar a cada una un conteo independiente. La proximidad resultante depende de lo que el objetivo obliga a predecir y de las decisiones tomadas durante el entrenamiento.
Mikolov, Chen y colaboradores (2013) presentaron dos arquitecturas conocidas como CBOW y skip-gram. CBOW predice una palabra a partir de las representaciones de las palabras de su entorno, combinadas de manera sencilla, mientras que skip-gram usa la representación de una palabra central para predecir las unidades de su contexto. La dirección de la tarea determina qué entrada se combina y qué salidas se consideran. Ninguna de las dos exige que cada dimensión corresponda a una propiedad semántica nombrada de antemano.
En un ejemplo didáctico, una ventana alrededor de «bebe» podría contener «gata» y «leche». CBOW usa la información de esas dos unidades para predecir la central, en tanto que skip-gram parte de la central y considera sus relaciones con los vecinos. Si los vectores del contexto se suman, intercambiar sus posiciones da la misma suma, con lo cual el mecanismo pierde una diferencia de orden que otras tareas podrían necesitar. Representar las relaciones sintácticas de una secuencia exige justamente la información de orden que esa suma descarta.
Dos tablas de vectores y la distribución de salida
Una formulación predictiva puede aprender una tabla para palabras centrales y otra para contextos. Si es el vector de la palabra central y el vector del contexto , el producto escalar da una puntuación de compatibilidad. Esa puntuación todavía no es una probabilidad, porque puede ser negativa y las de distintas alternativas no tienen por qué sumar uno; la función softmax las convierte en una distribución normalizada.
El símbolo designa aquí el vocabulario de contextos posibles. La exponencial vuelve positivos los valores y el denominador los suma sobre todas las alternativas. Con un vocabulario muy grande, calcular y actualizar esa normalización puede resultar costoso, dificultad que motivó objetivos y procedimientos alternativos. Esas alternativas aproximan la normalización o la reemplazan por otro objetivo, por lo que sus resultados pueden diferir de los del cálculo exacto.
Las dos tablas intervienen de manera distinta en el aprendizaje. Una aplicación posterior puede elegir una de ellas o combinar sus representaciones, siempre que declare la decisión. La proximidad entre dos vectores de palabra y la compatibilidad entre un vector de palabra y uno de contexto son operaciones emparentadas con usos diferentes; en nuestro ejemplo, que «gata» y «perro» tengan perfiles semejantes es compatible con que nunca aparezcan uno junto al otro. Separar la semejanza distribucional de la predicción de coocurrencia evita leer todas las cercanías como una única relación semántica.
Muestreo negativo y el significado de su objetivo
El muestreo negativo entrena un modelo para distinguir los pares observados de pares construidos mediante una distribución de ruido. Para cada relación entre una palabra y un contexto se toman otras unidades como comparaciones negativas. La función sigmoide transforma el producto escalar en un valor entre cero y uno que entra en el objetivo de clasificación, el cual favorece puntuaciones altas para los pares observados y bajas para los negativos muestreados. El número de negativos y su distribución forman parte de la especificación del entrenamiento.
Mikolov, Sutskever y colaboradores (2013) describieron este objetivo para skip-gram en su trabajo sobre representaciones de palabras y frases, junto con el submuestreo de las palabras más frecuentes. Su salida corresponde a una clasificación de pares frente a ruido, distinta de la distribución softmax normalizada sobre todos los contextos; ambos problemas están emparentados, pero sus funciones de pérdida difieren. Un valor sigmoide alto mide la compatibilidad de un par, que es una magnitud distinta de la probabilidad de que una palabra aparezca como siguiente token dentro de una oración.
Los negativos tampoco afirman que una combinación sea imposible. En un ejemplo hipotético, un par obtenido al azar podría ser perfectamente aceptable aunque faltara en la muestra local, ya que el procedimiento usa un contraste estadístico para ajustar representaciones y deja de lado la aceptabilidad de cada combinación negativa. Levy y Goldberg (2014) mostraron que el objetivo de skip-gram con muestreo negativo factoriza implícitamente una matriz de asociaciones de tipo PMI, desplazada en una constante que depende del número de muestras negativas. La derivación toma la distribución unigramática de los contextos como ruido y supone una dimensionalidad suficiente para que cada producto escalar alcance su valor óptimo sin restricciones de los demás. Cambiar la distribución de negativos, por ejemplo con la potencia de tres cuartos que usa word2vec, modifica la expresión resultante. La conexión aclara el vínculo entre conteo y predicción dentro de esos supuestos, que en vectores de dimensión reducida obtenidos por entrenamiento solo se cumplen de manera aproximada.
GloVe y la estructura global de los conteos
GloVe, presentado por Pennington, Socher y Manning (2014), aprende vectores a partir de una matriz global de coocurrencias. Su objetivo relaciona productos escalares con logaritmos de conteos e incorpora términos de ajuste llamados sesgos. Cada celda recibe un peso que regula su contribución a la pérdida. El adjetivo «global» alude al uso de estadísticas agregadas del corpus, sin pretender que el modelo abarque todo el conocimiento sobre una lengua ni que observe contextos ilimitados.
Una forma del objetivo es la suma ponderada de los cuadrados de las diferencias entre y , donde es el conteo de coocurrencias de palabra y contexto y los términos y son parámetros ajustables. La función de ponderación reduce la influencia de ciertos conteos según su tamaño. Las celdas con conteo cero quedan fuera de la contribución efectiva, puesto que el modelo se entrena solo con los elementos no nulos de la matriz, como indican sus autores; describirlo como si aplicara el logaritmo a cada celda sería incorrecto.
La comparación entre probabilidades de contexto ayuda a entender la motivación semántica del método. En un ejemplo inventado, «leche» podría aparecer con frecuencias distintas junto a palabras del ámbito de la alimentación y junto a nombres de recipientes. La comparación de esos perfiles muestra relaciones que un conteo aislado oculta. En nuestra pequeña tabla, sin embargo, «leche» y «agua» quedaron fuera de las columnas; ningún objetivo aplicado solo a esa proyección puede recuperar los conteos omitidos. El alcance del método depende también de la matriz que recibe. Distinguir la construcción de los datos del aprendizaje de los vectores mantiene visible esa dependencia.
Semejanza, asociación y oposición semántica
Un vecino vectorial puede guardar con una palabra relaciones de varias clases. «Médico» y «hospital» pertenecen a un mismo ámbito de actividad; «médico» y «cirujano» comparten propiedades de categoría, aunque su extensión difiera. «Frío» y «caliente» se oponen en una escala y pueden aparecer, al mismo tiempo, en construcciones muy semejantes. Una medida geométrica única puede acercar unidades unidas por cualquiera de esas relaciones, por lo que leer el resultado como sinonimia borraría diferencias semánticas importantes.
En un ejemplo didáctico, «el agua está fría» y «el agua está caliente» dan a los adjetivos contextos casi idénticos. Un modelo que atienda sobre todo a esos entornos tiene razones distribucionales para acercarlos, lo cual ayuda a reconocer que ambos describen temperatura y puede perjudicar a una tarea que necesite distinguir sus consecuencias prácticas. La misma proximidad tiene un valor distinto según la pregunta, pues recuperar palabras de una misma dimensión semántica es una tarea diferente de identificar términos intercambiables dentro de una instrucción.
Nuestra matriz muestra una limitación todavía más visible, ya que «gata» y «perro» coinciden exactamente. Se conservó su participación en beber y dormir y se omitieron otras propiedades, de manera que el resultado informa sobre esos contextos y resulta insuficiente para distinguir especies. La interpretación precisa es que ambas palabras comparten el perfil observado en la proyección; extender esa afirmación a la identidad conceptual requeriría otras relaciones y otros criterios. El análisis de vecinos debe especificar si busca semejanza de categoría, asociación temática, oposición, relación funcional o intercambiabilidad. Las etiquetas de evaluación deberían corresponder a esa elección, sin tratar todas las relaciones como grados de una misma semejanza intuitiva.
Analogías y operaciones entre vectores
Una analogía vectorial compara desplazamientos. Si una relación aparece codificada en diferencias semejantes entre pares, puede buscarse la palabra cuyo vector se aproxime al resultado de una operación como . El cálculo es sencillo, pero su interpretación exige especificar qué relación se quiere recuperar, con qué medida de proximidad, qué palabras se excluyen de la búsqueda y cuál es el vocabulario de candidatos. Cambiar esas decisiones puede cambiar la respuesta aun con los mismos vectores.
Considérese una analogía hipotética entre países y capitales, en la que la operación «capital del país A menos país A más país B» podría producir un punto cercano a la capital de B en un espacio determinado. El ejemplo describe una posibilidad geométrica, sin resultados verificados sobre un modelo concreto. Si la búsqueda acierta, todavía queda por saber si distinguió una relación entre capital y país o si encontró simplemente una palabra muy frecuente junto al país B; compararla con métodos más sencillos ayuda a separar ambas explicaciones.
El éxito en algunos pares tampoco establece una regla general, porque las relaciones pueden variar entre regiones del espacio, entre palabras frecuentes y raras o entre sentidos de una misma forma. Una regularidad lineal puede ser útil sin agotar la estructura del concepto. Una analogía social puede reproducir, además, asociaciones históricas presentes en el corpus, incluidas desigualdades de representación. Recuperarla describe una regularidad del modelo que necesita interpretación crítica, ya que presentarla como una verdad sobre grupos humanos confundiría la geometría aprendida con una justificación de la asociación. El valor del procedimiento depende de reconocer tanto el patrón recuperado como las condiciones de su evaluación.
Polisemia y el límite de un vector por tipo
Hay polisemia cuando una forma participa en usos emparentados pero diferenciables; en la homonimia, en cambio, coinciden formas cuyos significados pueden no tener relación. Para una tabla que asigna un solo vector a cada forma, ambas situaciones plantean el mismo problema práctico, dado que varias distribuciones de uso contribuyen a una única entrada. «Banco» puede aparecer junto a «préstamo», «sucursal», «parque» o «madera». La representación estática combina las presiones de entrenamiento que llegan de esos entornos sin reservar un vector separado para cada sentido.
Esa combinación tampoco es un promedio literal de significados humanos. El resultado depende de frecuencias, ventanas, ponderaciones y optimización. Un sentido muy frecuente puede pesar mucho en el vector final, que con todo carece de la forma de una definición lexicográfica o de una mezcla transparente de entradas de diccionario. Un análisis de vecinos podría mostrar términos de varios ámbitos o inclinarse sobre todo hacia uno de ellos. Para interpretar el patrón hay que examinar el corpus y el procedimiento, además de la lista resultante.
Pueden construirse modelos con varias representaciones por palabra o agruparse contextos para distinguir usos. Estas decisiones abren otra pregunta, la de qué criterio forma los grupos y cómo se asigna una ocurrencia nueva, ya que dos diccionarios pueden dividir los sentidos de manera diferente y ciertos usos dependen de información que una ventana breve no conserva. La contextualización es otra vía, que calcula una representación para cada ocurrencia a partir de la secuencia donde aparece sin exigir que los sentidos formen siempre un conjunto fijo y discreto. También en ese caso hay que distinguir la variación numérica de una representación de una identificación semántica justificada.
Evaluación intrínseca y utilidad en tareas
Una evaluación intrínseca examina propiedades de la representación con pruebas diseñadas para ellas, como la semejanza entre pares, la recuperación de relaciones o la agrupación de palabras. Una evaluación extrínseca observa su contribución a una tarea más amplia, por ejemplo clasificar documentos o recuperar información. La distinción ayuda a reconocer que un espacio convincente al explorar vecinos puede aportar poco a una aplicación concreta, así como que una representación difícil de interpretar visualmente puede resultar útil dentro de un sistema bien especificado.
Los juicios humanos de semejanza necesitan instrucciones claras. Un participante puede considerar muy relacionados «café» y «taza», mientras que otro reserva las puntuaciones altas para palabras de una misma categoría; si el criterio no se explicita, el desacuerdo puede deberse a que responden preguntas distintas. La evaluación debe documentar qué relación solicita y cómo maneja la variación entre evaluadores. La correlación con un conjunto de juicios resume el acuerdo dentro de esas condiciones, que son bastante más estrechas que las de una teoría general del significado.
En una tarea hipotética de clasificación, comparar dos embeddings exige controlar el resto del sistema y las particiones de datos. Si una representación se entrenó con los documentos de prueba o con versiones casi idénticas de ellos, la mejora observada puede deberse a una fuga de información. También cuenta qué palabras quedan fuera del vocabulario y cómo se tratan. Comparar solo los casos representados en ambos modelos puede ser adecuado para una pregunta limitada, aunque oculta diferencias de cobertura que pesan en el uso completo, por lo que el informe debe separar la calidad sobre las unidades cubiertas de la capacidad de cubrir las entradas esperadas.
Corpus, sesgos e interpretación de dimensiones
Los vectores heredan rasgos de los materiales con que se aprendieron. Un corpus especializado puede ordenar las palabras según usos poco habituales fuera de su ámbito; la presencia desigual de registros, comunidades o instituciones condiciona también las asociaciones disponibles. Para atribuir un resultado a una causa social concreta hace falta relacionar el comportamiento del modelo con la composición del corpus, sus filtros y las decisiones de entrenamiento.
Considérese un ejemplo hipotético en que ciertos nombres aparecen casi solo en noticias judiciales y otros en perfiles culturales. Una diferencia de vecinos podría reflejar esa distribución documental, es decir, un rasgo del corpus ajeno a las propias personas designadas. Las asociaciones emparentadas pueden sobrevivir a la eliminación de una palabra de una lista porque se mantienen a través de otros contextos. Para evaluar una intervención hay que especificar qué relación pretende modificar y comprobar sus efectos en las tareas pertinentes, incluidos los cambios no buscados.
Las dimensiones individuales también requieren cautela. En un espacio que usa productos escalares y cosenos, una rotación ortogonal aplicada de manera consistente conserva esas relaciones geométricas aunque cambien todas las coordenadas, con lo cual una dimensión puede carecer de un significado único y estable. Nombrar un eje a partir de unas pocas palabras extremas puede resultar sugerente, pero exige contrastes adicionales. La interpretación gana solidez cuando se apoya en relaciones y operaciones reproducibles; asignar etiquetas psicológicas a cada posición del vector la debilita. La geometría permite describir regularidades, mientras que explicar su origen y sus consecuencias exige evidencia sobre datos, objetivos y usos.
De la representación estática al uso situado
El recorrido permite reconstruir una cadena de decisiones. Primero se seleccionan unidades y contextos, luego se cuentan o se predicen relaciones y al final se obtienen vectores que se comparan mediante operaciones definidas; en cada paso puede cambiar la información conservada. Una proximidad final resume el efecto de esas decisiones y es un resultado del procedimiento. Volver a la matriz didáctica ayuda a tener presente esa dependencia, pues sus igualdades exactas surgieron de un corpus pequeño y de una proyección deliberadamente limitada.
La representación estática sigue siendo útil cuando se necesita un vector estable por tipo, cuando se comparan vocabularios en condiciones controladas o cuando se construyen componentes de un sistema mayor. Su utilidad depende de que las relaciones que conserva sean apropiadas para la finalidad prevista y de que sus limitaciones se declaren junto a cualquier visualización convincente o lista de vecinos plausibles.
Una ocurrencia concreta plantea un problema que la tabla estática deja fuera. «Banco» aparece en una posición dentro de una secuencia y puede relacionarse con información anterior o posterior según la arquitectura. Las representaciones contextuales calculan un vector condicionado por parte de ese entorno, lo que les permite distinguir usos sin reducir toda la variación a una entrada fija del vocabulario. El contexto computacional disponible sigue siendo, con todo, una selección que puede incluir los tokens de una ventana y dejar fuera la situación comunicativa, las intenciones y los referentes del intercambio.
Referencias
- Harris, Z. S. (1954). Distributional structure. Word, 10(2–3), 146–162. https://doi.org/10.1080/00437956.1954.11659520
- Levy, O., & Goldberg, Y. (2014). Neural word embedding as implicit matrix factorization. In Advances in Neural Information Processing Systems (Vol. 27, pp. 2177–2185). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2014/hash/b78666971ceae55a8e87efb7cbfd9ad4-Abstract.html
- Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space (arXiv:1301.3781). arXiv. https://doi.org/10.48550/arXiv.1301.3781
- Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems (Vol. 26, pp. 3111–3119). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2013/hash/9aa42b31882ec039965f3c4923ce901b-Abstract.html
- Pennington, J., Socher, R., & Manning, C. D. (2014). GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 1532–1543). Association for Computational Linguistics. https://doi.org/10.3115/v1/D14-1162