N-gramas, modelos probabilísticos y entropía

Un modelo probabilístico de lenguaje asigna probabilidades a secuencias y permite evaluar qué continuaciones considera más plausibles. Una probabilidad es un número entre cero y uno; sobre alternativas mutuamente excluyentes y exhaustivas, los valores suman uno. Aquí un token es una unidad de la secuencia, que inicialmente será una palabra. Denotamos por $w_1,\dots ,w_n$ una secuencia de longitud $n$ y por $P(w_1,\dots ,w_n)$ su probabilidad conjunta. La expresión $P(a\mid b)$ indica la probabilidad de un suceso $a$ condicionada a que ocurra $b$, siempre que este tenga probabilidad positiva.

La historia anterior a la posición $i$ se escribe $h_i=w_1,\dots ,w_{i-1}$. La regla de la cadena descompone la probabilidad conjunta en factores condicionales, el primero de los cuales carece de historia previa y se interpreta como la probabilidad inicial de la primera unidad.

En el ejemplo didáctico «el gato duerme», la descomposición es $P(\text{el})P(\text{gato}\mid \text{el})P(\text{duerme}\mid \text{el gato})$. Desde el punto de vista matemático, esta igualdad es una identidad de la teoría de la probabilidad. Su lectura predictiva interpreta cada factor como una decisión incremental en la que, dada la parte ya producida, la probabilidad se distribuye entre las posibles unidades siguientes. Hasta aquí no se ha supuesto que las palabras sean independientes ni que solo cuente un contexto cercano.

El problema práctico aparece al estimar esos factores. Las historias largas casi nunca se repiten exactamente en un corpus finito, por lo que sus frecuencias aportan poca evidencia. El modelo propiamente dicho surge cuando las distribuciones condicionales se aproximan mediante una representación manejable de la historia, momento en que hay que mantener separadas la identidad exacta, la hipótesis de aproximación y la estimación obtenida de los datos.

El supuesto de Markov y el modelo de n-gramas

El supuesto de Markov reduce la historia que el modelo necesita consultar para predecir cada token. Sea $i$ la posición actual y $k$ el número de palabras anteriores que se conservan. Una aproximación de orden $k$ reemplaza la probabilidad condicionada a toda la historia por otra condicionada solo a esas últimas palabras; para las posiciones iniciales se usan contextos más cortos o marcadores de inicio, cuya función se precisa más adelante.

Un n-grama es una secuencia de $n$ unidades consecutivas. En un modelo de n-gramas, una unidad se predice a partir de las $n-1$ anteriores, de modo que el orden de Markov correspondiente es $k=n-1$, una equivalencia que evita confundir el tamaño del bloque contado con el del contexto. La simplificación permite agrupar historias diferentes que comparten su terminación y reunir así observaciones para estimar una misma distribución.

La hipótesis es una decisión de modelado, distinta de cualquier afirmación sobre el modo en que los hablantes procesan el lenguaje. Considérese el ejemplo didáctico «las investigadoras que revisaron el manuscrito llegaron», donde la concordancia entre «investigadoras» y «llegaron» atraviesa una oración de relativo. Un contexto demasiado corto puede excluir el núcleo del sujeto y perder esa dependencia. Que el modelo falle en tal caso es compatible con su diseño; atribuir el fallo a una limitación humana requeriría evidencia independiente.

Sea $V$ el vocabulario de predicción y $|V|$ su número de unidades distintas. Los contextos de longitud fija pueden crecer como $|V{|}^{n-1}$, por lo que aumentar el orden permite distinguir más historias a costa de repartir un corpus finito entre más combinaciones. El compromiso enfrenta la riqueza contextual con la fiabilidad de la estimación, ya que un contexto más específico puede contar con muy pocos ejemplos para aprenderlo.

Unigramas, bigramas y trigramas

Sea $Q$ la distribución estimada, $w_i$ el token en la posición $i$ y $n$ la longitud de la secuencia. El unigrama usa $Q(w_i)$, sin contexto; el bigrama, $Q(w_i\mid w_{i-1})$; el trigrama, $Q(w_i\mid w_{i-2},w_{i-1})$. Una vez definidos los contextos iniciales, las probabilidades de secuencia se escriben como sigue.

En este ejemplo didáctico, «el gato duerme» y «duerme gato el» tienen la misma probabilidad unigramática si comparten palabras y condiciones de cierre, porque el producto ignora el orden. El bigrama distingue las transiciones adyacentes y el trigrama distingue además las continuaciones según las dos palabras previas, aunque ninguno conserva toda la estructura oracional ni las dependencias que exceden su ventana.

El número de combinaciones posibles de un n-grama es $|V{|}^n$, donde $|V|$ es el tamaño del vocabulario. Con las ocho unidades del corpus didáctico que se presenta más adelante, son posibles $8^2=64$ parejas sobre un inventario homogéneo. Se trata de entradas potenciales cuyo número supera al de parámetros libres, dado que la normalización impone restricciones en cada contexto; los marcadores de frontera exigen además especificar qué símbolos pueden ocupar cada posición.

Como ilustración hipotética, un vocabulario de diez mil unidades admite cien millones de bigramas y un billón de trigramas, cifras combinatorias que no proceden de ningún corpus real y en las que la mayoría de las entradas carecería de evidencia directa. Elevar el orden aumenta a la vez la capacidad descriptiva y la dificultad estadística de estimar las distribuciones.

Conteos y máxima verosimilitud

Los conteos convierten un corpus en evidencia para estimar probabilidades. Escribimos $c(u,v)$ para el número de veces que el token $v$ sigue inmediatamente al contexto $u$; el denominador $c(u)$ cuenta las apariciones de ese contexto que tienen un sucesor dentro del esquema de segmentación adoptado. Con marcadores de cierre, las palabras finales también tienen sucesor. Para un contexto observado, el estimador de máxima verosimilitud del bigrama es su frecuencia relativa.

La verosimilitud trata los datos de entrenamiento como fijos y pregunta qué valores de los parámetros les asignan mayor probabilidad. Bajo el modelo bigramático se multiplican las probabilidades de las transiciones observadas, contando sus repeticiones. Al maximizar ese producto con la condición de que cada distribución condicional sume uno se obtienen las frecuencias relativas. El término designa la probabilidad de los datos evaluada como función de los parámetros del modelo, que es una cantidad distinta de la probabilidad de que el modelo sea verdadero.

La normalización se comprueba sumando sobre todos los sucesores $v$ del vocabulario $V$. Como $c(u)={\sum }_{v\in V}c(u,v)$, las razones suman uno. Una transición nunca observada recibe, en cambio, probabilidad cero cuando el contexto sí tiene observaciones. Si el contexto completo tampoco aparece, la razón queda indefinida porque su denominador es cero. Ambos problemas proceden de los datos y requieren decisiones de estimación adicionales.

A esta altura pueden separarse tres niveles de afirmación. El dato es el conteo obtenido bajo una tokenización concreta, la estimación es la frecuencia relativa calculada con él y el supuesto establece qué parte de la historia resulta pertinente. La probabilidad verdadera del lenguaje queda fuera del alcance de los tres, ya que un corpus finito, su dominio y sus criterios de selección condicionan la evidencia disponible aunque las operaciones aritméticas sean exactas.

Un corpus didáctico pequeño y probabilidades exactas

El corpus de este apartado es inventado y tiene fines didácticos. Se escribe en minúsculas, sin puntuación y con tokens separados por espacios. Sus cinco oraciones son S1 «el gato duerme», S2 «el gato come pescado», S3 «el perro duerme», S4 «el perro come» y S5 «un gato duerme». Cada oración incorpora <s> al inicio y </s> al final; el primero aporta contexto inicial y el segundo es una unidad que el modelo debe predecir para cerrar la oración.

La tabla reúne todos los bigramas observados. Cada sucesor lleva su conteo entre paréntesis y el denominador cuenta todas las salidas del contexto de esa fila, de modo que dividir cada conteo por su denominador reconstruye exactamente las probabilidades condicionales, sin redondeos durante el cálculo.

El vocabulario de predicción es $V=\{\text{el, un, gato, perro, duerme, come, pescado, }⟨/s⟩\}$, con $|V|=8$. Hay 21 tokens predichos, 16 palabras y cinco marcas de fin, cuyos conteos unigramáticos son el 4, un 1, gato 3, perro 2, duerme 3, come 2, pescado 1 y </s> 5. La marca de inicio no se predice y queda excluida de ese total.

Para «el gato duerme», el bigrama multiplica $P(\text{el}\mid ⟨s⟩)=4/5$, $P(\text{gato}\mid \text{el})=2/4$, $P(\text{duerme}\mid \text{gato})=2/3$ y $P(⟨/s⟩\mid \text{duerme})=3/3$, con un resultado de $4/15\approx 0,2667$. El unigrama calcula $(4/21)(3/21)(3/21)(5/21)=180/194481\approx 0,000926$. La diferencia procede de condicionamientos distintos. Para saber cuál de los dos modelos generaliza mejor haría falta evaluarlos con datos ajenos al entrenamiento.

Inicio, fin y longitud

Los marcadores de frontera permiten pasar de predecir palabras a asignar probabilidades a oraciones completas. La marca <s> es el contexto anterior a la primera palabra y queda fuera de los tokens predichos, en tanto que la marca </s> indica que la secuencia termina y sí recibe probabilidad. Sin un contexto inicial explícito todavía podría definirse una distribución especial para la primera palabra, que habría que especificar por separado. El marcador da una convención uniforme para esa decisión.

Si se fija de antemano una longitud, las distribuciones condicionales normalizadas pueden inducir una distribución sobre secuencias de esa longitud. Una distribución conjunta sobre todas las longitudes requiere algo más, porque sumar distribuciones separadas, cada una con masa uno, da un total mayor que uno sin indicar cuánta masa corresponde a cada tamaño. La probabilidad de cierre introduce esa decisión dentro de la generación. Para obtener una distribución normalizada sobre oraciones finitas se requiere también que el proceso termine con probabilidad uno.

En el corpus didáctico, $P(⟨/s⟩\mid \text{duerme})=1$, así que cualquier trayectoria que alcanza «duerme» termina inmediatamente bajo el bigrama de máxima verosimilitud. Tras «come», la probabilidad de cierre es $1/2$ y la de continuar con «pescado» es también $1/2$; después de «pescado» el cierre es seguro. Estas transiciones explican cómo el modelo distribuye implícitamente la longitud, aunque carezca de un parámetro independiente llamado «longitud de oración».

Al prolongar un prefijo, cada nuevo factor, menor o igual que uno, impide que aumente su probabilidad acumulada. La observación explica la tendencia de los productos a disminuir con la longitud, sin que toda oración corta supere a cualquier oración larga, ya que sus factores pueden diferir. Para comparar la calidad predictiva entre textos de tamaños distintos se normaliza por el número de tokens, como se hará con la entropía cruzada y la perplejidad.

Dispersión y ceros

La dispersión de los datos, también llamada sparsity, aparece cuando un corpus finito contiene solo una pequeña parte de las combinaciones que el modelo permite. El problema crece con el vocabulario y con la longitud del contexto, dado que muchas secuencias posibles quedan sin observar aunque sus componentes sean frecuentes por separado. La ausencia de una combinación en la muestra describe la cobertura de los datos; establecer una restricción gramatical del lenguaje necesitaría otra clase de evidencia.

El corpus didáctico contiene 13 bigramas distintos de contexto y sucesor. Para precisar el denominador hay que contar ocho contextos con salida (<s> y las siete palabras) y ocho sucesores posibles (las siete palabras y </s>), con lo cual se obtienen $8\times 8=64$ combinaciones en ese espacio de predicción, de las cuales aparecen 13. Los inventarios de ambas posiciones tienen el mismo tamaño y distinta composición, ya que <s> puede ser contexto sin ser predicho y </s> se predice sin tener salida.

La oración didáctica «un perro come» ilustra el efecto del cero. En el entrenamiento, «un» solo precede a «gato», de modo que la máxima verosimilitud estima $P(\text{perro}\mid \text{un})=0$; como la probabilidad de la oración multiplica todas sus transiciones, ese único factor anula el producto completo, aun incluyendo inicio y cierre. La oración es gramatical. Su probabilidad nula procede de una muestra insuficiente y de un estimador que no reserva masa para las transiciones no vistas.

Un cero impuesto por una restricción estructural explícita es distinto de un cero obtenido por falta de observaciones. Confundirlos convierte una limitación del aprendizaje en una afirmación injustificada sobre el lenguaje. En la evaluación el problema se agrava, pues un solo token con probabilidad cero produce una sorpresa infinita bajo la medida logarítmica que se define más adelante. El suavizado modifica la estimación para que la ausencia muestral deje de equivaler a imposibilidad.

Add-one como recurso didáctico y sus límites

El suavizado de Laplace, o add-one, añade una unidad ficticia a cada combinación posible de contexto y sucesor. Sean $u$ un contexto, $v$ un sucesor, $c(u,v)$ su conteo conjunto y $c(u)$ el total de salidas del contexto. Si $V$ es el vocabulario de predicción, la distribución suavizada, denotada por $P_L$, se define mediante la razón siguiente, que expresa una decisión de estimación sin agregar observaciones reales al corpus.

La normalización es inmediata, puesto que la suma de los numeradores sobre las $|V|$ alternativas da $c(u)+|V|$, exactamente el denominador. Cada sucesor recibe probabilidad positiva y, para un contexto sin observaciones, la misma regla produce una distribución uniforme sobre el vocabulario. Su sencillez permite estudiar con claridad por qué reservar masa para lo no visto obliga a reducir la asignada a las transiciones observadas.

Con $|V|=8$, la oración didáctica «un perro come» recibe $P_L(\text{un}\mid ⟨s⟩)=2/13$, $P_L(\text{perro}\mid \text{un})=1/9$, $P_L(\text{come}\mid \text{perro})=2/10=1/5$ y $P_L(⟨/s⟩\mid \text{come})=2/10=1/5$. El producto es $2/2925\approx 0,000684$, con lo que la secuencia tiene ahora probabilidad positiva. La cifra depende por completo del procedimiento elegido y del pequeño entrenamiento.

El costo aparece al repartir masa entre muchas alternativas. Tras «un», «gato» pasa de probabilidad uno a $2/9$ y cada uno de los siete sucesores no observados recibe $1/9$. Con vocabularios grandes, sumar una unidad por alternativa puede transferir demasiada masa a lo no visto. Chen y Goodman (1999) compararon empíricamente varias técnicas de suavizado; midieron su rendimiento con la entropía cruzada de datos de prueba y examinaron cómo influyen en él el tamaño de los datos de entrenamiento, el corpus y el orden del n-grama. El ejemplo de este apartado ilustra el mecanismo de Laplace y carece de valor como evidencia a su favor.

Backoff, interpolación y descuento

El descuento reduce la masa asignada a los n-gramas observados para reservar probabilidad a otras continuaciones. El backoff consulta un orden inferior cuando el superior carece de evidencia suficiente, mientras que la interpolación mezcla distribuciones de varios órdenes en cada predicción, incluso cuando el contexto más largo está observado. Son operaciones relacionadas y diferentes, pues una regula la masa disponible y las otras determinan cómo combinar la evidencia de contextos con distinta especificidad.

Sean $P_{\mathrm{b}\mathrm{i}}$ una distribución bigramática, $P_{\mathrm{u}\mathrm{n}\mathrm{i}}$ una unigramática y $\lambda$ el peso del bigrama, comprendido entre cero y uno. Su mezcla se escribe $P_I(v\mid u)=\lambda P_{\mathrm{b}\mathrm{i}}(v\mid u)+(1-\lambda )P_{\mathrm{u}\mathrm{n}\mathrm{i}}(v)$, donde $u$ y $v$ designan el contexto y el sucesor. Como cada componente suma uno y los pesos no negativos suman exactamente uno, la mezcla también suma uno, propiedad que se conserva al combinar más órdenes con pesos normalizados.

En un ejemplo estrictamente didáctico se fija $\lambda =0,7$ para el bigrama y $0,3$ para el unigrama. Con los conteos del corpus de juguete, $P_I(\text{perro}\mid \text{un})=0,7\times 0+0,3\times (2/21)\approx 0,0286$, de manera que el componente unigramático aporta masa aunque la transición no haya aparecido. El peso elegido es una convención del ejemplo; en una aplicación se ajustaría con datos de desarrollo separados de la prueba final.

El backoff exige mayor cuidado para conservar la normalización. Si las transiciones vistas ya consumen toda la masa, añadir probabilidades de orden inferior a las restantes haría que la suma superara uno; por eso se descuenta primero y la reserva se redistribuye entre las alternativas pertinentes con una normalización adecuada. Chen y Goodman (1999) incluyeron en su comparación el método de Katz, que pertenece a esta familia. La elección práctica debe evaluarse fuera del entrenamiento, dado que reglas diferentes pueden alterar tanto las predicciones frecuentes como las raras.

Kneser-Ney y la diversidad de contextos

Kneser-Ney modifica la información que usa el orden inferior para predecir continuaciones en contextos nuevos. La frecuencia total de una palabra puede inducir a error cuando casi todas sus apariciones pertenecen a una combinación fija. Por eso, para estimar su disponibilidad como sucesora en otros entornos, se cuenta también cuántos contextos diferentes la preceden. Esa diversidad es la intuición del conteo de continuación y permite distinguir la repetición concentrada de una distribución contextual amplia.

Como explicación hipotética, considérese una palabra muy frecuente que aparece casi siempre dentro de una locución, después del mismo término. Un unigrama basado solo en su frecuencia global podría asignarle una probabilidad considerable tras contextos que nunca la acompañaron, mientras que otra palabra menos repetida, observada después de numerosos antecedentes distintos, da más evidencia de versatilidad como continuación. El contraste es una construcción didáctica para explicar el mecanismo, sin datos de un segundo corpus ni resultados medidos sobre el español.

El descuento absoluto retira una cantidad fija de los conteos positivos y reserva esa masa para redistribuirla. En Kneser-Ney, la redistribución se basa en los conteos de continuación en contextos distintos, que ocupan el lugar de la frecuencia unigramática ordinaria. La propuesta original es de Kneser y Ney (1995); el estudio comparativo de Chen y Goodman (1999) es una referencia habitual para situarla entre otras técnicas de suavizado. La situación hipotética anterior es una explicación propia de esa intuición.

La decisión estadística central puede reconocerse sin la fórmula completa. El respaldo debe estimar qué palabras son continuaciones plausibles en contextos nuevos. Implementar el método exige definir con cuidado los descuentos, los conteos de continuación y la normalización. El alcance del método sigue siendo estimativo, puesto que un mejor uso de la evidencia contextual cambia el reparto de la probabilidad entre secuencias de unidades sin añadir referencia, conocimiento del mundo ni interpretación semántica.

Sorpresa, logaritmos y bits

El logaritmo en base dos de un número positivo es el exponente al que debe elevarse dos para obtenerlo. Así, ${\log }_{2}8=3$ porque $2^3=8$, mientras que ${\log }_2(1/8)=-3$. Para probabilidades comprendidas entre cero y uno el logaritmo es negativo o nulo, de modo que cambiarle el signo da una cantidad no negativa que aumenta cuando disminuye la probabilidad del resultado observado.

Un bit es la unidad de información que corresponde a la base dos; una elección entre dos alternativas equiprobables aporta un bit. Sea $x$ un resultado y $P(x)$ la probabilidad que le asigna una distribución. Su sorpresa, denotada por $s(x)$, es $s(x)=-{\log }_{2}P(x)$, medida en bits. La teoría de la información de Shannon (1948a, 1948b) da el marco de esta medida, que aquí se aplica a predicciones de tokens o a secuencias completas, siempre respecto de una distribución especificada.

Los ejemplos básicos fijan su escala. Una probabilidad de $1/2$ produce un bit; una de $1/8$, tres bits; una de uno, cero bits. Para «el gato duerme» con cierre, el bigrama didáctico asigna $4/15$, cuya sorpresa total es $-{\log }_2(4/15)={\log }_2(3,75)\approx 1,907$ bits. El valor corresponde a esa oración bajo ese modelo entrenado y carece de validez como propiedad universal de la expresión española.

El logaritmo convierte productos en sumas, así que la sorpresa de una secuencia equivale a la suma de las sorpresas condicionales de sus unidades. En computación, acumular logaritmos evita multiplicar repetidamente números pequeños hasta sufrir subdesbordamiento numérico. Si la probabilidad es cero, la sorpresa es infinita, entendida como límite cuando aquella se aproxima a cero. La medida cuantifica la improbabilidad bajo un modelo; para relacionarla con el sentido, la verdad o la dificultad humana hace falta una hipótesis adicional respaldada por evidencia.

Entropía de una distribución

La entropía es la sorpresa esperada antes de conocer el resultado. Sea $V$ un conjunto finito de alternativas y $P(x)$ la probabilidad de cada alternativa $x$; la esperanza pondera la sorpresa de cada resultado por su propia probabilidad. Denotamos esta cantidad por $H(P)$ y usamos logaritmos en base dos para expresarla en bits. Por continuidad se adopta la convención $0{\log }_{2}0=0$, según la cual un resultado imposible no contribuye al promedio.

En el modelo estimado con el corpus didáctico, después de «el» aparecen «gato» y «perro» con probabilidad $1/2$ cada uno, por lo que la entropía de esa distribución condicional es un bit. Después de «gato», «duerme» recibe $2/3$ y «come», $1/3$; al ponderar sus sorpresas se obtienen aproximadamente $0,918$ bits. Esta segunda distribución también tiene dos resultados posibles, aunque uno concentra más probabilidad y reduce la incertidumbre esperada.

Tras <s>, las probabilidades $4/5$ y $1/5$ producen aproximadamente $0,722$ bits. Después de «duerme» solo se predice el cierre, con probabilidad uno, por lo que la entropía es cero en ese punto. Estas cifras describen las distribuciones del estimador sobre este entrenamiento diminuto. La incertidumbre nula después de «duerme» se explica por los ejemplos disponibles y dice poco del español, que admite muchas continuaciones en esa posición.

Para un vocabulario de tamaño $|V|$, el máximo posible es ${\log }_2|V|$, que se alcanza con una distribución uniforme y equivale a tres bits con ocho alternativas. La formulación de Shannon (1948a, 1948b) vincula la incertidumbre con la distribución de probabilidades y deja de lado el contenido semántico. Una entropía elevada indica predicciones más repartidas y una baja indica concentración, mientras que el significado, la verdad o la inteligencia del sistema que genera las probabilidades requieren otros criterios.

Entropía cruzada y perplejidad

La evaluación predictiva considera cuánto sorprenden al modelo unos datos de prueba. Sean $Q$ la distribución del modelo, $N$ el número de tokens predichos y $h_i$ la historia disponible antes del token $w_i$. La estimación empírica de la entropía cruzada, denotada aquí por $\hat{H}$, promedia las sorpresas que el modelo asigna a esos resultados; se mide en bits por token y normaliza el producto probabilístico por la longitud evaluada.

La perplejidad, abreviada $PP$, se define como $PP=2^{\hat{H}}$. Puede interpretarse como un factor de ramificación efectivo, es decir, como el número de opciones de una distribución uniforme que tendría esa misma incertidumbre. El resultado puede ser fraccionario y difiere del número literal de palabras que el modelo mantiene como candidatas. Una perplejidad menor significa una mayor probabilidad geométrica media para los tokens efectivamente observados, bajo las condiciones de evaluación fijadas.

Para «el gato duerme </s>», el ejemplo didáctico tiene $N=4$ tokens predichos. La suma de sorpresas es aproximadamente $1,907$ bits; al dividir entre cuatro se obtiene $\hat{H}\approx 0,477$ bits por token y $PP\approx 1,39$, valor que puede comprobarse directamente como $PP=(4/15{)}^{-1/4}$. El inicio aporta contexto sin contar como token predicho. Como la oración pertenece al entrenamiento del corpus de juguete, el cálculo sirve para ilustrar la métrica y una evaluación independiente exigiría oraciones ajenas a ese entrenamiento.

Solo deben compararse perplejidades obtenidas con la misma tokenización, los mismos datos de prueba, el mismo vocabulario y una normalización equivalente, incluida la política de fronteras. Una puntuación que no suma uno sobre las alternativas queda fuera de la definición de probabilidad. Si un token evaluado recibe probabilidad cero, la entropía cruzada y la perplejidad resultan infinitas. La métrica compara predicciones bajo condiciones controladas; la comprensión semántica requiere criterios de otra clase.

Entrenamiento, evaluación y fuga de datos

La evaluación requiere separar los datos usados para estimar el modelo de los destinados a medir su desempeño final. El entrenamiento da conteos y parámetros, el conjunto de desarrollo permite elegir el orden, el suavizado y los pesos de interpolación y la prueba se reserva para la medición final. Si se toman decisiones repetidas después de observar la prueba, esta pierde su carácter de evaluación independiente. La separación debe respetar también las unidades de procedencia de los textos.

En el corpus didáctico, «el gato duerme» obtiene una probabilidad relativamente alta porque sus transiciones están bien representadas en el entrenamiento y la oración misma aparece allí, de modo que esa probabilidad mide el ajuste a los datos vistos y todavía no la generalización hacia textos nuevos. En un caso hipotético de documentos repetidos entre particiones, el modelo puede encontrar en la prueba secuencias casi idénticas a las usadas para aprender. El nombre de la partición cambia y la independencia informativa que se buscaba se pierde.

La fuga de datos puede proceder de duplicados exactos, de versiones ligeramente modificadas o de decisiones de ajuste tomadas sobre la prueba. Elegir el peso de interpolación después de comparar los resultados finales también introduce información de evaluación en el diseño. Si baja la entropía cruzada, esa es la observación; interpretarla como mejor generalización exige descartar explicaciones alternativas. Una coincidencia de contenidos entre particiones podría explicar el descenso sin ninguna mejora de la capacidad predictiva en condiciones realmente nuevas.

Las palabras fuera del vocabulario requieren una política explícita. Puede usarse una unidad reservada para desconocidos, cuyo comportamiento debe aprenderse sin consultar la prueba, o una segmentación que permita representar unidades nuevas. Cambiar esa política modifica el espacio predictivo y la dificultad de la evaluación, por lo que deben documentarse la procedencia de las particiones, el tratamiento de duplicados y las decisiones de vocabulario. Una métrica numéricamente precisa puede ser metodológicamente engañosa si las condiciones permiten memorizar los datos con que supuestamente se evalúa la generalización.

Tokenización y comparabilidad

La tokenización segmenta el texto en las unidades que el modelo predice, que pueden ser palabras, subpalabras o caracteres. La normalización establece transformaciones previas, como convertir a minúsculas o conservar o eliminar la puntuación. Como ambas decisiones cambian los conteos y el vocabulario, una probabilidad de secuencia solo puede interpretarse si se sabe qué representación del texto se usó y qué unidades, incluidos los marcadores de frontera, forman parte de la evaluación.

En un ejemplo hipotético, una misma frase podría representarse mediante cuatro tokens de palabra o mediante catorce caracteres, según las convenciones adoptadas. El número de unidades predichas, denotado por $N$, cambia junto con el espacio de alternativas. Una entropía cruzada expresada en bits por palabra y otra expresada en bits por carácter miden magnitudes distintas. Una cifra menor por token puede deberse simplemente a unidades más pequeñas, sin que el modelo comprima mejor el mismo contenido textual.

Para convertir una sorpresa total en bits por carácter hay que dividirla por el número de caracteres del mismo texto cubierto, con una convención compartida sobre espacios y signos. Si $S$ es la sorpresa total en bits y $C$ el número de caracteres contabilizados, la tasa es $S/C$. Cambiar el nombre de la unidad en una media ya calculada produce una cifra errónea. También hay que verificar que la tokenización permita reconstruir el texto y que las fronteras se traten de manera equivalente.

El tamaño del vocabulario, escrito $|V|$, afecta tanto a la cantidad de combinaciones como al suavizado; en Laplace, por ejemplo, entra directamente en el denominador y modifica cuánta masa se distribuye entre las alternativas. Un informe comparable debe especificar la segmentación, la normalización, el vocabulario, la política de desconocidos y el texto evaluado. Cuando la perplejidad cambia después de retokenizar, han cambiado también la unidad de medida y la tarea de predicción, por lo que la diferencia admite otras explicaciones además de una mejora del estimador.

Límites semánticos, usos vigentes y paso a los embeddings

Un modelo de n-gramas recoge regularidades de coocurrencia dentro de una ventana limitada. Su distribución puede reflejar patrones locales de orden y seleccionar continuaciones frecuentes, aunque ese mecanismo carece de una representación explícita de referencia, verdad o inferencia. Una secuencia probable puede expresar algo falso y una secuencia infrecuente puede ser perfectamente significativa. La perplejidad evalúa la asignación probabilística a unidades observadas; atribuir comprensión exige criterios y pruebas independientes de esa medida.

Desde una perspectiva semiótica, la regularidad de forma y la significación pertenecen a niveles distintos. Que ciertas unidades aparezcan juntas informa sobre su distribución en el corpus, mientras que interpretar esa coaparición como relación de sentido depende de prácticas de uso y de condiciones contextuales que el conteo local describe solo en parte. La relación estadística puede ser útil para estudiar el lenguaje; explicar cómo los signos remiten a objetos o participan en interpretaciones requiere una teoría del signo.

Los n-gramas conservan usos razonables cuando sus restricciones son compatibles con el objetivo. Se emplean como líneas base transparentes, como modelos ligeros cuando los recursos son limitados y como componentes de corrección o de detección de secuencias inusuales. También permiten comparar corpus bajo condiciones controladas y medir la novedad respecto de una distribución de referencia. Estas aplicaciones exigen vigilar el dominio, la dispersión y el suavizado, porque una desviación respecto del entrenamiento señala una rareza estadística; identificar un error lingüístico exige otra justificación.

La dispersión motiva conceptualmente el paso a representaciones vectoriales, llamadas embeddings. Estas representaciones dejan de tratar las identidades léxicas como categorías aisladas y permiten compartir información entre palabras que aparecen en contextos similares. La motivación responde a la escasez de evidencia para combinaciones exactas; la ventaja empírica en cada tarea debe comprobarse por separado. El cambio de representación introduce otras hipótesis de aprendizaje, cuya evaluación debe mantener separados el rendimiento predictivo y las afirmaciones sobre significación.

Referencias

• Chen, S. F., & Goodman, J. (1999). An empirical study of smoothing techniques for language modeling. Computer Speech & Language, 13(4), 359–393. https://doi.org/10.1006/csla.1999.0128
• Kneser, R., & Ney, H. (1995). Improved backing-off for M-gram language modeling. En 1995 International Conference on Acoustics, Speech, and Signal Processing (Vol. 1, pp. 181–184). IEEE. https://doi.org/10.1109/ICASSP.1995.479394
• Shannon, C. E. (1948a). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
• Shannon, C. E. (1948b). A mathematical theory of communication. Bell System Technical Journal, 27(4), 623–656. https://doi.org/10.1002/j.1538-7305.1948.tb00917.x