# Historia del procesamiento computacional del lenguaje

La historia del campo puede leerse como una discusión sostenida sobre qué aspectos del lenguaje se pueden representar, qué operaciones permiten tratarlos y qué evidencia justifica afirmar que un sistema funciona. Este texto relaciona la traducción automática con las gramáticas, los corpus y los modelos aprendidos. Las herramientas no se suceden eliminándose unas a otras. Conviven bajo condiciones distintas de disponibilidad de datos, costo y riesgo, porque cada una responde a necesidades que las demás atienden peor.

## Criterio de lectura

Observar una salida, interpretarla y explicar cómo se produjo son operaciones diferentes. Mantenerlas separadas permite leer las demostraciones históricas atendiendo a lo que efectivamente probaron y examinar los modelos sin confundir sus resultados con una teoría completa del lenguaje. El recorrido termina en la tokenización, es decir, en la decisión de convertir el texto en unidades procesables, con consecuencias para lo que el sistema puede reconocer y representar.

## Lenguaje como objeto formal y actividad social

El lenguaje admite una descripción formal, una representación mediante símbolos y reglas explícitas que permite reconocer combinaciones y construir estructuras. Una categoría agrupa elementos con propiedades compartidas y una regla establece cómo pueden combinarse. Esta perspectiva hace posible diseñar procedimientos computacionales verificables, aunque seleccionar qué propiedades representar ya supone una decisión teórica. Un sistema que reconoce la concordancia entre palabras puede describir una regularidad gramatical sin registrar las circunstancias en que alguien decide emplearla.

El lenguaje es también una práctica situada, una actividad cuyo sentido depende de participantes y circunstancias concretas. El contexto incluye la información de la situación y del discurso previo que resulta pertinente para interpretar un enunciado. Las comunidades mantienen convenciones que sus integrantes pueden discutir o modificar, de modo que una misma secuencia verbal puede servir para acciones distintas. La forma lingüística restringe las interpretaciones posibles. Sus efectos sociales dependen, además, de quién la usa, ante quién y en qué situación.

En un ejemplo didáctico, «Hace frío aquí» puede describir la temperatura durante una medición o sugerir que alguien cierre una ventana durante una conversación. La observación registra la oración y las circunstancias disponibles, la interpretación propone qué acción cumple en cada caso y la explicación identifica mecanismos o convenciones que permiten vincular esa forma con esos usos. Para afirmar que se trata de una petición hace falta evidencia contextual, porque la cadena de palabras aislada admite ambas lecturas.

Esta doble condición atraviesa el procesamiento computacional del lenguaje, entendido como el diseño y estudio de procedimientos que operan sobre expresiones lingüísticas. La formalización permite ejecutar operaciones, pero puede omitir diferencias de uso; la descripción social revela esas diferencias y necesita criterios explícitos para convertirse en procedimiento. Cada tarea recorta una parte de esa tensión.

## Automatización y traducción inicial

Automatizar una tarea lingüística significa descomponerla en operaciones explícitas que una máquina pueda ejecutar sobre una representación de entrada. La entrada es el material recibido y la salida, el resultado producido. En el caso de la traducción, esa descomposición exige decidir qué unidades reconocer y cómo emparejarlas con expresiones de otra lengua. Un diccionario computacional puede almacenar correspondencias léxicas, es decir, asociaciones entre palabras o expresiones de las lenguas involucradas. Esas asociaciones son un recurso útil, pero traducir un enunciado completo exige además decidir el orden, la concordancia y el sentido que corresponde en cada caso.

La traducción fue un problema temprano porque tenía una finalidad reconocible y permitía imaginar operaciones parciales relativamente concretas. La búsqueda de equivalencias podía combinarse con reglas de reordenamiento, procedimientos que cambian la posición de los elementos para ajustarlos a la lengua de llegada. La dificultad surge cuando una forma admite varias equivalencias o cuando la organización de la oración permite más de un análisis. La primera situación corresponde a la ambigüedad léxica y la segunda, a la ambigüedad sintáctica.

La palabra inglesa «bank», por ejemplo, puede corresponder a «banco» en un contexto financiero o a «orilla» en un contexto fluvial. Un procedimiento que seleccione siempre la primera entrada del diccionario producirá una traducción posible de la palabra, aunque equivocada para algunos enunciados. Incorporar las palabras vecinas ayuda a restringir las opciones. Aun así, para decidir puede ser necesaria una referencia mencionada antes o un conocimiento compartido.

La sustitución palabra por palabra conserva ciertas correspondencias locales y pierde relaciones que atraviesan unidades mayores, como el orden y la concordancia, que a menudo requieren decisiones conjuntas. Una equivalencia correcta muestra que una operación funcionó en ese caso; conocer su alcance exige saber qué condiciones estaban previstas y examinar casos distintos. Automatizar obliga así a precisar qué parte de la tarea queda efectivamente representada.

## Weaver y las expectativas de la traducción automática

Una propuesta de investigación identifica problemas y sugiere maneras de abordarlos, mientras que una evaluación mide resultados. La diferencia orienta la lectura del memorando *Translation*, que Warren Weaver escribió en 1949 y que se reprodujo en el volumen editado por Locke y Booth (Weaver, 1949/1955). Weaver exploró conexiones entre la traducción y la criptografía (el estudio de procedimientos de codificación y descifrado) y señaló la utilidad del contexto para reducir ambigüedades. Esas conexiones abrían líneas de trabajo. La traducción general quedaba, en ese texto, como una meta por investigar.

Una analogía organiza la atención mediante semejanzas entre problemas. Pensar la traducción a partir del descifrado permite imaginar regularidades recuperables detrás de expresiones distintas, aunque traducir entre lenguas es una tarea diferente de recuperar un mensaje con un código de cifrado fijo, porque las diferencias de uso y de organización gramatical pueden exigir decisiones interpretativas. La analogía resulta productiva cuando genera operaciones investigables y pierde precisión cuando se transforma en una identidad entre tareas que plantean dificultades diferentes.

Supongamos que un equipo propone que observar las palabras cercanas permite elegir entre dos equivalencias de una palabra ambigua. Esa expectativa es una hipótesis de trabajo, una afirmación provisional que orienta la construcción de un procedimiento y que, para ser evaluada, exigiría definir qué cuenta como contexto y comprobar sus decisiones sobre materiales adecuados. La plausibilidad del argumento inicial puede justificar que se intente esa comprobación, que sigue siendo necesaria.

La lectura histórica debe separar el contenido documentado de las leyendas retrospectivas que convierten una sugerencia en promesa absoluta. La observación identifica qué plantea el texto y la interpretación reconstruye su lugar dentro de un programa de investigación. Explicar sus efectos posteriores requeriría evidencia adicional sobre decisiones institucionales y prácticas concretas, ya que del memorando no se deducen ni el éxito técnico de una propuesta ni una trayectoria inevitable del campo.

## Georgetown y límites de las demostraciones

Una demostración pública presenta el funcionamiento de un procedimiento ante una audiencia mediante casos seleccionados. En la demostración Georgetown-IBM de enero de 1954, un computador IBM 701 tradujo oraciones del ruso al inglés (IBM, s. f.), episodio que permite examinar ese género de evidencia. Un sistema que opera con vocabulario y reglas reducidos puede mostrar que ciertas operaciones son ejecutables y que su integración produce salidas legibles. La selección de oraciones delimita lo observado. Por eso el resultado se lee junto con las condiciones que hicieron posible la presentación.

Una prueba de concepto establece la viabilidad de una idea bajo condiciones acotadas. La generalidad, en cambio, es la capacidad de funcionar en una variedad de casos más amplia y la robustez, la capacidad de mantener un desempeño aceptable ante variaciones o entradas problemáticas. Ninguna de las dos se desprende automáticamente de una presentación exitosa. Para examinarlas se necesitan materiales que no hayan sido elegidos solo para ilustrar las reglas disponibles y criterios explícitos para registrar los errores.

En un ejemplo didáctico, un sistema reconoce oraciones con sujeto, verbo y objeto, consulta un diccionario limitado y aplica una regla de cambio de orden. Una presentación formada solo por oraciones compatibles con ese esquema puede resultar convincente hasta que aparece una palabra desconocida o una construcción subordinada que hace fallar el procedimiento. La salida correcta inicial sigue siendo una observación válida, con un alcance menor que la capacidad general que la audiencia podría atribuirle.

Una evaluación es un procedimiento organizado para estimar el desempeño respecto de una tarea y unas condiciones definidas. Debe informar qué materiales usa y qué cuenta como resultado aceptable. La diferencia con la demostración está en el tipo de inferencia que permite, porque mostrar una posibilidad técnica justifica estudiar su desarrollo y estimar su utilidad requiere comparar resultados, esfuerzos y límites. El efecto persuasivo de una presentación informa poco sobre su uso fuera del escenario preparado.

## Evaluación, costos y prioridades en el informe ALPAC

En 1966 el Automatic Language Processing Advisory Committee publicó *Language and Machines* (ALPAC, 1966), un informe que examinó la traducción automática y su relación con la investigación lingüística computacional. Su lectura exige atender al alcance de sus juicios. Sus textos finales tratan la lingüística computacional y las vías para mejorar la traducción, mientras que sus apéndices incluyen estimaciones de costos y una comparación entre traducir y posteditar traducciones automáticas. Presentarlo como la muerte total del campo borra esa amplitud y convierte un juicio situado sobre prioridades en una afirmación universal sobre las posibilidades de la computación.

La utilidad es la contribución de un procedimiento a una finalidad concreta, considerada junto con los recursos que exige. El costo incluye el tiempo de ejecución y también la preparación y la revisión humana. Una traducción que parece aceptable durante una demostración puede requerir correcciones costosas cuando se incorpora a un trabajo sostenido. Adoptar como criterio la utilidad y el costo cambia la evidencia que cuenta, porque obliga a considerar las condiciones efectivas de empleo y las alternativas disponibles para hacer la tarea.

Pensemos en un sistema que produce rápidamente borradores que una persona debe revisar. Una reducción del tiempo de generación puede convivir con un tiempo total igual o mayor; si las correcciones demandan un esfuerzo elevado, el balance puede resultar desfavorable para ese flujo de trabajo. El mismo sistema podría ser útil en otro dominio con expresiones más regulares. Una conclusión evaluativa necesita especificar qué tarea se comparó y qué actividades se incluyeron al calcular el esfuerzo.

La observación histórica registra las recomendaciones y los argumentos presentes en el informe, en los que la interpretación puede reconocer un desplazamiento hacia criterios de evaluación más exigentes. Explicar cambios de financiamiento o de orientación investigativa exige además documentar esas decisiones. La continuidad de herramientas y problemas impide identificar una restricción particular con la desaparición de toda la lingüística computacional; cada conclusión debe conservar las condiciones que la sostienen.

## Reglas, gramáticas y análisis

Una gramática formal es un conjunto explícito de categorías y reglas que define estructuras posibles. Una regla de reescritura permite desarrollar una categoría en otras unidades, el léxico vincula palabras con categorías y el análisis sintáctico busca una estructura compatible con la oración y la gramática. Un árbol sintáctico expresa ese resultado mediante relaciones de inclusión, ya que una oración contiene grupos y cada grupo contiene otros elementos. Su forma hace visible qué palabras se agrupan y qué relaciones autoriza el sistema.

Considérese esta gramática mínima didáctica. Una oración se compone de grupo nominal y grupo verbal. Un grupo nominal puede ser un nombre propio, un determinante más un nombre o un grupo nominal más un grupo preposicional; un grupo verbal puede ser un verbo más un grupo nominal o un grupo verbal más un grupo preposicional. El grupo preposicional contiene una preposición y un grupo nominal. El léxico hipotético asigna «Ana» a nombre propio, «observó» a verbo, «el» y «la» a determinantes, «estatua» y «telescopio» a nombres y «con» a preposición.

La oración didáctica «Ana observó la estatua con el telescopio» admite dos árboles. En uno, «con el telescopio» se integra al grupo verbal y puede interpretarse como instrumento de la observación; en el otro se integra al grupo nominal «la estatua» y puede interpretarse como una propiedad de la estatua. Esta ambigüedad estructural consiste en que una misma secuencia admite agrupamientos distintos. La gramática los permite y decidir cuál corresponde al uso concreto requiere información adicional.

Las reglas son transparentes porque permiten inspeccionar por qué se aceptó una estructura. Su cobertura, el conjunto de construcciones que reconocen, depende del detalle de la descripción, cuya ampliación puede aumentar el mantenimiento y las interacciones entre excepciones. Obtener un árbol verifica la compatibilidad con las reglas, pero la interpretación contextual correcta es otro problema.

## Patrón y efecto de interacción en ELIZA (1966)

El emparejamiento de patrones es la búsqueda de configuraciones reconocibles dentro de una entrada, que una transformación usa luego para construir una salida. Weizenbaum (1966) presentó ELIZA como un programa para estudiar la comunicación en lenguaje natural entre personas y computadores, que funcionaba en el sistema de tiempo compartido MAC del MIT. El programa analizaba las oraciones de entrada mediante reglas de descomposición que se activaban al aparecer ciertas palabras en la entrada y generaba respuestas con reglas de reensamblaje, organizadas en guiones (*scripts*), es decir, conjuntos de instrucciones que orientaban las respuestas. Esta descripción permite analizar operaciones concretas y describir el programa en sus propios términos, que no incluyen comprensión humana ni haber superado la prueba de Turing.

Un guion puede reconocer una palabra relevante, separar partes del enunciado y reutilizarlas en una respuesta. La aparente continuidad temática puede surgir de esa reutilización, junto con las convenciones del intercambio. El mecanismo trabaja sobre formas detectables y el usuario interpreta la respuesta como una intervención dentro de la conversación. Distinguir ambos niveles es necesario, porque de un resultado verbal pertinente no se infiere directamente cómo se produjo ni qué representación de la situación tiene el sistema.

En un intercambio didáctico, que no es una transcripción histórica, una persona escribe «Me preocupa mi trabajo» y el programa devuelve «¿Qué te preocupa de tu trabajo?». Una regla podría reconocer «Me preocupa», conservar el segmento restante y modificar el posesivo. La observación registra la correspondencia entre entrada y salida. El usuario podría atribuir al programa interés o disposición a escuchar, mientras que la explicación técnica de esta respuesta remite a la regla y prescinde de esa atribución psicológica.

El efecto de interacción es la impresión que produce una secuencia de respuestas dentro de un intercambio. Puede depender de las expectativas y de la disposición del participante a completar sentidos implícitos, de modo que estudiarlo exige evidencia sobre personas y situaciones, además del código. Una respuesta bien formada prueba que el procedimiento generó esa respuesta y una atribución de sentido muestra cómo fue recibida. Confundir ambos hechos transforma el efecto comunicativo en una conclusión injustificada sobre capacidades internas.

## Corpus y recursos

Un corpus es una colección de producciones lingüísticas reunida mediante criterios explícitos para su estudio o procesamiento. La anotación agrega información a esas producciones, por ejemplo categorías gramaticales o límites de una entidad mencionada. Un léxico reúne unidades con propiedades asignadas que pueden emplearse junto con el corpus. Estos recursos permiten examinar usos registrados y construir procedimientos sobre evidencia observable. El paso del ejemplo construido al uso observado cambia el fundamento de algunas decisiones, aunque la selección y la interpretación de los materiales siguen siendo necesarias.

El muestreo es el procedimiento mediante el cual se eligen los materiales incluidos. La representatividad expresa en qué medida esa selección permite estudiar la población de usos que se quiere conocer. Un corpus de documentos administrativos dice poco sobre la conversación cotidiana, por lo que hay que saber qué situaciones quedaron registradas y cuáles fueron excluidas. El tamaño puede ampliar la variedad observada. Una selección concentrada en un tipo particular de hablante, institución o práctica escrita conserva su sesgo, por grande que sea.

En un corpus didáctico de veinte mensajes, ocho contienen la palabra «consulta». Ese conteo describe la colección y depende del criterio empleado para reconocer la palabra. Si se anotan sentidos, dos personas podrían discrepar acerca de si un mensaje alude a una pregunta o a una atención profesional. El acuerdo entre anotadores mide la coincidencia de sus decisiones bajo una pauta compartida, de manera que un acuerdo elevado indica consistencia según esa pauta, mientras otras interpretaciones pueden seguir siendo defendibles.

La anotación convierte decisiones analíticas en datos procesables y puede ocultar incertidumbres cuando exige una única etiqueta, por lo que documentar los criterios y los desacuerdos ayuda a conservar sus límites. El dominio, es decir, el ámbito de usos al que pertenecen los materiales, puede alterar frecuencias y convenciones cuando cambia. Una regularidad observada en un corpus necesita una nueva comprobación antes de extenderse a otros ámbitos.

## Probabilidades y evaluación

La frecuencia es el número de apariciones de un elemento en una colección. Una probabilidad condicional expresa la probabilidad de un evento cuando se conoce otro. Un modelo de n-gramas estima secuencias a partir de grupos de n unidades consecutivas (un bigrama usa pares). En la estimación por frecuencia relativa, la relación se escribe $\hat P(b\mid a)=C(a,b)/C(a)$, donde $\hat P$ es la probabilidad estimada, $C(a,b)$ cuenta el par y $C(a)$ las apariciones de la unidad precedente con continuación considerada. La estimación depende del corpus y del modo de segmentarlo.

En un ejemplo didáctico, «la» aparece diez veces con continuación y seis de esas veces precede a «casa». La estimación de «casa» después de «la» es 6/10, equivalente a 0,6. Una secuencia ausente recibiría probabilidad cero con ese cálculo. El suavizado redistribuye parte de la probabilidad para reservar valores a casos no observados, con lo cual evita identificar la ausencia en la muestra con la imposibilidad lingüística, aunque introduce supuestos que también deben examinarse.

La evaluación requiere un conjunto de prueba, formado por materiales separados de los usados para ajustar el sistema y elegir sus configuraciones. En detección, la precisión es la proporción de aciertos entre los elementos señalados y la cobertura es la proporción de elementos relevantes que fueron encontrados. En otro ejemplo didáctico, un sistema señala diez casos, de los cuales ocho son correctos, cuando existen dieciséis relevantes, de modo que obtiene precisión 0,8 y cobertura 0,5. Cada medida responde a una pregunta distinta sobre sus errores.

Una métrica resume el desempeño según una definición de éxito y puede ocultar diferencias entre dominios o consecuencias desiguales de los fallos. La asociación estadística entre palabras describe regularidades, aunque hablar de causa entre ellas requiere otro tipo de análisis. Explicar resultados exige examinar materiales y procedimientos, además de informar una cifra agregada.

## Traducción estadística

La traducción estadística usa regularidades estimadas en datos para comparar posibles traducciones. El trabajo de Brown y colaboradores (1990), desarrollado en IBM, documenta la formulación probabilística de este programa de investigación. Un corpus paralelo reúne textos de una lengua con sus traducciones en otra, cuyas unidades se emparejan mediante alineamientos, es decir, correspondencias propuestas que pueden vincular palabras o segmentos mayores. Esas correspondencias permiten estimar opciones de traducción. Su validez depende de los materiales y de las decisiones empleadas para establecer qué unidades se consideran emparejadas durante el aprendizaje.

El modelo de canal ruidoso organiza conceptualmente la búsqueda como la recuperación de un mensaje a partir de una forma observada. En traducción combina un modelo de traducción, que puntúa la compatibilidad entre expresiones de ambas lenguas, con un modelo de lengua, que puntúa secuencias en la lengua de llegada. «Ruidoso» designa aquí una formulación probabilística del problema y nada dice sobre un deterioro material del texto original. La combinación permite preferir candidatos que mantengan correspondencias y presenten una organización probable.

En un ejemplo didáctico, un corpus paralelo empareja «strong tea» con «té fuerte». La correspondencia entre segmentos favorece esa opción frente a una combinación elegida mediante equivalencias aisladas, en tanto que el modelo de lengua contribuye a puntuar el orden español. El sistema busca entre candidatos y selecciona uno según sus puntuaciones. Que acierte en este caso muestra una decisión útil. Del acierto no se sigue que el sistema conozca las propiedades de la bebida ni las razones culturales de la expresión.

Estos procedimientos podían sacar partido de expresiones recurrentes y regularidades de orden. Las relaciones distantes, como una concordancia que atraviesa varios grupos, podían quedar insuficientemente representadas por decisiones locales; la búsqueda limitaba además qué candidatos llegaban a compararse. Las reglas siguieron siendo útiles para restringir salidas o tratar casos específicos. La coexistencia de enfoques responde a necesidades de tarea y de recursos, sin que haga falta un relato de sustitución inevitable.

## Redes y representaciones distribuidas

Una neurona artificial es una operación que combina valores de entrada mediante parámetros y aplica una transformación para producir una salida. Los parámetros son cantidades ajustables que determinan cómo se combinan esos valores; una capa reúne operaciones de ese tipo y una red conecta capas. El entrenamiento modifica los parámetros para reducir una función de pérdida, que mide la discrepancia entre las salidas producidas y el objetivo definido. Esta descripción especifica un procedimiento de ajuste, que es distinto del aprendizaje humano.

Bengio y colaboradores (2003) propusieron un modelo que aprende a la vez una representación distribuida para cada palabra y la función de probabilidad de las secuencias de palabras. El trabajo muestra que el enfoque neuronal también formula probabilidades, como los métodos basados en conteos. Un vector es una lista ordenada de números que ubica un elemento dentro de un espacio. Una representación distribuida reparte la información entre varias de sus componentes y evita asignar una propiedad lingüística completa a una única posición. La similitud entre vectores se calcula mediante una medida explícita de cercanía u orientación. Cuando los parámetros se ajustan sobre usos lingüísticos, esa cercanía puede reflejar regularidades de aparición compartidas, con un significado que depende del objetivo y de los datos empleados durante el entrenamiento.

En un ejemplo didáctico de dos dimensiones, «gato» se ubica en (0,8; 0,6), «perro» en (0,7; 0,7) y «mesa» en (0,1; 0,2). Con la distancia euclídea, que es la distancia geométrica entre puntos, los dos primeros quedan más próximos entre sí que a «mesa». Los valores son inventados para ilustrar la operación y ningún eje recibe aquí un significado lingüístico propio. Interpretar la proximidad como una afinidad entre animales exige relacionar el resultado con información externa al cálculo.

La observación registra posiciones y resultados de operaciones; la interpretación propone qué regularidad podrían expresar y la explicación requiere estudiar cómo el entrenamiento y los materiales la produjeron. La interpretabilidad es la posibilidad de dar una descripción comprensible del funcionamiento pertinente. Una representación útil para predecir puede ser difícil de descomponer en propiedades estables y reconocibles.

## Modelos secuenciales y atención

Un modelo secuencial procesa unidades respetando un orden y actualiza una representación a medida que avanza. El estado oculto es una representación interna que conserva información de pasos anteriores para contribuir al cálculo siguiente. Una dependencia a larga distancia une unidades separadas por otras, como un sujeto y un verbo distantes, cuya conexión es difícil de conservar a lo largo de muchas actualizaciones. La longitud de la secuencia y las transformaciones intermedias condicionan qué señales siguen disponibles cuando finalmente se necesitan.

En una arquitectura de codificador y decodificador, el codificador transforma la entrada en representaciones internas y el decodificador produce la salida a partir de ellas. Una arquitectura es la organización de operaciones y conexiones de un modelo. Si toda la información debe pasar por un único resumen de tamaño fijo aparece un cuello de botella, un punto que restringe la información accesible. El problema se vuelve visible cuando la salida requiere recuperar detalles que ocupaban posiciones diferentes dentro de una entrada extensa.

La atención es un mecanismo que calcula ponderaciones sobre posiciones representadas y combina su información según esos valores. En un ejemplo didáctico de traducción, al generar una palabra correspondiente al sujeto, el decodificador asigna mayor peso a la posición de ese sujeto que a un modificador distante. Las ponderaciones facilitan el acceso selectivo a la entrada. Leerlas como explicación humana de la traducción, o como prueba de que esa posición es la única causa de la salida, excede lo que informan.

La atención puede reducir la dependencia de un resumen único, aunque su incorporación mantiene a veces el procesamiento secuencial. Cuando cada estado requiere el anterior, ciertas operaciones deben esperar y se limita el paralelismo, es decir, la ejecución simultánea de cálculos independientes. Comparar modelos exige distinguir esa restricción computacional de los resultados lingüísticos observados. Un mecanismo de acceso más flexible puede ayudar en una tarea y dejar otras dependencias relevantes sin tratar.

## Transformer 2017 y preentrenamiento

Vaswani y colaboradores (2017) presentaron en *Attention Is All You Need* la arquitectura Transformer, basada en mecanismos de atención. La autoatención relaciona posiciones de una misma secuencia para actualizar sus representaciones, de manera que permite calcular conjuntamente representaciones que, en un esquema recurrente, dependerían de una sucesión de estados. Para conservar la información de orden, la arquitectura incorpora información posicional. Describir estas operaciones identifica propiedades del diseño. Explicar sus resultados requiere además examinar el entrenamiento y las condiciones de evaluación.

El paralelismo consiste en ejecutar simultáneamente cálculos que no necesitan esperar unos por otros, posibilidad que cambia la organización del cómputo cuando la secuencia ya está disponible. La producción de texto mantiene, con todo, una dependencia ordenada cuando cada unidad generada depende de las anteriores. También cuenta el costo de relacionar posiciones entre sí, que crece al aumentar la cantidad de unidades consideradas mediante atención completa.

El preentrenamiento es una fase de ajuste de parámetros sobre una colección de datos y un objetivo general, previa a una adaptación más específica en la que el ajuste posterior modifica esos parámetros para una tarea o unas condiciones particulares. En un ejemplo didáctico, un modelo aprende regularidades al reconstruir unidades ocultas de textos y después se adapta para clasificar documentos. Su desempeño posterior depende de la relación entre los materiales iniciales y la tarea, además del procedimiento de adaptación.

La arquitectura y el esquema de entrenamiento son dimensiones distintas, porque una especifica cómo se calcula y el otro cómo se ajustan los parámetros. Una asociación entre mayor disponibilidad de datos y mejores resultados todavía no identifica la causa de cada mejora. Explicar el desempeño exige comparaciones que distingan decisiones de diseño y recursos. La atención es una operación formal precisa, cuyo alcance debe comprobarse en tareas definidas.

## Continuidad híbrida de herramientas

Un sistema híbrido combina procedimientos de distinta naturaleza dentro de una misma tarea, como reglas explícitas junto con modelos cuyos parámetros se aprenden de datos. Una expresión regular es una notación para describir patrones de caracteres que permite reconocer formatos sin estimar probabilidades. Un léxico aporta unidades y propiedades registradas. Estas herramientas continúan en uso porque algunas restricciones se especifican con claridad, mientras otras decisiones requieren explotar la variación observada en colecciones de ejemplos.

Un canal de procesamiento organiza operaciones sucesivas sobre una entrada. En un ejemplo didáctico de clasificación documental, una expresión regular reconoce identificadores con formato fijo, un léxico identifica nombres administrativos previstos y un modelo aprendido propone la categoría del documento. Después, una regla comprueba si la categoría es compatible con los campos presentes y los casos conflictivos pasan a revisión humana. Cada componente tiene una función delimitada. Sus salidas deben conservar información suficiente para examinar dónde surgió una discrepancia.

La validación humana consiste en revisar un resultado según criterios establecidos. La verificación comprueba propiedades concretas, como la presencia de un campo obligatorio o la correspondencia con una fuente disponible, pero cubre solo una parte del documento. En el ejemplo, una regla puede confirmar un formato válido aunque el identificador pertenezca a otra persona. La revisión necesita condiciones y responsabilidades explícitas, porque incorporarla nominalmente al canal es distinto de detectar los errores de manera consistente.

La elección de herramientas depende de la tarea y del costo de los fallos, es decir, del riesgo, que combina la posibilidad de un error con sus consecuencias en un contexto de uso. Una restricción transparente puede ser preferible para un requisito verificable, aun cuando un modelo aprendido cubra expresiones más variadas. Evaluar el sistema completo exige observar cómo se transmiten los errores entre componentes y cuánto esfuerzo demanda mantenerlos.

## Sesgos, corpus y condiciones materiales

El sesgo de muestreo es una distorsión sistemática producida por la forma de seleccionar materiales respecto de la población que se pretende estudiar. El sesgo de anotación surge cuando las pautas o decisiones de etiquetado favorecen determinadas interpretaciones de manera sistemática. Ambos pueden trasladarse al comportamiento de un modelo. Identificar esa posibilidad exige describir qué usos se incluyeron y cómo fueron clasificados, puesto que todo corpus es una selección de los usos de una lengua.

La disponibilidad desigual de datos entre lenguas condiciona qué procedimientos pueden entrenarse y evaluarse con facilidad. También cuenta la diversidad interna de cada lengua, pues una colección abundante de escritura institucional puede registrar poco de otras prácticas. En un ejemplo didáctico, un clasificador entrenado con solicitudes formales falla más en mensajes coloquiales. La observación establece una diferencia de desempeño entre conjuntos cuya atribución exclusiva al registro requiere examinar otras diferencias posibles, como los temas o la longitud de los mensajes.

Las condiciones materiales incluyen trabajo humano y recursos de cómputo. Recopilar datos, documentar permisos y resolver desacuerdos de anotación exige decisiones y tiempo; el cómputo, por su parte, usa infraestructura y energía tanto durante el entrenamiento como durante el uso. Estos recursos limitan qué proyectos pueden hacerse y qué comparaciones resultan posibles. Un resultado técnico aislado calla cuánto trabajo requirió y qué usos alternativos de los recursos quedaron fuera de la decisión.

La mitigación es el conjunto de medidas destinadas a reducir un problema identificado. Puede incluir ampliar las muestras o revisar los criterios de anotación, medidas cuya eficacia debe comprobarse mediante evaluaciones pertinentes. Corregir una diferencia medida deja en pie otras desigualdades posibles, del mismo modo que una asociación presente en los datos todavía no establece una causa social. Explicar un sesgo requiere conectar la evidencia del sistema con información sobre las prácticas que produjeron y seleccionaron sus materiales.

## La unidad de entrada como problema

La tokenización es el procedimiento que segmenta un texto en unidades para su procesamiento. Cada unidad resultante se denomina token y puede corresponder a una palabra, un signo o un fragmento de palabra, según el criterio elegido. Antes de contar frecuencias o construir representaciones, el sistema necesita decidir qué elementos distinguirá, una decisión que transforma una producción lingüística en una secuencia operable. La unidad computacional puede diferir de la unidad que reconocen la gramática o quienes usan la lengua.

En un ejemplo didáctico, «Dímelo, Ana» puede segmentarse como «Dímelo», «,», «Ana», manteniendo entera la primera palabra y separando la puntuación. Otro procedimiento podría dividir «Dímelo» en fragmentos menores, sin que ninguna de estas opciones describa por completo el enunciado. Separar fragmentos puede facilitar el tratamiento de formas poco frecuentes, mientras que conservar palabras enteras mantiene visibles ciertas asociaciones. Comparar ambas opciones requiere precisar qué tarea hará el modelo y qué información necesitará recuperar.

La segmentación tampoco es evidente en todos los sistemas de escritura ni para todas las prácticas textuales. Los espacios son señales disponibles en algunos materiales; las abreviaturas y las unidades compuestas requieren criterios adicionales. Como el criterio elegido modifica los conteos, la longitud de las secuencias y las correspondencias entre formas, dos modelos pueden recibir representaciones diferentes del mismo texto incluso antes de aplicar sus operaciones principales. Toda observación de una salida necesita considerar esta transformación previa.

La tensión entre lenguaje formalizable y actividad social reaparece en ese límite. Un procedimiento necesita fronteras explícitas, mientras los usos presentan una variación que puede desbordarlas. Interpretar un token como palabra o como unidad de sentido exige justificar la correspondencia entre ambas cosas. La construcción de las unidades de entrada condiciona, por tanto, las operaciones posteriores del sistema.

## Referencias y lecturas

- Automatic Language Processing Advisory Committee. (1966). *Language and Machines: Computers in Translation and Linguistics* (Publicación 1416). National Academy of Sciences, National Research Council. https://doi.org/10.17226/9547
- Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A neural probabilistic language model. *Journal of Machine Learning Research, 3*, 1137–1155. https://www.jmlr.org/papers/v3/bengio03a.html
- Brown, P. F., Cocke, J., Della Pietra, S. A., Della Pietra, V. J., Jelinek, F., Lafferty, J. D., Mercer, R. L., & Roossin, P. S. (1990). A statistical approach to machine translation. *Computational Linguistics, 16*(2), 79–85. https://aclanthology.org/J90-2002/
- IBM. (s. f.). *Machine-aided translation*. IBM Heritage. https://www.ibm.com/history/machine-aided-translation
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. En *Advances in Neural Information Processing Systems 30* (pp. 5998–6008). Curran Associates. https://papers.nips.cc/paper/7181-attention-is-all-you-need
- Weaver, W. (1955). Translation. En W. N. Locke & A. D. Booth (Eds.), *Machine Translation of Languages: Fourteen Essays* (pp. 15–23). Technology Press of the Massachusetts Institute of Technology; Wiley. (Obra original de 1949)
- Weizenbaum, J. (1966). ELIZA—A computer program for the study of natural language communication between man and machine. *Communications of the ACM, 9*(1), 36–45. https://doi.org/10.1145/365153.365168