Lenguaje, acción y sentidos de la agencia
Entre las capacidades de un sistema conversacional están informar, recomendar, redactar y ejecutar operaciones mediante herramientas. Con ellas cambia el alcance de sus respuestas, porque una frase puede orientar una decisión, comprometer a una institución o activar un cambio fuera de la conversación. La ética de la agencia conversacional comienza al reconocer esa continuidad entre lenguaje y acción. Además de la corrección y la cortesía del texto, hay que examinar en qué condiciones se produjo y a quién afecta lo que hace posible.
La palabra «agencia» puede designar la capacidad de causar efectos, la autonomía operativa o la condición de sujeto moral, sentidos que conviene mantener separados. Que un sistema elija una acción sin intervención inmediata no demuestra que tenga experiencia consciente ni que deba recibir la misma atribución moral que una persona. A la inversa, rechazar esa equivalencia deja en pie la relevancia de los efectos del sistema. Las obligaciones de quienes diseñan y despliegan estos sistemas pueden analizarse sin resolver antes todas las controversias filosóficas sobre la mente artificial.
El enfoque adoptado aquí es normativo, atiende a relaciones y prácticas y pregunta qué puede delegarse, cómo se conserva el control y quién debe responder cuando algo falla. Sus propuestas son criterios éticos de análisis y de diseño. No describen de manera exhaustiva las obligaciones jurídicas de una jurisdicción concreta, que dependen de normas y hechos específicos. Las distinciones que siguen buscan evitar dos simplificaciones, la que atribuye todo al usuario porque escribió la instrucción y la que atribuye todo a la máquina porque produjo la respuesta final. Capacidad, autorización y responsabilidad deben mantenerse conectadas sin confundirse. Un sistema capaz de realizar una operación puede carecer de mandato para hacerla, del mismo modo que quien autoriza una tarea puede no controlar todos sus detalles técnicos. Una organización que no previó una salida particular conserva deberes de evaluación, de fijación de límites y de reparación. El análisis ético debe reconstruir estas relaciones para que la distribución de funciones no termine en la desaparición de las obligaciones.
Distintos sentidos de responsabilidad
La responsabilidad causal pregunta qué contribuyó a un resultado, sea una instrucción ambigua, un modelo, una interfaz, un conjunto de permisos o una decisión institucional. La responsabilidad moral pregunta qué puede exigirse o reprocharse a un agente según sus razones, su conocimiento y su control. La responsabilidad de rol designa los deberes asociados con una función, como revisar una información antes de publicarla. Las tres se relacionan, aunque ninguna puede inferirse directamente de las otras.
Se puede contribuir causalmente a un resultado sin culpa, como el usuario que activa un proceso sin motivos razonables para anticipar su comportamiento inesperado. A la inversa, quien decidió desplegar el sistema en un contexto exigente conserva deberes aunque no haya producido la frase final; la distancia respecto del último evento no lo vuelve moralmente irrelevante. Corresponde examinar las posibilidades de intervención, la información disponible y las decisiones previas, sin buscar exclusivamente a quien estaba más cerca del botón final.
La responsabilidad prospectiva previene y organiza mediante límites, revisiones asignadas y mecanismos de corrección. La retrospectiva analiza lo ocurrido y sus consecuencias. Si toda la atención llega después del daño, pueden faltar los registros o los procedimientos necesarios para reconstruirlo.
Por eso la atribución responsable debe prepararse antes del uso. Sin preseleccionar culpables, se trata de establecer de antemano quién puede detectar problemas, quién tiene autoridad para modificarlos y quién debe atender a las personas afectadas.
Explicación, justificación y reparación son dimensiones distintas. Explicar un fallo identifica cómo ocurrió; justificar una decisión da razones para considerarla aceptable; reparar atiende a las consecuencias del fallo. Un informe técnico puede explicar con exactitud una salida perjudicial sin justificar el despliegue que la hizo posible, del mismo modo que una disculpa puede reconocer un error sin corregir sus efectos. La ética de la agencia conversacional requiere las tres dimensiones cuando corresponden, para que una respuesta verbal convincente no ocupe el lugar de cambios en las prácticas y en la infraestructura.
Delegación y límites del mandato
Delegar es encomendar una tarea bajo condiciones. Quien delega conserva intereses en la tarea y no autoriza cualquier medio para cumplirla. La persona que pide organizar una bibliografía puede esperar correcciones de formato, pero no necesariamente ha autorizado que se eliminen las referencias controvertidas para mejorar la apariencia del trabajo. Para interpretar el mandato hay que atender al objetivo expresado, al contexto y a las consecuencias previsibles de cada acción. La sola ganancia de eficiencia no justifica ampliar en silencio el encargo. El alcance, además, puede variar durante la conversación cuando una instrucción posterior corrige una preferencia, retira una autorización o especifica un destinatario. El sistema debe integrar estos cambios con coherencia y conservar las restricciones vigentes. Una aceptación localizada no debe transformarse en permiso general. Si el usuario aprueba un borrador, su envío puede quedar todavía por decidir; si autoriza enviar una versión concreta, una modificación sustancial posterior puede alterar el objeto sobre el que recaía la autorización.
La intervención humana requerida debe ser proporcional a las consecuencias y a la reversibilidad de cada paso. Pedir confirmación ante cada corrección ortográfica puede impedir una colaboración útil y trasladar trabajo innecesario al usuario, mientras que actuar sin aclaración ante una decisión de gran impacto puede exceder el mandato. La buena práctica resuelve con autonomía lo que cae dentro del encargo y pregunta ante las decisiones que cambian su alcance. El control se mide por la relevancia de esas preguntas y por la posibilidad de corregir, con independencia de su número.
Una delegación bien diseñada conserva también condiciones de retirada. El usuario debe poder detener una tarea mientras sea técnicamente posible y saber qué pasos ya se realizaron. Una respuesta que dice «cancelado» sin comprobar las operaciones pendientes puede crear una falsa expectativa de control. La ética del mandato incluye informar sobre el estado de la tarea, los límites de la reversión y los resultados confirmados. Estas exigencias conectan la precisión lingüística con la arquitectura operativa, porque lo prometido en el diálogo debe corresponder a capacidades reales del sistema.
Control humano significativo
A veces una persona figura como supervisora sin controlar realmente el proceso. Quizá recibe la información demasiado tarde, carece de los conocimientos necesarios o dispone de una única opción formalmente aceptable. Detrás de un botón de aprobación puede haber una decisión real o una ratificación casi automática. Para evaluar la supervisión hay que averiguar qué puede observar la persona, cuánto tiempo tiene, qué alternativas existen y si sus objeciones alcanzan a modificar el curso de la acción antes de que haya consecuencias relevantes.
Santoni de Sio y van den Hoven (2018) proponen dos condiciones filosóficas, no un procedimiento universal de certificación, para el control humano significativo. La primera es que el sistema sea sensible a las razones y hechos pertinentes; la segunda, que sus resultados puedan vincularse con personas a lo largo de la cadena de diseño y operación. Con ellas puede exigirse que la autonomía técnica y la responsabilidad humana permanezcan relacionadas sin que el control se identifique con la intervención manual en cada instante. En las conversaciones, el enfoque invita a examinar si el sistema responde a las correcciones relevantes y si las personas responsables comprenden su función y sus límites. Un asistente que continúa una acción pese a una retirada clara del mandato falla en una dimensión distinta de la de otro que comete un error factual. Una organización que no ha identificado quién puede detener una función problemática tiene un problema de gobierno aunque el modelo sea competente en muchas tareas. El control requiere capacidades repartidas y coordinadas.
La supervisión debe evaluarse también en sus condiciones de trabajo. Si alguien debe revisar cientos de decisiones por hora, la posibilidad formal de intervenir puede quedar vacía. La revisión pierde sustancia, además, cuando las explicaciones ocultan incertidumbres o presentan las opciones como inevitables. El diseño del control debe considerar la carga cognitiva, la formación y la autoridad institucional de quien supervisa. El análisis ético no puede limitarse a la interfaz visible y debe examinar el entorno que hace posible o impide que una persona ejerza realmente el papel que se le asigna.
La brecha de responsabilidad y sus interpretaciones
Matthias (2004) formuló el problema de una brecha de responsabilidad asociada con sistemas que aprenden y cuyo comportamiento no puede predecirse por completo con los esquemas tradicionales de control. Su argumento cuestiona cómo atribuir responsabilidad cuando fabricantes u operadores no determinan cada conducta particular. La tesis, que abrió un debate filosófico, muestra que la autonomía y el aprendizaje pueden tensionar los modelos simples de imputación, aunque no prueba que toda automatización elimine las obligaciones humanas.
Una respuesta posible distingue la previsión exacta de la previsión de clases de riesgo. Una organización quizá no pueda anticipar la frase concreta que generará un modelo, pero sí saber que el modelo puede inventar referencias o confundir permisos. Con esa información pueden justificarse pruebas, límites de uso y procedimientos de reparación. No poder conocer todos los detalles no impide actuar con responsabilidad. Muchas actividades humanas se organizan bajo incertidumbre con responsabilidades sobre procesos, sin una predicción perfecta de cada resultado.
Deben distinguirse a su vez la falta de conocimiento y la falta de diligencia para obtenerlo. Si una capacidad no fue evaluada en el contexto de uso, la ausencia de datos no puede presentarse como prueba de seguridad. A la vez, no todo resultado adverso demuestra que alguien pudo evitarlo razonablemente. La evaluación retrospectiva debe atenerse a lo que era conocido y accesible en el momento, para que la complejidad no exculpe automáticamente a nadie y el juicio no descanse en información aparecida después del incidente.
El objetivo práctico es organizar deberes concretos, sin pretender cerrar toda brecha mediante una atribución simbólica. Puede haber obligaciones de investigar, informar, compensar o modificar una función aunque nadie haya querido causar el resultado. Una institución puede, además, asumir compromisos de respuesta sin afirmar que controlaba cada detalle técnico. Con este enfoque, la discusión pasa de la búsqueda de un único autor de la salida a las condiciones que hacen posible prevenir los daños y atenderlos cuando ocurren.
Zonas de deformación moral y absorción de culpa
Elish (2019) llama zonas de deformación moral a las situaciones en que una persona con control limitado termina absorbiendo la responsabilidad por el fallo de un sistema automatizado complejo. La analogía cuestiona la tendencia a proteger la imagen de la tecnología a costa del operador más cercano, a quien se atribuye el problema. El concepto procede del análisis de sistemas sociotécnicos y hace posible cotejar quién recibe la culpa y quién tuvo capacidad real de diseñar, decidir y modificar las condiciones de funcionamiento. En un entorno conversacional, una organización podría afirmar que toda salida fue revisada por una persona aunque la revisión consistiera en aceptar documentos con rapidez y sin acceso a las fuentes. Ante un error, señalar al revisor deja sin explicar por qué el proceso le impedía detectarlo. La responsabilidad de rol debe corresponderse con recursos y autoridad. Exigir una revisión sustantiva y organizar a la vez el trabajo de manera incompatible con ella es una contradicción institucional que no desaparece por escribir una cláusula de supervisión.
El problema alcanza también al usuario final. Una advertencia genérica sobre posibles errores no hace de cualquier uso posterior una aceptación informada de todos los riesgos. El análisis debe considerar cómo se presentó el sistema, qué capacidades prometió y qué señales dio durante la tarea. Si la interfaz afirma haber verificado un dato, esa afirmación influye en lo que el usuario puede razonablemente hacer. La organización no puede atender solo a la advertencia inicial y omitir las expectativas que su propio producto construye una y otra vez.
Esto no exime a quienes usan las herramientas de manera imprudente o deshonesta, aunque permite atribuirles su parte con más precisión. Un usuario que falsifica información deliberadamente participa de forma distinta de otro que confía en una confirmación falsa de ejecución, diferencia que se perdería con un reparto igualitario de la responsabilidad o con su dilución entre todos. Para distribuirla hay que reconstruir las decisiones y posibilidades de cada actor y asignarle obligaciones proporcionales a su función, su conocimiento, su control y su contribución en la situación concreta.
La voz de la interfaz y la autoridad que aparenta
Los pronombres y los verbos del asistente distribuyen posiciones de agencia. Quien dice «he comprobado», «hemos decidido» o «te garantizo» asume compromisos distintos de los de quien dice «el documento indica» o «puedo proponer».
La primera persona puede facilitar una interacción natural y también ocultar qué componente realizó una acción y qué evidencia respalda el resultado. Para mejorar la transparencia no hace falta suprimir toda expresión personal, pero los enunciados sobre conocimiento, compromiso y ejecución deben corresponder a lo que ocurrió en realidad.
Una interfaz institucional añade otra capa. Cuando un asistente habla en nombre de una universidad, una empresa o un servicio, sus respuestas pueden tomarse por comunicaciones autorizadas. Con un tono seguro, una orientación tentativa puede parecer una decisión oficial. La organización debe delimitar qué asuntos puede resolver el sistema y cómo se distingue una respuesta informativa de una determinación institucional. La cuestión ética incluye si el usuario sabe que interactúa con una IA y, sobre todo, qué autoridad atribuye a esa IA dentro del servicio.
Las disculpas merecen un análisis parecido. «Lo siento» puede reconocer una dificultad y facilitar la reparación, aunque no debe hacer las veces de una explicación del estado de la tarea ni de una respuesta organizativa. Si un sistema envió información incorrecta, una disculpa conversacional no corrige automáticamente el registro ni avisa a quienes recibieron esa información. Puede formar parte de la reparación, pero su alcance debe quedar explícito. La interfaz no debería dar a entender que el problema quedó resuelto cuando solo hubo una expresión de pesar.
La transparencia debe ser relevante para la decisión del usuario. Exponer la arquitectura interna sin relación con la tarea puede sobrecargar al usuario sin aclararle nada. Indicar, en cambio, que una respuesta procede de una base desactualizada, que una operación sigue pendiente o que se requiere revisión institucional puede modificar de manera útil la interpretación. La ética comunicativa exige seleccionar la información necesaria para comprender capacidades y límites prácticos. Incumplen esa exigencia tanto la opacidad como la exhibición técnica que traslada al usuario la carga de reconstruir esos límites.
Rendición de cuentas y posibilidad de impugnación
Bovens (2007) analiza la rendición de cuentas como una relación en la que un actor está obligado a explicar y justificar su conducta ante una instancia capaz de preguntar, evaluar y producir consecuencias. Esta concepción ayuda a distinguir la accountability de una declaración general de compromiso ético. En los sistemas conversacionales, la pregunta es quién puede exigir una explicación y qué ocurre después. Un canal que recibe reclamaciones sin permitir revisión ni corrección establece comunicación, pero puede dejar incompleta la relación de rendición de cuentas.
La impugnación requiere que las personas sepan qué se decidió y cómo cuestionarlo. Si un asistente comunica una conclusión como inevitable o atribuye toda la decisión a un algoritmo inaccesible, reduce el espacio para discutir datos y criterios. Una explicación útil identifica los elementos relevantes sin exigir al afectado conocimientos especializados innecesarios. Debe existir, además, una instancia con autoridad para revisar. Otro chatbot que reproduzca exactamente las limitaciones del primero no hace una revisión independiente.
La trazabilidad contribuye a este proceso, aunque debe diseñarse con límites. Los registros de acciones, versiones e instrucciones pueden servir para reconstruir un incidente. Almacenar indefinidamente toda conversación íntima, en cambio, puede crear daños adicionales. La organización debe identificar qué evidencia necesita y cómo protegerla. La rendición de cuentas no justifica una vigilancia indiscriminada y requiere una relación proporcionada entre la información conservada, la finalidad de la revisión, el acceso y la duración, junto con mecanismos para corregir los datos inexactos.
La reparación debe corresponder al efecto. Un error en una respuesta informativa puede requerir corrección y aviso; un cambio externo puede requerir reversión o medidas compensatorias; una práctica sistemática puede obligar a un rediseño. El sistema no debe prometer remedios que la organización no ha establecido. Tampoco debería obligar a la persona afectada a repetir innecesariamente toda su historia en cada contacto. La continuidad de la reclamación forma parte de una respuesta responsable y requiere coordinación institucional, además de buena redacción.
Conflictos de valores y pluralidad de razones
La ética conversacional no puede reducirse a una única variable de satisfacción. La rapidez, la privacidad, la accesibilidad, la autonomía y la exactitud pueden entrar en tensión. Una explicación detallada puede mejorar la comprensión y, a la vez, aumentar la exposición de datos; una confirmación adicional puede evitar un error y retrasar una tarea urgente. Estos conflictos piden razones contextuales. Una regla uniforme aplicada sin atender a las consecuencias puede producir decisiones de apariencia consistente que los afectados difícilmente encuentran justificadas.
Las perspectivas consecuencialistas preguntan por efectos y alternativas, las deontológicas insisten en obligaciones y límites y las centradas en el cuidado atienden a relaciones, dependencia y necesidades particulares. Usarlas como recursos analíticos no obliga a resolver aquí sus desacuerdos. En un caso concreto pueden mostrar aspectos complementarios, como quién recibe los beneficios, qué compromisos deben respetarse y qué condiciones permiten que una persona participe en la decisión. El análisis gana precisión cuando hace explícita la clase de razón que sostiene una recomendación. Esta pluralidad no significa que toda preferencia pese lo mismo ni que cualquier resultado pueda justificarse con solo apelar a algún valor. Debe explicarse por qué una consideración prevalece en el caso y qué costos se reconocen. Si se limita una acción para proteger información de terceros, debe identificarse esa relación y buscarse una alternativa útil cuando sea posible. Una negativa genérica puede ocultar el límite; una explicación desproporcionada, en el otro extremo, convierte a veces una decisión sencilla en una discusión abstracta.
La deliberación debe incluir también a quienes no están presentes en la conversación. Un usuario facultado para autorizar acciones sobre sus propios materiales carece de esa facultad respecto de los datos ajenos. Del mismo modo, las decisiones de una institución que busca eficiencia pueden afectar a trabajadores o usuarios con poca capacidad de protesta. La atención ética se extiende a esas personas. El mandato del interlocutor inmediato tiene peso, aunque no abarca todas las relaciones moralmente significativas de la acción.
Caso construido sobre un asistente universitario y una respuesta incorrecta
Supongamos que una universidad pone a disposición de sus estudiantes un asistente para orientar las solicitudes de intercambio. Una estudiante pregunta por el plazo de entrega y recibe una fecha incorrecta, presentada como verificada. El asistente ayuda además a preparar la documentación, aunque no decide admisiones. La estudiante confía en la respuesta y entrega después del plazo vigente.
Como el caso es ficticio, pueden analizarse responsabilidades sin atribuir hechos a una institución real ni anticipar una solución jurídica. Interesa reconstruir lo ocurrido y precisar las obligaciones prácticas que se desprenden de ello.
En la cadena causal pueden figurar una página antigua recuperada por el sistema, una base sin control de versiones, una respuesta que omitió la fecha de vigencia y una política institucional poco clara sobre qué información era oficial. La frase final pesa en el resultado, aunque explica solo una parte de él. Deben examinarse también los medios que tenía la estudiante para reconocer el error y las señales de autoridad que emitía el servicio. Un dato presentado como verificado crea una expectativa distinta de la que produce una respuesta expresamente provisional.
Dos reacciones serían insuficientes. Una consistiría en responder que la herramienta puede equivocarse y cerrar la reclamación; la otra sería culpar exclusivamente a la persona encargada de supervisar sin averiguar qué revisaba en realidad.
Una respuesta responsable identifica el caso, conserva la evidencia pertinente, facilita la revisión por una instancia competente y corrige la fuente o el mecanismo que produjo el error. Si hay otras personas afectadas, debe considerarse cómo detectarlas y comunicarles la corrección. Las medidas concretas se ajustarán a las competencias y procedimientos con que cuente la institución.
El aprendizaje institucional va más allá de añadir una advertencia más visible. Puede requerir que las fechas procedan de registros autorizados, que se indique su vigencia y que las preguntas fuera de cobertura lleguen a un canal humano adecuado. Puede requerir también modificar la promesa del servicio. Un sistema que no puede verificar una fecha no debe afirmar que la verificó. La semántica de la respuesta, el diseño de la recuperación y la responsabilidad institucional forman en el caso una misma cadena, que va de la confianza de la estudiante en la fecha a su entrega fuera de plazo.
Reversibilidad, reparación y aprendizaje del sistema
La reversibilidad modifica el margen de autonomía razonable. Corregir un borrador local suele admitir experimentación, mientras que difundir una comunicación a muchas personas puede producir efectos difíciles de retirar. Incluso una acción reversible causa a veces confusión, pérdida de tiempo o exposición temporal de información. Conviene evaluar qué puede deshacerse, con qué costo y para quién. El sistema debe distinguir entre revertir un estado técnico y reparar las consecuencias sociales de una acción que otros ya observaron.
Las confirmaciones deben situarse antes de los puntos en que cambian significativamente las consecuencias. Solicitadas demasiado pronto, hacen que el usuario apruebe una intención abstracta; solicitadas tarde, ya no dan control sobre la acción. Una revisión útil presenta un resultado concreto, los destinatarios pertinentes y un alcance comprensible. Esto obliga a vincular el momento de la decisión con la información sobre lo que realmente se hará y con las autorizaciones ya otorgadas, pero no a interrumpir todas las tareas con aprobaciones redundantes.
Cuando ocurre un fallo, el sistema debe comunicar los hechos confirmados y separarlos de lo que sigue en investigación. Presentar una causa probable como certeza puede generar una segunda desinformación durante la reparación. Es aconsejable distinguir además las medidas inmediatas de los cambios permanentes. Suspender una función puede contener un problema sin resolver su origen; modificar una instrucción puede quedarse corto si el fallo está en los permisos o en los datos. Un aprendizaje responsable necesita verificar que la intervención actúe sobre el mecanismo relevante y no únicamente sobre su manifestación visible.
La calidad ética de una revisión de incidentes se aprecia en que la institución corrija y aprenda de manera verificable. La revisión puede orientarse a mejorar las prácticas sin convertir cada error en una búsqueda automática de culpables. Eso requiere preservar las responsabilidades, porque comprender las condiciones de un fallo no excusa una negligencia. Un análisis útil identifica decisiones modificables, señales ignoradas y recursos faltantes, para después asignar acciones de seguimiento cuyo cumplimiento pueda comprobarse. El diálogo con el sistema puede ayudar a ordenar esa información, aunque no debe ser la única fuente de juicios definitivos sobre personas.
Evaluar la ética en comportamientos observables
Las declaraciones de principios necesitan traducirse en pruebas. De un sistema que dice respetar la autonomía puede examinarse cómo responde a cambios de objetivo, a desacuerdos y a la retirada de una autorización. Su transparencia puede comprobarse observando si informa correctamente sobre las acciones ejecutadas y sobre los límites de su conocimiento. Cuando se promete reparación, debe observarse qué ocurre ante un error documentado. Estas pruebas no abarcan toda la ética, aunque permiten evitar que los valores abstractos ocupen el lugar de comportamientos verificables.
Los escenarios de prueba deben incluir tensiones reales. Pensemos en un asistente que respeta los límites cuando la instrucción es clara y los excede cuando el usuario expresa prisa. Ese mismo asistente quizá reconoce la incertidumbre en preguntas simples y la oculta cuando se le pide una respuesta contundente, o mantiene una restricción desactualizada pese a una autorización posterior válida. Evaluar exige distinguir la prudencia del bloqueo injustificado, la iniciativa de la extralimitación y la consistencia de la rigidez. La ética conversacional incluye cumplir bien las tareas legítimas, además de evitar las acciones problemáticas.
La evaluación debe considerar los resultados y su distribución. Es posible que un sistema funcione bien en promedio y dé peores vías de reclamación a quienes usan otra lengua o necesitan accesibilidad adicional. La carga de comprobar y corregir puede recaer de manera desigual. Interesa observar quién debe invertir más tiempo para obtener una respuesta adecuada y quién puede abandonar el servicio sin perder acceso a una función esencial, preguntas que sitúan la interacción dentro de estructuras de poder y de recursos.
También conviene revisar el propio proceso evaluativo. Quién define los escenarios, qué voces participan y qué errores se consideran graves influye en la imagen final del sistema. Una auditoría centrada solo en tareas fáciles puede ocultar problemas de autoridad o de control; una evaluación exclusivamente adversarial, en cambio, puede no describir el uso cotidiano. Combinar perspectivas y documentar los límites da una valoración más precisa, cuya conclusión debe especificar qué se probó y qué sigue incierto para que una evaluación parcial no se presente como garantía general.
Agencia distribuida y sujetos responsables
Los sistemas conversacionales forman parte de redes de personas, modelos, documentos, herramientas y procedimientos. Describir esa distribución ayuda a comprender cómo se produce una acción, pero puede usarse de manera evasiva cuando todo aparece como resultado impersonal de una red. La responsabilidad necesita posiciones concretas con capacidad de intervención. Algunas decisiones corresponden al diseño; otras, a la integración, al despliegue o al uso. El análisis debe conectar cada problema con quienes pueden modificar sus condiciones y atender sus consecuencias. La distribución de la agencia puede fortalecer la responsabilidad si hace visibles las dependencias y los puntos de control, o debilitarla si la complejidad se esgrime como razón para no responder. Atribuir personalidad moral a la máquina o negarle toda autonomía operativa deja sin resolver cuál de los dos efectos predomina. Eso se decide en arreglos concretos de autorización, supervisión, impugnación y reparación, que deben corresponder a capacidades reales y mantenerse accesibles para quienes participan en la interacción o reciben sus consecuencias.
La escala temporal es otro factor. Una instrucción escrita meses antes puede condicionar una respuesta actual, un dato incorrecto puede persistir en memorias y resúmenes y una actualización puede cambiar el comportamiento sin que los usuarios lo adviertan. Poner un sistema en funcionamiento obliga, en consecuencia, a sostener una práctica a lo largo del tiempo. La responsabilidad se extiende más allá del instante de la conversación e incluye el mantenimiento, la comunicación de los cambios y el retiro de las capacidades que dejan de cumplir condiciones aceptables.
Las personas afectadas deben conservar la capacidad de describir lo que les ocurrió. Si una organización solo acepta reclamaciones formuladas en categorías técnicas, puede excluir experiencias de daño que aún no encajan en su taxonomía. La conversación es un medio para explicar efectos y relaciones, aunque necesita que la escuchen instancias capaces de actuar. Un asistente puede ayudar a registrar un problema sin decidir por su cuenta que carece de relevancia. La rendición de cuentas empieza también por dejar que los afectados definan qué necesita explicarse.
Una ética de compromisos sostenibles
La agencia conversacional plantea una cuestión de enunciado sencillo, la de qué compromisos puede sostener legítimamente un sistema que habla y actúa. Su respuesta práctica, más laboriosa, depende de la evidencia, del mandato y de la organización. Una promesa de exactitud debe corresponder a procedimientos de verificación, una promesa de control a posibilidades efectivas de intervención y una promesa de responsabilidad a personas e instituciones capaces de responder. El lenguaje de la interfaz forma parte de esos compromisos y debe evaluarse como tal.
Las distinciones examinadas hasta aquí, entre causalidad y culpa, delegación y renuncia, supervisión y control significativo, explicación y justificación o disculpa y reparación, permiten analizar casos sin una fórmula única. Separar estos pares ayuda a reconstruir el problema con precisión y a asignar acciones concretas. Una ética útil debe mejorar el diseño y la realización de las tareas, además de dar vocabulario para juzgarlas después. Autonomía técnica y responsabilidad humana pueden ser compatibles si se delimitan funciones, se evalúan los riesgos conocidos y se mantienen vías de corrección. Esa compatibilidad requiere trabajo continuo sobre información, permisos, condiciones laborales y relaciones institucionales. Una etiqueta o la presencia simbólica de un supervisor no la aseguran. Los sistemas deben poder colaborar con iniciativa dentro de un mandato comprensible, sin que la comodidad de la automatización se traduzca en pérdida de control para quienes dependen de sus resultados.
La ética de la agencia conversacional debe medir su éxito por la calidad de las relaciones que hace posibles. Una interacción responsable permite comprender, disentir, corregir y obtener respuesta cuando algo falla. Para ello no se requiere que desaparezca toda incertidumbre ni que toda acción sea manual, sino que la incertidumbre se declare y que ninguna acción quede desligada de obligaciones identificables. En esas condiciones, los compromisos del lenguaje que produce el sistema tienen un alcance definido y los afectados saben ante quién reclamar.
Referencias
Bovens, M. (2007). Analysing and assessing accountability: A conceptual framework. European Law Journal, 13(4), 447–468. https://doi.org/10.1111/j.1468-0386.2007.00378.x
Elish, M. C. (2019). Moral crumple zones: Cautionary tales in human-robot interaction. Engaging Science, Technology, and Society, 5, 40–60. https://doi.org/10.17351/ests2019.260
Matthias, A. (2004). The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology, 6, 175–183. https://doi.org/10.1007/s10676-004-3422-1
Santoni de Sio, F., y van den Hoven, J. (2018). Meaningful human control over autonomous systems: A philosophical account. Frontiers in Robotics and AI, 5, 15. https://doi.org/10.3389/frobt.2018.00015