Cuando un algoritmo aconseja a un gobierno, alguien debe responder también por sus errores
Este artículo forma parte de la serie «El futuro del poder», una reflexión sobre cómo la inteligencia artificial está cambiando la manera de decidir, gobernar y comunicar desde las instituciones.
La responsabilidad por decisiones con IA empieza antes de que el sistema emita una recomendación. Empieza cuando una administración decide para qué va a utilizarlo, qué información le entregará y quién tendrá autoridad para aceptar o rechazar su consejo.
Un algoritmo puede detectar expedientes con riesgo de incumplimiento, ordenar solicitudes, señalar posibles fraudes o sugerir dónde concentrar una inspección. Puede revisar miles de documentos con una velocidad imposible para un equipo humano. Pero si su recomendación perjudica injustamente a una persona, la respuesta no puede ser que «lo decidió el sistema».
La máquina no ocupa un cargo público, no comparece ante un órgano de control y no atiende una reclamación. Alguien debe responder por la calidad de los datos, por el uso de la recomendación y por las consecuencias de la decisión final.
El algoritmo aconseja dentro de una cadena humana
En El futuro del poder describo una administración en la que la IA puede vigilar cambios normativos, comprobar procedimientos y advertir de riesgos antes de que se conviertan en incumplimientos. Es un cambio importante: el control deja de mirar únicamente lo que ya ocurrió y empieza a ayudar a prevenir errores.
Sin embargo, ningún sistema aparece solo. Una persona define el problema, otra contrata o desarrolla la herramienta, un equipo selecciona los datos y alguien decide cómo se integrará el resultado en el procedimiento. Después, un empleado público interpreta la recomendación o actúa sobre ella.
Cuando todas esas intervenciones se esconden detrás de la palabra «algoritmo», parece que la decisión no pertenece a nadie. La responsabilidad se dispersa entre el proveedor, el área técnica, el departamento jurídico y el órgano que firma. Precisamente por eso debe quedar definida antes de empezar.
La OCDE señala que, en la mayoría de los usos públicos, los algoritmos informan o influyen en decisiones humanas más que sustituirlas por completo. Esa descripción es útil porque devuelve la atención a la cadena real: el sistema aconseja, pero una organización decide qué hacer con su consejo.
Cuando una recomendación es incorrecta, resulta tentador buscar un fallo puntual en el programa. A veces existe. Pero muchos errores nacen antes: en una base de datos incompleta, en una categoría mal definida o en un objetivo que parecía razonable y produjo efectos inesperados.
Un sistema que prioriza las solicitudes con mayor probabilidad de resolverse rápidamente puede reducir el tiempo medio de tramitación. Al mismo tiempo, puede relegar los expedientes complejos de las personas que más necesitan ayuda. El modelo habrá cumplido la instrucción, aunque el servicio público haya empeorado para un grupo concreto.
También puede aprender de decisiones anteriores que contenían desigualdades. Si una zona fue inspeccionada con mayor frecuencia durante años, tendrá más incidencias registradas. El sistema puede interpretar ese historial como prueba de un riesgo superior y recomendar todavía más inspecciones allí. El dato parece objetivo, pero refleja la forma en que se actuó en el pasado.
Por eso no basta con comprobar que el programa funciona. Hay que examinar si la finalidad es legítima, si los datos describen de manera adecuada a la población y si el resultado perjudica de forma desproporcionada a determinadas personas.
Supervisión humana no significa firmar al final
La expresión «supervisión humana» puede resultar tranquilizadora y, al mismo tiempo, no significar casi nada. Si una empleada recibe cada mañana cientos de recomendaciones generadas por un sistema que no puede comprender ni cuestionar, su firma final no convierte el proceso en una verdadera decisión humana.
Supervisar exige tiempo, formación, información y autoridad para detener el procedimiento. La persona responsable necesita conocer qué datos ha utilizado el sistema, qué grado de incertidumbre existe y en qué situaciones suele fallar. Debe poder apartarse de la recomendación sin ser castigada simplemente por hacerlo y dejar constancia de sus razones.
La orientación de la Comisión Europea sobre el Reglamento de IA establece que las personas encargadas de supervisar sistemas de alto riesgo deben contar con la competencia, formación y autoridad necesarias. También exige que las autoridades públicas evalúen previamente determinados impactos sobre los derechos fundamentales. La supervisión, por tanto, debe ser efectiva y no una formalidad añadida al expediente.
Esto requiere algo que muchas organizaciones todavía no tienen: una descripción sencilla del papel de cada participante. Quién puede aprobar el uso del sistema, quién controla su rendimiento, quién valida cada tipo de recomendación y quién ordena suspenderlo si aparece un riesgo.
La responsabilidad institucional se comprueba cuando alguien discrepa del resultado. Una ciudadana no debería necesitar conocimientos de programación para impugnar una decisión que afecta a una ayuda, una sanción o el acceso a un servicio.
Debe saber que se utilizó un sistema de IA cuando ese uso resulte relevante, comprender las razones principales de la decisión y encontrar un cauce atendido por una persona capaz de revisarla. La reclamación no puede convertirse en otro formulario que termine automáticamente en el mismo sistema cuestionado.
El derecho a recibir una explicación útil no se satisface con entregar una fórmula matemática ni una descripción genérica del proveedor. La explicación debe relacionar la decisión con el caso concreto: qué información se tuvo en cuenta, qué regla influyó y qué puede corregirse si los datos eran erróneos.
La Comisión Europea recuerda que, cuando determinados sistemas de alto riesgo ayudan a tomar decisiones sobre personas, estas deben ser informadas. El Reglamento también refuerza el registro, la vigilancia y la respuesta ante incidentes. Esas garantías serán eficaces solo si se traducen en procedimientos comprensibles para quien está al otro lado de la administración.
La trazabilidad suele presentarse como una obligación técnica, pero es también una protección profesional. Si queda constancia de la versión del sistema, los datos disponibles, la recomendación emitida y el criterio utilizado para aceptarla o rechazarla, el empleado puede demostrar cómo actuó.
Sin ese registro, una decisión tomada de buena fe puede resultar imposible de reconstruir meses después. El proveedor habrá actualizado el modelo, los datos habrán cambiado y cada departamento recordará una parte distinta del proceso.
La documentación debe ser proporcionada al riesgo. No necesita convertir cada trámite menor en un expediente interminable. Pero cuanto mayor sea el efecto sobre los derechos, las oportunidades o la vida de una persona, más clara debe ser la huella de la decisión.
En este punto, el conocimiento institucional no puede permanecer disperso en carpetas, correos y cabezas sueltas. La memoria del proceso forma parte de la capacidad de responder.
La IA puede detectar una correlación que merece atención sin conocer su causa. Puede recomendar investigar un expediente, pero no necesariamente sancionarlo. Puede señalar una anomalía, aunque esta se deba a una situación excepcional perfectamente legítima.
Una administración responsable distingue entre una alerta, una recomendación y una decisión. No utiliza el mismo nivel de confianza ni las mismas garantías para las tres. El sistema puede ayudar a dirigir la mirada de un profesional, pero no debería transformar una sospecha estadística en una consecuencia automática sin comprobación suficiente.
Esta diferencia será todavía más importante cuando los asistentes de IA produzcan respuestas redactadas con seguridad y acompañadas de argumentos convincentes. La calidad de la prosa no demuestra la calidad del razonamiento. Una respuesta ordenada puede apoyarse en datos incompletos o interpretar mal una norma.
Por eso las instituciones necesitan publicar información oficial clara y actualizada, pero también conservar la capacidad de comprobar cualquier respuesta generada a partir de ella.
La responsabilidad no se compra con el programa
Contratar una herramienta no equivale a transferir la obligación pública de responder. El proveedor debe asumir responsabilidades sobre el producto, la seguridad y las condiciones acordadas. Pero la institución sigue siendo responsable de haber elegido el uso, de integrarlo en su procedimiento y de vigilar sus efectos.
Eso obliga a evaluar no solo la precisión inicial del sistema, sino su comportamiento con el paso del tiempo. Las normas cambian, la población cambia y los datos cambian. Una herramienta que funcionaba bien al comenzar puede degradarse o producir efectos distintos cuando se aplica a otro departamento.
La síntesis es clara: cuando un algoritmo aconseja a un gobierno, la responsabilidad debe tener nombres, funciones y un cauce de reclamación. La IA puede mejorar el control y reducir errores, pero no puede convertirse en la explicación final de una decisión pública. Si nadie puede explicar quién validó el resultado y quién debe corregirlo, el problema no está solo en el algoritmo. Está en la institución que decidió utilizarlo sin preparar la respuesta.