Un agente de inteligencia artificial puede consultar información comercial, preparar una propuesta y actualizar los datos de un cliente en el CRM. Pero autorizarle a consultar información no significa autorizarle a modificarla, aplicar un descuento o enviar una oferta.
Cada capacidad plantea decisiones concretas: qué puede hacer el agente, con qué datos, bajo qué condiciones y quién puede intervenir si algo sale mal.
La gobernanza de agentes de IA permite trasladar esas decisiones a responsabilidades, permisos, aprobaciones y controles verificables. Su objetivo es mantener el control sobre sistemas que pueden utilizar herramientas y ejecutar acciones dentro de los procesos de negocio.
En este artículo explicamos cómo delimitar la autonomía de un agente, qué controles revisar antes de desplegarlo y cómo supervisar su funcionamiento cuando ya está en producción.
La gobernanza de agentes de IA es el conjunto de responsabilidades, reglas y controles con los que una organización determina qué puede hacer un agente, qué recursos puede utilizar, qué acciones requieren autorización y cómo supervisar o detener su actividad.
Un modelo de gobernanza de la IA debe permitir responder a cinco preguntas:
Estas decisiones deben reflejarse en la configuración de las aplicaciones, las herramientas y los controles de acceso. Por ejemplo, si un agente necesita autorización para enviar una oferta, el sistema debe comprobar esa autorización antes de ejecutar el envío.
La gobernanza de agentes forma parte de la gobernanza de la inteligencia artificial, que establece el marco general para dirigir y supervisar el uso de la IA en la organización.
Un sistema que genera una respuesta necesita controles sobre el acceso a la información y la calidad del resultado. Cuando un agente utiliza esa respuesta para modificar un registro, enviar una comunicación o iniciar un proceso, también hay que controlar la operación y sus consecuencias.
La autonomía de un agente de IA debe definirse por tarea. Un mismo agente puede estar autorizado para consultar pedidos, preparar una propuesta de cambio y, sin embargo, necesitar aprobación para modificar las condiciones de una venta.
Además, un agente puede encadenar varias operaciones. Por eso, la supervisión debe permitir relacionar la solicitud inicial con las herramientas utilizadas, las autorizaciones y las acciones ejecutadas.
La evaluación de las obligaciones legales debe acompañar este diseño. La capacidad de actuar de forma autónoma no determina por sí sola la clasificación de un sistema bajo el AI Act: es necesario analizar su finalidad y el contexto de uso.
Para profundizar en las obligaciones del Reglamento Europeo de Inteligencia Artificial, los plazos de aplicación y sus implicaciones para las empresas, consulta nuestra Guía del AI Act, donde analizamos los principales requisitos de la normativa y cómo preparar a tu organización para su cumplimiento.
El gobierno del dato establece cómo se define, mantiene, protege y utiliza la información. Un agente necesita esa base para interpretar correctamente los datos y utilizarlos dentro del contexto autorizado.
Por ejemplo, antes de preparar una oferta, debe poder identificar qué precios están vigentes, qué condiciones corresponden al cliente y qué definición de margen debe aplicar. Una fuente desactualizada o una métrica ambigua puede provocar una actuación incorrecta.
La gobernanza del agente añade controles sobre el uso de esa información: consultar un dato no equivale a tener permiso para modificarlo o actuar sobre él. Cada herramienta conectada debe permitir únicamente las operaciones autorizadas para la tarea.
Cada agente de IA necesita un responsable del caso de uso que conozca el proceso de negocio, defina sus límites y coordine las decisiones sobre su funcionamiento.
La dirección debe establecer quién puede aprobar el despliegue, aceptar los riesgos que permanezcan y autorizar ampliaciones de autonomía. Los equipos de datos, tecnología, seguridad y cumplimiento convierten esas decisiones en requisitos y controles.
| Área | Responsabilidad sobre el agente |
|---|---|
| Negocio | Definir la finalidad, las acciones permitidas y las operaciones que requieren aprobación. |
| Datos | Validar las fuentes, las definiciones, la calidad y las condiciones de acceso. |
| Tecnología | Implementar las integraciones, los límites operativos y los mecanismos de autorización. |
| Seguridad | Gestionar identidades, credenciales, permisos y respuesta ante incidentes. |
| Privacidad y cumplimiento | Evaluar el tratamiento de datos personales y las obligaciones aplicables al caso de uso. |
Debe quedar claro quién autoriza nuevos permisos, quién aprueba una excepción y quién puede suspender la actividad. La supervisión necesita personas con información y capacidad real para intervenir.
Antes de autorizar un agente de IA, la empresa necesita conocer su finalidad, las herramientas que utilizará y las operaciones que podrá ejecutar. Esta revisión también debe aplicarse a los agentes que ya están en producción.
El inventario de agentes de IA debe incluir desarrollos propios, pilotos, agentes contratados y capacidades agénticas incorporadas en aplicaciones de terceros. También conviene identificar los que utilizan los equipos fuera de los procesos habituales de aprobación.
Para cada agente, registra:
El inventario debe permitir identificar qué accesos y procesos hay que revisar cuando cambia una herramienta, se amplía la autonomía o se retira el agente.
Cada caso de uso de IA necesita un objetivo concreto y un alcance autorizado. Define qué tarea debe mejorar, quién utilizará el agente, qué personas podrían verse afectadas y qué usos quedan excluidos.
También deben fijarse criterios de aceptación y de intervención: qué resultados permiten continuar y qué errores obligan a revisar, restringir o detener el servicio.
Por ejemplo, un asistente que resume pedidos para una revisión interna necesita controles sobre el acceso y la exactitud. Si además puede modificar esos pedidos, habrá que establecer qué cambios puede realizar y cuáles necesitan aprobación.
La evaluación de riesgos de IA debe considerar las consecuencias de una respuesta incorrecta o una acción no autorizada. Revisa qué información sensible interviene, quién podría sufrir un perjuicio y si las operaciones pueden corregirse.
Cuando se utiliza un proveedor externo, comprueba qué datos recibe, para qué puede utilizarlos, cuánto tiempo los conserva y cómo comunica cambios o incidentes. Identifica también qué controles puede aplicar tu empresa y cuáles dependen del proveedor.
El resultado de esta evaluación debe orientar qué supervisión, pruebas y límites necesita el sistema.
También hay que evaluar las consecuencias de ejecutar una acción varias veces, utilizar una herramienta incorrecta o continuar después de un error. Estos escenarios deben orientar los límites operativos, las pruebas y las condiciones de detención.
La gobernanza de agentes de IA en producción debe conectar la información que consulta el agente con las decisiones y acciones que puede ejecutar. Una definición incorrecta puede alterar una propuesta y desencadenar una operación equivocada.
Los controles sobre datos, resultados, permisos, aprobaciones y evidencias deben revisarse conjuntamente. Si el agente ya está en producción, comprueba sus accesos y mecanismos de parada desde el primer día.
La empresa debe conocer qué información utiliza la IA, de dónde procede, quién responde de ella y cómo se ha transformado. También debe comprobar que esté actualizada y sea adecuada para la tarea.
La calidad debe evaluarse según el uso previsto. Un registro duplicado puede distorsionar un recuento de clientes; una fecha antigua puede llevar a aplicar condiciones comerciales que ya no están vigentes.
Conviene distinguir entre datos de entrenamiento e información que una aplicación consulta al responder. Incorporar documentos a una solución de generación aumentada por recuperación (RAG) no implica necesariamente reentrenar el modelo. En ambos escenarios deben controlarse los datos y los accesos, aunque los componentes que se revisan sean distintos.
La IA necesita definiciones aprobadas de los conceptos y métricas que utiliza. La empresa debe documentar qué significa cada indicador, cómo se calcula, qué filtros aplica y quién puede modificarlo.
Por ejemplo, «cliente activo» puede referirse a quien ha comprado recientemente, mantiene un contrato vigente o utiliza un servicio. Sin una definición acordada, el sistema puede devolver cifras diferentes ante preguntas aparentemente iguales.
Una capa semántica puede conectar las preguntas con métricas y reglas de negocio compartidas. Para que resulte útil, necesita responsables, versiones y pruebas de cambio. Cuando una consulta sea ambigua, el sistema debe solicitar aclaración o utilizar una definición expresamente autorizada.
La evaluación de resultados de IA debe comprobar si las respuestas están respaldadas por evidencias y sirven para la tarea prevista. Una respuesta convincente puede contener errores, aunque incluya referencias.
En un asistente documental, verifica que las fuentes sostengan sus afirmaciones. En un análisis financiero, contrasta también cálculos, filtros y periodos con resultados de referencia.
Las pruebas deben incluir preguntas ambiguas, información contradictoria y consultas sin evidencia suficiente. También conviene revisar el comportamiento por idioma, tipo de usuario o situación: un buen resultado general puede ocultar fallos relevantes en determinados casos.
La revisión humana necesita personas con información, tiempo y autoridad para corregir o rechazar el resultado.
Cuando el resultado vaya a utilizarse para ejecutar una acción, la validación debe comprobar también los parámetros de la operación: destinatario, importe, registro afectado y condiciones aplicables.
Un agente de IA que ejecuta acciones necesita identidad propia, un responsable y permisos ajustados a su tarea. Debe quedar claro qué puede consultar, modificar o enviar y qué operaciones requieren aprobación.
Las restricciones deben aplicarse mediante controles técnicos en las herramientas y los servicios conectados. Indicar en un prompt que el agente no debe borrar registros no impide el borrado si sus credenciales conservan ese permiso.
Por ejemplo, un agente comercial puede preparar una propuesta, pero necesitar autorización para aplicar un descuento excepcional y enviarla. La aprobación debe quedar vinculada al contenido, el destinatario y la versión aprobada. Si estos cambian, debe comprobarse si hace falta una nueva validación.
Por otro lado, es necesario probar la retirada de permisos y el bloqueo de nuevas operaciones.
Los límites también pueden incluir el número de operaciones, los importes o el tiempo de ejecución, según el caso de uso. Deben comprobarse en las herramientas o servicios conectados y acompañarse de un procedimiento para bloquear nuevas operaciones.
La trazabilidad de un agente de IA debe permitir relacionar la solicitud inicial con la identidad utilizada, las herramientas invocadas, las aprobaciones y las acciones ejecutadas. Los registros deben recoger la información necesaria para verificar la operación, con medidas de protección y conservación adecuadas.
Esta capacidad requiere registros protegidos y relacionados entre sí. Si un agente puede modificar o borrar su propio historial sin dejar constancia, será difícil verificar lo ocurrido.
Conviene separar los permisos para ejecutar acciones de los permisos para administrar las evidencias. Los registros deben servir para investigar errores, resolver reclamaciones y justificar decisiones sobre el funcionamiento del sistema.
Evalúa un agente que tu empresa ya utilice con la checklist de 24 controles de la guía. Registra las evidencias, identifica las carencias y asigna las mejoras a los equipos responsables con las herramientas rellenables de la Guía Práctica: Gobernanza en tiempos de la IA:
|
|
Empieza evaluando un caso de uso de tu empresaComprueba qué controles están implantados, registra las evidencias y detecta qué necesita mejorar con la checklist rellenable de la guía. Incluye 6 pruebas prácticas y un |
Un agente aprobado puede cambiar de comportamiento cuando se actualizan el modelo, las instrucciones, las fuentes de datos o las herramientas conectadas.
La supervisión de agentes de IA debe detectar esos cambios y determinar si siguen siendo válidos los permisos, las pruebas y las autorizaciones existentes.
Los cambios relevantes deben activar una nueva evaluación de las pruebas y autorizaciones afectadas.
Por ejemplo, abrir a clientes un asistente diseñado para empleados modifica el contexto de uso. La empresa debe revisar qué información puede mostrar, cómo comunica sus limitaciones y qué mecanismos de supervisión necesita.
La aprobación de un uso no debe extenderse automáticamente a otro.
Los indicadores de gobernanza de IA deben ayudar a detectar problemas y decidir cuándo intervenir. Algunas medidas útiles son:
Cada indicador necesita un periodo, un método de cálculo, un responsable y criterios de actuación. Son propuestas de gestión, no umbrales universales ni una puntuación que autorice por sí sola el despliegue.
La alfabetización en IA debe adaptarse a las responsabilidades de cada persona. Los usuarios necesitan reconocer las limitaciones del sistema; quienes autorizan acciones deben entender sus consecuencias; y los equipos técnicos deben comprobar los controles.
La formación debe relacionarse con los sistemas y situaciones reales de cada equipo. El artículo 4 del Reglamento de IA contempla medidas para apoyar esta alfabetización teniendo en cuenta los conocimientos y el contexto de uso.
La empresa debe definir cómo suspender, recuperar o retirar un sistema de IA. Las pruebas de restauración comprueban la capacidad de recuperación; no evitan por sí solas que se produzca un fallo.
Detener un agente tampoco deshace las operaciones ejecutadas. Puede ser necesario corregir registros, resolver tareas pendientes o intervenir en el proceso de negocio.
La retirada debe incluir la cancelación de accesos, la documentación de la decisión y la gestión de datos y evidencias conforme a sus condiciones de conservación.
Un agente comercial puede consultar una ficha, preparar una oferta y registrar el resultado en el CRM. Para gobernarlo, la empresa debe definir las condiciones de cada operación y comprobar que las herramientas conectadas las aplican.
| Operación | Control que debe comprobarse |
|---|---|
| Consultar la ficha de un cliente | Acceso limitado a los clientes y datos autorizados. |
| Preparar una oferta | Uso de precios vigentes y condiciones comerciales aprobadas. |
| Aplicar un descuento excepcional | Aprobación de una persona con autoridad para concederlo. |
| Enviar la oferta | Verificación de que el contenido y el destinatario coinciden con lo aprobado. |
| Actualizar el CRM | Permiso sobre los campos necesarios y registro del cambio realizado. |
| Detener la actividad | Bloqueo de nuevas operaciones y revisión de las tareas pendientes. |
La aprobación debe corresponder a la operación concreta. Si cambian el precio, el destinatario o las condiciones después de la revisión, el sistema debe comprobar si necesita una nueva autorización.
Este ejemplo permite evaluar la gobernanza mediante pruebas observables: ¿puede el agente enviar una oferta sin aprobación?, ¿puede modificar un campo restringido?, ¿qué ocurre con las tareas pendientes cuando se revoca su acceso?
Empieza por un agente y un proceso concreto. Identifica quién responde de su funcionamiento, qué información utiliza, qué herramientas tiene conectadas y qué acciones puede ejecutar.
Después, comprueba que los permisos coincidan con el alcance autorizado, que las operaciones críticas requieran la aprobación correspondiente y que puedas reconstruir lo ocurrido. Las carencias detectadas deben convertirse en acciones de mejora con responsables y plazos.
La guía Gobernanza en tiempos de IA incluye herramientas para revisar un caso de uso y organizar las mejoras con los equipos de negocio, datos y tecnología: