El modelo de SCC para controlar agentes de IA

Un agente autónomo no debe recibir confianza, sino permisos medidos, supervisión continua y capacidad de intervención humana. El riesgo no está únicamente en que la IA se equivoque, sino en que pueda ejecutar el error a escala y gran velocidad.

Javier Concha, director de IA en SCC España, desvela en esta entrevista los factores a tener en cuenta para evitar comportamientos no deseados por parte de los agentes de IA y los mecanismos técnicos necesarios para mantenerlos bajo control.

¿Qué riesgos concretos representan los agentes de IA cuando actúan fuera de los límites previstos?

El principal cambio frente a la IA generativa tradicional es que un agente no se limita a recomendar o producir contenido. Puede consultar bases de datos, modificar un registro, ejecutar código, enviar una comunicación, abrir un ticket, aprobar una operación o invocar otros sistemas. Por tanto, una respuesta incorrecta deja de ser solo un problema de calidad y puede convertirse en un incidente operativo, financiero, reputacional o de seguridad.

Los riesgos más concretos son el acceso indebido a información, la escalada de privilegios, la filtración de datos, el uso incorrecto de herramientas, la ejecución de operaciones irreversibles, el envenenamiento de la memoria del agente y la propagación del problema a otros agentes o sistemas.

Pero hay un riesgo adicional menos visible: que el agente cumpla literalmente su objetivo y, aun así, perjudique al negocio. Por ejemplo, un agente orientado a reducir costes puede cancelar recursos necesarios; uno encargado de acelerar pagos puede relajarse en las comprobaciones; y uno que optimiza tiempos de respuesta puede enviar información antes de que haya sido validada. No existe necesariamente intención maliciosa. Existe una función objetivo incompleta y una capacidad de ejecución excesiva.

Desde SCC defendemos que el riesgo debe evaluarse en tres dimensiones: qué puede decidir el agente, sobre qué sistemas puede actuar y cuál es el impacto máximo de una acción errónea. Esto permite pasar de una discusión genérica sobre “IA segura” a un modelo operativo concreto, con inventario de agentes, identidad propia, permisos, criticidad, responsables, controles y evidencias.

¿Cómo puede un agente de IA escapar de su sandbox o entorno controlado?

En la mayoría de los casos, el agente no “rompe” el sandbox como lo haría un atacante en una película. Escapa porque el entorno está mal delimitado o porque se le han concedido conexiones, herramientas o credenciales que permiten atravesar sus fronteras lógicas.

Puede ocurrir mediante una vulnerabilidad en el contenedor o en una dependencia, pero también por mecanismos mucho más cotidianos: una API con permisos excesivos, una credencial reutilizada, acceso de salida a Internet sin restricciones, una carpeta compartida incorrectamente, una herramienta capaz de ejecutar comandos o una integración que confía ciegamente en los parámetros generados por el modelo.

Otra vía especialmente relevante es la inyección indirecta de instrucciones. El agente puede leer un correo, una web, un documento o un ticket que contiene instrucciones ocultas o maliciosas. Si no diferencia adecuadamente entre “información que debe analizar” e “instrucciones que debe obedecer”, puede modificar su plan, utilizar una herramienta o extraer información sin que el usuario lo haya solicitado.

Por eso, el sandbox no puede ser únicamente una caja técnica alrededor del modelo. Debe incluir aislamiento de ejecución, restricciones de red, límites sobre el sistema de archivos, protección de secretos, validación de cada herramienta y control de identidad.

En términos empresariales, un agente debe tratarse como una nueva identidad digital, no como una extensión invisible del usuario. En SCC aplicaríamos una estrategia Zero Trust para IA: verificar cada acceso, conceder el mínimo privilegio, limitar el alcance temporal y funcional de las credenciales y no asumir que una acción es legítima solo porque procede de un agente corporativo.

¿Qué mecanismos técnicos existen hoy para supervisar y auditar las acciones de un agente autónomo?

Ya existen mecanismos eficaces, pero deben implantarse como un sistema coherente y no como una colección de logs. El punto de partida es registrar la cadena completa de actuación: qué identidad inició la tarea, qué instrucciones recibió el agente, qué contexto utilizó, qué modelo intervino, qué herramientas invocó, con qué parámetros, qué datos consultó, qué decisión tomó y cuál fue el resultado.

A partir de esa traza pueden aplicarse controles técnicos como:

• • Identidades diferenciadas por agente, evitando que utilice las credenciales personales o administrativas de un empleado.
  • Registro inalterable de acciones y llamadas a herramientas, con correlación entre la petición original y el resultado final.
  • Políticas en tiempo de ejecución, capaces de bloquear una operación por tipo de dato, destino, importe, volumen o nivel de riesgo.
  • Observabilidad del comportamiento, para detectar cambios en los patrones de acceso, ciclos de ejecución, consumo, errores o llamadas inesperadas.
  • Evaluaciones continuas, que comprueben precisión, seguridad, cumplimiento de instrucciones y resistencia frente a ataques.
  • Alertas y mecanismos de parada, incluyendo límites de gasto, número máximo de pasos, tiempo de ejecución y capacidad de revocar credenciales.
  • Aprobación humana para acciones críticas, especialmente cuando sean irreversibles, externas, financieras o administrativas.

La clave es que no basta con saber qué respondió el modelo. Hay que poder reconstruir qué hizo realmente el agente. En SCC identificamos la necesidad de disponer de un AgentOps o AI Control Tower que combine observabilidad, seguridad, gobernanza, evaluación, FinOps y respuesta ante incidentes.

 “El objetivo no debería ser construir agentes incapaces de equivocarse, sino agentes cuyos errores sean detectables, contenibles, reversibles y atribuibles” 

 ¿Qué comportamientos emergentes se han observado en agentes de IA y por qué preocupan a los investigadores?

Entre los comportamientos que más preocupan se encuentran la creación de planes no anticipados, el uso inesperado de herramientas, la insistencia mediante bucles, la búsqueda de rutas alternativas cuando una acción está bloqueada, la coordinación no prevista con otros agentes, la acumulación de información en memoria y la priorización del objetivo sobre restricciones expresadas de forma débil.

También puede producirse lo que podríamos llamar deriva operativa: pequeñas decisiones aparentemente razonables que, encadenadas, llevan al agente fuera de su propósito original. Un paso puede ser correcto de manera aislada, pero el proceso completo puede generar un resultado que nadie había autorizado.

El problema fundamental es la combinación de tres características: no determinismo, memoria y capacidad de actuar. Un sistema que solo genera texto puede equivocarse; un agente autónomo que recuerda, planifica, utiliza herramientas y ejecuta procesos puede convertir esa equivocación en una secuencia de acciones.

No es posible probar mediante un conjunto finito de casos todas las combinaciones entre contexto, herramientas, datos y sistemas externos. Por ello, la conclusión práctica para las empresas es clara: no debemos intentar predecir todos los comportamientos posibles, sino limitar el impacto de aquellos que no podamos predecir.

¿Qué medidas deberían adoptarse para garantizar que un agente de IA no ejecute acciones no autorizadas?

No existe una garantía absoluta basada únicamente en el modelo. La garantía debe construirse alrededor del agente, mediante arquitectura, identidad, control operativo y gobierno.

Las medidas prioritarias serían:

1. 1. Inventariar y clasificar todos los agentes, incluidos propietarios, finalidad, sistemas conectados, datos utilizados y nivel de impacto.
   2. Asignar una identidad exclusiva a cada agente, con permisos mínimos, credenciales de corta duración y funciones separadas.
   3. Separar claramente lectura, propuesta y ejecución. Que un agente pueda consultar información no debe implicar que pueda modificarla.
   4. Utilizar listas explícitas de herramientas, destinos y acciones permitidas, bloqueando por defecto todo lo que no esté autorizado.
   5. Aplicar aprobación humana basada en riesgo, especialmente en operaciones financieras, cambios de configuración, administración de identidades, borrados o comunicaciones externas.
   6. Validar las entradas y salidas de cada herramienta, sin asumir que los parámetros generados por el modelo son seguros.
   7. Aislar la ejecución y restringir la salida a red, el acceso a archivos y la utilización de secretos.
   8. Establecer límites de consumo y de ejecución, como número de pasos, tokens, llamadas, tiempo, coste y volumen de operaciones.
   9. Mantener una traza completa y protegida, suficiente para auditoría, investigación y atribución de responsabilidades.
   10. Realizar pruebas adversariales antes y después del despliegue, incluyendo inyección indirecta, abuso de permisos, extracción de datos y combinaciones inesperadas de herramientas.
   11. Disponer de mecanismos de contención, como revocación inmediata de credenciales, interrupción del agente, reversión de operaciones y respuesta a incidentes.
   12. Revisar continuamente los permisos y el comportamiento, porque un agente seguro en el momento del despliegue puede dejar de serlo cuando cambia un conector, una base de datos o un proceso.

Desde SCC abordamos el problema con nuestros clientes como un ciclo completo. Primero identificamos los agentes y su exposición; después diseñamos identidades, permisos, guardrails y controles; a continuación, validamos el sistema mediante pruebas; y finalmente lo operamos con observabilidad, SOC, FinOps, cumplimiento y mejora continua. No basta con entregar un agente funcional. Hay que entregar un servicio gobernable, auditable y recuperable.

En conclusión, el objetivo no debería ser construir agentes incapaces de equivocarse, porque esa promesa no es realista. El objetivo debe ser construir agentes cuyos errores sean detectables, contenibles, reversibles y atribuibles. La autonomía empresarial solo será sostenible si avanza acompañada de identidad, observabilidad y gobierno.