Qué necesita un agente para entrar en una operación regulada

Un asistente que genera texto puede operar con controles relativamente simples. Un agente que consulta sistemas, utiliza herramientas y ejecuta acciones necesita un estándar distinto. Cuanto más cerca está la IA de una operación crítica, más importante se vuelve saber qué puede hacer, qué información puede utilizar y cómo se reconstruye lo ocurrido después. Ese cambio ya está llegando a sectores regulados. Anthropic desarrolló sus Enterprise Frontier Safeguards junto con más de 100 clientes de industrias como servicios financieros, salud, manufactura, telecomunicaciones, legal, retail y sector público. La discusión no gira únicamente alrededor de la capacidad de los modelos, sino alrededor de la arquitectura necesaria para utilizarlos sin perder control sobre datos, accesos y supervisión.

LA AUTONOMÍA CAMBIA EL RIESGO

Cuando un sistema solo genera una recomendación, una persona puede revisar el resultado antes de actuar. Cuando un agente puede enviar información, modificar registros, utilizar credenciales o activar un proceso, el riesgo deja de limitarse a la calidad de una respuesta. La organización necesita entender el sistema completo: modelo, herramientas, datos, identidad, permisos y acciones. También necesita definir qué comportamiento está permitido, qué eventos requieren revisión y qué mecanismos existen para bloquear o corregir una ejecución antes de que genere consecuencias operativas.

LOS DATOS NO PUEDEN SER UNA CAJA NEGRA

Uno de los requisitos más importantes en una operación regulada es saber dónde viven los datos y quién puede acceder a ellos. Muchas organizaciones reguladas necesitan mantener la información dentro de infraestructura controlada por ellas mismas, con sus propias claves de cifrado, políticas de acceso y registros de auditoría. Ese control no es únicamente una preferencia de seguridad. Puede ser una condición necesaria para utilizar IA con información sensible: material legal privilegiado, datos no públicos, reportes de seguridad o información regulada. Por eso, la arquitectura de un agente necesita considerar desde el comienzo dónde se almacenan logs, contextos y trazas.

LOS PERMISOS TIENEN QUE SER EXPLÍCITOS

Un agente no debería heredar acceso ilimitado simplemente porque técnicamente puede conectarse a un sistema. Igual que ocurre con usuarios humanos o aplicaciones tradicionales, cada agente necesita una identidad y un conjunto de permisos ajustados a su función. Eso significa limitar qué datos puede consultar, qué herramientas puede invocar y qué acciones puede ejecutar. También implica separar tareas que pueden automatizarse completamente de aquellas que requieren aprobación humana, especialmente cuando existe impacto financiero, legal, reputacional o sobre clientes.

MONITOREAR UNA RESPUESTA NO ES SUFICIENTE

El comportamiento de un agente puede distribuirse a través de múltiples acciones, sesiones y sistemas. Formas sofisticadas de abuso pueden desplegarse a lo largo del tiempo y no resultar visibles si cada interacción se analiza de forma aislada. En operaciones reguladas, esto convierte la observabilidad en una capacidad central. La empresa necesita conservar señales suficientes para entender qué ocurrió, detectar anomalías y responder cuando el comportamiento se desvía de lo esperado.

“AI controls need to be designed to protect sensitive information, and model safeguards are an important part of that process.”

LA REVISIÓN HUMANA SIGUE TENIENDO UN PAPEL

La automatización de controles también tiene límites. Una revisión humana puede seguir aportando valor cuando es necesario confirmar un caso real o descartar un falso positivo. En sectores regulados, además, puede existir una exigencia adicional: que esa revisión sea realizada por personas autorizadas dentro de la propia organización. Eso cambia el diseño del sistema. La supervisión humana no debería aparecer solamente como un botón genérico de aprobación, sino como parte explícita del workflow: quién revisa, qué información puede ver, cuándo interviene y qué ocurre después de su decisión.

EVALUAR ANTES Y DURANTE PRODUCCIÓN

NIST plantea la gestión de riesgo de IA como un proceso que debe incorporarse a lo largo del ciclo de vida del sistema, desde diseño y desarrollo hasta uso y evaluación. Su perfil para IA generativa propone que las organizaciones gobiernen, mapeen, midan y gestionen riesgos de acuerdo con el contexto y tolerancia de riesgo de cada implementación. Para un agente, esto significa que las evaluaciones no deberían terminar con un test previo al lanzamiento. Su comportamiento debe observarse también en producción, donde aparecen datos reales, combinaciones de herramientas, excepciones y escenarios que difícilmente pueden anticiparse por completo en laboratorio.

REGULADO NO SIGNIFICA INCOMPATIBLE CON IA

Los controles pueden parecer una barrera para la adopción, pero también pueden ser lo que permite desplegar IA en áreas donde antes no era viable. Cuando la empresa conserva custodia de sus datos, controla accesos, registra actividad y puede intervenir sobre las acciones del agente, el rango de casos de uso posibles aumenta. Ese es un cambio importante: seguridad y privacidad dejan de ser una capa que reduce capacidad y pasan a ser parte de la infraestructura que hace posible utilizar sistemas más potentes en contextos sensibles.

QUÉ SIGNIFICA PARA LAS EMPRESAS

Una empresa no necesita empezar construyendo el sistema de gobierno más complejo posible. Puede comenzar clasificando cada agente según su nivel de exposición: qué datos utiliza, qué sistemas toca, qué acciones ejecuta y qué consecuencias puede generar. A partir de ahí, los controles deberían crecer con el riesgo. Un agente que busca información interna necesita menos restricciones que uno capaz de modificar datos, enviar comunicaciones externas o ejecutar acciones financieras. Lo importante es que esa diferencia esté diseñada desde el principio y no se descubra después del despliegue.

EL CONTROL TIENE QUE ESTAR EN LA ARQUITECTURA

La entrada de agentes a operaciones reguladas no dependerá solo de que los modelos sean más precisos. Dependerá de que las organizaciones puedan demostrar cómo se controla su comportamiento. Datos bajo custodia, identidad, permisos, evaluación, monitoreo, auditoría y supervisión humana forman parte del sistema tanto como el propio modelo. En una operación regulada, la confianza no puede depender de una promesa: tiene que estar implementada en la arquitectura.