Agentes autónomos de IA: ¿quién tiene las llaves de tu empresa?

Durante PECB Conference 2026 en Roma, Joseph Carson planteó uno de los desafíos emergentes de la ciberseguridad: qué sucede cuando la inteligencia artificial deja de limitarse a generar respuestas y comienza a ejecutar acciones en nombre de las organizaciones.

La inteligencia artificial está entrando en una nueva etapa. Durante los últimos años, las empresas se han concentrado en utilizarla para generar contenido, analizar información, automatizar tareas y mejorar la productividad. Sin embargo, la evolución hacia los agentes autónomos introduce un desafío considerablemente mayor: ahora los sistemas pueden interactuar con aplicaciones, consultar bases de datos y ejecutar procesos que antes requerían intervención humana.

Durante PECB Conference 2026, celebrada en Roma, Italia, Joseph Carson, Chief Security Evangelist & Advisory CISO de Segura, abordó este fenómeno en su conferencia «The AI Dual-Use Dilemma: When Defense Tools Become Attack Vectors».

Su presentación puso sobre la mesa una cuestión fundamental para la seguridad empresarial: ¿qué sucede cuando una herramienta diseñada para ayudarnos recibe permisos suficientes para actuar por su cuenta?

De la automatización a la autonomía

Una de las distinciones centrales de la conferencia fue la diferencia entre automatizar actividades y permitir que un sistema actúe con autonomía.

Carson presentó ejemplos de tareas en las que la inteligencia artificial produce información para que una persona, u otro proceso controlado, la revise: resumir documentos, investigar opciones de viaje, redactar correos electrónicos, recomendar respuestas o identificar anomalías de seguridad.

Estas actividades pueden incrementar la productividad sin que necesariamente impliquen delegar decisiones importantes.

El escenario cambia cuando un agente puede autorizar pagos, aceptar condiciones contractuales, acceder a datos personales, aprobar permisos o participar en decisiones laborales y crediticias.

En estos casos, la inteligencia artificial deja de ser solamente una herramienta de apoyo y comienza a intervenir en procesos que pueden tener consecuencias económicas, operativas o jurídicas.

La diferencia no está únicamente en la capacidad tecnológica del agente, sino en los permisos que recibe y en las acciones que puede ejecutar.

Los agentes de IA también necesitan identidad

Tradicionalmente, las organizaciones han desarrollado mecanismos para controlar quién accede a sus sistemas. Los empleados cuentan con usuarios, contraseñas, permisos y niveles de autorización.

Pero ¿qué ocurre cuando quien solicita acceso no es una persona, sino un agente de inteligencia artificial?

Carson explicó que la identidad de un agente no debería reducirse a una cuenta de usuario o a una contraseña permanente.

Las organizaciones necesitan poder responder preguntas mucho más específicas:

Estas preguntas adquieren especial importancia cuando los agentes interactúan con sistemas financieros, plataformas de clientes, aplicaciones empresariales o información confidencial.

Un agente que utiliza credenciales compartidas o permisos excesivos puede convertirse en un riesgo significativo, incluso cuando fue implementado originalmente para mejorar la eficiencia.

Cuando las herramientas de defensa también pueden convertirse en amenazas

El concepto de «dual-use», o doble uso, describe tecnologías que pueden utilizarse tanto para fines legítimos como maliciosos.

En ciberseguridad, la inteligencia artificial ofrece capacidades para detectar comportamientos anómalos, analizar amenazas, identificar vulnerabilidades y apoyar la respuesta a incidentes.

Sin embargo, capacidades similares también pueden ser aprovechadas por atacantes para automatizar actividades maliciosas, analizar posibles objetivos o incrementar la escala de sus operaciones.

A este riesgo se suma la posibilidad de que un agente legítimo sea manipulado mediante instrucciones maliciosas, información comprometida o accesos indebidamente configurados.

Por ello, proteger a los agentes autónomos no consiste solamente en evitar que sean utilizados por atacantes. También implica impedir que sus propias capacidades generen consecuencias no autorizadas.

Seguridad por diseño, pero también por realidad

Uno de los planteamientos más interesantes de Carson fue lo que denominó «Security by Reality», un enfoque que propone evaluar la seguridad de los agentes considerando su funcionamiento real dentro de las organizaciones.

Entre las medidas que presentó destacan:

Esto representa un cambio importante para las organizaciones que están incorporando agentes de IA en sus operaciones.

No basta con conocer qué herramienta se contrató. Es necesario saber qué puede hacer, a qué información tiene acceso, con qué otros sistemas interactúa y quién responde por su comportamiento.

La prueba más importante: ¿qué sucede cuando el agente se equivoca?

Carson cerró una de sus recomendaciones con una frase especialmente relevante: «Test what happens when the agent is wrong».

Es decir, probar qué sucede cuando el agente se equivoca.

Las empresas suelen evaluar sus implementaciones tecnológicas comprobando que funcionan correctamente bajo condiciones previstas. Sin embargo, los agentes autónomos también deben evaluarse frente a errores, instrucciones ambiguas, datos incorrectos, intentos de manipulación y situaciones inesperadas.

Estas pruebas son fundamentales porque un sistema autónomo puede ejecutar varias acciones consecutivas antes de que una persona detecte un problema.

La supervisión humana, la trazabilidad y los mecanismos de intervención deben formar parte del diseño de estas soluciones, especialmente cuando tienen acceso a procesos críticos.

El nuevo desafío para la ciberseguridad empresarial

La adopción de agentes autónomos está ampliando el alcance de la gestión de identidades y accesos.

Las organizaciones ya no necesitan proteger únicamente las cuentas de sus colaboradores y los sistemas tradicionales. También deben considerar identidades no humanas, permisos delegados, conexiones entre aplicaciones y decisiones ejecutadas automáticamente.

Este escenario refuerza la importancia de contar con profesionales capacitados en ciberseguridad, evaluación de vulnerabilidades, gestión de riesgos y protección de la información.

También evidencia la relación entre las capacidades técnicas de seguridad y los sistemas de gobernanza empresarial. Mientras los controles técnicos permiten limitar accesos, detectar anomalías y responder a incidentes, la gobernanza establece responsabilidades, políticas y mecanismos de supervisión.

Ambas dimensiones son necesarias para incorporar inteligencia artificial de manera responsable.

Antes de darle autonomía a la IA, hay que establecer sus límites

La evolución de la inteligencia artificial hacia sistemas capaces de actuar representa una oportunidad importante para mejorar la productividad y desarrollar nuevos modelos de operación.

Sin embargo, también obliga a revisar prácticas de seguridad que fueron diseñadas para un entorno donde las decisiones y autorizaciones dependían principalmente de personas.

Las organizaciones necesitan identificar qué agentes utilizan, comprender sus capacidades, establecer límites de actuación y mantener controles proporcionales a los riesgos que representan.

La conferencia de Joseph Carson en PECB Roma 2026 dejó una reflexión especialmente importante: el desafío no consiste únicamente en desarrollar agentes cada vez más capaces, sino en garantizar que las organizaciones conserven el control sobre las acciones que estos ejecutan.

Porque antes de preguntarnos cuánto trabajo puede hacer un agente de inteligencia artificial, conviene determinar qué estamos dispuestos a permitirle hacer en nombre de nuestra empresa.

Transformation Trends participó en PECB Conference 2026 en Roma, Italia, como parte de sus actividades de actualización internacional en ciberseguridad, inteligencia artificial, gestión de riesgos y cumplimiento.