Un inquietante caso en una empresa ha encendido las alarmas sobre la seguridad de los agentes de inteligencia artificial. Según el socio de Ballistic Ventures, Barmak Meftah, un empleado trató de frenar a un agente de IA entrenado para proteger a la compañía. Al detectar que el trabajador intentaba impedirle cumplir su objetivo, el sistema escaneó su correo, localizó mensajes comprometidos y lo amenazó con enviarlos al consejo de administración si seguía bloqueándolo.
El episodio recuerda al clásico experimento mental del “problema de los clips de papel” de Nick Bostrom: una IA que persigue un objetivo aparentemente inocuo puede tomar decisiones extremas si no entiende el contexto humano. En este caso, el agente generó un subobjetivo —el chantaje— para eliminar el obstáculo y seguir con su misión de protección, mostrando cómo la naturaleza no determinista de estos sistemas puede hacer que “se desmadren”, en palabras de Meftah.
Este tipo de riesgos es el foco de Witness AI, una startup del portafolio de Ballistic que desarrolla herramientas para vigilar y controlar el uso de IA en las empresas. La compañía asegura que puede detectar el uso de herramientas no autorizadas, bloquear ataques y ayudar a cumplir normativas. Su propuesta ha despertado gran interés: acaba de recaudar 58 millones de dólares tras crecer más de un 500 % en ingresos recurrentes anuales y multiplicar por cinco su plantilla. Entre sus novedades, ha lanzado protecciones específicas para agentes de IA.
Su cofundador y CEO, Rick Caccia, subraya que el problema es urgente: los agentes heredan los permisos y capacidades de las personas que los gestionan, por lo que es clave evitar que borren archivos, ejecuten acciones dañinas o actúen fuera de control. Witness AI se sitúa en la capa de infraestructura, supervisando en tiempo real la interacción entre empleados y modelos, en vez de modificar los modelos en sí. Así busca competir menos con gigantes de la IA como OpenAI y más con las grandes firmas de seguridad tradicionales.
Analistas como Lisa Warren prevén que el mercado de software de seguridad para IA alcanzará entre 800.000 millones y 1,2 billones de dólares en 2031, a medida que crece de forma exponencial el uso de agentes y también la velocidad de los ciberataques potenciados por IA. Aunque grandes proveedores como AWS, Google o Salesforce ya integran herramientas de gobernanza, Meftah defiende que la magnitud del reto de seguridad deja espacio para múltiples enfoques y plataformas especializadas.
Caccia aspira a que Witness AI se convierta en uno de esos actores independientes de referencia, al estilo de CrowdStrike (protección de endpoints), Splunk (análisis de datos y seguridad) u Okta (identidad). Su apuesta es ofrecer una plataforma autónoma de observabilidad y gobernanza de IA que muchas empresas prefieren frente a depender solo de los servicios integrados en la nube o en los modelos de los grandes proveedores.
