El miércoles, la empresa de seguridad en inteligencia artificial Irregular anunció que ha conseguido 80 millones de dólares en una nueva ronda de financiamiento, liderada por Sequoia Capital y Redpoint Ventures, con la participación del CEO de Wiz, Assaf Rappaport. Según una fuente cercana al acuerdo, esta ronda valora a Irregular en 450 millones de dólares. Dan Lahav, cofundador de la empresa, comentó: “Creemos que pronto, mucha actividad económica provendrá de la interacción entre humanos y la inteligencia artificial, así como entre inteligencias artificiales, y eso romperá la seguridad en múltiples puntos”.
Anteriormente conocida como Pattern Labs, Irregular ya es un jugador importante en las evaluaciones de inteligencia artificial. Su trabajo se menciona en evaluaciones de seguridad para modelos como Claude 3.7 Sonnet y los modelos o3 y o4-mini de OpenAI. Además, su marco para evaluar la capacidad de detección de vulnerabilidades de un modelo, llamado SOLVE, es ampliamente utilizado en la industria.
Irregular ha realizado un trabajo significativo sobre los riesgos existentes de los modelos, pero ahora busca algo más ambicioso: identificar riesgos y comportamientos emergentes antes de que se presenten en el mundo real. La empresa ha creado un sistema elaborado de entornos simulados que permite probar intensivamente un modelo antes de su lanzamiento. Omer Nevo, cofundador, explica: “Tenemos simulaciones de redes complejas donde la inteligencia artificial asume tanto el rol de atacante como de defensor. Así, cuando sale un nuevo modelo, podemos ver dónde las defensas funcionan y dónde no”.
La seguridad se ha convertido en un punto de enfoque intenso para la industria de la inteligencia artificial, ya que han surgido más riesgos potenciales con los modelos avanzados. OpenAI renovó sus medidas de seguridad internas este verano, prestando atención a la posible espionaje corporativo. Al mismo tiempo, los modelos de inteligencia artificial son cada vez más hábiles para encontrar vulnerabilidades en el software, lo que tiene serias implicaciones tanto para los atacantes como para los defensores.
Para los fundadores de Irregular, este es solo el primero de muchos dolores de cabeza de seguridad causados por las crecientes capacidades de los grandes modelos de lenguaje. Lahav afirma: “Si el objetivo del laboratorio de frontera es crear modelos cada vez más sofisticados y capaces, nuestro objetivo es asegurar estos modelos. Pero es un objetivo en movimiento, así que inherentemente hay mucho, mucho, mucho más trabajo por hacer en el futuro”.
