Un nuevo informe de un grupo de políticas de California, co-dirigido por Fei-Fei Li, una pionera en inteligencia artificial, sugiere que los legisladores deben considerar los riesgos de la IA que “aún no se han observado en el mundo” al crear políticas regulatorias sobre esta tecnología. Este informe provisional de 41 páginas fue publicado el martes por el Grupo de Trabajo Conjunto de Políticas de California sobre Modelos de IA Avanzada, una iniciativa organizada por el gobernador Gavin Newsom tras su veto a un controvertido proyecto de ley sobre la seguridad de la IA, el SB 1047. Aunque Newsom consideró que el SB 1047 no cumplía con las expectativas, reconoció el año pasado la necesidad de una evaluación más amplia de los riesgos de la IA para informar a los legisladores.
En el informe, Li y sus coautores, la decana de la Facultad de Computación de UC Berkeley, Jennifer Chayes, y el presidente del Carnegie Endowment for International Peace, Mariano-Florentino Cuéllar, abogan por leyes que aumenten la transparencia sobre lo que laboratorios de IA avanzados como OpenAI están desarrollando. El informe fue revisado por actores de la industria de diferentes ideologías, incluyendo defensores de la seguridad de la IA como el ganador del Premio Turing, Yoshua Benjio, y opositores al SB 1047, como Ion Stoica, cofundador de Databricks.
Según el informe, los nuevos riesgos que presentan los sistemas de IA podrían requerir leyes que obliguen a los desarrolladores de modelos de IA a informar públicamente sobre sus pruebas de seguridad, prácticas de adquisición de datos y medidas de seguridad. También se propone aumentar los estándares para las evaluaciones de terceros de estas métricas y políticas corporativas, además de ampliar las protecciones para denunciantes de empleados y contratistas de empresas de IA.
Li y sus colegas mencionan que hay un “nivel de evidencia inconcluso” sobre el potencial de la IA para llevar a cabo ciberataques, crear armas biológicas o generar otras amenazas “extremas”. Sin embargo, argumentan que la política de IA no solo debe abordar los riesgos actuales, sino anticipar las consecuencias futuras que podrían ocurrir sin suficientes salvaguardias. “Por ejemplo, no necesitamos observar una explosión nuclear para predecir de manera confiable que podría y causaría un daño extenso”, señala el informe. “Si quienes especulan sobre los riesgos más extremos tienen razón —y no estamos seguros de si lo harán— entonces las consecuencias y costos por no actuar en la IA avanzada en este momento son extremadamente altos”.
El informe recomienda una estrategia de dos frentes para aumentar la transparencia en el desarrollo de modelos de IA: confiar pero verificar. Los desarrolladores de modelos de IA y sus empleados deberían tener vías para informar sobre áreas de preocupación pública, como pruebas de seguridad internas, y también se les debería exigir presentar sus afirmaciones de pruebas para verificación por terceros. Aunque el informe, cuya versión final se publicará en junio de 2025, no respalda ninguna legislación específica, ha sido bien recibido por expertos de ambos lados del debate sobre políticas de IA.
Dean Ball, un investigador enfocado en IA en la Universidad George Mason y crítico del SB 1047, comentó en una publicación que el informe es un paso prometedor para la regulación de la seguridad de la IA en California. También es una victoria para los defensores de la seguridad de la IA, según el senador estatal de California, Scott Wiener, quien introdujo el SB 1047 el año pasado. Wiener declaró en un comunicado de prensa que el informe se basa en “conversaciones urgentes sobre la gobernanza de la IA que comenzamos en la legislatura [en 2024]”. El informe parece alinearse con varios componentes del SB 1047 y el proyecto de ley de seguimiento de Wiener, el SB 53, como la exigencia de que los desarrolladores de modelos de IA informen sobre los resultados de las pruebas de seguridad. En un sentido más amplio, parece ser una victoria muy necesaria para los defensores de la seguridad de la IA, cuya agenda ha perdido terreno en el último año.
