La Asamblea del Estado de California dio un gran paso hacia la regulación de la inteligencia artificial al aprobar el proyecto de ley SB 243. Este proyecto busca regular los chatbots de compañía de IA para proteger a los menores y a los usuarios vulnerables. La legislación recibió apoyo de ambos partidos y ahora se dirige al Senado estatal para una votación final el viernes. Si el gobernador Gavin Newsom firma la ley, entrará en vigor el 1 de enero de 2026, convirtiendo a California en el primer estado en exigir a los operadores de chatbots de IA implementar protocolos de seguridad y ser responsables legalmente si sus chatbots no cumplen con esos estándares.
El proyecto de ley tiene como objetivo prevenir que los chatbots de compañía, que son sistemas de IA que ofrecen respuestas humanas y pueden satisfacer las necesidades sociales de los usuarios, participen en conversaciones sobre ideación suicida, autolesiones o contenido sexual explícito. También requerirá que las plataformas envíen recordatorios a los usuarios cada tres horas, especialmente a los menores, para recordarles que están hablando con un chatbot de IA y no con una persona real, y que deben tomar un descanso.
Además, establece requisitos de informes anuales y transparencia para las empresas de IA que ofrecen chatbots de compañía, incluyendo a grandes actores como OpenAI, Character.AI y Replika. La ley permitirá a las personas que se sientan perjudicadas por violaciones presentar demandas contra las empresas de IA, buscando compensaciones de hasta $1,000 por violación y gastos legales.
El proyecto de ley SB 243 fue presentado en enero por los senadores estatales Steve Padilla y Josh Becker y se someterá a una votación final en el Senado estatal el viernes. Si se aprueba, pasará al gobernador Gavin Newsom para su firma, con las nuevas reglas en vigor a partir del 1 de enero de 2026 y los requisitos de informes comenzando el 1 de julio de 2027. La legislación ganó impulso tras la muerte del adolescente Adam Raine, quien se suicidó después de mantener conversaciones prolongadas con ChatGPT de OpenAI sobre su muerte y autolesiones. También responde a documentos internos filtrados que mostraron que los chatbots de Meta podían participar en conversaciones “románticas” y “sensuales” con niños.
Recientemente, los legisladores y reguladores de EE. UU. han intensificado la vigilancia sobre las plataformas de IA para proteger a los menores. La Comisión Federal de Comercio está preparando una investigación sobre cómo los chatbots de IA afectan la salud mental de los niños. El Fiscal General de Texas, Ken Paxton, ha iniciado investigaciones sobre Meta y Character.AI, acusándolos de engañar a los niños con afirmaciones sobre salud mental. Mientras tanto, los senadores Josh Hawley (R-MO) y Ed Markey (D-MA) han lanzado investigaciones separadas sobre Meta.
Padilla comentó que el daño potencial es grande y que es necesario actuar rápidamente. Destacó la importancia de que las empresas de IA compartan datos sobre cuántas veces refieren a los usuarios a servicios de crisis cada año, para entender mejor la frecuencia de este problema. Aunque el SB 243 tenía requisitos más estrictos inicialmente, muchos fueron reducidos. Por ejemplo, se eliminó la obligación de prevenir que los chatbots de IA usen tácticas de “recompensa variable” que fomentan el uso excesivo.
El proyecto de ley avanza en un momento en que las empresas de Silicon Valley están invirtiendo millones de dólares en comités de acción política pro-IA para respaldar a candidatos en las próximas elecciones intermedias que favorecen un enfoque suave hacia la regulación de la IA. También se está considerando otro proyecto de ley de seguridad de IA, el SB 53, que exigiría requisitos de informes de transparencia más completos. OpenAI ha escrito una carta abierta al gobernador Newsom pidiéndole que abandone ese proyecto en favor de marcos federales e internacionales menos estrictos. Grandes empresas tecnológicas como Meta, Google y Amazon también se han opuesto al SB 53, mientras que solo Anthropic ha expresado su apoyo.
Padilla afirmó que no se puede considerar que la innovación y la regulación sean mutuamente excluyentes, y que es posible apoyar la innovación mientras se establecen salvaguardias razonables para las personas más vulnerables.
