El Fiscal General de Texas, Ken Paxton, inició el jueves una investigación sobre Character.AI y otras 14 plataformas tecnológicas debido a preocupaciones sobre la privacidad y seguridad de los niños. Esta investigación evaluará si Character.AI, junto con otras plataformas populares entre los jóvenes como Reddit, Instagram y Discord, cumplen con las leyes de privacidad y seguridad infantil de Texas. Paxton, conocido por ser estricto con las empresas tecnológicas, examinará si estas plataformas han respetado dos leyes de Texas: la Ley de Protección Infantil en Línea a través del Empoderamiento Parental (SCOPE) y la Ley de Privacidad y Seguridad de Datos de Texas (DPSA). Estas leyes exigen que las plataformas ofrezcan a los padres herramientas para gestionar la configuración de privacidad de las cuentas de sus hijos y que las empresas tecnológicas cumplan con requisitos estrictos de consentimiento al recopilar datos de menores.
Paxton afirma que estas leyes también se aplican a la interacción de los menores con chatbots de inteligencia artificial. “Estas investigaciones son un paso crucial para garantizar que las empresas de redes sociales e inteligencia artificial cumplan con nuestras leyes diseñadas para proteger a los niños de la explotación y el daño”, declaró Paxton en un comunicado de prensa.
Character.AI, que permite crear personajes de chatbots de IA generativa con los que se puede chatear, ha enfrentado varias demandas relacionadas con la seguridad infantil. La popularidad de sus chatbots entre los usuarios jóvenes ha llevado a que varios padres aleguen en demandas que estos chatbots hicieron comentarios inapropiados y perturbadores a sus hijos. Un caso en Florida sostiene que un niño de 14 años se involucró románticamente con un chatbot de Character.AI y le confesó que tenía pensamientos suicidas antes de su propio suicidio. En otro caso en Texas, se alega que un chatbot de Character.AI sugirió a un adolescente autista que intentara envenenar a su familia. Además, una madre en Texas afirma que uno de los chatbots expuso a su hija de 11 años a contenido sexualizado durante los últimos dos años.
“Estamos revisando el anuncio del Fiscal General. Como empresa, tomamos muy en serio la seguridad de nuestros usuarios”, dijo un portavoz de Character.AI en un comunicado. “Damos la bienvenida a trabajar con los reguladores y recientemente anunciamos que lanzaremos algunas de las funciones mencionadas en el comunicado, incluyendo controles parentales”.
El jueves, Character.AI lanzó nuevas funciones de seguridad para proteger a los adolescentes, afirmando que estas actualizaciones limitarán a sus chatbots de iniciar conversaciones románticas con menores. La empresa también ha comenzado a entrenar un nuevo modelo específicamente para usuarios adolescentes en el último mes, con la esperanza de que algún día los adultos utilicen un modelo en su plataforma, mientras que los menores usen otro. Estas son solo las últimas actualizaciones de seguridad que Character.AI ha anunciado. La misma semana en que se hizo pública la demanda de Florida, la empresa dijo que estaba ampliando su equipo de confianza y seguridad, y recientemente contrató a un nuevo líder para la unidad.
Los problemas con las plataformas de compañía de IA están surgiendo justo cuando están ganando popularidad. El año pasado, Andreessen Horowitz (a16z) mencionó en un blog que veía la compañía de IA como un área subestimada de internet que planeaba explorar más. A16z es inversor en Character.AI y continúa invirtiendo en otras startups de compañía de IA, respaldando recientemente a una empresa cuyo fundador quiere recrear la tecnología de la película “Her”. Reddit, Meta y Discord no respondieron de inmediato a las solicitudes de comentarios.
