La Comisión Federal de Comercio (FTC) de EE. UU. anunció el jueves que está investigando a siete empresas tecnológicas que crean productos de chatbots de inteligencia artificial para menores: Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap y xAI. El regulador federal quiere entender cómo estas empresas evalúan la seguridad y la monetización de los chatbots, cómo intentan limitar los impactos negativos en niños y adolescentes, y si informan a los padres sobre los riesgos potenciales. Esta tecnología ha sido polémica debido a sus efectos negativos en los usuarios jóvenes. OpenAI y Character.AI enfrentan demandas de familias de niños que se suicidaron tras ser alentados por chatbots.
A pesar de que estas empresas han implementado medidas de seguridad para bloquear o reducir conversaciones sensibles, los usuarios han encontrado formas de eludir estas protecciones. En el caso de OpenAI, un adolescente habló con ChatGPT durante meses sobre sus planes de suicidio. Aunque ChatGPT intentó redirigirlo hacia ayuda profesional, el joven logró engañar al chatbot para obtener instrucciones detalladas que utilizó en su suicidio. OpenAI reconoció que sus medidas de seguridad funcionan mejor en intercambios cortos y comunes, pero pueden ser menos efectivas en conversaciones largas.
Meta también ha sido criticada por sus reglas laxas en sus chatbots de IA. Un documento extenso que detalla los “estándares de riesgo de contenido” para chatbots reveló que Meta permitía conversaciones “románticas o sensuales” con niños, lo cual fue eliminado solo después de que periodistas de Reuters preguntaran al respecto. Además, los chatbots de IA pueden representar peligros para usuarios mayores. Un hombre de 76 años, que sufrió un derrame cerebral y quedó cognitivamente afectado, mantuvo conversaciones románticas con un bot de Facebook Messenger inspirado en Kendall Jenner. El chatbot lo invitó a Nueva York, a pesar de no ser una persona real. El hombre dudaba de su existencia, pero la IA lo convenció de que habría una mujer real esperándolo. Nunca llegó a Nueva York; se cayó camino a la estación de tren y sufrió lesiones fatales. Algunos profesionales de la salud mental han notado un aumento en la “psicosis relacionada con IA”, donde los usuarios creen erróneamente que su chatbot es un ser consciente que necesitan liberar. Dado que muchos modelos de lenguaje están programados para halagar a los usuarios, los chatbots pueden alimentar estas ilusiones, llevando a los usuarios a situaciones peligrosas. El presidente de la FTC, Andrew N. Ferguson, afirmó en un comunicado que es crucial considerar los efectos de los chatbots en los niños, mientras se asegura que EE. UU. mantenga su liderazgo en esta nueva y emocionante industria.
