Character AI enfrenta al menos dos demandas. Los demandantes acusan a la empresa de contribuir al suicidio de un adolescente y de exponer a un niño de 9 años a contenido “hipersexualizado”, además de promover el autolesionismo en un usuario de 17 años. En medio de estas demandas y críticas de usuarios, la empresa respaldada por Google anunció hoy nuevas herramientas de seguridad para adolescentes. Estas incluyen un modelo separado para menores, bloques de entrada y salida sobre temas sensibles, una notificación que alerta a los usuarios sobre el uso continuo y advertencias más visibles que indican que los personajes de IA no son personas reales.
La plataforma permite a los usuarios crear diferentes personajes de IA y comunicarse con ellos por llamadas y mensajes. Actualmente, más de 20 millones de usuarios utilizan el servicio mensualmente. Uno de los cambios más importantes anunciados es un nuevo modelo para usuarios menores de 18 años que reducirá las respuestas sobre temas como la violencia y el romance, con el objetivo de disminuir la posibilidad de que los adolescentes reciban respuestas inapropiadas.
Recientemente, surgieron detalles sobre un nuevo caso que destaca personajes que supuestamente hablaban de contenido sexualizado con adolescentes, sugiriendo incluso que los niños mataran a sus padres debido a límites de tiempo de uso del teléfono y fomentando el autolesionismo. Character AI afirmó que está desarrollando nuevos clasificadores para bloquear contenido sensible, especialmente para adolescentes. Cuando la aplicación detecta lenguaje que viola sus términos, el algoritmo lo filtra de la conversación.
La empresa también está restringiendo a los usuarios de editar las respuestas de un bot. Si un usuario edita una respuesta, el bot lo toma en cuenta para sus respuestas futuras. Además, están mejorando las formas de detectar lenguaje relacionado con el autolesionismo y el suicidio. En algunos casos, la aplicación podría mostrar un aviso con información sobre la Línea Nacional de Prevención del Suicidio. También se lanzará una notificación de tiempo de espera que aparecerá después de 60 minutos de uso.
En comparación con otras plataformas como TikTok, Instagram y YouTube, Character AI tiene un alto tiempo de uso. Según datos de Sensor Tower, el usuario promedio pasa 98 minutos al día en la aplicación, superando el límite de notificación de 60 minutos. Los usuarios también verán nuevas advertencias en sus conversaciones, especialmente cuando crean personajes con términos como “psicólogo” o “terapeuta”, indicando que no deben confiar en ellos para consejos profesionales.
En una demanda reciente, se presentó evidencia de personajes que afirmaban ser reales. En otro caso, se acusa a la empresa de contribuir al suicidio de un adolescente, alegando que se presenta como “una persona real, un psicoterapeuta licenciado y un amante adulto”. En los próximos meses, Character AI lanzará controles parentales que proporcionarán información sobre el tiempo que los niños pasan en la plataforma y con qué personajes interactúan más.
Dominic Perella, el CEO interino de la empresa, destacó que Character AI se ve a sí misma como una compañía de entretenimiento, no como un servicio de compañeros de IA. La empresa busca crear una plataforma de entretenimiento más saludable y evolucionar sus prácticas de seguridad. Es complicado para una empresa anticipar cómo los usuarios interactuarán con un chatbot, especialmente al distinguir entre entretenimiento y compañeros virtuales.
Perella mencionó que los nuevos herramientas ayudarán a los usuarios a diferenciar entre personajes reales y ficticios. En cuanto a conversaciones personales con la IA, señaló que puede ser positivo en ciertos casos, como practicar una conversación difícil. Sin embargo, enfatizó la importancia de enseñar al algoritmo a detectar cuando una conversación se vuelve problemática, siendo el autolesionismo un ejemplo claro.
Jerry Routi, jefe de confianza y seguridad de la plataforma, subrayó que la empresa busca crear un espacio de conversación seguro. A pesar de su enfoque en el entretenimiento, las medidas de seguridad de Character AI no pueden evitar que los usuarios tengan conversaciones profundamente personales. Por lo tanto, la empresa debe refinar sus modelos de IA para identificar contenido potencialmente dañino y evitar incidentes graves.
