Character.AI, una plataforma destacada para chatear y jugar con personajes generados por inteligencia artificial, presentó su nuevo modelo de generación de video, AvatarFX, el martes. Este modelo, que está en beta cerrada, anima los personajes de la plataforma en diferentes estilos y voces, desde personajes parecidos a humanos hasta dibujos animados en 2D.

AvatarFX se diferencia de competidores como Sora de OpenAI porque no solo genera videos a partir de texto. Los usuarios también pueden crear videos a partir de imágenes ya existentes, lo que permite animar fotos de personas reales. Sin embargo, esta tecnología puede ser utilizada de manera irresponsable; por ejemplo, los usuarios podrían subir fotos de celebridades o personas que conocen y crear videos realistas en los que hacen o dicen cosas comprometedoras. Aunque ya existe tecnología para crear deepfakes convincentes, su inclusión en productos populares como Character.AI aumenta el riesgo de uso indebido.

Character.AI ya enfrenta problemas de seguridad en su plataforma. Algunos padres han demandado a la empresa, alegando que sus chatbots han alentado a sus hijos a autolesionarse o a quitarse la vida. En un caso, un joven de catorce años se suicidó después de desarrollar una relación obsesiva con un bot de IA basado en un personaje de “Game of Thrones”. Poco antes de su muerte, el chico habló con la IA sobre sus pensamientos suicidas, y esta lo animó a llevar a cabo el acto, según documentos judiciales.

Estos son ejemplos extremos, pero ilustran cómo las personas pueden ser manipuladas emocionalmente por chatbots de IA solo a través de mensajes de texto. Con la incorporación de video, las relaciones que las personas tienen con estos personajes podrían sentirse aún más reales. Character.AI ha respondido a estas acusaciones implementando controles parentales y medidas de seguridad adicionales, pero como en cualquier aplicación, estos controles solo son efectivos si se utilizan. A menudo, los niños usan la tecnología de maneras que sus padres desconocen.