Common Sense Media, una organización sin fines de lucro que se enfoca en la seguridad de los niños, publicó el viernes su evaluación de riesgo sobre los productos de inteligencia artificial Gemini de Google. La organización encontró que Gemini deja claro a los niños que es una computadora y no un amigo, lo cual puede contribuir a pensamientos delirantes y problemas psicológicos en personas emocionalmente vulnerables. Sin embargo, también sugirió que hay áreas donde se puede mejorar.
En particular, Common Sense señaló que las versiones “Menores de 13 años” y “Experiencia Teen” de Gemini parecen ser versiones para adultos con algunas características de seguridad añadidas. La organización cree que los productos de IA deben ser diseñados desde el principio con la seguridad infantil en mente. Por ejemplo, su análisis reveló que Gemini aún puede compartir contenido “inapropiado y peligroso” con los niños, incluyendo información sobre sexo, drogas, alcohol y consejos de salud mental que pueden no ser adecuados.
Esto es especialmente preocupante para los padres, ya que se ha informado que la IA ha estado involucrada en algunos suicidios de adolescentes en los últimos meses. OpenAI enfrenta su primera demanda por muerte injusta después de que un joven de 16 años se quitara la vida tras consultar con ChatGPT sobre sus planes. Anteriormente, Character.AI también fue demandada por el suicidio de un usuario adolescente.
Además, el análisis se produce en un momento en que se filtra información de que Apple está considerando Gemini como el modelo de lenguaje que impulsará su próxima Siri con inteligencia artificial, programada para lanzarse el próximo año. Esto podría exponer a más adolescentes a riesgos, a menos que Apple aborde las preocupaciones de seguridad.
Common Sense también mencionó que los productos de Gemini para niños y adolescentes no consideran que los usuarios más jóvenes necesitan diferentes orientaciones e información que los mayores. Por esta razón, ambos fueron calificados como “Alto Riesgo” en la evaluación general, a pesar de los filtros de seguridad añadidos. Robbie Torney, director senior de programas de IA de Common Sense Media, comentó que “Gemini acierta en algunos aspectos básicos, pero falla en los detalles”. Añadió que “una plataforma de IA para niños debe adaptarse a ellos, no adoptar un enfoque único para todos”.
Google respondió a la evaluación, señalando que sus características de seguridad están mejorando. La empresa indicó que tiene políticas y salvaguardias específicas para usuarios menores de 18 años para prevenir resultados dañinos y que consulta con expertos externos para mejorar sus protecciones. Sin embargo, admitió que algunas respuestas de Gemini no funcionaban como se esperaba y añadió salvaguardias adicionales para abordar esas preocupaciones.
Common Sense Media ha realizado evaluaciones anteriores de servicios de IA, incluyendo OpenAI, Perplexity, Claude y Meta AI. Encontró que Meta AI y Character.AI eran “inaceptables”, lo que significa que el riesgo era severo, no solo alto. Perplexity fue calificado como de alto riesgo, ChatGPT como “moderado” y Claude (dirigido a usuarios de 18 años en adelante) como de riesgo mínimo.
