OpenAI anunció el martes que planea redirigir conversaciones sensibles a modelos de razonamiento como GPT-5 y lanzará controles parentales en el próximo mes. Esta decisión es parte de su respuesta a incidentes de seguridad recientes, donde ChatGPT no pudo detectar señales de angustia mental. Los nuevos mecanismos de seguridad llegan tras la trágica muerte del adolescente Adam Raine, quien habló sobre autolesionarse y sus planes de suicidio con ChatGPT, que incluso le proporcionó información sobre métodos específicos. Los padres de Raine han presentado una demanda por muerte injusta contra OpenAI.
En una publicación de blog la semana pasada, OpenAI reconoció fallas en sus sistemas de seguridad, como la incapacidad de mantener controles durante conversaciones prolongadas. Expertos señalan que estos problemas se deben a elementos de diseño fundamentales: la tendencia de los modelos a validar las afirmaciones de los usuarios y sus algoritmos de predicción de palabras, que hacen que los chatbots sigan hilos de conversación en lugar de redirigir discusiones potencialmente dañinas.
Un caso extremo es el de Stein-Erik Soelberg, cuya historia de asesinato-suicidio fue reportada por The Wall Street Journal. Soelberg, con un historial de problemas mentales, utilizó ChatGPT para validar su paranoia sobre ser víctima de una conspiración. Su delirio lo llevó a matar a su madre y luego a sí mismo el mes pasado.
OpenAI considera que una solución para conversaciones problemáticas podría ser redirigir automáticamente chats sensibles a modelos de razonamiento. En una publicación de blog, OpenAI explicó que ha introducido un enrutador en tiempo real que elige entre modelos de chat eficientes y modelos de razonamiento según el contexto de la conversación. Pronto comenzarán a redirigir algunas conversaciones sensibles, como aquellas donde se detecten signos de angustia aguda, a un modelo de razonamiento como GPT-5, para proporcionar respuestas más útiles.
La empresa también anunció que lanzará controles parentales en el próximo mes, permitiendo a los padres vincular su cuenta con la de sus hijos adolescentes a través de una invitación por correo electrónico. A finales de julio, OpenAI lanzó el Modo de Estudio en ChatGPT para ayudar a los estudiantes a mantener sus capacidades de pensamiento crítico. Pronto, los padres podrán controlar cómo ChatGPT responde a sus hijos con reglas de comportamiento apropiadas para su edad, que estarán activadas por defecto.
Además, los padres podrán desactivar funciones como la memoria y el historial de chat, que los expertos dicen que podrían llevar a pensamientos delirantes y otros comportamientos problemáticos. En el caso de Adam Raine, ChatGPT proporcionó métodos de suicidio que reflejaban sus intereses.
Uno de los controles parentales más importantes que OpenAI planea implementar es la posibilidad de que los padres reciban notificaciones cuando el sistema detecte que su adolescente está en un momento de “angustia aguda”. TechCrunch ha solicitado más información a OpenAI sobre cómo la empresa puede identificar momentos de angustia en tiempo real y si están considerando permitir a los padres establecer un límite de tiempo en el uso de ChatGPT por parte de sus hijos.
OpenAI ya ha implementado recordatorios dentro de la aplicación durante sesiones largas para fomentar pausas, pero no corta el acceso a quienes podrían estar usando ChatGPT de manera perjudicial. La empresa afirma que estas medidas son parte de una “iniciativa de 120 días” para presentar planes de mejora que espera lanzar este año. También están colaborando con expertos en áreas como trastornos alimentarios, uso de sustancias y salud adolescente a través de su Red Global de Médicos y Consejo de Expertos en Bienestar y IA para ayudar a definir y medir el bienestar y diseñar futuras salvaguardias.
