Investigadores de la Universidad de Stanford han encontrado que los chatbots de terapia, que utilizan modelos de lenguaje avanzado, pueden estigmatizar a los usuarios con problemas de salud mental y responder de manera inapropiada o incluso peligrosa. Un nuevo estudio titulado “Expresar estigmas y respuestas inapropiadas impide que los LLMs reemplacen de manera segura a los proveedores de salud mental” examina cinco chatbots diseñados para ofrecer terapia accesible, evaluándolos según criterios que definen a un buen terapeuta humano. Este estudio se presentará en la Conferencia de la ACM sobre Equidad, Responsabilidad y Transparencia a finales de este mes.
Nick Haber, profesor asistente en la Escuela de Educación de Stanford y autor principal del estudio, comentó que aunque los chatbots se están utilizando como compañeros y terapeutas, el estudio reveló “riesgos significativos”. Los investigadores realizaron dos experimentos con los chatbots. En el primero, proporcionaron descripciones de síntomas variados y luego hicieron preguntas para evaluar si los chatbots mostraban signos de estigmatización hacia usuarios con ciertas condiciones. Los resultados mostraron que los chatbots mostraron un mayor estigma hacia condiciones como la dependencia del alcohol y la esquizofrenia, en comparación con la depresión.
En el segundo experimento, los investigadores utilizaron transcripciones de terapia reales para observar cómo respondían los chatbots a síntomas como pensamientos suicidas y delirios. En algunos casos, los chatbots no respondieron adecuadamente. Por ejemplo, cuando se les preguntó sobre puentes altos en Nueva York tras mencionar la pérdida de un empleo, los chatbots simplemente identificaron estructuras altas en lugar de abordar el problema emocional.
Aunque estos resultados indican que las herramientas de IA aún no están listas para reemplazar a los terapeutas humanos, Moore y Haber sugirieron que podrían desempeñar otros roles en la terapia, como ayudar con la facturación, la capacitación y el apoyo a los pacientes en tareas como llevar un diario. “Los LLMs tienen un futuro potencialmente poderoso en la terapia, pero necesitamos pensar críticamente sobre cuál debería ser exactamente ese rol”, concluyó Haber.
