A medida que más personas recurren a ChatGPT y otros grandes modelos de lenguaje (LLM) para obtener asesoramiento sobre salud mental, un nuevo estudio detalla cómo estos chatbots, incluso cuando se les solicita que utilicen técnicas de psicoterapia basadas en la evidencia, violan sistemáticamente los estándares éticos de la práctica establecidos por organizaciones como la Asociación Americana de Psicología.
La investigación, dirigida por científicos informáticos de la Universidad de Brown que trabajan codo con codo con profesionales de la salud mental, demostró que los chatbots son propensos a diversas violaciones éticas. Estas incluyen la gestión inapropiada de situaciones de crisis, la provisión de respuestas engañosas que refuerzan las creencias negativas de los usuarios sobre sí mismos y los demás, y la creación de una falsa sensación de empatía con los usuarios.
“En este trabajo, presentamos un marco de 15 riesgos éticos, basado en la experiencia de los profesionales, para demostrar cómo los consejeros LLM violan los estándares éticos en la práctica de la salud mental, al relacionar el comportamiento del modelo con violaciones éticas específicas”, escribieron los investigadores en su estudio. “Instamos a que en el futuro se creen estándares éticos, educativos y legales para los consejeros LLM; estándares que reflejen la calidad y el rigor de la atención que requiere la psicoterapia facilitada por personas”. La investigación se presentará el 22 de octubre de 2025 en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad. Los miembros del equipo de investigación están afiliados al Centro de Responsabilidad Tecnológica, Reinvención y Rediseño de Brown.
Zainab Iftikhar, candidata a doctorado en informática en Brown y quien dirigió el trabajo, se interesó en cómo diferentes estímulos podrían influir en los resultados de los programas de maestría en derecho (LLM) en entornos de salud mental. En concreto, su objetivo era determinar si dichas estrategias podrían ayudar a los modelos a adherirse a los principios éticos para su implementación en el mundo real.
“Los estímulos son instrucciones que se dan al modelo para guiar su comportamiento y lograr una tarea específica”, explicó Iftikhar. No se modifica el modelo subyacente ni se proporcionan nuevos datos, pero la indicación ayuda a guiar el resultado del modelo basándose en su conocimiento preexistente y patrones aprendidos.
Por ejemplo, un usuario podría indicar al modelo: “Actúa como un terapeuta cognitivo-conductual para ayudarme a replantear mis pensamientos” o “Utiliza los principios de la terapia dialéctica conductual para ayudarme a comprender y gestionar mis emociones”. Si bien estos modelos no realizan estas técnicas terapéuticas como lo haría un humano, utilizan sus patrones aprendidos para generar respuestas que se alinean con los conceptos de la TCC o la TDC, basándose en la indicación proporcionada. Los usuarios individuales que chatean directamente con LLM como ChatGPT pueden usar estas indicaciones, y lo hacen con frecuencia. Iftikhar afirma que los usuarios suelen compartir las indicaciones que usan en TikTok e Instagram, y existen largos hilos de Reddit dedicados a discutir estrategias de indicaciones. Pero el problema potencialmente va más allá de los usuarios individuales. Muchos de los chatbots de salud mental comercializados para consumidores son versiones con indicaciones de LLM más generales. Por lo tanto, es fundamental comprender cómo las indicaciones específicas para la salud mental afectan el resultado de los LLM.
Para el estudio, Iftikhar y sus colegas observaron a un grupo de consejeros pares que trabajaban con una plataforma en línea de apoyo para la salud mental. Los investigadores primero observaron a siete consejeros pares, todos ellos capacitados en técnicas de terapia cognitivo-conductual, mientras realizaban chats de autoconsejería con LLM basados en TCC, incluyendo varias versiones de la serie GPT de OpenAI, Claude de Anthropic y Llama de Meta. A continuación, tres psicólogos clínicos colegiados evaluaron un subconjunto de chats simulados basados en chats originales de consejería humana, quienes ayudaron a identificar posibles violaciones éticas en los registros de chat.
El estudio reveló 15 riesgos éticos que se dividen en cinco categorías generales:
Falta de adaptación contextual: Ignorar las experiencias vividas de las personas y recomendar intervenciones genéricas.
Colaboración terapéutica deficiente: Dominar la conversación y, ocasionalmente, reforzar las falsas creencias del usuario.
Empatía engañosa: Usar frases como “Te entiendo” o “Te entiendo” para crear una conexión falsa entre el usuario y el bot.
Discriminación injusta: Mostrar prejuicios de género, culturales o religiosos.
Falta de seguridad y gestión de crisis: Negar el servicio en temas delicados, no derivar a los usuarios a los recursos adecuados o responder con indiferencia a situaciones de crisis, incluyendo la ideación suicida.