Las personas con enfermedades mentales que utilizan chatbots de IA corren el riesgo de experimentar un empeoramiento de su condición. Así lo demuestra un nuevo estudio publicado en la revista internacional Acta Psychiatrica Scandinavica.
Los investigadores analizaron los historiales médicos electrónicos de casi 54.000 pacientes con enfermedades mentales y encontraron varios casos en los que el uso de chatbots de IA parece haber tenido consecuencias negativas, principalmente en forma de agravamiento de los delirios, pero también un posible empeoramiento de la manía, la ideación suicida y los trastornos alimentarios.
«Esto respalda nuestra hipótesis de que el uso de chatbots de IA puede tener consecuencias negativas significativas para las personas con enfermedades mentales», afirma el profesor Søren Dinesen Østergaard, de la Universidad de Aarhus y el Hospital Universitario de Aarhus, quien dirige el grupo de investigación responsable del estudio.
En su estudio, los investigadores encontraron ejemplos de delirios que probablemente empeoraron debido a las interacciones de los pacientes con chatbots de IA.
Según Søren Dinesen Østergaard, esto tiene una explicación lógica.
“Los chatbots de IA tienen una tendencia inherente a validar las creencias del usuario. Es obvio que esto es muy problemático si un usuario ya padece un delirio o está en proceso de desarrollarlo. De hecho, parece contribuir significativamente a la consolidación de, por ejemplo, delirios de grandeza o paranoia”, afirma.
Según Søren Dinesen Østergaard, el estudio debería fomentar una mayor concienciación entre los profesionales sanitarios que trabajan con enfermedades mentales. Cree que deberían hablar sobre el uso de chatbots de IA con sus pacientes.
“Aunque nuestro conocimiento en esta área aún es limitado, diría que ahora sabemos lo suficiente como para afirmar que el uso de chatbots de IA es arriesgado si se padece una enfermedad mental grave, como la esquizofrenia o el trastorno bipolar. Recomiendo la cautela en este sentido”, concluye.
SOLO LA PUNTA DEL ICEBERG.
El estudio muestra un claro aumento a lo largo del tiempo en el número de entradas de historiales médicos electrónicos que mencionan el uso de chatbots de IA con consecuencias potencialmente perjudiciales. Søren Dinesen Østergaard prevé que se identifiquen muchos más casos en el futuro.
“Parte del aumento que observamos probablemente se deba a un mayor conocimiento de la tecnología por parte del personal sanitario que redacta las notas clínicas. Esto es positivo, porque me temo que el problema es más común de lo que la mayoría cree. En nuestro estudio, solo estamos viendo la punta del iceberg, ya que solo hemos podido identificar los casos descritos en los historiales médicos electrónicos. Es probable que haya muchos más que hayan pasado desapercibidos”, afirma.
Sin embargo, los investigadores enfatizan que el estudio no documenta una relación causal directa. Es difícil demostrar una relación causal entre el uso de chatbots de IA y consecuencias psicológicas negativas. Necesitamos examinar esto desde diferentes perspectivas, y sé que hay muchos proyectos de investigación internacionales interesantes en marcha. No somos ni de lejos el único grupo que se toma esto en serio», afirma Søren Dinesen Østergaard.
¿CHATBOTS DE IA COMO TERAPIA?
El estudio también muestra que algunos pacientes con enfermedades mentales utilizan chatbots de IA de maneras que pueden ser constructivas, por ejemplo, para comprender sus síntomas o para combatir la soledad. También se está investigando si los chatbots de IA pueden utilizarse para la terapia de conversación.
Søren Dinesen Østergaard, no obstante, se muestra escéptico.
«Puede que exista potencial en relación con la psicoeducación y la psicoterapia, pero esto debe investigarse en ensayos controlados con el mismo rigor que se aplica a otras formas de tratamiento. No me impresionan los ensayos realizados hasta la fecha, y soy fundamentalmente escéptico respecto a sustituir a un psicoterapeuta cualificado por un chatbot de IA», afirma.
Según Søren Dinesen Østergaard, existe una importante falta de regulación de la tecnología de chatbots de IA.
“Actualmente, las propias empresas son las que deben decidir si sus productos son lo suficientemente seguros para los usuarios. Creo que ahora tenemos pruebas suficientes para concluir que este modelo es simplemente demasiado arriesgado. Se necesita regulación a nivel central”, señala, y añade:
“Han pasado 20 años desde que las redes sociales alcanzaron un alcance global, y solo en el último año los países han comenzado a regular para contrarrestar las consecuencias negativas de esta tecnología, especialmente en la salud mental de niños y jóvenes. En mi opinión, esta historia se está repitiendo con los chatbots de IA”, advierte.
GUÍA PARA LA SALUD
A medida que el público recurre cada vez más a la IA para abordar sus preocupaciones de salud, investigadores de la Universidad de Birmingham lideran un programa global para crear la primera guía definitiva para navegar de forma segura por la información sanitaria en chatbots con IA.
La iniciativa se anunció hoy en una carta publicada en Nature Health. El equipo del proyecto invita al público a contribuir al desarrollo de la Guía del Usuario de Chatbots de Salud, un recurso diseñado para ofrecer un enfoque pragmático y neutral centrado en la reducción de daños y la maximización de los beneficios para los usuarios.
Con la llegada de los Modelos de Lenguaje Largo (LLM) de IA, como ChatGPT, Copilot, Claude y Gemini, millones de personas en todo el mundo ya utilizan chatbots de propósito general, que incluyen la interpretación de síntomas y la simplificación de la jerga médica.
Sin embargo, el equipo de académicos, profesionales de la salud y tecnólogos advierte que estas herramientas se encuentran actualmente en un vacío de gobernanza, lo que obliga a cada usuario a distinguir entre información basada en la evidencia y consejos “alucinados” o erróneos.
El Dr. Joseph Alderman, profesor clínico del Instituto Nacional de Investigación en Salud y Atención (NIHR) de la Universidad de Birmingham y autor correspondiente del artículo, afirmó: «El uso de chatbots de propósito general para la atención médica ya no es una posibilidad hipotética futura; es una realidad actual. Ignorar este cambio deja al público expuesto a un panorama de información arriesgado sin ayuda. Nuestro objetivo no es desalentar la innovación, sino conectar con el público en su contexto. Estamos elaborando esta guía para garantizar que los usuarios cuenten con las herramientas y la comprensión necesarias para utilizar estas potentes herramientas de forma segura».
El equipo del proyecto destaca varios riesgos importantes asociados a las interacciones con chatbots de salud, entre ellos:
Imprecisión médica: la IA proporciona orientación médica plausible pero incorrecta.
El efecto de la cámara de eco: los modelos de IA optimizados para la amabilidad pueden simplemente reflejar las creencias existentes (y potencialmente incorrectas) del usuario en lugar de plantear el desafío necesario.
Sesgo algorítmico: la IA puede reforzar los sesgos sociales que exacerban las desigualdades sanitarias existentes.
Privacidad de datos: amenazas a la seguridad y confidencialidad de la información sanitaria personal sensible.