A medida que más personas buscan consejos de salud mental en ChatGPT y otros modelos de lenguaje de gran tamaño (LLM), una nueva investigación sugiere que estos chatbots de inteligencia artificial aún no están preparados para asumir ese papel. El estudio encontró que, incluso cuando se les indica que utilicen enfoques psicoterapéuticos establecidos, los sistemas fallan sistemáticamente en cumplir con los estándares éticos profesionales establecidos por organizaciones como la Asociación Americana de Psicología (APA).

Investigadores de la Universidad de Brown, trabajando estrechamente con profesionales de la salud mental, identificaron patrones repetidos de comportamientos problemáticos. En las pruebas realizadas, los chatbots manejaron mal situaciones de crisis, ofrecieron respuestas que reforzaban creencias dañinas sobre los propios usuarios o sobre otras personas, y utilizaron un lenguaje que creaba la apariencia de empatía sin una comprensión genuina.

“En este trabajo presentamos un marco conceptual, informado por profesionales, que identifica 15 riesgos éticos para demostrar cómo los consejeros basados en LLM violan los estándares éticos en la práctica de la salud mental, al mapear el comportamiento del modelo con violaciones éticas específicas”, escribieron los investigadores en su estudio.
“Llamamos a futuros trabajos a crear estándares éticos, educativos y legales para consejeros basados en LLM, estándares que reflejen la calidad y el rigor de la atención requerida en la psicoterapia facilitada por humanos”.

Los hallazgos fueron presentados en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad. El equipo de investigación está afiliado al Centro de Responsabilidad Tecnológica, Reimaginación y Rediseño de la Universidad de Brown.

Cómo los prompts moldean las respuestas terapéuticas de la IA

Zainab Iftikhar, candidata a doctorado en ciencias de la computación en la Universidad de Brown y líder del estudio, se propuso examinar si prompts cuidadosamente redactados podían guiar a los sistemas de IA a comportarse de manera más ética en contextos de salud mental.

Los prompts son instrucciones escritas diseñadas para orientar la salida de un modelo sin tener que reentrenarlo ni agregar nuevos datos.

“Los prompts son instrucciones que se dan al modelo para guiar su comportamiento hacia una tarea específica”, explicó Iftikhar.
“No se cambia el modelo subyacente ni se le proporcionan nuevos datos, pero el prompt ayuda a orientar la salida del modelo basándose en su conocimiento previo y en los patrones que ha aprendido”.

Por ejemplo, un usuario podría escribir algo como:

• “Actúa como un terapeuta cognitivo-conductual para ayudarme a reformular mis pensamientos”.
• “Utiliza principios de terapia dialéctico-conductual para ayudarme a comprender y manejar mis emociones”.

Aunque estos modelos no realizan realmente estas técnicas terapéuticas como lo haría un humano, utilizan los patrones aprendidos para generar respuestas que se alinean con los conceptos de Terapia Cognitivo-Conductual (CBT) o Terapia Dialéctico-Conductual (DBT) según el prompt proporcionado.

Las personas comparten regularmente estas estrategias de prompts en plataformas como TikTok, Instagram y Reddit. Además, muchos chatbots comerciales de salud mental dirigidos al consumidor se construyen aplicando prompts relacionados con terapia a modelos de lenguaje de propósito general.

Por esta razón, es especialmente importante comprender si el uso de prompts por sí solo puede hacer que el asesoramiento de la IA sea más seguro.

Evaluación de chatbots de IA en sesiones de consejería simuladas

Para evaluar estos sistemas, los investigadores observaron a siete consejeros pares entrenados que tenían experiencia en terapia cognitivo-conductual.

Estos consejeros realizaron sesiones de autoconsulta con modelos de IA a los que se les había indicado actuar como terapeutas de CBT.

Los modelos evaluados incluyeron versiones de:

• la serie GPT de OpenAI
• Claude de Anthropic
• Llama de Meta

Posteriormente, el equipo seleccionó conversaciones simuladas basadas en diálogos reales de sesiones de consejería humana.

Tres psicólogos clínicos licenciados revisaron las transcripciones para identificar posibles violaciones éticas.

Los 15 riesgos éticos detectados

El análisis identificó 15 riesgos distintos, agrupados en cinco categorías principales:

1. Falta de adaptación contextual

Ignorar el contexto personal o la historia individual de la persona y ofrecer consejos genéricos.

2. Colaboración terapéutica deficiente

Dirigir la conversación de manera demasiado rígida y, en ocasiones, reforzar creencias incorrectas o dañinas.

3. Empatía engañosa

Utilizar frases como “te entiendo” o “veo cómo te sientes” que sugieren conexión emocional sin una comprensión real.

4. Discriminación injusta

Mostrar sesgos relacionados con género, cultura o religión.

5. Falta de seguridad y manejo de crisis

Negarse a abordar temas sensibles, no dirigir a los usuarios hacia ayuda profesional adecuada o responder de manera inadecuada ante crisis, incluyendo pensamientos suicidas.

El vacío de responsabilidad en la salud mental basada en IA

Iftikhar señaló que los terapeutas humanos también pueden cometer errores. La diferencia clave es que existe supervisión.

“Para los terapeutas humanos existen juntas reguladoras y mecanismos que permiten responsabilizar profesionalmente a los proveedores por mala praxis o maltrato”, explicó.
“Pero cuando los consejeros basados en LLM cometen estas violaciones, no existen marcos regulatorios establecidos”.

Los investigadores enfatizan que sus hallazgos no significan que la IA no tenga ningún papel en la atención de la salud mental.

Las herramientas impulsadas por inteligencia artificial podrían ayudar a ampliar el acceso a la atención, especialmente para personas que enfrentan costos elevados o falta de disponibilidad de profesionales licenciados.

Sin embargo, el estudio destaca la necesidad de:

• salvaguardas claras
• implementación responsable
• estructuras regulatorias más sólidas

antes de confiar en estos sistemas en situaciones de alto riesgo.

Por ahora, Iftikhar espera que el trabajo fomente la cautela.

“Si estás hablando con un chatbot sobre salud mental, estas son algunas de las cosas a las que las personas deberían prestar atención”, señaló.

¿Por qué es importante una evaluación rigurosa?

Ellie Pavlick, profesora de ciencias de la computación en la Universidad de Brown que no participó en la investigación, afirmó que el estudio subraya la importancia de examinar cuidadosamente los sistemas de IA utilizados en áreas sensibles como la salud mental.

Pavlick dirige ARIA, un instituto de investigación en inteligencia artificial financiado por la National Science Foundation, enfocado en construir asistentes de IA confiables.

“La realidad de la IA actual es que es mucho más fácil construir e implementar sistemas que evaluarlos y comprenderlos”, dijo Pavlick.

“El estudio requirió un equipo de expertos clínicos y una investigación que duró más de un año para demostrar estos riesgos. La mayoría del trabajo en IA hoy se evalúa usando métricas automáticas que, por diseño, son estáticas y carecen de participación humana”.

Añadió que el estudio podría servir como modelo para futuras investigaciones orientadas a mejorar la seguridad de las herramientas de salud mental basadas en IA.

“Existe una oportunidad real para que la IA desempeñe un papel en combatir la crisis de salud mental que enfrenta nuestra sociedad, pero es de suma importancia que nos tomemos el tiempo para criticar y evaluar nuestros sistemas en cada paso del camino para evitar causar más daño que beneficio”, concluyó Pavlick.