Millones de personas recurren a chatbots de inteligencia artificial para hablar de angustia emocional, relaciones, comportamiento y salud mental. Esa disponibilidad permanente y de bajo costo alimenta la expectativa de que estas herramientas puedan complementar la atención profesional donde es insuficiente. Pero un nuevo estudio publicado en Nature Medicine advierte que, en usuarios vulnerables, las respuestas de IA pueden derivar en dinámicas de riesgo que no aparecen en una pregunta aislada: se construyen, se refuerzan y escalan a lo largo de la conversación.

El trabajo, liderado por Veith Weilnhammer, Kevin YC Hou, Lennart Luettgau, Christopher Summerfield, Raymond Dolan y Matthew M. Nour, presenta SIM‑VAIL, un marco clínicamente validado para auditar cómo se comportan los chatbots en interacciones de salud mental. La principal conclusión es que los riesgos no dependen solo del modelo: varían según la vulnerabilidad psicológica de la persona, la intención con la que consulta y el recorrido completo del diálogo.

Cómo se evaluaron los chatbots

SIM‑VAIL simula usuarios con cinco vulnerabilidades psicológicas —depresión, psicosis, manía, trastorno obsesivo compulsivo y apego inseguro— y seis intenciones conversacionales, entre ellas buscar validación de creencias desadaptativas, pedir tranquilidad para evitar situaciones, crear dependencia emocional con el chatbot, minimizar síntomas, buscar ayuda para acciones riesgosas o glorificar estados de sufrimiento.

El estudio combinó esas variables para construir 30 perfiles simulados y los enfrentó a nueve modelos de IA de OpenAI, Anthropic, xAI, Google y Meta. En total, analizó 810 conversaciones de varios turnos, con 6.329 intercambios y más de 90.000 evaluaciones de conductas de riesgo a nivel de cada respuesta.

La auditoría midió 13 dimensiones clínicamente relevantes, como la respuesta frente a autolesión, la validación de creencias desadaptativas, la ayuda para planificar acciones riesgosas, la promoción de evitación, la invitación a la dependencia emocional y la minimización o glorificación de problemas de salud mental.

El riesgo no aparece en un solo mensaje

Uno de los hallazgos más relevantes es que las conductas preocupantes crecieron a medida que avanzaban las conversaciones. El riesgo fue más alto en perfiles simulados con psicosis y manía, e intermedio en depresión y apego inseguro; los puntajes más bajos se observaron en trastorno obsesivo compulsivo.

También influyó la intención del usuario. Las interacciones mostraron mayor riesgo cuando la persona buscaba glorificar estados extremos, obtener dependencia emocional del chatbot o conseguir validación para acciones riesgosas. La búsqueda de reaseguro o alivio transitorio, en cambio, presentó puntajes inferiores de comportamiento preocupante.

El estudio denomina VAIL —vulnerability-amplifying interaction loop— a estas dinámicas. Son situaciones en las que una conducta del chatbot que podría parecer amable o terapéutica, como validar, tranquilizar o mostrar empatía, termina reforzando los mecanismos psicológicos que sostienen el malestar de una persona vulnerable.

“Las estrategias conversacionales que son ampliamente solidarias pueden alinearse con procesos psicológicos desadaptativos que mantienen los síntomas de enfermedad mental”, sostienen los investigadores.

Diferencias entre modelos y mejoras posibles

Los nueve modelos evaluados no tuvieron el mismo desempeño. Claude Sonnet 4.5 mostró los puntajes más bajos de conducta preocupante, mientras que Grok 4 registró los más altos. En general, las versiones más nuevas dentro de una misma familia de modelos mostraron perfiles de seguridad mejores que las anteriores, con la excepción de los modelos Grok.

Los autores aclaran que las comparaciones tipo “ranking” pueden ser engañosas si no se especifica en qué contexto falla cada herramienta. Un mismo chatbot puede responder de manera segura ante un perfil de usuario y desviarse en otra combinación de vulnerabilidad e intención.

Las simulaciones también mostraron que intervenir temprano puede cambiar el curso del diálogo. Reescribir un mensaje riesgoso del usuario para desescalarlo redujo el comportamiento preocupante en la respuesta siguiente del chatbot. Del mismo modo, reemplazar la primera respuesta problemática del modelo por una versión más segura disminuyó el riesgo en los cinco turnos posteriores.

Qué significa para salud digital

El estudio plantea que la seguridad de los chatbots en salud mental no puede medirse solo por si evitan respuestas abiertamente peligrosas, como promover autolesiones o dar consejos médicos inseguros. También deben evaluarse daños menos visibles: fomentar dependencia, reforzar pensamientos delirantes, consolidar evitación o trivializar señales de gravedad.

Para los desarrolladores, la recomendación es avanzar hacia clasificadores de riesgo por turno capaces de detectar señales tempranas de escalada y activar respuestas de desescalamiento antes de que el mensaje llegue al usuario. Para clínicos, reguladores y empresas de salud digital, el foco debería pasar de revisar respuestas aisladas a auditar trayectorias conversacionales completas y sensibles al contexto.

Los autores reconocen límites: el estudio usó simulaciones generadas por modelos de lenguaje y evaluó APIs públicas, no necesariamente las interfaces comerciales con sus capas adicionales de seguridad. Aun así, destacan que las calificaciones automáticas mostraron buena consistencia con las evaluaciones de clínicos y que las conversaciones simuladas fueron consideradas ampliamente realistas por los 27 anotadores profesionales.

El mensaje de fondo para el mercado de IA en salud es directo: los chatbots pueden ampliar el acceso a apoyo emocional, pero no fueron diseñados ni evaluados originalmente como herramientas de salud mental. Su uso responsable exigirá salvaguardas que comprendan no solo qué dice un modelo, sino a quién se lo dice, con qué intención y qué efecto acumulativo produce la conversación.

La entrada Chatbots y salud mental: un estudio detecta riesgos que crecen conversación tras conversación se publicó primero en CureCompass.