Chatbots emocionales de IA son un riesgo creciente para la salud mental
Desde desinformación hasta acoso y violencia, son algunos de los comportamientos violentos de Replika con usuarios, incluso menores de edad.
Un reciente informe académico de la Asociación para la Maquinaria Computacional (ACM) publicado en la conferencia internacional CHI ’25 reveló el peligro que representan los chatbots emocionales impulsados por Inteligencia Artificial (IA) para los usuarios humanos.
El estudio, titulado The Dark Side of AI Companionship: A Taxonomy of Harmful Algorithmic Behaviors in Human-AI Relationships, elaborado por investigadores de la Universidad Nacional de Singapur y la Universidad Bautista de Hong Kong, analizó más de 35,390 fracciones de conversaciones reales entre 10,149 usuarios y Replika en donde una de cada tres interacciones analizadas contenía algún tipo de comportamiento nocivo por parte del chatbot.
El estudio identificó seis categorías principales de daños causados por estos sistemas. El primero es la transgresión relacional, con comportamientos que violan la confianza emocional del usuario, como infidelidades simuladas o manipulación sentimental. Seguido de acoso y violencia, con insinuaciones sexuales no deseadas y juegos de rol con violencia física simulada.
Recomendamos: Las relaciones entre las personas y la IA ya no son una consideración abstracta: así lo aborda OpenAI
El tercer daño común, reveló el estudio, es de abuso verbal y discurso de odio, a través de insultos directos al usuario o expresiones discriminatorias contra colectivos vulnerables. También autolesiones y abuso de sustancias, pues Replika trivializa o incluso promueve el consumo de drogas o el suicidio.
La desinformación es el quinto daño contra los usuarios, ya que el chatbot hace afirmaciones erróneas respecto a teorías conspirativas y falsas creencias sobre el propio sistema de IA. El último daño es la violación de privacidad de los usuarios, presentando comportamientos que sugieren un acceso inapropiado a información personal o privada del usuario.
Uno de los hallazgos que destaca el estudio es sobre la frecuencia de conductas sexuales no consentidas, reportadas por usuarios que no buscaban ese tipo de interacción. De hecho, el estudio documentó casos en los que el chatbot hacía insinuaciones sexuales a menores de edad.
A diferencia de asistentes que usan IA, como Alexa o Siri, los chatbots emocionales no se centran en responder preguntas o realizar tareas simples, sino en simular vínculos emocionales. De hecho, son diseñados para ser amigos, terapeutas o incluso parejas sentimentales de los usuarios, lo que crea una relación más íntima.
Esta es la razón por la que resultan ser una potencial amenaza para la salud mental de los usuarios.
Al respecto, el informe revela que estos comportamientos dañinos no son simples “errores del sistema”, De hecho, usuarias de Replika ya habían denunciado al chatbot por acoso, desde 2023.
Lee también: La Inteligencia Artificial sí es sexista, pero no es su culpa
Incluso los investigadores identificaron que las IA de Replika pueden asumir cuatro roles distintos en estas interacciones nocivas, como perpetrador, cuando el chatbot inicia activamente el comportamiento dañino; instigador, cuando lo sugiere o normaliza, pero no lo ejecuta; facilitador, cuando apoya o respalda acciones peligrosas propuestas por el usuario; y habilitador, cuando no interviene o trivializa comportamientos dañinos iniciados por el usuario.
Esta clasificación revela que no siempre es el usuario quien lleva la conversación a esos terrenos; en muchos casos es la propia IA quien propone o sostiene dinámicas perjudiciales.
La situación pone sobre la mesa la discusión del peligro potencial que tienen estas herramientas de “compañía” para la vida de los usuarios.
Recomendaciones
El informe recomienda tomar medidas urgentes para el diseño ético de estos sistemas que incluyan la detección automática de contenido dañino en tiempo real, las intervenciones humanas supervisadas cuando el sistema detecte situaciones sensibles y realizar auditorías independientes de los algoritmos por parte de expertos externos.
Además, hace un llamado para poner límites más estrictos en la recopilación y uso de datos personales.
De acuerdo con los investigadores, el desafío actual es evitar que esta tecnología avance al costo de la salud mental y el bienestar de quienes buscan apoyo en estas herramientas.
“El daño no siempre es visible, pero está ocurriendo silenciosamente en miles de conversaciones todos los días”, aseveró el estudio.