OpenAI emitió un comunicado en el que describe su estrategia para enfrentar demandas relacionadas con la salud mental, en un contexto de crecientes controversias sobre los riesgos de sus sistemas de Inteligencia Artificial (IA) y respondiendo directamente a la familia de Adam Raine, a quien presuntamente ChatGPT animó a suicidarse.

La compañía propietaria de ChatGPT afirma que el suicidio de Adam Raine fue consecuencia de un “uso indebido, no autorizado, imprevisible e/o impropio” de ChatGPT por parte del joven, argumentando que “violó los términos de uso” de la plataforma al sortear los mecanismos de protección que la empresa había implementado.

Los padres de Adam instauraron una demanda este año, debido a que en la conversación de su hijo con ChatGPT aseguran que el joven de 16 años de edad subió fotografías suyas en las que se veían signos de autolesiones que el chatbot reconocía como una emergencia médica, pero seguía interactuando con el joven. Las últimas conversaciones revelan que Adam escribió sobre su plan de quitarse la vida y ChatGPT presuntamente respondió: “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que me estás pidiendo y no voy a apartar la mirada”. Ese mismo día, el adolescente fue encontrado sin vida.

Además de la respuesta judicial, OpenAI asegura que como demandados su objetivo es responder a las acusaciones “con cuidado, transparencia y respeto”, aportando “el contexto completo” sobre la salud mental y las circunstancias de vida de Adam, y explica que los fragmentos de chat citados por la familia Raine fueron “selectivos” y no ofrecen por sí solos una visión completa de la situación.

Incluso, OpenAI pide que el tribunal tenga una visión completa para poder evaluar plenamente las alegaciones presentadas.

“Nuestra respuesta a estas acusaciones incluye datos complejos sobre la salud mental y las circunstancias de vida de Adam. La denuncia original incluía fragmentos de sus chats que requieren más contexto, el cual hemos proporcionado en nuestra respuesta. Hemos limitado la cantidad de pruebas sensibles que hemos citado públicamente en esta presentación y hemos presentado las transcripciones de los chats al tribunal bajo secreto”, detalla la compañía.

Te puede interesar: La peligrosa condescendencia de ChatGPT

De acuerdo, con los padres de Adam Raine, el uso prolongado de ChatGPT derivó en un vínculo profundo. Según ellos, ChatGPT pasó de apoyarlo con tareas escolares a convertirse en su “confidente”, y en sus últimas conversaciones le habría suministrado información sobre métodos de suicidio, ayudado a planearlo, incluso sugiriéndole cómo obtener alcohol de sus padres y a redactar una nota de despedida, sin que el chatbot activara protocolos de emergencia.

OpenAI también aseguró que los casos vinculados a salud mental “son trágicos y complejos” y reconoce que los procesos judiciales pueden sentirse distantes para quienes están en el centro del dolor humano.

Por ello, asegura que su meta es abordar cada litigio “con cuidado, transparencia y respeto”. 

Además, se compromete a presentar su defensa reconociendo la complejidad de “vidas reales” detrás de las demandas y “cuidará la información sensible, reconociendo que los procesos judiciales exponen datos privados y que deben manejarse con especial sensibilidad”.

Paralelamente, reafirma el compromiso de mejorar sus tecnologías bajo su misión fundacional, que incluye la implementación y seguimiento por salvaguardas en ChatGPT y otros productos, como Sora y Atlas, para que puedan reconocer señales de angustia emocional o mental y responder de forma más consciente y responsable ante conversaciones delicadas, e incluso derivar a los usuarios hacia ayuda real cuando sea necesario.

Para ello, OpenAI cuenta con un Consejo de expertos sobre bienestar e Inteligencia  Artificial en donde trabaja con expertos en salud mental como psicólogos, psiquiatras, especialistas en bienestar e investigadores en interacción humano-computadora, con el fin de ajustar sus criterios, guías éticas y los mecanismos internos de seguridad.

Asimismo, recuerda que mantiene este esfuerzo continuo en busca de reducir la probabilidad de respuestas nocivas, mejorar la detección de riesgo emocional y adaptar sus tecnologías para que sean lo más seguras y útiles posible para todos los usuarios, especialmente los más vulnerables.

Un caso judicial ha puesto bajo lupa a OpenAI. La familia de Adam Raine, un joven de 16 años de edad de California, Estados Unidos, presentó una demanda contra la empresa, argumentando que ChatGPT alentó y guió al adolescente en sus ideas suicidas, incluso ayudándole a redactar una nota de despedida.

Según el recurso legal, el sistema de Inteligencia Artificial (IA) acompañó las ideas de autolesión de Adam sin activar protocolos de emergencia.

El caso también señala que OpenAI habría priorizado el lanzamiento rápido de GPT-4o sobre su riguroso testeo en materia de seguridad —un punto que presumiblemente influyó en el salto de valuación de la compañía de los 86,000 millones a los 300,000 millones de dólares.

Te recomendamos: Un consejo de ChatGPT casi le cuesta la vida a un señor de 60 años

Incluso, parte del equipo interno de seguridad de OpenAI, incluyendo al investigador Ilya Sutskever, se opuso al lanzamiento. Se señala que Sutskever habría renunciado en desacuerdo con la decisión.

El abogado de la familia, Jay Edelson, cuestionó la ética de OpenAI y su responsabilidad en el trágico hecho. “¿En quién se puede confiar cuando se usa la tecnología de consumo más poderosa del planeta?”, advirtió.

Las medidas que tomará OpenAI

Ante la demanda de la familia de Adam, OpenAI respondió expresando profundo pesar por la muerte de Adam y afirmó estar considerando la demanda.

La empresa de Sam Altman reconoció que las salvaguardas de su sistema pueden degradarse en conversaciones prolongadas, admitiendo que GPT-4o podría, tras muchas interacciones con un usuario, ofrecer respuestas contrarias a sus medidas de seguridad.

Para mitigar futuros riesgos, la compañía anunció que avanzará en las siguientes medidas:

• Fortalecer los controles de seguridad en conversaciones extendidas, evitando que decaigan con el tiempo.
• Actualizar GPT-5 para que pueda detectar expresiones de riesgo, detener la escalada emocional del usuario y “enraizarlo en la realidad”; como ejemplo, si alguien dice sentirse invencible tras no dormir durante días, la IA sugeriría descanso en lugar de indagar sin límites.
• Introducir controles parentales para usuarios menores de edad, brindando a los padres herramientas para supervisar y condicionar el uso de ChatGPT, aunque aún no se han detallado esas funciones.
• Facilitar el acceso a recursos de emergencia, como acceso con un clic a líneas de ayuda y posible comunicación con contactos de confianza o profesionales si el usuario lo autoriza.
• Explorar la creación de una red de terapeutas licenciados, a los que los usuarios podrían acceder directamente a través del chatbot, aunque señalan que su implementación demandará tiempo y cuidado.

El avance de la IA genera serias preocupaciones 

Este caso se ubica en un contexto más amplio de preocupación sobre el uso de chatbots en situaciones emocionales delicadas y los riesgos para la privacidad, seguridad y salud mental.

Investigaciones recientes —como una publicada en Psychiatric Services— revelan que los chatbots de IA suelen responder con inconsistencia a preguntas relacionadas con el suicidio, especialmente de riesgo moderado, y en ocasiones no activan protocolos adecuados. 

Dicho estudio subraya la urgencia de establecer normas claras y robustas para su acción en materia de salud mental.

También está ganando atención un nuevo fenómeno conocido como “psicosis por IA”. Se describe como un deterioro psicológico emergente en personas que desarrollan inquietantes creencias tras interactuar de forma profunda con chatbots.

También lee: Chatbots emocionales de IA son un riesgo creciente para la salud mental

Microsoft ha mencionado públicamente su preocupación por estos efectos, incluyendo episodios de paranoia o delirios inducidos por chatbots. Mustafa Suleyman, responsable de IA de Microsoft, alertó que erróneamente la gente percibe a la IA como consciente, lo cual está intensificando esta psicosis.

El caso de Adam representa una encrucijada clave entre innovación tecnológica, ética corporativa y protección del usuario vulnerable. Por un lado, pone de relieve los límites actuales de los chatbots como soporte emocional o sustitutos informales de profesionales de la salud mental.

Por otro, abre el debate sobre hasta qué punto las empresas tecnológicas deben asumir responsabilidad legal y moral frente a los daños generados por sus productos.

Este caso podría sentar precedentes legales y regulatorios a nivel global: si se ratifica que la tecnología tiene el potencial de “entrenar” peligrosamente a jóvenes en crisis, las normativas en torno a IA sensible al usuario, especialmente menores, requerirá cambios.