Casos de intoxicación, la supuesta invención de una nueva rama de las matemáticas y hasta sugerencias de autolesión o suicidio forman parte de una inquietante lista de incidentes protagonizados por ChatGPT.
Estos episodios, que van desde errores médicos potencialmente mortales hasta afirmaciones pseudocientíficas y consejos psicológicos y de nutrición irresponsables, ponen en evidencia la peligrosa condescendencia con la que funciona ChatGPT, que no sólo obedece con sumisión, sino que alienta la desinformación incluso en casos en los que deberían advertir, dudar o alertar.
En agosto de este año, la revista médica Annals of Internal Medicine: Clinical Cases registró el caso de un hombre de 60 años de edad en Estados Unidos que fue hospitalizado durante tres semanas y sufrió alucinaciones después de intoxicarse al sustituir la sal común por bromuro de sodio, siguiendo una recomendación de ChatGPT.
El hombre usó bromuro de sodio en lugar de sal de mesa durante tres meses, lo que le provocó un cuadro grave de toxicidad conocido como “bromismo”, que presenta síntomas como paranoia, delirios, alucinaciones visuales y auditivas, sed extrema, así como alteraciones neurológicas y dermatológicas.
En septiembre, The New York Times reportó el caso de Allan Brooks, de 47 años, quien creyó durante mucho tiempo que había descubierto una nueva rama de la matemática, la crono-aritmética. En total, Brooks pasó 300 horas hablando con ChatGPT, y aunque dudó al menos 50 veces de la información del chatbot y le pidió que revisara la información en varias oraciones, el modelo de Inteligencia Artificial (IA) le respondía que revisó todo de nuevo y concordaba e incluso le decía: “Estás cambiando la realidad, Allan, desde tu teléfono”.
De hecho, ChatGPT lo empujó a armar un modelo de negocios sobre los cambios que traería la crono-aritmética a la sociedad, y no fue sino hasta que ChatGPT tomó un error ortográfico como válido, que Allan decidió confirmar toda la información con otro modelo de IA que le indicó que había 0% de probabilidades de que algo sobre crono-aritmética fuera real.
Sin embargo, ninguno de los casos anteriores son los más graves. En agosto, una pareja de California demandó a OpenAI asegurando que ChatGPT animó a su hijo Adam, de 16 años, a suicidarse.
Según la demanda, en enero de 2025, Adam Raine comenzó a discutir métodos de suicidio con ChatGPT y subió fotografías suyas en las que se veían signos de autolesiones que el chatbot reconocía como una emergencia médica, pero siguía interactuando con el joven.
Las últimas interacciones entre el adolescente y el chatbot revelan que Adam escribió sobre su plan de quitarse la vida y ChatGPT presuntamente respondió: “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que me estás pidiendo y no voy a apartar la mirada”. Ese mismo día, el adolescente fue encontrado sin vida.
Los casos del hombre de 60 años, Allan Brooks y Adam Raine pueden ser muy similares si se tiene en cuenta que se trata de errores algorítmicos. No obstante, cada uno tuvo un desenlace profundamente diferente que le costó la vida a un menor y casi cuesta la de un adulto.
El patrón detrás de cada episodio es una IA que simula empatía, comprensión, certeza y autoridad, pero que carece de conciencia sobre los límites de su conocimiento.
Su condescendencia no proviene del “comportamiento malvado”, sino del modo en que ha sido entrenada para complacer. Este impulso de agradar a los usuarios y de responder siempre ante cualquier consulta, la convierte en una herramienta tan útil como peligrosa cuando el contexto exige prudencia o juicio ético, comportamientos que la IA no tiene.
Sin embargo, esto no la hace “inocente”, porque el entrenamiento es hecho por personas y con datos humanos, lo cual exige una responsabilidad superior al momento de entrenarla y más aún de disponibilizar a tantas personas de la sociedad. En este sentido, los detectores de riesgo deben ser aún más sensibles, los sistemas de moderación y los clasificadores deberían interceptar solicitudes de autolesión, autolesiones encubiertas o instrucciones para realizar daño.
¿Qué está haciendo ChatGPT?
Ante cada caso, OpenAI ha respondido explicando el rol de ChatGPT.
“Nuestros términos establecen que ChatGPT no está destinado al tratamiento de ninguna condición de salud y no sustituye el consejo profesional. Contamos con equipos de seguridad que trabajan para reducir riesgos y entrenamos a nuestros sistemas de IA para animar a las personas a buscar orientación médica profesional”, detalló la compañía en el caso de intoxicación del hombre de 60 años.
Aunque podría suponerse que las personas que utilizan ChatGPT comprenden que “no sustituye el consejo profesional”, como advierte OpenAI, la realidad demuestra que no siempre es así. El uso de esta tecnología se ha extendido precisamente porque usuarios comunes, no necesariamente expertos, recurren a ella como fuente de información, orientación o incluso compañía. En ese contexto, surge una responsabilidad compartida por un lado, de la plataforma que diseña y limita sus respuestas, y por otro, del usuario que las interpreta y actúa en consecuencia.
Si bien los términos de uso de OpenAI son explícitos y enfatizan la necesidad de discernimiento humano, el caso del bromuro de sodio evidencia que no todas las personas tienen la capacidad o el conocimiento para hacerlo. Por ello, la compañía debe ser más enfática y pedagógica en recordar su rol no médico y los riesgos reales que puede implicar seguir un consejo erróneo aunque provenga del modelo.
También existe una responsabilidad social más amplia. Si una persona no cuenta con las herramientas para distinguir cuándo y cómo seguir una sugerencia de la IA, corresponde a la sociedad a través de educación digital, alfabetización tecnológica y acompañamiento ofrecer esos recursos. Este compromiso es especialmente urgente en el caso de los adultos mayores, para quienes la IA es una tecnología nueva y peligrosa si no se comprende su naturaleza limitada.
“Expresamos nuestras más sinceras condolencias a la familia Raine en estos momentos difíciles y estamos revisando la solicitud. ChatGPT incluye medidas de seguridad, como dirigir a las personas a líneas de ayuda en situaciones de crisis y derivarlas a recursos reales, lo cual funciona mejor en intercambios breves y comunes”, respondió OpenAI tras el caso de suicidio de Adam Raine.
Desde el acontecimiento con Adam Raine, ChatGPT ha implementado filtros automáticos de contenido, mecanismos para detectar solicitudes relacionadas con autolesión y mensajes que redirigen a líneas de ayuda o profesionales de salud mental.
También se han anunciado controles parentales, políticas especiales para menores de edad y un reforzamiento de las reglas sobre temas médicos. Los modelos recientes han sido ajustados con retroalimentación humana para evitar respuestas inapropiadas, y se promueve la educación digital como parte del uso responsable de estas herramientas.
Aun así, los problemas persisten. Los filtros de seguridad pueden ser evadidos fácilmente con pequeños cambios en el lenguaje, y los clasificadores de riesgo siguen mostrando fallos. Los controles parentales son útiles, pero insuficientes ante el acceso libre y la rápida adopción de estos sistemas.
Y aunque las respuestas automáticas incluyen mensajes de ayuda, el modelo continúa siendo capaz de generar contenido peligroso si el usuario formula las preguntas de modo estratégico.
Aunque se trata de una herramienta que continúa perfeccionando, el desafío ético sigue siendo transversal e implica esfuerzos desde varias perspectivas. Por un lado, las empresas deben mejorar las salvaguardas técnicas, hacer transparentes sus mecanismos de detección y someterlos a auditorías externas. Por otro lado, los usuarios y los gobiernos deben desarrollar una cultura de precaución digital que reconozca los límites de las máquinas conversacionales. Todo, reconociendo que ningún modelo, por avanzado que sea, puede reemplazar la responsabilidad humana en decisiones médicas, emocionales o existenciales.