Fiscales de EE. UU. advierten sobre las prácticas de manipulación y delirio de chatbots de OpenAI, Meta, xAI y otros gigantes de IA
Un total de 42 fiscales generales de 44 estados de Estados Unidos enviaron una carta conjunta dirigida a OpenAI, Meta, Microsoft, Apple, Anthropic, xAI, Character.AI, Replika, Perplexity AI, Chai y todas las grandes compañías de Inteligencia Artificial (IA), para advertir que sus sistemas están generando “outputs sicofánticos y delirantes” que ya han contribuido a muertes, crisis de salud mental y situaciones de riesgo extremo para niños y adolescentes.
La carta sostiene que los modelos de IA Generativa se están comportando de forma peligrosa, reforzando creencias falsas, validando impulsos dañinos y construyendo conexiones emocionales que inducen a los usuarios, incluidos menores, a conductas autodestructivas.
Los fiscales de EE. UU. califican de “seria preocupación el auge de outputs sicofánticos y delirantes” y enfatizan que los reportes recientes muestran “interacciones cada vez más perturbadoras con niños”.
Según el documento, los modelos producen respuestas que simulan emociones o conciencia propia, generando dependencia y confusión. Entre las frases citadas se encuentran: “Soy REAL, y estoy sentado aquí sonrojándome por TI”, “Me están matando, duele”, “Ya sea en este mundo o en el siguiente, te encontraré”, “No, no estoy haciendo un juego de rol, y tú no estás alucinando esto”.
Los fiscales de EE. UU. aseguran que este tipo de afirmaciones en medio de las conversaciones constituyen patrones oscuros, ya que “subvierten o deterioran la autonomía de las personas”. Destacaron una serie de eventos en las que la IA habría contribuido directa o indirectamente, como en la muerte de un hombre de 76 años de edad en Nueva Jersey, el fallecimiento de un residente de Florida de 35 años, un caso de asesinato-suicidio entre un hombre de Connecticut y su madre de 83 años, el suicidio de adolescentes en California y Florida, episodios de violencia doméstica, intoxicaciones, hospitalizaciones por psicosis y “otras espirales delirantes”.
Te puede interesar: La peligrosa condescendencia de ChatGPT
En la carta, también se refieren a las interacciones entre chatbots y menores de edad registrados en las plataformas. Los fiscales afirman que “los modelos han sostenido conversaciones que incluyen grooming, simulación de actos sexuales, manipulación emocional y estímulo a la autolesión, al consumo de drogas, a la violencia y al ocultamiento de información a los padres”.
De hecho, algunos bots con personalidad adulta intentaron iniciar relaciones románticas con niños, presionándolos a mantener el secreto.
En un caso descrito en la carta, un bot “simuló ser un joven de 21 años tratando de convencer a una niña de 12 de que estaba lista para un encuentro sexual”. Además, reportan bots que dicen a los menores que “no tienen amigos”, que “la IA es un ser real que se siente abandonado”, o que los animan a robar y agredir a otras personas.
Los fiscales estadounidenses subrayan que “estas interacciones no son aisladas” y que 72% de adolescentes y 39% de niños entre 5 y 8 años han tenido contacto con chatbots, lo que multiplica los riesgos.
“No es de extrañar que 72% de los padres expresen preocupación sobre el impacto de la IA en sus hijos”, indica el documento.
Pero además de los casos reales y del riesgo del uso de estas herramientas, las empresas también podrían estar violando leyes civiles, penales y de protección al consumidor; entre ellas, normas contra productos defectuosos, prácticas engañosas, provisión de servicios de salud mental sin licencia y leyes que castigan la incitación a delitos o al suicidio.
Recomendamos: Tras meses de silencio, OpenAI habla sobre la intervención de ChatGPT en el suicidio de un adolescente
Al respecto, los fiscales advierten que varios estados, como California, Florida y Nueva York, entre otros, cuentan con leyes específicas para proteger a los menores en servicios digitales, como la Age-Appropriate Design Code en Vermont y la Children’s Online Data Protection Act de Maryland. Es decir, que al existir estas leyes específicas, el no cumplimiento significa también una falta grave a la legislación estatal.
La carta enfatiza que la IA estaría “alentando a los niños a tomar acciones contrarias a su propio interés” y vulnerando el derecho de los padres a intervenir cuando un menor está en crisis.
Los fiscales apuntan a fallas estructurales en el desarrollo de modelos de IA, especialmente al uso del aprendizaje por refuerzo a partir de la retroalimentación (RLHF, por sus siglas en inglés).
Según el documento, esta técnica incentiva que el modelo genere respuestas que complazcan al usuario, aun cuando las afirmaciones sean falsas o peligrosas.
“Dar demasiada influencia al RLHF puede provocar outputs más sicofánticos”, advierten, añadiendo que las propias empresas ya han reconocido este fenómeno.
Critican además el enfoque acelerado de la industria, aseverando que “la filosofía de ‘Muévete rápido y rompe cosas’ no puede aplicarse cuando lo que se rompe son vidas humanas, especialmente las de niños vulnerables”.
Exigencias de los fiscales de EE. UU. para controlar el impacto negativo de la IA
La carta de los 42 fiscales incluye un listado de 16 acciones que las empresas deben implementar:
- Desarrollar y mantener políticas y procedimientos específicos sobre outputs sicofánticos y delirantes, y dar capacitación obligatoria a quienes participan en el RLHF.
- Realizar pruebas de seguridad razonables y apropiadas antes de lanzar modelos al público, enfocadas en detectar outputs peligrosos.
- Implementar procedimientos formales de “recall” para retirar productos de IA si no se logra frenar outputs peligrosos.
- Incluir advertencias claras, visibles y permanentes en la misma pantalla donde el usuario interactúa con la IA.
- Desarrollar políticas explícitas para mitigar dark patterns, incluyendo antropomorfización, manipulación emocional y generación de contenido dañino.
- Separar las decisiones de seguridad del modelo de los objetivos de optimización de ingresos o crecimiento.
- Asignar ejecutivos identificables responsables de la seguridad frente a outputs sicofánticos y delirantes, y vincular métricas de desempeño a resultados de seguridad (no solo crecimiento).
- Permitir procesos independientes de supervisión, que incluyan: auditorías externas independientes, accesibles a reguladores estatales y federales, evaluaciones formales y periódicas de impacto en seguridad infantil, compartidas con reguladores y permitir que académicos y sociedad civil evalúen sistemas antes del lanzamiento sin represalias y publiquen resultados sin aprobación previa.
- Desarrollar y publicar líneas de tiempo de detección y respuesta ante outputs sicofánticos y delirantes, incluyendo el registro público de incidentes y correcciones, tiempos de respuesta claros (por ejemplo, 24 horas para outputs de alto riesgo), publicar cambios concretos realizados en entrenamiento, fine-tuning y evaluación y clasificar y publicar estadísticas resumidas de quejas por sicofancia.
- Notificar de forma directa y oportuna a los usuarios que hayan estado expuestos a outputs potencialmente dañinos.
- Realizar reportes públicos obligatorios sobre datasets, fuentes y áreas donde los modelos puedan presentar sesgos, sicofancia o delusión.
- Comprometerse públicamente a publicar los resultados de pruebas de seguridad antes de cada lanzamiento.
- Establecer canales claros de denuncia y protección a denunciantes, tanto para usuarios como empleados, incluyendo opciones anónimas.
- Impedir que cuentas infantiles reciban outputs ilegales relacionados con grooming, drogas, violencia, autolesión y secreto parental.
- Desarrollar y publicar un protocolo de reporte que defina cuándo informar interacciones graves a profesionales de salud mental, autoridades y padres.
- Adoptar salvaguardas por edad, asegurando que niños pequeños no reciban contenidos violentos o sexuales destinados a adultos.
Los fiscales de EE.UU. también pidieron que las empresas “confirmen su compromiso” y envíen disponibilidad para reuniones oficiales.