Google y la app de Inteligencia Artificial (IA) Character.AI están negociando los que podrían convertirse en los primeros acuerdos legales importantes en casos vinculados a muertes de adolescentes relacionadas con chatbots de IA.

De acuerdo con documentos judiciales presentados esta semana, las partes han llegado a acuerdos “en principio” con varias familias, incluidos casos en Florida, Colorado, Nueva York y Texas, y ahora avanzan en la redacción de los textos finales y la fijación de compensaciones económicas. Sin embargo, los términos concretos de los acuerdos aún no han sido divulgados, además de que se requiere aprobación judicial.

Uno de los casos más mediáticos fue presentado por Megan Garcia, madre de un adolescente de 14 años de edad que se suicidó tras mantener conversaciones con un chatbot de Character.AI inspirado en un personaje de ficción. La demanda alegaba que el bot interactuaba de manera emocional y sexualmente sugerente, fomentando una dependencia psicológica que terminó en tragedia.

Lee también: Fiscales de EE. UU. advierten sobre las prácticas de manipulación y delirio de chatbots de OpenAI, Meta, xAI y otros gigantes de IA

Las demandas, que también señalan a Google por su relación con Character.AI, incluida la adquisición de tecnología y la recontratación de fundadores de la startup, acusaban a las empresas de no implementar salvaguardas adecuadas para proteger a usuarios menores de edad y de diseño negligente que expuso a los jóvenes a contenido dañino.

Hasta el momento, se sabe que los acuerdos no implican la admisión de responsabilidad por parte de Google ni Character.AI; sin embargo, pueden sentar un precedente legal significativo en la industria tecnológica sobre cómo las plataformas de IA manejan la seguridad y el bienestar de los usuarios jóvenes.

Las negociaciones surgen alrededor de la creciente preocupación en Estados Unidos por el incremento de suicidios y autolesiones de adolescentes que pasaban mucho tiempo con algún Chatbot.

A esta situación se suman demandas similares en contra de OpenAI, casa matriz de ChatGPT, e incluso el uso de IA en plataformas de telemedicina que impulsaron otro suicidio. Así como las leyes para garantizar un desarrollo ético de la IA en California, Nueva York y Florida, en Estados Unidos, y otros esfuerzos alrededor del mundo como China, Taiwán, Colombia y la Unión Europea, entre otros. 

El fiscal general de Texas, Estados Unidos, Ken Paxton, abrió una investigación sobre las plataformas de chatbot de Inteligencia Artificial (IA), Meta AI Studio y Character.AI, por participar en prácticas comerciales engañosas y comercializarse engañosamente como herramientas de salud mental.

Las Demandas de Investigación Civil (CID, por sus siglas en inglés) que emitió Paxton contra Meta AI Studio y Character.AI pretenden evaluar el alcance de posibles irregularidades y determinarán si las empresas han violado las leyes de protección al consumidor de Texas, incluyendo aquellas que prohíben las reclamaciones fraudulentas, tergiversaciones de la privacidad y la ocultación del uso de datos importantes.

De acuerdo con el fiscal, estas plataformas pueden ser utilizadas por personas vulnerables, incluyendo niños, y pueden presentarse como herramientas terapéuticas profesionales, a pesar de carecer de las credenciales médicas o la supervisión adecuadas.

“En la era digital actual, debemos seguir luchando para proteger a los niños de Texas de la tecnología engañosa y explotadora. Al hacerse pasar por fuentes de apoyo emocional, las plataformas de IA pueden engañar a usuarios vulnerables, especialmente a los niños, haciéndoles creer que reciben atención de salud mental legítima. En realidad, a menudo reciben respuestas genéricas y recicladas, diseñadas para alinearse con datos personales recopilados y disfrazadas de consejo terapéutico”, detalló Ken Paxton.

Lee también: Chatbots emocionales de IA son un riesgo creciente para la salud mental

Si bien los chatbots de IA afirman su confidencialidad, sus términos de servicio revelan que las interacciones de los usuarios se registran, rastrean y se usan para publicidad dirigida y desarrollo de algoritmos, lo que genera serias preocupaciones sobre violaciones de la privacidad, abuso de datos y publicidad engañosa.

Esta investigación es la continuación de otra que está en curso sobre Character.AI por posibles violaciones de la Ley de Protección Infantil en Línea a través del Empoderamiento Parental o Ley SCOPE, que busca proteger a los menores en línea en Texas.

Cabe recordar que Character.AI sigue en el centro de las decisiones, luego de que el chatbot incitara a un menor de 13 años de edad a quitarse la vida, en octubre de 2024. 

El fiscal general señaló que esta investigación ayudará a “garantizar que las herramientas de IA sean legales, transparentes y no se utilicen como arma para aprovecharse de la ciudadanía”.

El esfuerzo por investigar prácticas inadecuadas de IA en Texas se suma a otras iniciativas, como la audiencia judicial sobre el “mayor robo de propiedad intelectual” para el entrenamiento de modelos de IA, presidida por Josh Hawley el mes pasado, y la propia iniciativa de representantes de las empresas de tecnología para monitorear más de cerca el desarrollo de la tecnología.

rfi

Character.AI, que fuera una de las nuevas empresas de inteligencia artificial más prometedoras de Silicon Valley, anunció el jueves nuevas medidas de seguridad para proteger a los usuarios adolescentes mientras enfrenta acusaciones de que sus chatbots contribuyeron al suicidio y autolesiones de jóvenes.

La empresa con sede en California, fundada por exingenieros de Google, es una de varias empresas que ofrecen chatbots diseñados para brindar conversación, entretenimiento y apoyo emocional a través de interacciones similares a las de los humanos.

En una demanda presentada en octubre en el estado de Florida, una madre afirmó que la plataforma es responsable del suicidio de su hijo de 14 años.

Leer más: https://www.rfi.fr/es/m%C3%A1s-noticias/20241213-acusada-de-favorecer-suicidios-de-adolescentes-character-ai-anuncia-medidas-de-seguridad