Investigadores desarrollan un método para que la IA olvide cosas y sea más eficiente
Un grupo de investigadores de la Universidad de Ciencias de Tokio desarrolló una metodología denominada “olvido de caja negra”, que permite que los grandes modelos de IA olviden información innecesaria para ser más eficientes.
Olvidar cosas podría volver a los sistemas de Inteligencia Artificial (IA) más eficientes y seguros. Por eso, un grupo de investigadores de la Universidad de Ciencias de Tokio, Japón, desarrolló un método que permitiría que la IA olvide selectivamente algunas de las clases de datos que puede reconocer.
Los investigadores desarrollaron una metodología denominada “olvido de caja negra”, mediante la cual se pueden optimizar iterativamente las indicaciones de texto presentadas a un modelo como ChatGPT para que este olvide selectivamente cierta información.
Se trata de que los sistemas de IA olviden únicamente información innecesaria; es decir, aquella que el modelo no requerirá para funcionar en un determinado entorno o para las funciones que se exigirán de él.
“En aplicaciones prácticas, rara vez se requiere la clasificación de todo tipo de clases de objetos. Por ejemplo, en un sistema de conducción autónoma, sería suficiente reconocer clases limitadas de objetos como automóviles, peatones y señales de tráfico. No necesitaríamos reconocer alimentos, muebles o especies animales”.
“Retener las clases que no necesitan ser reconocidas puede reducir la precisión general de la clasificación, así como causar desventajas operativas como el desperdicio de recursos computacionales y el riesgo de fuga de información”, explicó Go Irie, profesor de la Universidad de Ciencias de Tokio y uno de los colaboradores en la investigación.
Destacado: Hambrienta de energía, la Inteligencia Artificial plantea un desafío para el cambio climático
Cuando los modelos de lenguaje a gran escala como CLIP o ChatGPT son entrenados, están listos para desempeñar tareas en una amplia variedad de campos, lo que ha impulsado su adopción generalizada en sectores específicos y también entre la sociedad.
Sin embargo, esta gran capacidad tiene una contraparte: el entrenamiento y funcionamiento de este tipo de modelos consumen enormes cantidades de energía y tiempo, lo cual eleva los costos y tiene un impacto significativo en el medio ambiente.
En ese sentido, los investigadores consideran que el desarrollo de un método para que los modelos olviden ciertas cosas mejoraría la sostenibilidad, eficiencia e incluso la seguridad y privacidad de los datos.
Los grandes modelos de lenguaje suelen contener amplios volúmenes de datos, que incluso puede ser privada o confidencial, por lo que el desaprendizaje selectivo les podría ayudar a cumplir con las legislaciones sobre privacidad.
La caja negra de la IA
Existen modelos de Inteligencia Artificial de caja blanca y de caja negra. Con los primeros, es posible observar su funcionamiento interno y modificar o eliminar ciertos datos.
Mientras tanto, los sistemas de cajas negras, que son la mayoría de los modelos actuales, tienen una arquitectura interna cerrada o secreta para hacerlos más seguros. Pero esta característica también impide que se elimine información específica.
Te recomendamos: Sam Altman predice que en 2025 estaremos un paso más cerca de la Inteligencia Artificial General
Para abordar esta situación y posibilitar que la IA olvide cosas, los investigadores de la Universidad de Ciencias de Tokio usan la optimización sin derivados para mirar el interior de los grandes sistemas de lenguaje y ajustar las indicaciones de entrada hasta que el modelo “olvide” ciertas clases de datos.
El equipo de investigadores enfocó sus experimentos en CLIP, un modelo de lenguaje visual para la clasificación de imágenes.
El método que desarrollaron se basa en la Estrategia de Evolución de Adaptación de Matriz de Covarianza (CMA-ES), un algoritmo diseñado para optimizar las soluciones paso a paso.
Al aplicar la CMA-ES, los investigadores pudieron evaluar y perfeccionar las indicaciones proporcionadas a CLIP, y eliminar la capacidad del modelo de clasificar categorías de imágenes específicas.
Los resultados de las pruebas arrojaron que el modelo de IA logró olvidar alrededor del 40 por ciento de las clases de datos de un conjunto de datos determinado.
Entre los investigadores que participaron en este proyecto también se encuentran Yusuke Kuwana y Yuta Goto, de la Universidad de Ciencias de Tokio; así como Takashi Shibata de NEC Corporation.