Ciudad de México. La implementación de la Inteligencia Artificial plantea desafíos, como los datos, la gobernanza, la seguridad, la curva de la adopción –hay humanos que están trabajando con esos modelos– y, por último, la confianza, expuso Murana Lavín, coordinadora de SCI Labs de Scitum Telmex, quien señaló que se requieren modelos donde podamos tener métricas, validar su funcionamiento y hacer las afinaciones correspondientes.
Durante el panel ¿Qué podemos esperar de la IA en la operación de la seguridad?, organizado en el marco del 2° Foro Ejecutivo de Scitum, la experta explicó que el enfoque tradicional de la IA es que ayude a acelerar tareas competitivas y asista en tareas complejas.
Gradualidad de riesgos
Enseguida, enlistó un semáforo de actividades que pueden hacerse con IA en función del riesgo: en verde, puede usarse una IA Autónoma para tomar tareas de bajo impacto, como un SOC (centro de operaciones de seguridad); en amarillo, ejecutar tareas con supervisión (human in the loop), como aislar el equipo de un usuario, o bloquear una IP o un hash; mientras que en rojo, advirtió que hay que evitar a toda costa que una IA borre una base de datos completa, tire una red o sistemas críticos, en caso de que acceda a llaves privadas, certificados o cuentas con privilegios elevados. “La IA quizás está recomendado, pero no le damos los permisos para que puedan ejecutar”, sintetizó.
Principales riesgos y soluciones
Como principales riesgos que plantea la IA, enumeró la inyección de prompts (Prompt injection) y la inversión de modelos (model inversion), en el que se puede obtener información sensible de los datos con que entrenaron la IA.
También, señaló, existe el riesgo de exfiltración de datos, cuando hay Agentes de IA con permisos muy elevados que pueden ejecutar actividades que no deberían. “El riesgo es real, pero es gestionable con los esquemas adecuados”, aclaró, y dijo que es posible hacer red teaming (o pruebas de penetración) para garantizar la privacidad y que la información vaya enmascarada.
Mejores prácticas y recomendaciones
Alberto Rodríguez, gerente regional de Ventas de Palo Alto Networks, señaló que el primer error es “aventarle todo” a la IA. “Hay que sacarle provecho, pero sin estirar la liga”, declaró, y explicó que esta puede ir del 1 al 5, pero del 5 al 10 “siempre va a estar el humano”.
También coincidió con que la IA nació con la promesa de quitarle la tarea repetitiva a quienes ya estuvieron en la operación, para que esta sea eficiente y transite de un modelo más proactivo que reactivo.
Ante la pregunta de la moderadora, Imelda Flores, líder de la Unidad de Ciberinteligencia en Scitum, sobre cómo evitar caer en el AI Washing, dijo que hay que pedirle a los proveedores que les expliquen cómo funciona, preguntarles si usan modelos propietarios o información de terceros, sus labores de compliance y entender la arquitectura con la que se cuenta. “No puedes proteger lo que no ves”, advirtió.
Por su parte, Yair Lelis, director de Ciberseguridad de Cisco en México, llamó a no utilizar la IA como un Plug & Play, sino que señaló que hay que verlo como un sistema con riesgo, en el que los datos están fragmentados y, por ende, hay que gobernarlo.
Tanto Lelis como Rodríguez coincidieron en la importancia de la procedencia y calidad de los datos, así como en la definición de los casos de uso, uno de los cuales podría ser el rollback. Lelis dijo que hay que homologarla y también averiguar qué van a hacer con los datos.
Finalmente, Lelis concluyó que, como la IA es un sistema que tiene entradas y salidas, hay que ser ciberhigiénicos con los modelos: es decir, primero arreglamos los datos y luego obtenemos los resultados esperados.