Cuando Apple lanzó su tarjeta de crédito en 2019, usuarios, especialistas y legisladores de Estados Unidos se dieron cuenta de que la empresa de la manzana otorgaba líneas de crédito más bajas a las mujeres. Es decir, partía del sesgo de género referente a que las mujeres tenían menos posibilidades de pagar que los hombres.
Y no sólo es el caso de Apple: situaciones similares se han replicado en otros servicios financieros que utilizan algoritmos para determinar la asignación de préstamos, líneas de crédito, financiamientos, hipotecas y servicios relacionados.
Usualmente, los bancos utilizan sistemas de puntaje para decidir a quién es posible aprobar un crédito y qué tanto dinero prestarle, con base en su historial de pago y su carga de deuda. Ahora en la era digital, las empresas usan la Inteligencia Artificial (IA) para calcular una suerte de puntaje electrónico que permite calificar a las personas.
El problema es que los criterios que usa la IA para determinar a quién sí y a quién no otorgar una línea de crédito no siempre son transparentes. En su libro Armas de destrucción matemática, Cathy O’Neil explica cómo a veces la solvencia de una persona se establece con base en una mezcolanza de datos como el código postal, los patrones de navegación o los hábitos de compra en línea.
También lee: Sonría, lo estamos filmando
Si vives en un barrio popular según la ubicación desde donde te conectas a Internet o navegas desde una computadora antigua; o si eres ama de casa o una madre soltera (de acuerdo con los datos de tu comportamiento en línea), probablemente no tengas dinero suficiente para pagar. Eso es lo que dice el peligroso sesgo algorítmico.
Además de Cathy O’Neil, diversos estudios ―académicos y de gobiernos como el de Estados Unidos― han advertido los riesgos de que los sistemas de Inteligencia Artificial repliquen sesgos existentes en el mundo, relacionados con la desigualdad de género, el racismo o las clases sociales, por ejemplo.
Los sistemas de IA son tecnologías de procesamiento de la información que integran modelos y algoritmos, los cuales pueden aprender y realizar tareas cognitivas para predecir resultados y tomar decisiones, tanto en entornos virtuales como materiales, según la definición de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco).
Sesgos en la Inteligencia Artificial
¿Cómo puede discriminar la tecnología? ¿Los algoritmos son sexistas y misóginos? En estricto sentido, los sistemas de IA no reproducen por sí mismos los sesgos que permean en la sociedad, sino que son alimentados y entrenados con conjuntos de datos. Esto implica que si la información de la que se nutre en un principio es sesgada entonces el algoritmo también tendrá puntos ciegos.
¿Cómo abordar los sesgos de la IA?
Más allá del género, el sesgo algorítmico presenta riesgos para la seguridad, la justicia, o el ejercicio de derechos. Se han registrado casos en los que los sistemas de reconocimiento facial que usan la IA cometen más errores al identificar a personas de color con más frecuencia que a personas blancas. Esto puede desencadenar detenciones arbitrarias e inclusive impunidad.
Un estudio de Georgia Tech también encontró que algunos sistemas de Inteligencia Artificial implementados en los vehículos autónomos tenían un desempeño deficiente al detectar personas de piel oscura, lo cual puede poner en riesgo la vida de estos peatones.
Recomendamos: La Inteligencia Artificial sí es sexista, pero no es su culpa
Los casos en los que se manifiesta el sesgo algorítmico parecen haber sido sacados de un capítulo de Black Mirror. Pero en realidad la Inteligencia Artificial es una tecnología muy poderosa que puede tener un impacto positivo en la productividad de los países, el crecimiento económico e incluso en la resolución de problemas sociales. Los sistemas de IA ya están siendo utilizados en estudios para prevenir enfermedades como el cáncer o el Alzheimer.
Sin embargo, el aprovechamiento ético e inclusivo de la Inteligencia Artificial depende de que los datos con los que son creados y entrenados los algoritmos sean lo suficientemente confiables, transparentes, diversos e inclusivos.
Por ejemplo, si un producto o servicio está dirigido al público masivo en el ámbito de la salud, es importante que se tomen en cuenta los datos de mujeres, hombres, la comunidad sexo diversa, las personas afrodescendientes, los grupos indígenas, y un largo etcétera.
Abordar los sesgos en los algoritmos de la IA tiene que ser una tarea temprana, de la que los gobiernos, empresas, la academia y organizaciones tomen acción desde el momento uno; es decir, que se eviten y se prevengan, pues los daños generados a partir de esta visión con puntos ciegos pueden ser amplios: desde la discriminación hasta la exclusión social.
En ese análisis y toma de conciencia de los sesgos, las empresas tecnológicas juegan un rol esencial. En 2019, tras recibir críticas contra su tarjeta de crédito, Apple negó que su tecnología tuviera algún sesgo de género, ya que sostuvo que ser hombre o mujer ni siquiera era un elemento que se evaluara al brindar la tarjeta.
Relacionado: Reconocimiento facial respalda el sesgo algorítmico: expertos
La compañía tecnológica simplemente dijo que el género quedó fuera de la ecuación. Pero los algoritmos no pueden ignorar una realidad social, y Apple no explicó cómo estaba abordando esta problemática para que su tecnología fuera realmente inclusiva.
¿Cómo abordar los sesgos en los algoritmos?
- Identificar los contextos en los que la IA puede ayudar a corregir los sesgos y aquellos en los que existen riesgos altos de exacerbar desigualdades sociales.
- Establecer procesos y prácticas de prueba para mitigar los sesgos en los sistemas de IA.
- Participar en la discusión rigurosa acerca de los potenciales sesgos en las decisiones humanas.
- Explorar profundamente cómo humanos y máquinas pueden trabajar mejor juntos.
- Invertir más en la investigación sobre los sesgos de los algoritmos, poner más datos a disposición de la investigación y adoptar un enfoque multidisciplinario.
- Invertir más en la diversificación del campo de la Inteligencia Artificial.
Fuente: McKinsey
También es importante que los grupos técnicos encargados del entrenamiento de la Inteligencia Artificial sean diversos e inclusivos. Hoy en día las mujeres y las minorías étnicas y sexuales, al igual que otros grupos sociales, están subrepresentadas en los equipos de ingenieros y científicos de datos.
Cuando sólo el grupo con más privilegios en la sociedad se sienta a la mesa de las decisiones importantes, es probable que muchas problemáticas y variables queden fuera y se generen mecanismos de exclusión. Una aplicación de salud puede no tomar en cuenta que las mujeres menstrúan y pasan por la menopausia, por ejemplo, o que hay una mayor predisposición genética de ciertas etnias a determinados padecimientos.
Por eso, la Unesco elaboró una serie de recomendaciones para el uso ética de la IA. Especialmente, el organismo advierte la necesidad de abordar los riesgos de los sesgos algorítmicos durante todas las etapas de sus ciclos de vida: esto contempla la investigación, la concepción, el desarrollo, el despliegue y utilización.
Los sistemas de Inteligencia Artificial ya están presentes en casi cualquier ámbito de la vida: en la publicidad dirigida de las redes sociales, los asistentes de voz como Alexa o Siri, el sistema GPS de tu coche o en los comercios electrónicos. Su adopción seguirá creciendo, y al mismo tiempo debe haber un escrutinio riguroso sobre sus repercusiones éticas y de la responsabilidad empresarial de quienes implementan los algoritmos.
