Cuando Apple lanzó su tarjeta de crédito en 2019, usuarios, especialistas y legisladores de Estados Unidos se dieron cuenta de que la empresa de la manzana otorgaba líneas de crédito más bajas a las mujeres. Es decir, partía del sesgo de género referente a que las mujeres tenían menos posibilidades de pagar que los hombres.

Y no sólo es el caso de Apple: situaciones similares se han replicado en otros servicios financieros que utilizan algoritmos para determinar la asignación de préstamos, líneas de crédito, financiamientos, hipotecas y servicios relacionados.

Usualmente, los bancos utilizan sistemas de puntaje para decidir a quién es posible aprobar un crédito y qué tanto dinero prestarle, con base en su historial de pago y su carga de deuda. Ahora en la era digital, las empresas usan la Inteligencia Artificial (IA) para calcular una suerte de puntaje electrónico que permite calificar a las personas. 

El problema es que los criterios que usa la IA para determinar a quién sí y a quién no otorgar una línea de crédito no siempre son transparentes. En su libro Armas de destrucción matemática, Cathy O’Neil explica cómo a veces la solvencia de una persona se establece con base en una mezcolanza de datos como el código postal, los patrones de navegación o los hábitos de compra en línea.

También lee: Sonría, lo estamos filmando

Si vives en un barrio popular según la ubicación desde donde te conectas a Internet o navegas desde una computadora antigua; o si eres ama de casa o una madre soltera (de acuerdo con los datos de tu comportamiento en línea), probablemente no tengas dinero suficiente para pagar. Eso es lo que dice el peligroso sesgo algorítmico.

Además de Cathy O’Neil, diversos estudios ―académicos y de gobiernos como el de Estados Unidos― han advertido los riesgos de que los sistemas de Inteligencia Artificial repliquen sesgos existentes en el mundo, relacionados con la desigualdad de género, el racismo o las clases sociales, por ejemplo.

Los sistemas de IA son tecnologías de procesamiento de la información que integran modelos y algoritmos, los cuales pueden aprender y realizar tareas cognitivas para predecir resultados y tomar decisiones, tanto en entornos virtuales como materiales, según la definición de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco).

Sesgos en la Inteligencia Artificial

¿Cómo puede discriminar la tecnología? ¿Los algoritmos son sexistas y misóginos? En estricto sentido, los sistemas de IA no reproducen por sí mismos los sesgos que permean en la sociedad, sino que son alimentados y entrenados con conjuntos de datos. Esto implica que si la información de la que se nutre en un principio es sesgada entonces el algoritmo también tendrá puntos ciegos.

¿Cómo abordar los sesgos de la IA?

Más allá del género, el sesgo algorítmico presenta riesgos para la seguridad, la justicia, o el ejercicio de derechos. Se han registrado casos en los que los sistemas de reconocimiento facial que usan la IA cometen más errores al identificar a personas de color con más frecuencia que a personas blancas. Esto puede desencadenar detenciones arbitrarias e inclusive impunidad.

Un estudio de Georgia Tech también encontró que algunos sistemas de Inteligencia Artificial implementados en los vehículos autónomos tenían un desempeño deficiente al detectar personas de piel oscura, lo cual puede poner en riesgo la vida de estos peatones.

Recomendamos: La Inteligencia Artificial sí es sexista, pero no es su culpa

Los casos en los que se manifiesta el sesgo algorítmico parecen haber sido sacados de un capítulo de Black Mirror. Pero en realidad la Inteligencia Artificial es una tecnología muy poderosa que puede tener un impacto positivo en la productividad de los países, el crecimiento económico e incluso en la resolución de problemas sociales. Los sistemas de IA ya están siendo utilizados en estudios para prevenir enfermedades como el cáncer o el Alzheimer.

Sin embargo, el aprovechamiento ético e inclusivo de la Inteligencia Artificial depende de que los datos con los que son creados y entrenados los algoritmos sean lo suficientemente confiables, transparentes, diversos e inclusivos. 

Por ejemplo, si un producto o servicio está dirigido al público masivo en el ámbito de la salud, es importante que se tomen en cuenta los datos de mujeres, hombres, la comunidad sexo diversa, las personas afrodescendientes, los grupos indígenas, y un largo etcétera.

Abordar los sesgos en los algoritmos de la IA tiene que ser una tarea temprana, de la que los gobiernos, empresas, la academia y organizaciones tomen acción desde el momento uno; es decir, que se eviten y se prevengan, pues los daños generados a partir de esta visión con puntos ciegos pueden ser amplios: desde la discriminación hasta la exclusión social.

En ese análisis y toma de conciencia de los sesgos, las empresas tecnológicas juegan un rol esencial. En 2019, tras recibir críticas contra su tarjeta de crédito, Apple negó que su tecnología tuviera algún sesgo de género, ya que sostuvo que ser hombre o mujer ni siquiera era un elemento que se evaluara al brindar la tarjeta.

Relacionado: Reconocimiento facial respalda el sesgo algorítmico: expertos

La compañía tecnológica simplemente dijo que el género quedó fuera de la ecuación. Pero los algoritmos no pueden ignorar una realidad social, y Apple no explicó cómo estaba abordando esta problemática para que su tecnología fuera realmente inclusiva.

¿Cómo abordar los sesgos en los algoritmos?

1. Identificar los contextos en los que la IA puede ayudar a corregir los sesgos y aquellos en los que existen riesgos altos de exacerbar desigualdades sociales.
2. Establecer procesos y prácticas de prueba para mitigar los sesgos en los sistemas de IA.
3. Participar en la discusión rigurosa acerca de los potenciales sesgos en las decisiones humanas.
4. Explorar profundamente cómo humanos y máquinas pueden trabajar mejor juntos.
5. Invertir más en la investigación sobre los sesgos de los algoritmos, poner más datos a disposición de la investigación y adoptar un enfoque multidisciplinario.
6. Invertir más en la diversificación del campo de la Inteligencia Artificial.

Fuente: McKinsey

También es importante que los grupos técnicos encargados del entrenamiento de la Inteligencia Artificial sean diversos e inclusivos. Hoy en día las mujeres y las minorías étnicas y sexuales, al igual que otros grupos sociales, están subrepresentadas en los equipos de ingenieros y científicos de datos.

Cuando sólo el grupo con más privilegios en la sociedad se sienta a la mesa de las decisiones importantes, es probable que muchas problemáticas y variables queden fuera y se generen mecanismos de exclusión. Una aplicación de salud puede no tomar en cuenta que las mujeres menstrúan y pasan por la menopausia, por ejemplo, o que hay una mayor predisposición genética de ciertas etnias a determinados padecimientos.

Por eso, la Unesco elaboró una serie de recomendaciones para el uso ética de la IA. Especialmente, el organismo advierte la necesidad de abordar los riesgos de los sesgos algorítmicos durante todas las etapas de sus ciclos de vida: esto contempla la investigación, la concepción, el desarrollo, el despliegue y utilización.

Los sistemas de Inteligencia Artificial ya están presentes en casi cualquier ámbito de la vida: en la publicidad dirigida de las redes sociales, los asistentes de voz como Alexa o Siri, el sistema GPS de tu coche o en los comercios electrónicos. Su adopción seguirá creciendo, y al mismo tiempo debe haber un escrutinio riguroso sobre sus repercusiones éticas y de la responsabilidad empresarial de quienes implementan los algoritmos.

En Brasil, 90 por ciento de las personas detenidas a través de sistemas de reconocimiento facial son negras. Esto se debe a datos y software sesgados con un margen de error del 10 por ciento, una cifra inconcebible para muchos desarrolladores. Estos datos fueron presentados en FebrabanTech 2023, por especialistas en derecho digital y en el área de tecnología del proyecto Educafro, orientado a la inclusión y permanencia de personas negras en distintos espacios, especialmente universitarios.

Un ejemplo de este problema, presentado en el taller “Racismo algorítmico: del concepto a la práctica en la sociedad cotidiana”, es el fatídico caso de la investigadora del MIT (Massachusetts Institute of Technology) Joy Buolamwini, quien inició un proyecto llamado Aspire Mirror, una herramienta desarrollada para diseñar máscaras digitales en el reflejo de quienes las usan.

Mediante el uso de un software genérico de reconocimiento facial, la científica, que es negra, descubrió que no se detectó su rostro. Tras descartar los problemas tecnológicos, hizo una prueba colocándose una máscara blanca sobre el rostro y fue reconocida de inmediato. La experiencia se menciona en el documental “Coded Bias“.

“Toda esta tecnología [de biometría y reconocimiento facial] promete seguridad y practicidad. ¿Pero para quién?”, cuestionó Thamires Orefice, consultora legal de Educafro, especializada en derecho digital. “No hay datos que demuestren esta seguridad y apenas tenemos tiempo para aplicar y monitorear la velocidad de este tipo de tecnologías, por lo que es necesaria una mejor regulación y revisión”, agregó.

Por eso, la experta aclaró que la posición de Educafro es realmente la prohibición de este sistema o al menos una revisión actualizada de los datos para aplicarlo.

El problema del sesgo del algoritmo

Como se sabe, la tecnología de reconocimiento facial se basa en software y algoritmos que mapean patrones en los rostros de las personas que utilizan una base de datos. Y, como explicó Áubio Ferreira, ingeniero informático e investigador de Educafro Tech, las máquinas no son productos cognitivos, se alimentan de una base de quienes las entrenan y desarrollan estos algoritmos: en definitiva, un grupo homogéneo, formado por hombres blancos y cisgénero.

“A nivel de TI, lo que hay que hacer es un refinamiento de los datos. El error del 10 por ciento en el reconocimiento facial no es aceptable; 1 por ciento en el área de búsqueda ya es un número enorme. Cuando los supuestos matemáticos son erróneos, se generan situaciones desastrosas”, dijo Ferreira.

Para resaltar este problema, los expertos mostraron datos de la organización PretaLab, que indican que en Brasil, 65 por ciento de las mujeres están fuera del área de TI y este número se agrava si son madres; en el 67.4 por ciento de los casos, personas que viven en barrios periféricos y vulnerables constituyen como máximo el 10 por ciento de las personas en los equipos de tecnología de las empresas; el 95.9 por ciento de ellos no incluye a ningún indígena y la falta de personas negras oscila entre 38 y 68 por ciento en esta área.

Empresas diversas generan soluciones más asertivas y rentables

“Al considerar estos aspectos, entendemos que la tecnología es un espacio de poder, y por eso debemos ocuparlo”, indicó Thamires Orefice.

La pareja también afirmó, según un estudio de la consultora McKinsey titulado La diversidad como palanca de desempeño, que una empresa diversa puede obtener beneficios reales. El análisis realizado con más de mil empresas en 12 países arrojó que la diversidad de género en los puestos ejecutivos puede incrementar las ganancias en un 21 por ciento en comparación con aquellas que no trabajan en este tema.

En los casos de mayor diversidad étnica y cultural, este número se eleva al 31 por ciento.

São Paulo.- No Brasil, 90% das pessoas presas por meio de sistemas de reconhecimento facial são negras. Isso se dá por conta de dados enviesados e softwares com uma margem de falha de 10%, um número inconcebível para muitos desenvolvedores. Esses dados foram divulgados nesta quinta-feira, 29, na FebrabanTech 2023, por especialistas do direito digital e da área de tecnologia do projeto Educafro, voltado para inserção e permanência de pessoas pretas em diferentes espaços, sobretudo universidades.

Um exemplo dessa problemática, apresentado no workshop “racismo algorítmico: do conceito à prática na sociedade cotidiana”, é o fatídico caso da pesquisadora do MIT (Massachusetts Institute of Technology), Joy Buolamwini, que deu início a um projeto chamado Aspire Mirror, uma ferramenta desenvolvida para projetar máscaras digitais no reflexo de quem a utilizasse.

Ao usar um software genérico de reconhecimento facial, a cientista, que é negra, descobriu que seu rosto não era detectado. Após descartar os problemas tecnológicos, fez um teste colocando uma máscara branca sobre seu rosto e foi prontamente reconhecida. A experiência é citada no documentário “Coded Bias”.

“Toda essa tecnologia [de biometria e reconhecimento facial] promete segurança e praticidade. Mas para quem?”, questionou Thamires Orefice, consultora jurídica da Educafro, especializada em direito digital. “Não existem dados que comprovem essa segurança e mal temos tempo de aplicar e acompanhar a velocidade de tais tecnologias, por isso é necessário uma melhor regulamentação e revisão”, completa.

Portanto, a especialista esclarece que o posicionamento da Educafro é mesmo o banimento desse sistema ou no mínimo uma revisão atualizada dos dados para aplicá-lo.

O problema do viés dos algoritmos

Como é sabido, a tecnologia de reconhecimento facial é baseada em softwares e algoritmos que fazem o mapeamento de padrões nos rostos dos indivíduos a partir do uso de um banco de dados. E, como esclarece Áubio Ferreira, engenheiro da computação e pesquisador da Educafro Tech, as máquinas não são produtos cognitivos, elas são abastecidas com uma base de quem as treinam e desenvolvem esses algoritmos: em suma, um grupo homogêneo, formado por homens brancos e cisgêneros.

“A nível de TI o que precisa ser feito é uma refinação dos dados. 10% de erro em reconhecimento facial não é aceitável; 1% em área de pesquisa, já é um número gritante. Quando as premissas matemáticas são equivocadas isso resulta em situações desastrosas”, diz Ferreira.

Para evidenciar essa problemática, os especialistas mostraram dados da organização PretaLab, que apontam que no Brasil, 65% das mulheres estão fora da área de TI e esse número piora se forem mães; em 67,4% dos casos, as pessoas que moram em bairros periféricos e vulneráveis representam um máximo de 10% das pessoas nas equipes de tecnologia das empresas; 95,9% delas não integra nenhuma pessoa indígena e a falta de pessoas negras vai de 38 a 68% nessa área.

Empresas diversas geram soluções mais assertivas e lucrativas

“Ao considerar esses aspectos, entendemos que a tecnologia é um espaço de poder, e por isso devemos ocupá-lo”, explica Thamires Orefice.

A dupla também afirmou, segundo estudo da consultoria McKinsey, intitulado “A diversidade como alavanca de desempenho” que uma empresa diversa pode obter benefícios reais. A análise feita com mais de mil empresas em 12 países, mostrou que a diversidade de gênero em cargos executivos pode aumentar em 21% os lucros em comparação com aquelas que não trabalham essa questão.

Já nos casos de maior diversidade étnica e cultura, esse número se eleva para 31%.