Con la creciente integración de la Inteligencia Artificial (IA) en los motores de búsqueda de Internet, surge un problema alarmante: la propagación de sesgos raciales profundamente arraigados, sustentados en datos de baja calidad y teorías desacreditadas que impulsan la “ciencia racial” y la falsa idea de la superioridad de las personas de raza blanca.

Este fenómeno se ilustra claramente en herramientas de IA de empresas como Google, Microsoft y Perplexity, que, al responder preguntas sobre temas sensibles como los puntajes de coeficiente intelectual (CI) nacionales, recurren erróneamente a investigaciones racistas para respaldar teorías pseudocientíficas sobre la supremacía racial.

En una investigación reciente, Patrik Hermansson, investigador del grupo antirracismo Hope Not Hate, con sede en el Reino Unido, descubrió que los motores de búsqueda con IA generaban respuestas de CI basadas en los datos sesgados de Richard Lynn, quien fue presidente del Pioneer Fund, un grupo fundado en 1937 por simpatizantes nazis estadounidenses con el objetivo de promover la supremacía blanca y la “mejora racial”.

Según un informe de Wired, Hermansson halló que estas cifras, manipuladas y popularizadas durante décadas por el Pioneer Fund, seguían siendo citadas sin ningún filtro por sistemas de IA, incluso después de ser desacreditadas.

Por ejemplo, al buscar “coeficiente intelectual de Pakistán”, la herramienta de Google arrojaba un puntaje promedio de 80, mientras que para Sierra Leona el resultado era de 45.07 y para Kenia, 75.2. Hermansson reconoció rápidamente estas cifras, provenientes del conjunto de datos desacreditados de Lynn, quien defendía que los CI más bajos en ciertos países eran prueba de inferioridad racial.

Estas cifras no sólo son incorrectas, sino que derivan de metodologías defectuosas. Por ejemplo, la estimación de CI en Eritrea se basa únicamente en niños huérfanos, mientras que el resultado para Botswana se obtiene a partir de una muestra limitada de 104 estudiantes de secundaria evaluados en inglés. La cifra para Somalia proviene de una muestra de refugiados en un campo de Kenia.

Estas muestras poco representativas fueron sistemáticamente utilizadas por Lynn para construir una narrativa racialmente sesgada. La investigación de Hermansson reveló que estos datos no sólo habían sobrevivido en plataformas online, sino que también habían sido absorbidos en la infraestructura de IA que millones de personas utilizan diariamente, aumentando así su alcance y el peligro de que sean aceptados como hechos científicos.

¿Por qué es tan grave esta situación?

La IA, en su papel como agregadora y sintetizadora de datos, tiene una capacidad sin precedentes para difundir información. Pero esta capacidad se convierte en un arma de doble filo cuando los modelos de IA no filtran ni descalifican información que, aunque desacreditada, sigue accesible en la web.

Un usuario sin contexto podría interpretar las respuestas generadas por la IA como verdades indiscutibles, ya que estas herramientas rara vez citan fuentes y presentan la información como absoluta, sin ofrecer al usuario la oportunidad de cuestionar su veracidad o calidad.

La falta de control en el uso de datos con los que se entrenan estos sistemas refleja también un problema profundo: el sesgo algorítmico. Este sesgo permite que la IA difunda información sin contexto y sin aclarar su procedencia. Esto plantea una cuestión ética sobre cómo la IA, incluso sin intencionalidad directa, puede llegar a radicalizar a sus usuarios al validar teorías falsas y racistas como hechos.

¿Qué están haciendo los gigantes tecnológicos para abordar este problema?

Google ha respondido a la controversia afirmando que sus sistemas no funcionaron como se esperaba, añadiendo que la información generada violaba sus políticas y que ya había sido retirada.

Microsoft, por su parte, defendió el funcionamiento de su IA mediante el uso de “citas vinculadas para permitir a los usuarios profundizar en la información”, una medida que, si bien es un paso en la dirección correcta, aún plantea dudas sobre la elección de fuentes que terminan destacando en los resultados.

Sin embargo, la persistencia del problema refleja un desafío más profundo en el diseño y desarrollo ético de la Inteligencia Artificial: ¿cómo filtrar información problemática en el contexto de un sesgo algorítmico sin perder precisión en las consultas?

Entre las soluciones que las empresas de IA podrían implementar están la reformulación de políticas de contenido, el fortalecimiento de filtros que separen contenido desinformativo del de alta calidad y el desarrollo de auditorías algorítmicas constantes que detecten sesgos en tiempo real.

La IA tiene el potencial de revolucionar el acceso y el procesamiento de la información, pero cuando se convierte en una herramienta que valida ideas radicales sin filtro, sus beneficios se ven eclipsados por el daño que causa. El riesgo de utilizar y normalizar estudios desacreditados, como los del Pioneer Fund, no sólo afecta a los usuarios que consultan estos datos, sino que perpetúa un modelo de desinformación que refuerza y promueve la discriminación y la desigualdad.

Cuando Apple lanzó su tarjeta de crédito en 2019, usuarios, especialistas y legisladores de Estados Unidos se dieron cuenta de que la empresa de la manzana otorgaba líneas de crédito más bajas a las mujeres. Es decir, partía del sesgo de género referente a que las mujeres tenían menos posibilidades de pagar que los hombres.

Y no sólo es el caso de Apple: situaciones similares se han replicado en otros servicios financieros que utilizan algoritmos para determinar la asignación de préstamos, líneas de crédito, financiamientos, hipotecas y servicios relacionados.

Usualmente, los bancos utilizan sistemas de puntaje para decidir a quién es posible aprobar un crédito y qué tanto dinero prestarle, con base en su historial de pago y su carga de deuda. Ahora en la era digital, las empresas usan la Inteligencia Artificial (IA) para calcular una suerte de puntaje electrónico que permite calificar a las personas. 

El problema es que los criterios que usa la IA para determinar a quién sí y a quién no otorgar una línea de crédito no siempre son transparentes. En su libro Armas de destrucción matemática, Cathy O’Neil explica cómo a veces la solvencia de una persona se establece con base en una mezcolanza de datos como el código postal, los patrones de navegación o los hábitos de compra en línea.

También lee: Sonría, lo estamos filmando

Si vives en un barrio popular según la ubicación desde donde te conectas a Internet o navegas desde una computadora antigua; o si eres ama de casa o una madre soltera (de acuerdo con los datos de tu comportamiento en línea), probablemente no tengas dinero suficiente para pagar. Eso es lo que dice el peligroso sesgo algorítmico.

Además de Cathy O’Neil, diversos estudios ―académicos y de gobiernos como el de Estados Unidos― han advertido los riesgos de que los sistemas de Inteligencia Artificial repliquen sesgos existentes en el mundo, relacionados con la desigualdad de género, el racismo o las clases sociales, por ejemplo.

Los sistemas de IA son tecnologías de procesamiento de la información que integran modelos y algoritmos, los cuales pueden aprender y realizar tareas cognitivas para predecir resultados y tomar decisiones, tanto en entornos virtuales como materiales, según la definición de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco).

Sesgos en la Inteligencia Artificial

¿Cómo puede discriminar la tecnología? ¿Los algoritmos son sexistas y misóginos? En estricto sentido, los sistemas de IA no reproducen por sí mismos los sesgos que permean en la sociedad, sino que son alimentados y entrenados con conjuntos de datos. Esto implica que si la información de la que se nutre en un principio es sesgada entonces el algoritmo también tendrá puntos ciegos.

¿Cómo abordar los sesgos de la IA?

Más allá del género, el sesgo algorítmico presenta riesgos para la seguridad, la justicia, o el ejercicio de derechos. Se han registrado casos en los que los sistemas de reconocimiento facial que usan la IA cometen más errores al identificar a personas de color con más frecuencia que a personas blancas. Esto puede desencadenar detenciones arbitrarias e inclusive impunidad.

Un estudio de Georgia Tech también encontró que algunos sistemas de Inteligencia Artificial implementados en los vehículos autónomos tenían un desempeño deficiente al detectar personas de piel oscura, lo cual puede poner en riesgo la vida de estos peatones.

Recomendamos: La Inteligencia Artificial sí es sexista, pero no es su culpa

Los casos en los que se manifiesta el sesgo algorítmico parecen haber sido sacados de un capítulo de Black Mirror. Pero en realidad la Inteligencia Artificial es una tecnología muy poderosa que puede tener un impacto positivo en la productividad de los países, el crecimiento económico e incluso en la resolución de problemas sociales. Los sistemas de IA ya están siendo utilizados en estudios para prevenir enfermedades como el cáncer o el Alzheimer.

Sin embargo, el aprovechamiento ético e inclusivo de la Inteligencia Artificial depende de que los datos con los que son creados y entrenados los algoritmos sean lo suficientemente confiables, transparentes, diversos e inclusivos. 

Por ejemplo, si un producto o servicio está dirigido al público masivo en el ámbito de la salud, es importante que se tomen en cuenta los datos de mujeres, hombres, la comunidad sexo diversa, las personas afrodescendientes, los grupos indígenas, y un largo etcétera.

Abordar los sesgos en los algoritmos de la IA tiene que ser una tarea temprana, de la que los gobiernos, empresas, la academia y organizaciones tomen acción desde el momento uno; es decir, que se eviten y se prevengan, pues los daños generados a partir de esta visión con puntos ciegos pueden ser amplios: desde la discriminación hasta la exclusión social.

En ese análisis y toma de conciencia de los sesgos, las empresas tecnológicas juegan un rol esencial. En 2019, tras recibir críticas contra su tarjeta de crédito, Apple negó que su tecnología tuviera algún sesgo de género, ya que sostuvo que ser hombre o mujer ni siquiera era un elemento que se evaluara al brindar la tarjeta.

Relacionado: Reconocimiento facial respalda el sesgo algorítmico: expertos

La compañía tecnológica simplemente dijo que el género quedó fuera de la ecuación. Pero los algoritmos no pueden ignorar una realidad social, y Apple no explicó cómo estaba abordando esta problemática para que su tecnología fuera realmente inclusiva.

¿Cómo abordar los sesgos en los algoritmos?

1. Identificar los contextos en los que la IA puede ayudar a corregir los sesgos y aquellos en los que existen riesgos altos de exacerbar desigualdades sociales.
2. Establecer procesos y prácticas de prueba para mitigar los sesgos en los sistemas de IA.
3. Participar en la discusión rigurosa acerca de los potenciales sesgos en las decisiones humanas.
4. Explorar profundamente cómo humanos y máquinas pueden trabajar mejor juntos.
5. Invertir más en la investigación sobre los sesgos de los algoritmos, poner más datos a disposición de la investigación y adoptar un enfoque multidisciplinario.
6. Invertir más en la diversificación del campo de la Inteligencia Artificial.

Fuente: McKinsey

También es importante que los grupos técnicos encargados del entrenamiento de la Inteligencia Artificial sean diversos e inclusivos. Hoy en día las mujeres y las minorías étnicas y sexuales, al igual que otros grupos sociales, están subrepresentadas en los equipos de ingenieros y científicos de datos.

Cuando sólo el grupo con más privilegios en la sociedad se sienta a la mesa de las decisiones importantes, es probable que muchas problemáticas y variables queden fuera y se generen mecanismos de exclusión. Una aplicación de salud puede no tomar en cuenta que las mujeres menstrúan y pasan por la menopausia, por ejemplo, o que hay una mayor predisposición genética de ciertas etnias a determinados padecimientos.

Por eso, la Unesco elaboró una serie de recomendaciones para el uso ética de la IA. Especialmente, el organismo advierte la necesidad de abordar los riesgos de los sesgos algorítmicos durante todas las etapas de sus ciclos de vida: esto contempla la investigación, la concepción, el desarrollo, el despliegue y utilización.

Los sistemas de Inteligencia Artificial ya están presentes en casi cualquier ámbito de la vida: en la publicidad dirigida de las redes sociales, los asistentes de voz como Alexa o Siri, el sistema GPS de tu coche o en los comercios electrónicos. Su adopción seguirá creciendo, y al mismo tiempo debe haber un escrutinio riguroso sobre sus repercusiones éticas y de la responsabilidad empresarial de quienes implementan los algoritmos.

En Brasil, 90 por ciento de las personas detenidas a través de sistemas de reconocimiento facial son negras. Esto se debe a datos y software sesgados con un margen de error del 10 por ciento, una cifra inconcebible para muchos desarrolladores. Estos datos fueron presentados en FebrabanTech 2023, por especialistas en derecho digital y en el área de tecnología del proyecto Educafro, orientado a la inclusión y permanencia de personas negras en distintos espacios, especialmente universitarios.

Un ejemplo de este problema, presentado en el taller “Racismo algorítmico: del concepto a la práctica en la sociedad cotidiana”, es el fatídico caso de la investigadora del MIT (Massachusetts Institute of Technology) Joy Buolamwini, quien inició un proyecto llamado Aspire Mirror, una herramienta desarrollada para diseñar máscaras digitales en el reflejo de quienes las usan.

Mediante el uso de un software genérico de reconocimiento facial, la científica, que es negra, descubrió que no se detectó su rostro. Tras descartar los problemas tecnológicos, hizo una prueba colocándose una máscara blanca sobre el rostro y fue reconocida de inmediato. La experiencia se menciona en el documental “Coded Bias“.

“Toda esta tecnología [de biometría y reconocimiento facial] promete seguridad y practicidad. ¿Pero para quién?”, cuestionó Thamires Orefice, consultora legal de Educafro, especializada en derecho digital. “No hay datos que demuestren esta seguridad y apenas tenemos tiempo para aplicar y monitorear la velocidad de este tipo de tecnologías, por lo que es necesaria una mejor regulación y revisión”, agregó.

Por eso, la experta aclaró que la posición de Educafro es realmente la prohibición de este sistema o al menos una revisión actualizada de los datos para aplicarlo.

El problema del sesgo del algoritmo

Como se sabe, la tecnología de reconocimiento facial se basa en software y algoritmos que mapean patrones en los rostros de las personas que utilizan una base de datos. Y, como explicó Áubio Ferreira, ingeniero informático e investigador de Educafro Tech, las máquinas no son productos cognitivos, se alimentan de una base de quienes las entrenan y desarrollan estos algoritmos: en definitiva, un grupo homogéneo, formado por hombres blancos y cisgénero.

“A nivel de TI, lo que hay que hacer es un refinamiento de los datos. El error del 10 por ciento en el reconocimiento facial no es aceptable; 1 por ciento en el área de búsqueda ya es un número enorme. Cuando los supuestos matemáticos son erróneos, se generan situaciones desastrosas”, dijo Ferreira.

Para resaltar este problema, los expertos mostraron datos de la organización PretaLab, que indican que en Brasil, 65 por ciento de las mujeres están fuera del área de TI y este número se agrava si son madres; en el 67.4 por ciento de los casos, personas que viven en barrios periféricos y vulnerables constituyen como máximo el 10 por ciento de las personas en los equipos de tecnología de las empresas; el 95.9 por ciento de ellos no incluye a ningún indígena y la falta de personas negras oscila entre 38 y 68 por ciento en esta área.

Empresas diversas generan soluciones más asertivas y rentables

“Al considerar estos aspectos, entendemos que la tecnología es un espacio de poder, y por eso debemos ocuparlo”, indicó Thamires Orefice.

La pareja también afirmó, según un estudio de la consultora McKinsey titulado La diversidad como palanca de desempeño, que una empresa diversa puede obtener beneficios reales. El análisis realizado con más de mil empresas en 12 países arrojó que la diversidad de género en los puestos ejecutivos puede incrementar las ganancias en un 21 por ciento en comparación con aquellas que no trabajan en este tema.

En los casos de mayor diversidad étnica y cultural, este número se eleva al 31 por ciento.

Conforme surgen más aplicaciones de Inteligencia Artificial (IA) en múltiples tareas, desde evaluaciones de crédito bancario hasta en procesos de reclutamiento, múltiples gobiernos y organizaciones comienzan a explorar el uso de nuevas herramientas de regulación que permitan evaluar y mitigar los riesgos, sin frenar el crecimiento de la nueva tecnología.

A lo largo del año se presentaron diversas iniciativas, tanto de regulación en el uso de algoritmos y soluciones basadas en Inteligencia Artificial, así como guías de desarrollo enfocadas en la evaluación de riesgos para mejorar los beneficios de su aplicación.

A mediados del año, la Unión Europea presentó un nuevo marco legal para el desarrollo de la IA con un enfoque basado en la evaluación de nivel de riesgo, pero con limitaciones muy claras, como evitar su uso para la vigilancia masiva o en aplicaciones de crédito social.

Asimismo, durante la reunión del Consejo en Comercio y Tecnología (TTC) celebrada en octubre, Estados Unidos y Europa acordaron impulsar el desarrollo de sistemas basados en IA, pero “que respeten los derechos humanos universales y los valores democráticos compartidos”.

En el Congreso de Estados Unidos se prepara la reintroducción de la llamada Ley de Responsabilidad Algorítmica, originalmente presentada en 2019 como una propuesta bipartidista, pero que no progresó más allá del nivel de comité.

La nueva versión del proyecto de ley requeriría que las empresas que utilizan sistemas automatizados de toma de decisiones en áreas como la atención médica, la vivienda, el empleo o la educación realicen evaluaciones de impacto e informen regularmente los resultados a la Comisión Federal de Comercio (FTC), según informa Wired con base en un borrador de la propuesta.

Un portavoz del senador Ron Wyden (D-Oregon), uno de los copatrocinadores del proyecto, señala que se solicitará a la FTC la creación de un depósito público de sistemas automatizados de toma de decisiones, con el objetivo de establecer un proceso de evaluación para permitir una futura regulación por parte del Congreso o agencias como la FTC. El borrador solicita a la FTC que decida qué debe incluirse en las evaluaciones de impacto y los informes resumidos.

“Los algoritmos no deberían tener una exención de nuestras leyes contra la discriminación. Nuestro proyecto de ley reconoce que los algoritmos tienen autores y, sin una supervisión diligente, pueden reflejar los prejuicios de quienes están detrás del teclado”, señaló la representante Yvette Clarke durante la presentación original en 2019.

Múltiples organizaciones han sonado la alarma respecto a los posibles riesgos del uso de IA, que no se refieren únicamente a la privacidad o seguridad de los usuarios, sino también el efecto que podrían tener sobre la profundización de temas como la desigualdad y el racismo. 

Estudios realizados a sistemas de reconocimiento facial o en soluciones para el reclutamiento de personal han encontrado que estas soluciones exhiben una tendencia a la discriminación racial. Expertos apuntan a que uno de los principales factores es la falta propia de la diversidad en el desarrollo de estos sistemas, así como los datos sin filtro o sin supervisión con los que son alimentados.

Por su parte, la OCDE presentó su marco general para la clasificación de aplicaciones de IA, que pretende ayudar a los formuladores de políticas en el análisis de la regulación y normas que deberán cumplir los participantes de la industria.

El enfoque propuesto por el organismo se basa en cuatro dimensiones de los sistemas de IA que reflejan sus prioridades centrales. El primero es el contexto del sistema, que incluye el sector en el que opera, la escala de su despliegue, el tipo de usuarios que interactúan con él y el grado de elección que tienen al utilizar este sistema. La segunda dimensión son los datos y la entrada de información que fluyen del contexto al sistema de IA. En tercer lugar, el modelo de IA en sí, incluidas características como el tipo y el método de entrenamiento. Y, finalmente, la última dimensión analiza la tarea que está realizando el sistema de IA y su salida, incluido su nivel y grado de autonomía.

Un próximo informe de la Algorithmic Justice League (AJL), una organización privada sin fines de lucro, recomienda exigir la divulgación cuando se usa un modelo de IA y crear un repositorio público de incidentes en los que la IA causó daños. El repositorio podría ayudar a los auditores a detectar posibles problemas con los algoritmos y ayudar a los reguladores a investigar o multar a los infractores reincidentes. El informe dice que es crucial que los auditores sean independientes y que los resultados puedan ser revisados públicamente.

El mes pasado, la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco) también presentó su propia guía de ética para el desarrollo de IA, en el que se delinean recomendaciones para los países firmantes, aunque no representa un acuerdo vinculante.

El texto publicado recomienda a las empresas y desarrolladores la adopción de procesos de evaluación de impacto ético, mientras que a los gobiernos invita a implementar “fuertes mecanismos de aplicación y acciones correctivas” para proteger los derechos humanos. También insta a los gobiernos a dedicar fondos públicos para promover la diversidad en la tecnología, proteger a las comunidades indígenas y monitorear la huella de carbono de las tecnologías de IA.

Entre otras iniciativas, el Concejo de la Ciudad de Nueva York emitió una nueva ley que requerirá la realización de auditorías para los algoritmos que utilizan las compañías en la toma de decisiones de contrataciones o promociones laborales, así como nuevas medidas de transparencia que permitan a los aplicaciones o empleados conocer cuándo se utilizan estas herramientas.

En 2020, la ciudad de Minneapolis, en Estados Unidos, fue el epicentro de protestas masivas que originaron el movimiento Black Lives Matter, luego de que uno de sus oficiales de policía mató al ciudadano afroamericano George Floyd.

Con este antecedente, el Ayuntamiento de Minneapolis votó unánimemente este viernes 12 de febrero para prohibir el uso de software de reconocimiento facial por parte de su Departamento de Policía y otras agencias de la ciudad.

Te recomendamos: Amnistía Internacional pide prohibir reconocimiento facial en Nueva York

Varias investigaciones han descubierto que este tipo de tecnología tiene problemas y sesgos para detectar correctamente a personas por su edad, raza, etnia e incluso género.

Los estudios demuestran que las personas negras y latinas han sido las más discriminadas por dichos algoritmos.

La orden prohíbe a los empleados del gobierno de la ciudad adquirir o usar sistemas externos de reconocimiento facial, como el de la controvertida startup Clearview AI, que también ha sido usado por el Departamento de Policía de Minneapolis y por otras agencias estadounidenses, como el Servicio de Inmigración y Control de Aduanas y el Departamento de Seguridad Nacional.

Otras ciudades como Portland, Oregón, Boston y Alameda en California, también han comenzado a prohibir esta tecnología en sus agencias policiales, en menor y mayor medida, gracias a la creciente presión de grupos defensores de la privacidad que están preocupados por que la vigilancia masiva del gobierno pueda agudizar la desigualdad y prejuicios raciales existentes en la justicia penal.

En la víspera navideña de 2019, Nijeer Parks, un hombre afroamericano de 33 años, fue arrestado por la policía de Nueva Jersey, tras haber sido identificado erróneamente por un sistema de reconocimiento facial.

Este ha sido el tercer caso de ciudadanos estadounidenses de color que han sido erróneamente identificados. También está el caso de los principales asistentes de voz como Siri y Alexa. Un estudio detectó que estos sistemas comenten muchos más errores con los usuarios negros que con los blancos.

Los sesgos raciales y de género en la Inteligencia Artificial (IA) son un problema actual que impide la inclusión e innovación en la industria tecnológica. En el marco de la feria tecnológica CES 2021, Kimberly Sterling, ejecutiva de la compañía de dispositivos médicos ResMed, señaló que “uno de los grandes desafíos de la IA y de muchos de los modelos de predicción es la falta de un conjunto de datos con poblaciones diversas que realmente reflejen la heterogeneidad dentro de Estados Unidos”.

“El software puede ser muy sofisticado, pero como tecnólogos, nuestro enfoque necesita estar en los datos para crear un algoritmo que realmente nos represente a todos”, afirmó Taniya Mishra, fundadora y directora Ejecutiva de la plataforma de capacitación en IA, MySureStart. 

Todas las voces deben ser escuchadas

De acuerdo con Annie Jean-Baptiste, jefa de Inclusión de producto en Google, en la construcción de una IA “es muy importante asegurarnos que todas las voces están siendo escuchadas durante el proceso de diseño de un nuevo producto, especialmente las que han sido históricamente subrepresentadas”.

Además de contar con un equipo diverso, otra de las soluciones que las expertas mencionaron durante el panel es la educación en la organización, así como una comunicación compartida con todas las áreas de un equipo.

“En esta década vamos a tener un gran enfoque en la equidad e igualdad en los equipos de la comunidad tecnológica”, afirmó Taniya Mishra. “Debemos tener en cuenta que las máquinas no están reemplazando a los humanos. Los humanos trabajaremos con las máquinas para empoderarnos unos a otros”.

“Pensar en la tecnología cuando se hace un bien, realmente tiene el poder de amplificar la vida de las personas, y cuando tenemos muchos tipos de perspectivas, los resultados son mejores para todos”, dijo la jefa de Inclusión de producto de Google. “La inclusión siempre impulsa la innovación”, concluyó.