¿Cómo los algoritmos y la IA reproducen y a veces amplifican desigualdades históricas?
Por décadas, la inteligencia artificial (IA) fue imaginada como una tecnología neutral, guiada por datos y matemáticas. Sin embargo, a menudo, estos sistemas se nutren de datos llenos de estereotipos que reflejan y refuerzan los sesgos de género. Y es que la IA no solo refleja el mundo, sino también sus desigualdades. En esa distorsión, las mujeres salen perdiendo.
“Hay sesgos de género, por ejemplo, Linkedin nunca me va a proponer una oportunidad de trabajo en un puesto de liderazgo o gerencial, ¿por qué?, porque el algoritmo siempre ha sido alimentado por la tendencia y esta apunta a que estos cargos están ocupados por hombres. Ante este algoritmo, ser mujer ya me quita oportunidades y ser mujer latinoamericana lo hace aún más”, afirmó Verónica Ágreda, rectora de la Universidad Franz Tamayo (Unifranz).
Lejos de ser un problema abstracto, los algoritmos están tomando decisiones con impactos reales: quién accede a un crédito, qué currículum llega a una entrevista, a quién vigila un sistema de reconocimiento facial, o qué voces escuchan millones de personas cuando piden información a sus asistentes digitales.
El origen del sesgo
Los algoritmos y sistemas de IA, al igual que los modelos de aprendizaje automático, están diseñados para realizar tareas de forma más rápida que los humanos, de forma casi automática. Para ello son alimentadas con datos que les permiten aprender determinados procesos. Cuando estos modelos se nutren de algoritmos sesgados, refuerzan las desigualdades imperantes y fomentan la discriminación de género en la IA.
Zinnya del Villar, experta en IA responsable, afirmó en una charla con ONU Mujeres que “a menudo, los sistemas de IA, se nutren de datos llenos de estereotipos”. Explicó que estos sesgos pueden limitar las oportunidades y la diversidad, en especial, en ámbitos como la toma de decisiones, las contrataciones, el otorgamiento de préstamos y los fallos judiciales.
Por ejemplo, si entrenamos a una IA para que tome decisiones de contratación con ejemplos que respondan a estereotipos de género -como que los hombres se dedican a las ramas STEM y las mujeres al cuidado- la IA generará filtros que no tomen en cuenta a las mujeres para puestos que tengan que ver con la ciencia.
Esta situación se denomina sesgos de género en la IA, es decir, cuando la IA trata a las personas de manera diferente según su género porque es lo que aprendió de los datos sesgados con que se alimentó.
Las más invisibilizadas por la IA
En 2018, la investigadora Joy Buolamwini, junto con Timnit Gebru, publicó “Gender Shades”, un análisis sobre cómo tres de los principales sistemas de reconocimiento facial clasificados por grandes tecnológicas fallaban mucho más con mujeres de piel oscura que con hombres de piel clara.
Los resultados mostraron errores de hasta 34,7 % al clasificar rostros de mujeres negras. De forma contraria, sólo se presentaron errores entre el 0 % y 0,7 % al tratarse de hombres blancos. La brecha interseccional fue de más de 34 puntos porcentuales.
El Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST) confirmó en 2019 que las diferencias de rendimiento entre grupos demográficos son reales y generalizadas. Su evaluación masiva de 189 algoritmos halló variaciones significativas por sexo, edad y origen étnico.
Aunque muchos algoritmos han mejorado desde entonces, el NIST advierte que el sesgo demográfico continúa siendo un riesgo crítico, especialmente en aplicaciones de “alto impacto”, como vigilancia o control fronterizo.
Otro ejemplo muy conocido es el de 2018, cuando una investigación reveló que Amazon abandonó en secreto un sistema interno de selección de currículums porque descartó automáticamente a las mujeres. El modelo, entrenado con diez años de historiales laborales donde predominaban los hombres, aprendió que los perfiles masculinos eran “mejores”.
La empresa insistió en que el sistema no llegó a usarse en procesos reales, pero el caso se convirtió en una advertencia global.
Los asistentes de voz que susurran estereotipos
Otro escenario donde la IA consolida desigualdades de género está, literalmente, en la sala de estar de millones de hogares. En 2019, la UNESCO publicó el informe “I’d Blush If I Could”, una crítica a la feminización casi automática de asistentes virtuales como Siri, Alexa o Cortana.
Sus conclusiones identificaron que la mayoría de estos sistemas fueron diseñados inicialmente con voces femeninas por defecto. Estas voces solían responder a insultos o comentarios agresivos de forma sumisa o apologética, lo que refuerza la idea de que las mujeres “sirven”, “asisten” o son “dóciles frente a órdenes”.
Para la UNESCO, el problema no es menor porque normaliza estereotipos perjudiciales en una tecnología utilizada por niños, adolescentes y adultos a diario. Solo el 22% de los especialistas en inteligencia artificial son mujeres, según datos del World Economic Forum, lo que significa que las decisiones técnicas están tomadas por equipos poco diversos.
El problema es quiÉn entrena el algoritmo
Expertos coinciden en que el sesgo algorítmico es un síntoma de desigualdades más amplias, ya que el problema nace de la información con la que se lo entrena. Si las mujeres están infrarrepresentadas en un sector, el algoritmo las “infravalora”.
Asimismo los equipos homogéneos tienden a no ver los puntos ciegos que afectan a otros grupos lo que genera tecnología diseñada sin diversidad.
“Si no comenzamos a corregir estos sesgos dentro de los algoritmos y alimentarlos con datos que reflejen equidad vamos a generar mayores brechas. Los algoritmos deben ser alimentados pensando en la igualdad de género, en nuestras cosmovisiones, en los pueblos indígenas. Se tiene que entender como una tarea de todos, de la inteligencia colectiva”, manifestó Ágreda.
Las organizaciones internacionales recomiendan medidas urgentes como auditorías algorítmicas obligatorias antes de usar IA en decisiones sensibles, representación diversa en equipos de desarrollo, model cards y “datasheets” que documenten riesgos y limitaciones, regulación que obligue a transparencia y evaluaciones de impacto, formación en STEM para mujeres y niñas, para aumentar la participación en el desarrollo de IA.
La inteligencia artificial no es inherentemente discriminatoria. Pero sin intervención, amplificará los sesgos de las sociedades donde nace. “Los algoritmos son espejos magnificadores”, dicen los expertos. Y si el reflejo del mundo es desigual, la IA puede convertirlo en norma.