En noviembre de 2019 se abrió una investigación sobre el funcionamiento del algoritmo de la tarjeta de crédito lanzada por Apple y Goldman Sachs. Varias personas denunciaron el carácter machista del algoritmo ya que, ante igualdad de condiciones, la tarjeta concedía más crédito a los hombres.
Cuando pensamos en el feminismo, solemos reflexionar sobre en el papel de la mujer en la sociedad, el trabajo y los espacios que aún quedan por llenar de igualdad y corresponsabilidad. Pero hay que referirse también a las condiciones que garantizan precisamente a la mujer el acceso al sistema y con ello a su bienestar y prosperidad: los productos y servicios financieros competitivos.
En este ámbito también apreciamos brecha y sesgos de género. Es lo que se conoce como machine learning. Es decir, procesos automatizados de toma de decisiones que mejoran a medida en que se incorporan evidencias al algoritmo. Éste desarrolla una cierta capacidad de pensar por sí mismo, decidir por sí mismo… crear sesgos por sí mismo.
¿Cómo funciona un algortimo?
“Un algoritmo es una instrucción, una regla no ambigua, ordenada y finita que opera con la lógica siguiente: si un hecho ocurre se produce automáticamente una decisión. Este algoritmo establece un protocolo determinado”, aclara Verónica López Sabater, consultora de economía de Afi y directora de la Fundación Afi.
Un algoritmo decide, por ejemplo, qué cupones nos salen cuando usamos nuestra tarjeta de fidelidad en un supermercado. No son iguales para todos, el algoritmo los personaliza según nuestro historial de compra, explica Gemma Galdó, socia fundadora de Eticas Research and Consulting. “Son fantásticos si los usamos bien, pero en mi trabajo como auditora algorítmica nos encontramos que eso no es así en muchos casos”.
Según relata López, podemos distinguir tres clases de algoritmos: escritos y visibles (como las leyes), los no escritos e invisibles (las convecciones sociales y culturales que, no estando plasmadas explícitamente en ningún documento legal, sí que ejercen de inercia o costumbre. Por ejemplo, que las mujeres son las responsables principales de los cuidados del hogar), por último, los escritos e invisibles. Estos son los que están en los códigos de programación y establecen las reglas del juego en el mundo digital.
Los algoritmos en el sector bancario: discriminaciones históricas que se arrastran al presente
Uno de los campos en los que más se han adoptado algoritmos es el sector bancario. Estos códigos ayudan a las entidades a tomar decisiones tan claves como la asignación de riesgos. Sin embargo, no siempre son justas.
“Hay evidencias de discriminación porque las mujeres estamos infrarrepresentadas en las bases de datos de entrenamiento de esos algoritmos. En general, hemos usado menos los servicios bancarios por tener una vida más doméstica y porque los hombres han ejercido nuestro rol en las finanzas. Si al algoritmo no le dices que esto ocurre, captura la discriminación y la reproduce asignando más riesgo a las mujeres”, relata Gemma Galdó.
“La razón es que el algoritmo entiende que si en el pasado las mujeres hemos recibido menos servicios bancarios es porque somos personas de más riesgo, por lo que nuestras posibilidades de conseguir un préstamo o hipoteca se ven reducidas por un algoritmo que no se ha diseñado bien”, añade la experta.
Al final, el resultado es que se asigna más riesgo a las mujeres por un hecho que no se puede controlar: su discriminación histórica. Sin embargo, los espacios de discriminación son múltiples. Por ejemplo, a la hora de ofrecer productos, aquellos relacionados con la inversión se ofrecen menos a mujeres porque tienen menos patrimonio asignado a sus perfiles. Si los datos afectan a colectivos históricamente vulnerables al sesgo, como la mujer, nos encontramos probablemente ante uno de los mayores desafíos: combatir el algoritmo.
Cabe destacar que estas discriminaciones no solo afectan a las mujeres, también a otros colectivos como, por ejemplo, las personas mayores. Pero, en las mujeres, al constituir el 50% de la población, son “más sangrantes”, apunta Galdó.
Las razones: falta de diversidad de género y formación
La principal razón del diseño inadecuado de los algoritmos es la falta de diversidad en los equipos, tanto de género como de formación. “En su mayoría son hombres e ingenieros, por lo que no están cualificados para detectar este tipo de temas. Se le está pidiendo a los ingenieros que codifiquen una sociedad que no entienden, no son sociólogos”, señala Galdó.
Según alerta Victoria López, el hecho de que los algoritmos cada día estén más presentes y sean generadores de decisiones, pero sean escritos por perfiles poco diversos, genera importantes riesgos de introducir sesgos en dichas reglas del juego. “No son conscientes ni intencionados y son fruto de la falta de diversidad entre quienes toman las decisiones”, reconoce.
Alexa o Siri, signos de discriminación en el presente
El problema no es solo de discriminación histórica, sabemos que en nuevas tecnologías a la mujer se le sigue asignando un papel específico. “No es casualidad que los asistentes personales como Alexa o Siri tengan nombres de mujer, lo que reproduce el rol de la mujer como asistente doméstica. Ahora mismo, tomamos decisiones que reproducen y amplifican la discriminación histórica y no vemos que esto se vaya a acabar”, se lamenta Galdó.
Sin embargo, considera que la promesa de la inteligencia artificial se mantiene y que tenemos posibilidades de tomar mejores decisiones. La experta insiste en que no se debe a mala fe, se debe a desconocimiento, por lo que se puede mejorar con más divulgación. “Tenemos que incorporar nuevos perfiles y disciplinas y más ojos que velen porque estos sistemas no sean espacios de reproducción de discriminación sino de creación de espacios de igualdad de oportunidades”, concluye.
Para evitar estos sesgos, todos los actores tienen que ponerse manos a la obra para garantizar que el algoritmo no entienda de género. En esta tarea, tenemos que estar todos. Las compañías, en primera fila, para que el ahorro de costes y la eficiencia que generan estos procesos no vaya en contra de la mitad de la población. También las autoridades y los reguladores para redoblar la vigilancia, adaptándose a procesos tecnológicamente muy sofisticados pero cuyos efectos en la realidad son tan indeseables como lo fuera cualquier “no” del director de una sucursal a la petición de financiación de una mujer. Finalmente, la sociedad en su conjunto tiene que ser muy consciente de esta realidad, señalan desde Asufin, organizadora del evento en el que se ha desarrollado el debate.