La profesora del Departamento de Derecho en Esade, aboga por realizar un debate para valorar como sociedad qué decisiones pueden dejarse en manos de algoritmos y qué datos usarse y cuáles no.
En la última década, los algoritmos han ido ganando progresivamente relevancia en nuestro día a día. Su función más conocida es ordenar los resultados de lo que buscamos en Google o las fotos que aparecen en nuestro feed de Instagram y otras redes sociales, pero su actividad se extiende a otros muchos aspectos de nuestra vida diaria. Mediante el uso de Google Maps, nos sugieren la mejor ruta para llegar al destino indicado, organizando de facto el tráfico de las grandes ciudades o, en función de múltiples factores, como la ubicación de nuestro IP, nuestro historial de compras o el tipo de tiendas que hemos visitado, nos dirigen hacia un tipo de productos u otros.
Suscríbete a nuestro newsletter
Todos estos ejemplos pueden parecer banales y, en la mayoría de los casos, meras sugerencias que dejan en manos de cada persona la decisión final, ya sea de compra, de lectura o de ruta a seguir. Pero los algoritmos también influyen en nuestras vidas de formas que no dejan margen a nuestra respuesta y uno de los mejores ejemplos de ello es su aplicación en el ámbito laboral.
Los sistemas de inteligencia artificial (IA) han demostrado ser una herramienta para que muchas empresas puedan automatizar decisiones de selección de personas, distribución de tareas, retribuciones e, incluso, la selección de los despidos. Estas soluciones, que permiten a las empresas tomar este tipo de decisiones de forma rápida y eficiente, con el supuesto valor añadido de hacerlo de una forma matemáticamente objetiva, tienen el gran riesgo de perpetuar y agravar algunas situaciones de discriminación que ya se dan en el ámbito laboral.
“Cada vez es más evidente que los sistemas de IA y los algoritmos no solo no eliminan por arte de magia las desigualdades existentes, sino que las reproducen e incluso las magnifican”, advierte Anna Ginès i Fabrellas, profesora titular de Derecho del Trabajo y directora del Instituto de Estudios Laborales de Esade y del proyecto de investigación LABORAlgorithm. Este proyecto, financiado por el Ministerio de Ciencia, Innovación y Universidades, tiene por objeto analizar el uso de algoritmos y de tecnología inteligente en la relación laboral y, en concreto, el tratamiento jurídico de la elaboración de perfiles y la toma de decisiones automatizadas en el ámbito laboral.
Uno de los ejemplos más famosos es el caso de Gild, una empresa que hace una década propuso transformar los criterios de selección de uno de los perfiles más cotizados en Silicon Valley: las personas programadoras. Y, en vez de buscar únicamente a titulados de las universidades más prestigiosas o que tuvieran experiencia en las grandes empresas del sector, Gild propuso añadir a la receta de selección el “capital social” de las personas candidatas, que incluía otras variables, como sus contribuciones a plataformas colaborativas como GitHub, el tono de sus tuits o variables proxy, como los lugares en que quedaban con sus amigos y las webs que visitaban en su tiempo libre, incluida la visita a una página web concreta de manga japonés. Hasta 300 variables recopiladas de bases de datos públicas se tomaron en consideración para buscar a las personas programadoras con mayor potencial para las startups de Silicon Valley.
Sin embargo, teniendo en cuenta que muchas de estas variables están relacionadas con actividades que se realizan durante el tiempo libre, ello puede generar una discriminación indirecta hacia las mujeres programadoras, sobre las cuales recae el grueso de las responsabilidades del cuidado –además del fuerte contenido sexual que contiene, en ocasiones, el manga japonés.
Otro ejemplo tristemente famoso es la respuesta que Siri –con nombre y voz femenina, por defecto– daba cuando alguien la insultaba diciéndole “zorra”. El asistente de Apple respondía entonces con un: “Si pudiera, me ruborizaría”. Pese a que la respuesta fue modificada en 2019, con un: “No sé cómo responder a eso”, sigue reflejando a una mujer dócil y sumisa, que no responde a un insulto.
Estos sesgos en la programación de la IA perpetúan discriminaciones ya existentes, pero también generan otras nuevas, como es el caso de los algoritmos de las plataformas Uber o Deliveroo, que premian a aquellas personas o riders que tienen una mayor disponibilidad en las horas de alta demanda del servicio y penalizan a las que no pueden trabajar en determinados momentos por causas justificadas o por motivos ajenos a su voluntad, como una enfermedad, una discapacidad, las tareas de cuidado o el ejercicio del derecho de huelga.
DATOS SESGADOS
Uno de los motivos por los cuales los algoritmos reproducen situaciones de discriminación son los datos a partir de los cuales se han entrenado estos algoritmos. “Si estos datos contienen discriminaciones, el algoritmo aprende a discriminar”, señala Ginès, citando el caso de Amazon, que entrenó un algoritmo de selección de personas que finalmente descartó. Con el fin de identificar a las mejores personas para un puesto de trabajo, Amazon analizaba los perfiles de las personas contratadas en los últimos diez años. Sin embargo, como la mayoría de los candidatos seleccionados eran hombres, el algoritmo automáticamente descartaba los currículums de las mujeres de los procesos de selección.
¿Cómo debemos tratar los casos de discriminación algorítmica desde el punto de vista jurídico? Anna Ginès considera que la legislación actual contra la discriminación ya es suficiente para evitarla, sin necesidad de crear categorías nuevas, puesto que se podría clasificar como indiscriminación indirecta. “No se trata de problemas nuevos, sino de problemas amplificados”, apunta la profesora.
Sin embargo, la discriminación algorítmica plantea nuevos retos a los cuales hay que dar respuesta. En este sentido, Ginès considera necesario incorporar más diversidad de género y racial en los equipos que desarrollan los algoritmos, superar la brecha de datos para evitar que la IA reproduzca las discriminaciones existentes y buscar soluciones técnicas para eliminar los sesgos. En este sentido, considera esencial mejorar la transparencia, prohibiendo el uso de algoritmos no transparentes en el ámbito de las relaciones laborales o incorporando las auditorías externas.
En concreto, Ginès aboga por realizar un debate ético para valorar, como sociedad, qué decisiones pueden dejarse en manos de algoritmos y qué datos pueden utilizarse y cuáles no. “Una tecnología altamente invasiva o discriminatoria como puede ser el reconocimiento facial o que permita la detección de emociones no debería estar autorizada en el ámbito laboral”, concluye la profesora.
“Los sistemas de inteligencia artificial y los algoritmos se presentan como herramientas para mejorar la productividad, la competitividad y la eficiencia. Pero debemos preguntarnos para qué queremos esta productividad, esta competitividad y esta eficiencia. Si la tecnología solo nos sirve para discriminar más y mejor, ¿para qué la queremos? Debemos usar la tecnología para afrontar los mayores desafíos que tenemos como humanidad y, entre ellos, la igualdad y la no discriminación”, concluye Ginès.
