Decisiones automatizadas y discriminación en el trabajo. (RI §426665)
Automated decisions and discrimination at work -
Pilar Rivas Vallejo
Las decisiones automatizadas, es decir, producto de recomendaciones o predicciones fruto de la intervención de sistemas de inteligencia artificial alimentadas con datos masivos, se están utilizando para la gestión de las relaciones de trabajo. Pero su uso no está exento de riesgos, y el principal de ellos es el del impacto discriminatorio provocado por los sesgos que pueden incorporar en su diseño o aprendizaje y en su aplicación, ampliado como efecto de su intrínseca opacidad y escasa motivación, junto con su aparente neutralidad e infalibilidad. Su irrupción en la realidad de las relaciones de trabajo puede ocasionar problemas de discriminación de personas, colectivos y situaciones que tanto la ciencia de la inteligencia artificial como el derecho deben mitigar y evitar. Este trabajo se centra en analizar el impacto discriminatorio del uso de algoritmos o mecanismos automatizados de decisión para la gestión del trabajo y la selección de personal -llamada discriminación algorítmica- desde la perspectiva jurídica, para detectar los focos de dicho riesgo, identificar la discriminación y su calificación jurídica en cada caso, y analizar las respuestas correctoras desde el derecho y el plano de la responsabilidad por discriminación en el trabajo.
I. INTELIGENCIA ARTIFICIAL Y DERECHO.- 1. Automatización de decisiones e inteligencia artificial.- 2. ¿Por qué nos alarman tanto las decisiones automatizadas?.- 3. Interrelaciones y equivalencias conceptuales entre lenguaje jurídico y computacional.- II. DECISIONES AUTOMATIZADAS PARA LA GESTIÓN DE LAS RELACIONES DE TRABAJO.- 1. Analítica de gestión.- 2. Sesgos discriminatorios en el reclutamiento derivados de la IA.- 3. Vigilancia y evaluación del desempeño en el trabajo.- III. DETECCIÓN DE DISCRIMINACIÓN ALGORÍTMICA.- 1. Insuficiencia del derecho antidiscriminatorio.- 2. Discriminación múltiple e interseccionalidad.- 3. Disfunciones entre los conceptos de sesgo algorítmico y discriminación por asociación, por error o discriminación múltiple.- 4. Valoración de las decisiones automatizadas como discriminatorias.- 4.1. ¿Es relevante conocer cómo actúa un algoritmo para calificar su impacto como discriminatorio?.- 4.2. Impacto discriminatorio de los algoritmos.- 4.3. Calificación como discriminación directa o indirecta.- IV. PROTECCIÓN OTORGADA POR EL DERECHO ANTIDISCRIMINATORIO.- 1. Marcos normativos que abordan la opacidad de las decisiones automatizadas.- 2. Acceso y explicabilidad de los algoritmos.- 2.1. Derecho a la explicabilidad y acceso al razonamiento subyacente.- 2.2. Intervención humana significativa.- 2.3. Acceso a la motivación y derechos de propiedad intelectual.- V. ACREDITACIÓN Y PRUEBA DE DISCRIMINACIÓN ALGORÍTMICA.- 1. En el caso de sesgos algorítmicos.- 2. En el caso de discriminación múltiple y/o interseccional.- VI. REFLEXIONES FINALES EN TORNO AL IMPACTO DE LA FUTURA LEGISLACIÓN SOBRE IA.- VII. REFERENCIAS.
Automated decisions, that is, the product of recommendations or predictions resulting from the intervention of artificial intelligence data driven systems, are being used to manage work relationships. But their use is not free of risks: the main one is the discriminatory impact caused by the biases that can be incorporated in their design or machine learning and in their application, amplified as an effect of their opacity and low motivation, together with their apparent neutrality and infallibility. Its irruption in the reality of labour relations can cause problems of discrimination of people, groups and situations that both the science of artificial intelligence and the law must mitigate and avoid. This paper focuses on analyzing the discriminatory impact of the use of algorithms or automated decision-making mechanisms for work management and personnel selection -called algorithmic discrimination- from a legal perspective, to detect sources of that risk, identify discrimination and its legal qualification in each case, and also to analyze the corrective responses from the law and the responsibility for discrimination at work.
I. ARTIFICIAL INTELLIGENCE AND LAW.- 1. Automated decisions and artificial intelligence.- 2. Why are we so alarmed about automated decisions?.- 3. Interrelations and conceptual equivalences between legal and computational language.- II. AUTOMATED DECISIONS FOR THE MANAGEMENT OF WORK FORCE.- 1. Management analytics. 2. Discriminatory biases in recruitment derived from AI.- 3. Monitoring and evaluation of work performance.- III. ALGORITHMIC DISCRIMINATION DETECTION.- 1. Insufficiency of the anti-discrimination law. 2.1.Multiple discrimination and intersectionality.- 2.2. Dysfunctions between the concepts of algorithmic bias and discrimination by association, by error or multiple discrimination.- 3. Assessment of automated decisions as discriminatory.- 3.1. Is it relevant knowing how an algorithm works to classify its impact as discriminatory?.- 3.2. Discriminatory impact of algorithms.- 3.3. Classification as direct or indirect discrimination.- IV. PROTECTION GRANTED BY THE ANTI-DISCRIMINATORY LAW.- 1. Regulatory frameworks that address the opacity of automated decisions.- 2. Access and explainability of algorithms.- 2.1. Right to explainability and access to underlying reasoning.- 2.2. Significant human intervention.- 2.3. Access to motivation and intellectual property rights.- V. PROOF OF ALGORITHMIC DISCRIMINATION. 1. In the case of algorithmic biases. 2. In the case of multiple and/or intersectional discrimination.-VI. FINAL THOUGHTS ON THE IMPACT OF FUTURE AI LEGISLATION.- VII. REFERENCES.
DIRECTOR
