Decisión algorítmica y principio de igualdad. (RI §424884)  

Algorithmic decision and principle of equality - Paolo Zuddas

El presente trabajo se divide en dos partes. La primera analiza los riesgos de tomar decisiones discriminatorias relacionadas con el uso de un tipo específico de inteligencia artificial conocido como machine learning, identificando tres fases de la decisión algorítmica, en las que se pueden sentar las premisas para la manifestación de efectos discriminatorios. Efectos que pueden derivar: de los prejuicios del programador o de la organización en la que opera; del conjunto de datos utilizado para alimentar el sistema de machine learning; de la circunstancia no infrecuente en que el propio sistema de machine learning identifique algunas características que indirectamente se refieren a categorías protegidas de forma sustancialmente autónoma. La segunda parte identifica las herramientas que ofrece la ley para afrontar los peligros mencionados, señalando la necesidad de ampliar el objeto de la disciplina jurídica, que debe abordar esencialmente dos perfiles distintos de la decisión algorítmica: un perfil "interno", que concierne al funcionamiento de la inteligencia artificial, en las distintas fases relevantes identificadas; un perfil "externo" al funcionamiento de la inteligencia artificial, que da importancia al rol del algoritmo en la decisión final: es esencialmente el problema de la significatividad del algoritmo, es decir, la posibilidad de intervención humana en función de control, orientada a mitigar los efectos discriminatorios del modelo de decisión elaborado por el software.

NOTAS INTRODUCTORIAS. I. LA PROGRAMACIÓN: DISCRIMINACIÓN ALGORÍTMICA DIRECTA Y INDIRECTA Y PROBLEMAS RELACIONADOS CON LA IDENTIFICACIÓN DE CARACTERES PROXY. II. LA CONFIGURACIÓN DEL CONJUNTO DE DATOS QUE SE UTILIZARÁ EN EL ENTRENAMIENTO DEL SISTEMA DE MACHINE LEARNING: LOS RIESGOS DERIVADOS DE DATOS “CONTAMINADOS” Y DATOS INCOMPLETOS. III. EL PROCESAMIENTO DE DATOS POR PARTE DEL SISTEMA INFORMÁTICO: LOS MÁRGENES DE AUTONOMÍA DEL ALGORITMO. IV. LAS SOLUCIONES POSIBLES: EL PAPEL DEL DERECHO Y SUS LÍMITES. 1. Los perfiles “internos” de la decisión algorítmica: las novedades introducidas por la propuesta de reglamento europeo en materia de inteligencia artificial (Ley de inteligencia artificial). 2. Los perfiles “externos”: la significatividad de la decisión algorítmica.

Palabras clave: Inteligencia artificial; decisión algorítmica; discriminación.;

This work is divided into two parts. The first analyses the risks of making discriminatory decisions related to the use of a specific type of artificial intelligence known as machine learning, identifying the three phases of the algorithmic decision in which the conditions to produce discriminatory effects can be placed. Effects which may arise: from the prejudices of the programmer or the organisation in which he operates; from the set of data used to feed the IT system; from the not infrequent circumstance that the machine learning system itself identifies some characteristics that indirectly refer to protected categories in a substantially autonomous way. The second part of the work identifies the tools offered by law to deal with the dangers mentioned, highlighting the need to extend the subject of the legal framework, which must essentially address two different profiles of the algorithmic decision: an “internal” profile, which relates to the functioning of artificial intelligence, in the three distinct relevant phases that have been identified; an “external” profile to the functioning of artificial intelligence, which emphasises the role of the algorithm in the final decision: it is essentially the significance of the algorithm, that is, the possibility of a human intervention as a control function, aimed at mitigating the discriminatory effects of the decision model developed by the software.

INTRODUCTORY NOTES. I. PROGRAMMING: DIRECT AND INDIRECT ALGORITHMIC DISCRIMINATIONS AND PROBLEMS RELATED TO THE IDENTIFICATION OF PROXY CHARACTERS. II. THE CONFIGURATION OF THE DATA SET WHICH WILL BE USED FOR THE TRAINING OF THE MACHINE LEARNING SYSTEM: THE RESULTING RISKS FROM “CONTAMINATED” OR INCOMPLETE DATA. III. DATA PROCESSING BY THE COMPUTER SYSTEM: THE AUTONOMY MARGINS OF THE ALGORITHM. IV. POSSIBLE SOLUTIONS: THE ROLE OF LAW AND ITS LIMITS. 1. The “internal” profiles of the algorithmic decision: the changes introduced by the Draft EU Artificial Intelligence Act. 2. The “external” profiles: the significance of the algorithmic decision.

Keywords: Artificial intelligence; algorithmic decision; discrimination.;