LA INTELIGENCIA ARTIFICIAL EN EL CONTROL DE LOS FLUJOS MIGRATORIOS EN LA UNIÓN EUROPEA. LA NECESIDAD DE UN MARCO NORMATIVO GARANTISTA DE LOS DERECHOS FUNDAMENTALES

Por

FRANCISCO JAVIER GARRIDO CARRILLO(1)

Profesor Titular de Derecho Procesal

Universidad de Granada

[email protected]

Revista General de Derecho Europeo 60 (2023)

RESUMEN: El uso de las denominadas tecnologías “inteligentes”, en especial de sistemas de Inteligencia artificial, en el control de los movimientos migratorios han supuesto importantes oportunidades y avances que se concretan en el rendimiento y eficacia de estos procedimientos, pero a la vez han introducido graves riesgos de discriminación, de devaluación y violación de los derechos fundamentales de los afectados. Esta situación exige de una especial atención por parte de la sociedad en general y de forma específica por los operadores jurídicos, que han de adoptar un “enfoque humano”, que coloque a la persona y a sus derechos humanos en la centralidad del sistema. Desde esta perspectiva nos planteamos los límites de uso y desarrollo de la inteligencia artificial en la evaluación y escrutinio de las solicitudes de asilo y refugio de la entrada de inmigrantes, así como en las políticas migratorias.

PALABRAS CLAVE: Digitalización, Inteligencia artificial, flujos migratorios, derechos fundamentales, sociedad tecnológica.

SUMARIO: I. RIESGOS DE LA INTELIGENCIA ARTIFICIAL PARA LAS SOCIEDADES DEMOCRÁTICAS. 1.1. La Sociedad “tecnificada”. 1.2. La IA como garantía de las sociedades democráticas. II. INTELIGENCIA ARTIFICIAL Y POLÍTICAS MIGRATORIAS: PERSPECTIVAS DE DERECHO COMPARADO. III. EL COMPROMISO EUROPEO CON LA BUENA GOBERNANZA DE LOS SISTEMAS DE IA. 3.1. Los sistemas de gestión de riesgos y la gobernanza de datos. 3.2. El sistema SEIAV. 3.3. Las garantías del sistema SEIAV. 3.4. La adopción del método de la interoperabilidad. 3.5. La aparente “neutralidad” de las tecnologías “inteligentes”. IV. EL REFUERZO DE LOS ESTÁNDARES DE PROTECCIÓN DE LOS DERECHOS DE LOS MIGRANTES POR EL TJUE. 4.1. Cuestiones clave. 4.2. El asunto T-158/19 (STGUE de 15 de diciembre de 2021 (Breyer/REA)). 4.3. El asunto C-817/19 -Ligue des droits humains / Conseil des ministres- (STJUE -Gran Sala- 21 junio 2022). V. CONSIDERACIONES FINALES. VI. BIBLIOGRAFIA.

ARTIFICIAL INTELLIGENCE IN THE CONTROL OF MIGRATORY FLOWS IN THE EUROPEAN UNION. THE NEED FOR A REGULATORY Y FRAMEWORK THAT GARANTEES FUNDAMENTAL RIGHTS

ABSTRACT: The use of so-called "intelligent" technologies, especially artificial intelligence systems, in the control of migratory movements, has brought important opportunities and advances, which are reflected in the performance and efficiency of these procedures, but at the same time it has introduced serious risks of discrimination, devaluation and violation of the fundamental rights of those affected. This situation requires special attention from society in general and specifically from legal operators, who must adopt a "human approach" that places the individual and his or her human rights at the centre of the system. From this perspective, we consider the limits of the use and development of artificial intelligence in the evaluation and scrutiny of asylum and refugee applications for the entry of immigrants, as well as in migration policies.

KEYWORDS: Digitalisation, artificial intelligence, migratory flows, fundamental rights, technological society.

Fecha de recepción: 8.2.2023

Fecha de aceptación: 25.4.2023

I. RIESGOS DE LA INTELIGENCIA ARTIFICIAL PARA LAS SOCIEDADES DEMOCRÁTICAS

1.1. La Sociedad “tecnificada”

La revolución tecnológica de las últimas décadas conlleva un impacto social y económico desconocido en la historia de la civilización desde el neolítico hasta nuestros días. Se trata de un verdadero cambio de era que supera el efecto y significado que tuvo la primera revolución industrial del siglo XVIII o la propia revolución francesa de 1789. La rapidez con la que está sucediendo, su propia dimensión, así como las implicaciones que conlleva, suponen un cambio de una profundidad desconocida, que afecta directamente al ser humano como tal y a su papel como protagonista en la historia de nuestra civilización. Esto se proyecta directamente sobre los derechos fundamentales de la persona, tal y como los conocemos actualmente, por lo que requiere una atención específica, que analice y aborde la vigencia de los mismos en la sociedad tecnológica.

En este marco, este análisis se centrará en dos ámbitos que surgen del fenómeno de la digitalización como espacio de relaciones y tranformación: los flujos migratorios y la inteligencia artificial (IA). Pues en el uso de herramientas tecnológicas, en especial la IA -de la que no existe una definición única y pacífica-(2) en el control de dichos movimientos migratorios, existen no sólo oportunidades y avances sino también graves riesgos de discriminación y afectación de los derechos fundamentales(3). Como veremos a continuación, la aplicación de sistemas de IA, en especial de aprendizaje automático, en las fronteras y en el control de los flujos migratorios, tiene un impacto directo sobre los derechos y libertades fundamentales de los afectados que exige contar con salvaguardas y controles adecuados por parte de las administraciones competentes.

Siguiendo a HOFFMANN-RIEM (2022:97ss), en este nuevo milenio, el progreso tecnológico es un proceso continuo, permanente e incuestionable, cuya esencia retrata la propia naturaleza humana para potenciar los intereses individuales y colectivos, así como para resolver, de forma cada vez más eficiente, sus necesidades. Pero esta transformación tecnológica, de la misma forma que plantea oportunidades, también genera nuevas necesidades y nuevas formas de infracción en los distintos ámbitos sociales y jurídicos, y por tanto habilita nuevos espacios o sistemáticas de violación de derechos. Por esta razón es necesario exigir que los derechos humanos y fundamentales sigan manteniendo la posición central que tantos sacrificios y esfuerzos ha costado conseguir, en particular frente al uso y abuso de la IA que se ha convertido en un “tsunami”, que, bajo su aparente neutralidad y eficacia, afecta a todas las esferas del ser humano, y naturalmente también alcance a los migrantes.

Desde esta perspectiva queremos tratar la aplicación de las nuevas tecnologías de la información de una forma ilimitada y arbitraria en la evaluación y escrutinio de las solicitudes de asilo y refugio de la entrada de inmigrantes, así como el uso por los distintos Estados nacionales de la inteligencia artificial como política migratoria. El análisis de la cuestión requeriría de una mirada poliédrica por cuanto que el fenómeno de la digitalización es un fenómeno transversal, que precisa también de una mirada desde la ética, la sociología, la filosofía o la informática, pero el presente trabajo se centrará en la perspectiva normativa que, avanzando y profundizando en las innovaciones tecnológicas, respete los derechos humanos y las garantías fundamentales(4).

Estamos en una “sociedad tecnificada”, que no “tecnológica”, por cuanto que la centralidad del ser humano está siendo cuestionada por la centralidad y supuestas bondades de la “técnica”. En este nuevo mundo, la profundidad y velocidad del desarrollo tecnológico que estamos viviendo, supone una verdadera revolución(5) que no sólo exige de una adaptación, sino que cambia por completo la manera en que vivimos, trabajamos y nos relacionamos en nuestra sociedad.

En este nuevo mundo tecnológico, el Derecho está en permanente reconstrucción conectado a la nueva realidad que supone la digitalización y en especial la Inteligencia Artificial, que día a día avanza en el ámbito de la automatización del razonamiento jurídico, y por lo tanto alcanza también a las políticas migratorias. La Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial y se modifican determinados actos legislativos de la Unión(6), en su artículo 3 define los “Sistemas de inteligencia artificial (sistema de IA)” como “El software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo I y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa”(7), se trata en definitiva, como ya hemos señalado, de un concepto no pacífico, a lo que hay que añadir que actualmente las líneas de código que conforman las IA’s carecen de matices, subjetividad y autocrítica a pesar de su autonomía, y por lo tanto no podemos concluir que tenga capacidad de producir juicios de valor. Es decir, actúan de forma autónoma y con su propia intencionalidad, y se crean y actúan de forma imitativa en función de los problemas que se les proponen, dando lugar a soluciones tecnológicas de carácter matemático, tomando, como regla general, datos como materia prima.

1.2. La IA como garantía de las sociedades democráticas

La IA destaca por su eficiencia y su rendimiento(8), siendo demandada en el mercado para estrategias que requieren la delegación de funciones que implican repetición, estandarización y volumen. A ello hay que añadir que son capaces, a través de “juicios de la máquina” (la artificialización) de adquirir y aplicar soluciones a los problemas, y paralelamente, de aprender de la experiencia, pudiendo desarrollar, hasta cierto punto, algunas funciones cognitivas relacionadas con la memoria, el lenguaje y la planificación(9), se trata de un fenómeno de “desresponsabilización del hombre y responsabilización de la máquina”(10). En definitiva, la Inteligencia artificial avanza y evoluciona integrando artificialmente funciones cognitivas, especialmente en el ámbito militar y de seguridad, siendo su uso cada vez más creciente en nuestra sociedad, bajo la idea de una supuesta neutralidad, eficiencia, exactitud y precisión absoluta. Muestra de todo ello es la ingente cantidad de aplicaciones que se utilizan por todo tipo de Estados en el control de fronteras

En este análisis de la Inteligencia Artificial, podemos profundizar más en la complejidad y repercusión que tiene la misma, en especial si nos detenemos en el aprendizaje automático de los sistemas de IA. Pues la inteligencia artificial, como tal, se daría cuando la máquina (el sistema), es capaz de aprender por sí misma, y conformar opciones, soluciones y alternativas, al margen de su creador sin que estuvieran preprogramadas o prediseñadas. Es decir, con el aprendizaje automático la IA tiene la capacidad de detectar automáticamente patrones, utilizándolos para iniciar un pronóstico y de esta forma actuar en los procesos de toma de decisiones, especialmente si se cuentan con aspectos técnicos que propician la velocidad y precisión. Y desde el punto de vista teórico, con la IA se trata de superar las deficiencias humanas en lo que respecta a los procesos de toma de decisiones, superando los sesgos, los prejuicios y el ruido.

Las capacidades y el índice de aplicabilidad de las tecnologías y sistemas basadas en IA, son inconmensurables, pudiendo ser empleadas para dar respuesta a los problemas más graves que afectan a la humanidad en este momento. Pero también supone extraordinarios riesgos, pues la capacidad de la tecnología cognitiva actual, permitiría alcanzar a los sistemas de IA estadios informativos y de conocimiento muy superiores a los del ser humano, que es incapaz, en su conformación actual, de alcanzar estándares de almacenamiento o velocidad comparables a los que se atribuyen a los ordenadores y a algoritmos de última generación (RYDLEWSKI, C, 2010), lo que daría lugar a la introducción de otros criterios desconocidos para la toma de decisiones.

Por lo tanto, el uso de sistemas de IA puede conllevar graves riesgos que, como señala FAGGIANI (2022:518), son “riesgos para la democracia”. Y ante esta realidad, desde el punto de vista jurídico, y con una especial atención a los derechos fundamentales de los posibles afectados, se ha de exigir necesariamente a estos sistemas de IA, además de nuevos y más seguros y legítimos modos de consentimiento otra serie de requisitos o condiciones como: la explicabilidad (XAI)(11); la inteligibilidad; la interpretabilidad; la auditabilidad(12); la transparencia(13); la reversibilidad; la imputabilidad; la responsabilidad y la protección de los datos personales, especialmente los llamados sensibles. No olvidemos que, en el diseño y puesta en marcha de sistemas de IA, tanto para los desarrolladores como para los usuarios, es clave controlar y superar los sesgos(14), actuando a través de la tecnología en prácticas antidiscriminatorias. Nos encontramos así, de esta forma, ante los grandes retos que, el incremento exponencial del uso de la IA, va a suponer en las próximas dos décadas y que afecta directamente a los límites éticos y legales del uso de las máquinas autónomas.

II. INTELIGENCIA ARTIFICIAL Y POLÍTICAS MIGRATORIAS: PERSPECTIVAS DE DERECHO COMPARADO

Las políticas migratorias son parte esencial de las políticas de Estado, y por lo tanto están sujetas al marco de gobernanza del uso de sistemas de IA desarrollado en cada momento por el país en cuestión. En este sentido es oportuno tener una visión de distintos modelos, que nos orienten y nos permitan situar las problemáticas del control migratorio con el uso de sistemas de IA, planteando los riesgos que supone y las posibles soluciones.

En primer lugar, y desde una perspectiva comparativa, es de interés analizar el modelo canadiense que está en la vanguardia en la materia. Ya en 2018, se publicó un informe sobre la aplicación práctica de la IA por parte del Gobierno de Canadá: La inteligencia artificial responsable en el Gobierno de Canadá. Digital Disruption(15), que concluyó con una serie de recomendaciones específicas para el gobierno canadiense, entre las que se encuentran (a) la obligación de publicar un informe sobre todos los sistemas de decisión automatizados que se utilizan actualmente; (b) emprender esfuerzos para adquirir un nuevo sistema de decisión automatizado hasta que los sistemas existentes cumplan plenamente con una norma gubernamental sobre el uso responsable de las tecnologías; (c) adoptar una política gubernamental concreta y vinculante para el uso de los sistemas automatizados de adopción de decisiones; (d) establecer un organismo independiente para supervisar y revisar el uso de los sistemas de decisión automatizados por parte del gobierno federal e) crear una metodología racional sobre qué sistemas son apropiados para el uso experimental de la IA; f) comprometerse a crear un "código fuente" completo para todo el gobierno federal para los sistemas de decisión automatizados que sea de código abierto por defecto, sujeto sólo a excepciones limitadas por razones de privacidad y seguridad nacional; y g) poner en marcha un grupo de trabajo federal que reúna a las principales partes interesadas del gobierno junto con el mundo académico y la sociedad civil para comprender mejor los impactos de las tecnologías de los sistemas de decisión automatizados en los derechos humanos.

Actualmente, el modelo canadiense de gobernanza del uso de sistemas de IA por parte de la administración pública, se fundamenta en la Directiva sobre la toma decisiones automatizada (Directive on Automated Decision-Making) que entró en vigor el 2020(16), que también se aplica al contexto de la política de inmigración. Canadá experimenta desde hace tiempo con herramientas de evaluación de riesgos, basadas en algoritmos, para evaluar las solicitudes de protección de los inmigrantes con el fin de detectar posibles indicios de solicitudes fraudulentas o ilegales, así como solicitudes que puedan poner en peligro la seguridad nacional(17). Aunque las características y garantías previstas para la evaluación de las solicitudes de visado temporal mediante el uso de algoritmos de evaluación de riesgos han sido analizadas críticamente por la doctrina jurídica canadiense, cabe señalar que la citada Directiva sobre sistemas automatizados espera(18) que el uso por parte de la administración pública(19) de sistemas autónomos basados en algoritmos sea preventivo, y debe someterse previamente a una "evaluación de impacto algorítmico", dentro de la cual los estándares de garantía están relacionados con el nivel previsible de impacto sobre los derechos, la salud y el bienestar de las personas, o sobre los intereses económicos de las personas o comunidades.

Los requisitos y garantías previstos por la Directiva canadiense, se aplicarán también a los sistemas automatizados implantados en el sector de la inmigración, por lo que se pide a las autoridades federales que garanticen -mediante el cumplimiento de una lista de control predeterminada por la Directiva- principios como la transparencia, la responsabilidad, la legalidad y la equidad procesal, obteniendo al mismo tiempo, mediante la aplicación de herramientas basadas en la IA, "decisiones más eficaces, precisas, coherentes e interpretables" (§ 4.1). Especialmente relevante es el deber de probar los procesos de desarrollo y los datos utilizados por los sistemas autónomos, antes del inicio de la producción, con el fin de verificar la ausencia de sesgos involuntarios atribuibles a los datos utilizados y a otros factores que podrían influir indebidamente en los resultados (§ 6.3.1), y de desarrollar herramientas de supervisión (de monitoreo) para identificar cualquier resultado indeseable y verificar el cumplimiento de la normativa del sector (§ 6.3.2). La directiva también prevé la obligación de realizar una "evaluación de impacto algorítmico" antes del inicio de la producción de cualquier sistema autónomo (§ 6.1.1), lo que podría resultar decisivo en el ámbito de la inmigración.

En segundo lugar, como confirmación de una tendencia a la convergencia hacia un núcleo de principios y garantías compartidos a nivel comparado, parece útil recordar la reciente reforma aprobada en el ordenamiento jurídico español(20), que ha previsto, dentro de una ley integral de igualdad de trato y no discriminación (Ley 15/2022 )(21), una disposición (art. 23 ) sobre "inteligencia artificial y sistemas automatizados de toma de decisiones". En esta disposición, que está en línea con el enfoque adoptado por la Propuesta Europea, se establece que las administraciones públicas favorecerán la implantación de mecanismos que permitan que los algoritmos utilizados en dichas administraciones tengan en cuenta criterios de minimización de sesgos, transparencia y responsabilidad, siempre que sea técnicamente posible. La ley también exige que en estos mecanismos se deben incluir su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio que pueda surgir de su uso. Por último, prevé la activación de evaluaciones de impacto para identificar posibles sesgos discriminatorios. La reciente legislación española recuerda y metaboliza los principios y garantías que también hemos visto surgir de la jurisprudencia en la materia, así como de la Propuesta de Reglamento Europeo, recordando de forma consistente el deber de las administraciones públicas de priorizar la garantía de transparencia en el diseño e implantación de los dispositivos de toma de decisiones automatizadas, así como la capacidad de interpretar las decisiones adoptadas por los mismos (art. 23, párrafo segundo (22)).

Por último y, en tercer lugar, hemos de hacer referencia al Reino Unido, pues hasta ahora, sólo en este país se ha llevado a cabo una adopción práctica en términos de política pública en materia migratoria, específicamente en lo que respecta a la concesión de visados, en funcionamiento incluso antes de la formalización del Brexit(23). El sistema de IA del Reino Unido ha sido calificado de "sesgado" por muchos grupos de activistas de derechos humanos, ya que el Ministerio del Interior británico está utilizando algoritmos para clasificar a los solicitantes de visados de entrada en función de su tono de piel, además de su origen nacional. Las entidades británicas Foxglove y el Joint Council for the Welfare of Immigrants (Consejo Conjunto para el Bienestar de los Inmigrantes - JCWI -) han identificado un sistema de clasificación interna (que han calificado de “pérfido”), concretado en una "lista secreta de nacionalidades sospechosas", según la cual el inmigrante procedente de un país "sospechoso" recibiría automáticamente una clasificación roja, basada en un análisis de los colores del semáforo, verde, amarillo o rojo, según el índice de sospecha del solicitante. De este modo, los candidatos clasificados con el color rojo serían sometidos a un escrutinio más riguroso en la evaluación de la elección. Después de que las organizaciones de derechos humanos interpusieran una demanda, el Reino Unido suspendió de forma provisional el uso del sistema de IA(24), especialmente la herramienta AI-Streaming, para la evaluación automatizada para la concesión de visados, puesto que suponía un claro ataque a los derechos humanos de los inmigrantes(25).

En esta perspectiva de derecho comparado, es oportuno incorporar aquí, por su significado, las aportaciones del Tribunal de Apelación británico, en un asunto en el que, aunque no se trata de un tema concreto de migrantes, sino de la utilización por parte de la policía galesa de sistemas de reconocimiento facial, basados en algoritmos, para la prevención y represión de delitos,(26) si nos sirve de referencia por cuanto trata de tecnología de reconocimiento facial. En primer lugar el Tribunal de Apelación británico es consciente de que la tecnología evaluada, se desarrolla en el marco del ejercicio de funciones públicas, sin que exista una base jurídica específica para ello, y por esta razón tras establecer de forma casi automática, que los dispositivos basados en técnicas de “aprendizaje automático”, generan la posibilidad de riesgos de sesgo y discriminaciones contra determinadas categorías sociales (mujeres y minorías étnicas), concreta el deber y la obligación de las autoridades competentes de evaluar ex ante “el impacto potencial de una nueva política que puede parecer (….) neutra, pero que puede tener de hecho un impacto desproporcionado en ciertos sectores de la población”. Por lo tanto, este razonamiento en el ámbito del reconocimiento facial, también sería de aplicación al ámbito de la inmigración, en el que también se utiliza este instrumento, como otros dispositivos que se ocupan del análisis de emociones, de la predicción del comportamiento, o la fiabilidad de las declaraciones. En definitiva, el interés de la decisión judicial del Tribunal de apelación, no se encuentra en la concreción de una discriminación, pues ésta ya ha tenido lugar con la aplicación del dispositivo tecnológico por la policía galesa, sino que exige que la autoridad competente, ha de evaluar los riesgos que un dispositivo tecnológico de estas características conlleva, antes de poner en práctica los mismos(27).

Como vemos, tanto el Gobierno de Canadá, como el Tribunal de Apelación británico, parten de los riesgos inherentes al uso de sistemas de inteligencia artificial, por lo que persiguen establecer estándares de protección para los ciudadanos, garantizando el uso adecuado de dichos sistemas de IA, generando confianza y exigiendo un uso responsable, de ahí la importancia de la información, transparencia, evaluación y revisión de estos sistemas, y todo ello desde la perspectiva garantista de los derechos humanos. En este sentido, y como ha manifestado la Comisión Europea, la IA debe estar al servicio del ser humano, potenciando y permitiendo su libre desarrollo en un “ecosistema de garantías” y de “confianza exclusivo”,(28) basado en un planteamiento antropocéntrico, enfocado en el ser humano, que respete la dignidad, los derechos y los valores europeos.(29)

III. EL COMPROMISO EUROPEO CON LA BUENA GOBERNANZA DE LOS SISTEMAS DE IA

3.1. Los sistemas de gestión de riesgos y la gobernanza de datos

A nivel legislativo europeo, la referencia básica para un análisis de la gobernanza de los sistemas de IA, es la Propuesta de Reglamento de la Comisión sobre la IA(30), pues dicha propuesta también es de aplicación al ámbito de la inmigración. Expresamente se refiere en el considerando número 39 a los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo, estableciendo que los mismos “afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y dependen del resultado de las actuaciones de las autoridades públicas competentes”(31). Por eso mismo, señala el legislador europeo, “es sumamente importante que los sistemas de IA que se utilizan en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, sus derechos a la libre circulación, la no discriminación, la intimidad personal y la protección de los datos personales, la protección internacional y la buena administración”.

En el mismo considerando, y teniendo en cuenta los fines y requisitos que se reclaman del uso de sistemas de IA por las autoridades competentes en la materia que nos ocupa, se consideran a estos sistemas de “alto riesgo” cuando los utilicen en la gestión de la migración, el asilo y el control fronterizo “como polígrafos, y herramientas similares o para detectar el estado emocional de una persona física; para evaluar determinados riesgos que presenten personas físicas que entren en el territorio de un Estado miembro o soliciten un visado o asilo; para verificar la autenticidad de los documentos pertinentes de personas físicas; para ayudar a las autoridades públicas competentes a examinar las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes de un estatuto reúnen los requisitos necesarios para su obtención.”(32)

A la vista de la regulación del uso de sistemas de IA en la materia que nos ocupa, al estar considerados como “de alto riesgo”, los mismos deberán estar condicionados, una vez que se apruebe el reglamento, al cumplimiento de los requisitos y garantías previstos para este tipo de productos, que deberán ser evaluados, para comprobar esta conformidad (art. 43 de la propuesta)(33). Como señala el Considerando número 40 de la propuesta de reglamento, los sistemas de IA de estas características pueden tener efectos “potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales...”, por lo que deben aplicarse a estos sistemas requisitos que afectan a la calidad de los conjuntos de datos utilizados, la documentación técnica y el registro, la transparencia y la comunicación de información a los usuarios, la vigilancia humana, la solidez, la precisión y la ciberseguridad (considerando número 43), pues de esta manera se mitigan los riesgos para la salud, la seguridad y los derechos fundamentales.

El legislador comunitario desarrolla en el capítulo 2 de la propuesta de reglamento, los requisitos para los sistemas de IA de alto riesgo, estableciendo en su artículo 9 un “sistema de gestión de riesgos” que consistirá en un “proceso iterativo continuo que se llevará a cabo durante todo el ciclo de vida de un sistema de IA de alto riesgo”, y que requerirá de actualizaciones sistemáticas periódicas. El mismo constará de cuatro etapas; en la primera se identificará y analizarán los riesgos conocidos y previsibles vinculados a cada sistema de IA de alto riesgo; en la segunda se estimarán y evaluaran los riesgos que podrían surgir cuando el sistema de IA de alto riesgo en cuestión se utilice conforme a su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible; en la tercera se evaluarán otros riesgos que podrán surgir a partir del análisis de los datos recogidos con el sistema de seguimiento posterior a la comercialización; y en la cuarta etapa se adoptarán las medidas oportunas de gestión de riesgos con arreglo a lo dispuestas en las etapas anteriores. En definitiva, se persigue la eliminación o reducción de los riesgos asociados a la utilización de sistemas de IA de alto riesgo, y para ello serán claves los procedimientos de prueba de estos sistemas que permitan identificar las medidas de gestión más adecuadas (art. 9 Propuesta de Reglamento IA).

Además de la regulación de los “sistemas de gestión de riesgos”, la propuesta de reglamento se ocupa de la gobernanza de datos en su artículo 10, estableciendo en primer lugar que el conjunto de datos de entrenamiento, validación y prueba han de cumplir con unos criterios de calidad recogidos en los apartados 2 a 5 del precepto, con lo que se quiere examinar la existencia de “posibles sesgos”, y/o detectar “posibles lagunas o deficiencias en los datos y la forma de subsanarlas” (art. 10.2 f) y g) de la Propuesta de Reglamento de IA).

La calidad del conjunto de datos con los que se trabaja se convierte en un elemento esencial en el uso de sistemas de IA en el campo de la migración, por ello es clave lo dispuesto en el apartado 3 del artículo 10 de la propuesta, que señala que los “los conjuntos de datos de entrenamiento, validación y prueba serán pertinentes y representativos, carecerán de errores y estarán completos”, y añade que “asimismo, tendrán las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en relación con los que se pretenda utilizar el sistema de IA de alto riesgo, cuando proceda.” Por otro lado, los conjuntos de datos de entrenamiento, validación y prueba tendrán en cuenta, en la medida necesaria y en función de su finalidad prevista, las características o elementos particulares del contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA de alto riesgo (art. 10.4 Propuesta Reglamento).

Por lo tanto, a la vista de la regulación de la propuesta de reglamento, el mismo establece un conjunto de garantías y salvaguardas, que de cumplirse escrupulosamente permitirían que los dispositivos de IA, y los algoritmos de última generación desarrollaran su función con eficacia, puesto que se respetarían y protegerían de forma efectiva los derechos de los migrantes. No es de la misma opinión un grupo de entidades, asociaciones y ONG’s, que, en el momento actual de debate tanto en la sociedad como en las instituciones europeas, han articulado una serie de enmiendas a la Propuesta de Reglamento sobre IA. Y en este sentido y en lo que se refiere al uso de dispositivos de IA en el campo de la inmigración califican de “inaceptables”, aquellos que se; a) se destinen a evaluar el grado de peligrosidad de una persona; b) los que persiguen proporcionar perfiles basados en datos personales sensibles; c) los sistemas de análisis predictivo cuyo fin sea prohibir e impedir los movimientos migratorios; d) los sistemas de identificación biométrica a distancia en los espacios públicos, e) los sistemas de control de fronteras basados en el reconocimiento facial.(34)

Pendientes de la futura aprobación de este Reglamento sobre IA, o normativa equivalente, deberemos verificar y comprobar la adecuación a la misma de los dispositivos de IA que ya se han probado en las fronteras de la UE y en el ámbito que nos ocupa, por ejemplo el proyecto iBorderCTrl, del que nos ocuparemos más adelante, pues los mismos habrán de cumplir y adecuase a los requisitos y garantía establecidos para los sistemas de “alto riesgo” en dicha normativa, y de la misma forma se habrá de comprobar la compatibilidad con este nuevo marco, de los distintos actos normativos que se hayan adoptado hasta la fecha en la Unión Europea.

3.2. El sistema SEIAV

Las tecnologías de la IA y las tecnologías conexas se utilizan desde hace muchos años en los ámbitos de la migración y la movilidad. Ejemplo de ello han sido Australia(35), los Estados Unidos de América, el Japón, muchos países europeos y la Unión Europea. En las últimas décadas las políticas migratorias desarrolladas en la UE, así como en los Estados miembros, se caracterizan por el uso de tecnologías basadas en sistemas de IA, y alcanzan las funciones que desempeñan y son competencia de las autoridades correspondientes, desde la gestión de los flujos migratorios que llegan a las fronteras nacionales y europeas, hasta la verificación de la identidad y el estatuto de los migrantes; y desde la evaluación de las solicitudes de protección internacional(36), hasta la gestión de la acogida -ya sea extraordinaria u ordinaria- pasando por las políticas de integración y la atribución del estatuto a los extranjeros presentes regularmente en el territorio nacional.

En este marco, la Comisión Europea ha activado una serie de propuestas conocidas como paquete de “fronteras inteligentes”(37), cuyo objetivo común es el de reforzar los sistemas de información, la arquitectura de datos y el intercambio de información en los ámbitos de la gestión de las fronteras y la lucha contra el terrorismo. En este ámbito nos vamos a referir al sistema SEIAV, y a la adopción del método de la interoperabilidad.

Una de las iniciativas llevadas a cabo por la UE para reforzar los sistemas de información, la arquitectura de datos y el intercambio de información en los ámbitos de la gestión de las fronteras y la lucha contra el terrorismo ha sido la aprobación del Reglamento nº 2018/1240 por el que se establece un Sistema Europeo de Información y Autorización de viajes (SEIAV) (38). Dicho Reglamento tiene como objetivo general determinar la admisibilidad de los nacionales de terceros países exentos de la obligación de visado(39) antes de viajar al espacio Schenguen, con el fin de predecir si su viaje supone un riesgo para la seguridad, un riesgo de inmigración ilegal o riesgo elevado de epidemia (artículo 1 ). Por otro lado, el artículo 65 del mencionado Reglamento se ocupa de la Comunicación de datos personales a terceros países, organizaciones internacionales y particulares, siendo la regla general su no transmisión o puesta a disposición. Ahora bien, el apartado 3 del mencionado art. 65 recoge como excepción a las normas generales, que las autoridades de inmigración pueden acceder al sistema central SEIAV para extraer datos que deban ser transferidos a un tercer país en casos específicos, “con fines de retorno”. Y como señala el art. 65.4 de dicho Reglamento “la transmisión de datos personales a terceros países de conformidad con el apartado 3 la UE no afectará a los derechos de los solicitantes y beneficiarios de protección internacional, en particular en lo relativo a la no devolución”.

En relación con el sistema SEIAV, resulta de especial interés el artículo 33 del Reglamento que lo regula, pues en dicho precepto se aclara que las normas de examen SEIAV consisten en un algoritmo que permite la elaboración de perfiles de los viajeros, mediante la comparación entre los datos registrados en el expediente de solicitud del sistema central SEIAV y los indicadores de riesgo específicos establecidos por la unidad central SEIAV, relativos a riesgos de seguridad, inmigración ilegal o alto riesgo epidémico. Por lo tanto, los expedientes individuales están sujetos a un tratamiento automatizado individual para identificar las posibles coincidencias positivas (artículo 20 ). Como vemos esta conformación supone ya un riesgo, pues sin duda alguna, aunque el algoritmo de aplicación supone una ventaja por su velocidad de trabajo y reducción de tiempos, así como por la eliminación de costes administrativos, por el contrario, supone una pérdida de transparencia en el razonamiento informático. El volumen ingente de datos y parámetros con los que trabaja el algoritmo, hace que se difumine la posibilidad de reconstruir el iter procedimental que ha seguido el sistema de IA, y por lo tanto no se puede identificar el razonamiento que soporta la decisión adoptada por el sistema, lo que se proyecta a la postre sobre el derecho de información y defensa de los afectados.

En particular, incluso en el contexto de SEIAV, en el que el Reglamento 2018/1240 dedica una regulación pormenorizada a la creación del expediente de solicitud y examen de la solicitud por el sistema central (capítulo III ), al examen de la solicitud por las unidades nacionales de SEIAV (capítulo IV ), a las normas de detección sistemática del SEIAV y a la lista de alerta rápida (Capítulo V, Art. 33-35 ), se pueden dar riesgos de discriminación o estigmatización de grupos de usuarios concretos, identificados únicamente por su pertenencia a determinados grupos lingüísticos o religiosos, o por su procedencia de determinados países, y todo ello únicamente sobre la base de evaluaciones estadísticas y de probabilidad.

3.3. Garantías del sistema SEIAV

A estos riesgos de los que hablamos, y de los que trata de forma específica el art. 33 del Reglamento 2018/1240, intenta dar respuesta el legislador comunitario, de forma análoga al sistema de tratamiento de datos de la Propuesta de Reglamento de Inteligencia Artificial, y así prevé que, en el caso de que surjan una o varias coincidencias positivas del tratamiento automatizado, se active automáticamente la unidad central SEIAV, que verifica de forma no automatizada (manual -art. 26 -) la validez de las coincidencias (“de las respuestas positivas”), sobre la base de una serie de indicadores y datos preestablecidos (art. 22 ). Aunque hemos de tener en cuenta a este respecto que la presencia de una evaluación no automatizada, tras la intervención del algoritmo, no ha sido considerada una garantía adecuada por el Tribunal de Justicia en el caso de un dispositivo de “aprendizaje automático”(40).

Al margen del tratamiento manual de la solicitud, el sistema SEIAV incorpora otra garantía en el artículo 14 que, con el título de “No discriminación y derechos fundamentales”, establece que el tratamiento de los datos personales en el sistema no puede dar lugar a “discriminación contra nacionales de terceros países por motivos de sexo, raza, color, etnia u origen social, características genéticas, lengua, religión o convicciones, opinión política o de oro tipo, pertenencia a una minoría nacional, patrimonio, nacimiento, discapacidad, edad u orientación sexual. Deberá respetar plenamente la dignidad e integridad humanas, así como los derechos fundamentes, incluido el derecho a la intimidad y a la protección de los datos personales.”. En definitiva, este precepto, que cierra el capítulo I del Reglamento dedicado a Disposiciones Generales, supone una verdadera cláusula de salvaguarda, y un límite transversal para el desarrollo y aplicación del Reglamento.

Por otro lado, el artículo 14 hay que ponerlo en relación con el artículo 10 del mismo texto, que prevé la creación de un Consejo de Orientación sobre Derechos Fundamentales del SEIAV, con funciones consultivas y de evaluación y que deberá realizar "evaluaciones periódicas y formular recomendaciones dirigidas al Consejo de Detección del SEIAV acerca de las repercusiones que pueda tener en los derechos fundamentales la tramitación de las solicitudes y la aplicación del artículo 33 #(§050579) ar.33, en particular con respecto a la intimidad, la protección de los datos personales y la no discriminación" (art. 10.2 #(§050579) ar. 10). Lo que intenta el legislador comunitario con la habilitación de estos sistemas de previsión y evaluación, es evitar los efectos negativos, que, el tratamiento automatizado de datos por sistemas predictivos de IA, pueden producir en los derechos de los afectados. Estos instrumentos permiten la detección de prácticas distorsionadoras, que pueden no ser detectadas durante la verificación manual realizada sobre los resultados del tratamiento automatizado; y al mismo tiempo, los datos y resultados que se obtienen de los sistemas de verificación y evaluación periódicas, se pueden utilizar para la mejora del algoritmo.

Como vemos, se trata de un sistema garantista, que acredita un esfuerzo loable del legislador comunitario, otra cosa será como el mismo se proyecta en la práctica. En este sentido, es un riesgo la conformación actual del artículo 33 aptado. 4 8220;sobre la base de los riesgos específicos determinados de conformidad con el apartado 3” la unidad central puede establecer indicadores de riesgo específicos utilizando una combinación de datos relativos a: a) la edad, el sexo o la nacionalidad; b) el país y ciudad de residencia; c) el nivel educativo; y d) la ocupación actual de la persona sujeta a verificación. El propio legislador es consciente de este riesgo, de que pueden darse resultados condicionados o discriminatorios en la fase de evaluación automatizada, y por ello incorpora a la norma reglamentaria, por un lado, la salvaguarda específica (art. 33.5) de que dichos indicadores de riesgo, han de estar bien definidos y ser proporcionados, y por otro lado la limitación necesaria de que no pueden basarse exclusivamente en el sexo o la edad de la persona.

3.4. La adopción del método de la interoperabilidad

Como vemos, el reglamento (UE) 2018/1240 #(§050579) que nos ocupa, reconoce implícitamente los riesgos que suponen el uso de sistemas de IA, no sólo desde la perspectiva de la eficacia de los procedimientos, sino también desde las garantías de las personas especialmente vulnerables, como los solicitantes de protección internacional. Muestra de ello es la introducción en el reglamento del “método de interoperabilidad”(41) entre los sistemas informatizados de recogida de datos, advirtiendo ya el Reglamento que el intercambio de datos entre sistemas, la interoperabilidad, debe implantarse “dentro del pleno respeto del acervo de la Unión en materia de derechos fundamentales”.(42) Sobre esta cuestión también se ha pronunciado la Agencia Europea de Derechos Fundamentales,(43)que señala que la interoperabilidad puede crear problemas críticos que pueden implicar el derecho a la vida privada (art. 7 de la CDFUE), el derecho a la protección de los datos personales (art. 8), pero también el derecho a la tutela judicial efectiva (art. 47 ), el respeto de la prohibición de los tratos inhumanos y degradantes (art.4 ), el derecho de asilo (art. 18 ) la prohibición de las expulsiones y devoluciones colectivas (art. 19), así como la igualdad ante la ley (art. 20 ).

En la Unión Europea será un organismo especial denominado eu-LISA,(44) el que ha de supervisar la implementación de sistemas de tecnología de la información interoperables en relación con el asilo, la gestión de fronteras y la migración. Y como encargada del tratamiento de datos, eu-LISA será responsable de cualquier daño o perjuicio que cause cuando no cumpla las obligaciones específicas que el Reglamento le impone, o cuando haya actuado al margen del mismo.(45)

Como señala TASSINARI(46), los Reglamentos 2019/817 y 2019/818 , han sido objeto de duras y merecidas críticas, y no sólo por su excesivo tecnicismo, sino porque la reforma de la interoperabilidad que operan, puede interpretarse como un añadido más a la desprotección y devaluación de los derechos fundamentales de las personas migrantes,(47) y es que la ingente cantidad y calidad de información almacenada en estos sistemas, pesará, aunque no exclusivamente(48), sobre los nacionales de terceros países(49).

3.5. La aparente “neutralidad” de las tecnologías “inteligentes”

En concreto, la interoperabilidad y su posible impacto en el acceso al procedimiento de protección internacional adquiere una importancia extraordinaria, a la hora de expresar la aparente “neutralidad” de las tecnologías “inteligentes” desde un punto de vista jurídico y político. Como señala la Agencia Europea de Derechos Fundamentales(50), si por un lado la interoperabilidad entre los sistemas de información puede permitir una detección más eficaz de los documentos falsos o las identidades falsas, por otro lado, es necesario valorar siempre y en todo caso las razones concretas del uso de documentos ilegales o irregulares por parte de la persona migrante, evitando que dicha conducta pueda asumir una importancia excesiva o indebida sobre la decisión de reconocer o no, una forma de protección internacional. Desde otro punto de vista, podríamos entender que la interoperabilidad puede contribuir a reforzar la eficacia de las garantías básicas para la persona, como la prohibición de no devolución, pues puede asegurar que el estatus de un solicitante de protección internacional sea visible e inmediatamente determinable en una pluralidad de sistemas de información. No obstante, el uso de tecnologías “inteligentes”, de sistemas de IA, en una fase anterior, previa a la apertura del procedimiento protección (como por ejemplo el uso de algoritmos de predicción de la ubicación y la escala de flujos migratorios o los sistemas de geolocalización en las zonas fronterizas) pueden ser potencialmente adecuados para reforzar las políticas nacionales de cierre y contracción de fronteras, favoreciendo situaciones de violación de garantías fundamentales como la prohibición de devolución, las expulsiones colectivas y el derecho a solicitar protección(51).

La tecnología basada en la IA se está utilizando en las políticas estatales de control migratorio, especialmente para el análisis y la selección de los extranjeros que entran en los países tradicionalmente considerados como destino por su fortaleza económica y su estabilidad político-institucional. Ejemplo de ello ha sido Canadá, que ha invertido mucho en investigación avanzada sobre cuestiones de migración, y desde hace ya mucho tiempo utiliza la inteligencia artificial como proceso automatizado, independiente de la interacción humana, con el fin específico de analizar los requisitos de entrada de los extranjeros en el país(52). En este país, desde 2014, se están adoptando varios sistemas automatizados de Inteligencia Artificial para la realización de "análisis predictivos", automatizando tareas que habitualmente realizan los funcionarios de inmigración mediante la entrega de una solicitud por cada migrante que entra en el territorio canadiense. El sistema automatizado de IA debe ser capaz de identificar concretamente los beneficios en el caso de la inmigración, los posibles procedimientos fraudulentos, así como ponderar de forma autónoma los factores que recomiendan o no el visado de entrada(53). El supuesto beneficio es la agilidad y la precisión de los procedimientos de análisis, así como la objetividad y la neutralización de los criterios subjetivos relacionados con la perspectiva humana.

Por otro lado, en el marco del control de los flujos migratorios, la inserción de conjuntos de datos, por vía algorítmica, puede generar discriminaciones en el caso concreto de la inmigración y refugio(54). Y es que el proceso de toma de decisiones sobre una solicitud de refugio puede crear un entorno favorable a la discriminación, ante la inserción de algoritmos que identifican detalles específicos de un solicitante. Prácticas de esta naturaleza, además de dar lugar a una sensación de vigilancia(55), coartan radicalmente la libertad del individuo que comienza a ser rastreado y vigilado, a veces sin el menor conocimiento.

Es por ello necesario perseguir y alcanzar un equilibrio, que no será nada fácil, entre la eficiencia de los procedimientos basados en “tecnologías inteligentes”, y las garantías y derechos fundamentales de las personas afectadas, pues hay que considerar el riesgo de una “politización” de la tecnología basada en la IA, que puede acabar reforzando prácticas estatales destinadas a frenar la migración internacional e impedir que determinados individuos lleguen a los territorios del Estado, favoreciendo la creación de “muros fronterizos invisibles”, o “muros fronterizos virtuales”(56), y es que la “introducción de la IA en la toma de decisiones sobre inmigración y control de fronteras tiene el potencial de complementar (…)) las políticas de no entrada, como el control de visados y las prácticas de extradición”(57). Por lo que siguiendo a NAPIERALA, debe garantizarse la “neutralidad tecnológica”, asegurando que el uso de las tecnologías “inteligentes” pueda permitir a las autoridades nacionales de inmigración y de protección internacional “cumplir mejor sus obligaciones legales y morales hacia los refugiados y solicitantes de asilo, proporcionándoles un sistema más eficiente de protección humanitaria.”(58) Como ya hemos dejado dicho, la tecnología de IA, está sustituyendo al ser humano en una tarea que antes sólo podía llevarse a cabo con el uso de la inteligencia humana. Esto supone mayor rapidez y eficacia, pero eso no puede llevarnos a desconocer que pueden producirse múltiples discriminaciones, y por lo tanto violaciones de derechos fundamentales que no han de ser asumibles. Esta es la razón por la que, en el uso de sistemas de IA, se han de establecer salvaguardas específicas, sistemas de prevención y de evaluación, y se han de respetar escrupulosamente normas de protección que permitan adecuarse a los estándares internacionales, como mínimos necesarios(59).

IV. EL REFUERZO DE LOS ESTÁNDARES DE PROTECCIÓN DE LOS DERECHOS DE LOS MIGRANTES POR EL TJUE

4.1. Cuestiones clave

El elemento clave de la utilización de la IA en el campo de las migraciones es habilitar y maximizar los estándares materiales y procesales de la protección de los derechos de los migrantes, tanto en el ámbito internacional de los derechos humanos, como en la dimensión constitucional y legal de los Estados, desde un procedimiento administrativo claro, controlable y equitativo, a fin de minimizar, tanto como sea posible, los prejuicios discriminatorios e ilegales. Y es que, no cabe duda de que, mediante la inserción algorítmica de marcadores es perfectamente factible producir efectos discriminatorios, sirviendo como un proxy para la realización de prejuicios raciales, ya sea de origen nacional, de religión y de orientación sexual. En definitiva, hemos de trabajar partiendo de que los dispositivos que utilizan sistemas algorítmicos basados en la IA adolecen de defectos de carácter técnico que son, en cierta forma, coherentes e inevitables en la fase actual de desarrollo y conocimiento de dichas herramientas.

Especial relevancia adquieren en este campo los sistemas de IA basados en el “aprendizaje automático”, pues los mismos pueden reproducir y proyectar los prejuicios y discriminaciones, que subyacen en el conjunto de datos e información de los que se nutren, y que están presentes en la sociedad de referencia. Y de esta manera, y aunque sea de forma involuntaria se perpetúan las situaciones de desigualdad, y se justifican las actitudes de rechazo a los refugiados y migrantes. Por otro lado, estos dispositivos basados en el aprendizaje automático, y dado el conjunto de datos con los que trabajan, llegan a decisiones y propuestas, ya sean de carácter evaluativo o predictivo, a las que el ser humano no puede seguir la traza, o razonamiento, por lo que al no ser comprensibles tampoco son explicables y por lo tanto tampoco se pueden motivar, con la importancia que ello conlleva en el ejercicio de funciones públicas. Estas son las cuestiones que hacen ineludibles el establecimiento de garantías y salvaguardias específicas, adaptadas a la realidad y particularidades del dispositivo tecnológico. Y es que la inexistencia de un marco normativo específico, junto con la posibilidad de una imbricación o inter-relación entre los sistemas de IA con la denominada gobernanza de la inmigración, puede llevar a una administrativización del derecho y de las garantías formalmente previstas, que acaban reflejándose y reeditándose en la actuación práctica de las distintas autoridades y profesionales implicados.

Ante la falta de un marco normativo específico en la materia sobre el uso de dispositivos de IA en el ámbito de las migración, asilo y control de fronteras, han sido los tribunales, tanto nacionales como supranacionales, los que han resuelto por la vía de la interpretación las dudas sobre el alcance, el sentido y los límites existentes en el uso de estos dispositivos. Por esta razón nos vamos a centrar ahora en la labor del Tribunal de Justicia de la Unión Europea, y en concreto, en dos asuntos que vamos a abordar como referentes, el asunto T-158/19 (Sentencia del Tribunal General de 15 de diciembre de 2021 (Breyer/REA)), y el asunto C-817/19 (STJUE de 21 de junio de 2022, Ligue des droits humains / Conseil des ministres). De ambas resoluciones podemos concretar e identificar algunos estándares y límites para el uso de dispositivos algorítmicos por parte de las autoridades europea y nacionales.

4.2. Asunto T-158/19 (Sentencia del Tribunal General de 15 de diciembre de 2021 (Breyer/REA))

El asunto T-158/19 (Sentencia del Tribunal General – Sala Décima- de 15 de diciembre de 2021 ((Breyer/REA) ECLI:EU:T:2021:902)(60) se ocupa de la solicitud de una serie de documentos relativos a la investigación llevada a cabo en el procedimiento de autorización del proyecto “iBorderCtrl: Intelligent Portable Border Control System”(61). Ese proyecto concedido en el marco del programa Horizonte 2020, persigue alcanzar un control de las fronteras más rápido y preciso de aquellos ciudadanos no europeos que pretenden entrar en el territorio de la UE. Para ello trabaja en distintos dispositivos que integraban el sistema; el primero de ellos es la Herramienta de Coincidencia Facial (Face Matching Tool -FMT-), que realiza el reconocimiento facial durante las fases de preinscripción (previa al registro) y cruce de fronteras; y el segundo dispositivo se denomina Herramienta de Detección Humana Oculta (HHD), que consiste en un algoritmo, por el medio del cual, antes del registro, se realiza, comprueba y evalúa la entrevista que, por medio de un avatar y mediante la secuenciación de una serie de preguntas, realiza a los viajeros(62). Con este segundo dispositivo, según los responsables de proyecto(63), se pretende detectar y concretar la probabilidad de contenidos falsos o engañosos en las entrevistas mediante el análisis de los microgestos no verbales de los entrevistados. El algoritmo está diseñado para analizar los movimientos musculares del rostro del entrevistado, y de este análisis determina las emociones de estos sujetos que pretenden entrar en la UE(64), identificando y prediciendo las posibles declaraciones falsas o contradictorias que se realizan ante las autoridades de frontera.

En este asunto, el Tribunal se ocupa de la garantía de transparencia del procedimiento de autorización del proyecto de investigación iBorderCtrl, por las autoridades competentes al consorcio adjudicatario, pues en este proyecto de investigación está previsto probar el algoritmo base de la herramienta HDD. El demandante, Sr. Breyer, solicitó a la Agencia Europea de Investigación (REA) el acceso a una serie de documentos integrantes del expediente de autorización del proyecto, y dicha agencia le concedió el acceso parcial a algunos de ellos y la denegación de acceso a otros. Y en este marco, y al margen del caso concreto resuelto por el Tribunal de Justicia, se plantean dos cuestiones clave y de mucha más proyección: por un lado la invocación del respeto a los derechos de propiedad industrial o secreto industrial frente al acceso a la necesidad de información de las características técnicas, criterio y funcionamiento de los dispositivos; y por otro lado, la segunda cuestión se centra en la necesidad e interés de un debate público sobre si estas tecnologías de control son deseables y si deben financiarse con fondos públicos.

Con respecto a la primera cuestión, la invocación del respeto a los derechos de propiedad industrial o secreto sumarial, frente a la necesidad de información de las características técnicas del dispositivo, se centra en la necesidad de proteger los intereses comerciales, que en el caso en cuestión corresponde al consorcio de investigación, pero que de modo más general corresponde a los fabricantes, diseñadores y proveedores de dispositivos algorítmicos, que serían los titulares de estos derechos de propiedad o secreto industrial que se han de garantizar, y por lo tanto se oponen a las solicitudes de acceso a la información sobre características técnicas, criterios y funcionamiento de dichos dispositivos algorítmicos. En el análisis de esta cuestión, el Tribunal realiza una acertada y consistente exposición del significado y sentido de la protección de intereses comerciales, propiedad industrial e intelectual, relacionando este análisis con la “confidencialidad”, y todo ello en conexión con lo dispuesto en el artículo 42 de la Carta de Derechos fundamentales que consagra el derecho de acceso a los documentos(65). El Tribunal de Justicia, confirma la pertinencia y adecuación de estos intereses, y al mismo tiempo, al ocuparse de la evaluación individualizada de los documentos, señala que los documentos reclamados por el demandante contienen “una descripción de la política de la Unión en materia de controles de sus fronteras y del estado del Derecho de la Unión relativo a dicha política” y también incluye un “resumen detallado del marco jurídico pertinente….en particular el relativo a la protección de los datos personales, a los principios del Derecho y a los derechos fundamentales”, concluyendo que “esta información…., no se refiere a las herramientas o las tecnologías específicamente utilizadas en el proyecto iBorderCtrl, sino , como alega el demandante, aborda cuestiones generales acerca de la apreciación ética y jurídica de un sistema que utiliza medios tecnológicos innovadores, como la “detección automática de mentiras” o la “apreciación (automatizada) del riesgo” que pueden plantearse con independencia de la concepción concreta del sistema y del proyecto elaborado por los miembros del consorcio” (§ 119), por lo que procede amplía el número de documentos que las autoridades europeas deben poner a disposición de quienes los soliciten, en estas materias.

La segunda cuestión de la que se ocupa el Tribunal en este asunto, se centra en la necesidad e interés de un debate público sobre si estas tecnologías de control son deseables y si deben financiarse con fondos públicos. Pues dichos dispositivos tecnológicos se comercializan y son adquiridos y/o desarrollados por las administraciones públicas para realizar funciones específicas. De esto se ocupa el Tribunal a partir del apartado c) de la sentencia, a partir del parágrafo 181, pues el demandante alega la existencia de varios intereses públicos en la divulgación integra de los documentos solicitados, entre ellos mantiene que se ha de garantizar el acceso general de la sociedad a los resultados de las investigaciones financiadas con fondos públicos, asimismo mantiene que existe un interés científico en la divulgación ya que solo pueden calificarse de científicos los resultados de investigaciones debatidos, criticados, probados y que pueden ser reproducidos por otros.

Por otro lado señala que existe un interés público en la divulgación en la medida en que, desde un punto de vista ético y desde la óptica de los derechos fundamentales, el proyecto iBorderCtrl es particularmente discutible. Ante todo ello, el Tribunal señala por un lado que los distintos intereses públicos, considerados conjuntamente, en la divulgación de los documentos “pesan más” que los intereses comerciales en la confidencialidad (§ 183), por otro lado indica que se procederá a la divulgación o se permitirá el acceso a un documento, cuando esté justificada por un interés público superior, aun cuando pueda suponer un perjuicio para la protección de los intereses comerciales de una persona física o jurídica (§ 185), y por último concreta el interés público para el acceso y divulgación de los documentos en “una mayor participación de los ciudadanos en el proceso de toma de decisiones y una mayor legitimidad, eficacia y responsabilidad de la Administración para con los ciudadanos en un sistema democrático” (§ 186))(66).

En definitiva, se puede concluir que el acceso, por parte de los sujetos afectados o de las administraciones, a la información relativa a las características de un dispositivo de IA, como el que operaban en el marco del proyecto iBorderCtrl, es una garantía ineludible, que responde a un interés público superior, al que no se puede oponer los derechos de propiedad industrial, intelectual, o secretos comerciales o elementos de confidencialidad empresarial, pues esta oposición impedirían la transparencia y la accesibilidad al conocimiento necesario, que permite por un lado valorar la legitimidad del uso del referido dispositivo y por otro lado ejercer derechos fundamentales como el consentimiento y el de recurso efectivo, ante el dispositivo puesto en marcha y sus resultados(67).

En este momento, es oportuno recordar nuevamente aquí la decisión del Tribunal de Apelación británico, de la que ya nos hemos ocupado, y en la que se concreta que, el deber de la administración pública de realizar una verificación independiente, para comprobar que el dispositivo no adolece de sesgos inaceptables que puedan producir discriminaciones por razón de etnia o género, se mantiene incluso ante posibles negativas de los proveedores (o fabricantes) a compartir información relevante, alegando razones de privatización o de confidencialidad industrial. El tribunal lo califica de "deber indelegable". Por otro lado, y como hemos referido anteriormente, la Directiva canadiense sobre la toma de decisiones automatizada, establece, entre los requisitos que autorizan su uso, el acceso a los componentes del dispositivo, estipulando en particular que, en el caso del uso de una licencia de propiedad, las versiones del software utilizado deben ser entregadas y conservadas por el departamento competente. En este contexto, se concede a la Administración el derecho de acceso y verificación (prueba) del sistema automatizado, con referencia a todas las versiones de los elementos del software en caso de que sea necesario en el marco de una inspección, investigación, auditoría o procedimiento judicial. Además, el gobierno canadiense puede autorizar a terceros para que prueben y auditen los elementos del dispositivo, si resulta necesario.

Por último, la Sentencia del Tribunal General que nos ocupa, se refiere al interés de un debate público, e informado sobre si unas tecnologías son deseables y deben ser financiadas con fondos públicos y sobre esta cuestión se pronuncia el Tribunal positivamente, acogiendo la postura del demandante y reconociendo un "interés del público en participar en un debate público crítico y democrático sobre la cuestión de si las tecnologías de control como las controvertidas son deseables y si deben financiarse con fondos públicos, y que ese interés debe salvaguardarse debidamente" (§ 200). Y por lo tanto concluye que, como el proyecto iBorderCtrl no es más que un proyecto de investigación en desarrollo, es perfectamente posible mantener ese debate público crítico sobre los diferentes aspectos objeto de la investigación de que se trata sobre la base de los resultados de esas investigaciones divulgadas.

4.3. El asunto C-817/19 (Ligue des droits humains / Conseil des ministres)

La segunda referencia que queremos abordar es el asunto C-817/19(68) (Sentencia del Tribunal de Justicia -Gran Sala- de 21 de junio de 2022), que se ocupa del tratamiento automatizado de los datos del registro de nombres de los pasajeros (PNR)(69), dentro de la UE, con la finalidad, entre otras, de luchar contra la inmigración irregular y mejorar los controles transfronterizos(70). El Tribunal en el apartado 5 de la Sentencia (parágrafos 176 y siguientes), se ocupa de la evaluación anticipada de los datos PNR mediante tratamiento automatizado, validando y declarando la conformidad al derecho europeo de la regulación prevista en la Directiva PNR (art. 6, 2. a)), que prevé la evaluación previa para identificar a las personas que requieren un examen más detenido, por cuanto que “dichas personas pueden estar implicadas en un delito de terrorismo o un delito grave” (§ 176). Como refiere el Tribunal, esta evaluación anticipada se lleva a cabo en dos fases. En la primera la UIP del Estado miembro en cuestión (las autoridades nacionales), trata los datos del PNR por medios automatizados comparándolos con bases de datos o criterios predeterminados. Y en una segunda fase, en el caso de que el tratamiento automatizado realizado en la primera haya dado lugar a una correspondencia positiva (“respuesta positiva”), dicha Unidad (de conformidad con el art. 6.5 de la Directiva) llevará a cabo una revisión individual por medios no automatizados para verificar si las autoridades competentes deben adoptar medidas con arreglo al derecho nacional (§ 177).

Como indica el Tribunal(71), el tratamiento automatizado de datos presenta necesariamente un margen de error muy importante pues se efectúa sobre la base de datos personales no verificados y se basa en criterios predeterminados. Y teniendo en cuenta esto, para llevar a cabo esta valoración(72) el Tribunal de Justicia, establece como estándar básico de actuación que la propia UIP “solo puede transferir los datos del PNR a dichas autoridades tras un control individual por medios no automatizados”, a lo que añade que, “además de las comprobaciones que la UIP y las autoridades competentes deben llevar a cabo por sí mismas, la legalidad de todo tratamiento automatizado debe estar sujeta al control del delgado de protección de datos y de la autoridad nacional de control, …así como de los órganos jurisdiccionales nacionales”, por lo que podemos concluir que las autoridades competentes no podrán adoptar ninguna decisión que produzca efectos jurídicos adversos o le afecte significativamente, únicamente en base al tratamiento automatizado de datos PNR.

En definitiva, el Tribunal de Justicia exige que, en la segunda fase de análisis (si se ha dado una coincidencia o “respuesta positiva”), para evaluar si una persona puede estar implicada en un delito de terrorismo o un delito grave, no basta que se lleve a cabo de una forma automatizada, sino que es preciso que se lleve a cabo un tratamiento no automatizado de los mismos,(73) es decir un tratamiento individual. Así se recoge en el artículo 6.6 de la Directiva PNR que transcribe el parágrafo 28 de la Sentencia, y que señala que “...Dichas transferencias sólo se efectuarán caso por caso, y, en caso de tratamiento automatizado de los datos PNR, previa revisión individual por medios no automatizados”. Esta previsión normativa es coherente con lo dispuesto en el Reglamento General de Protección de Datos (Reglamento (UE) 2016/679),(74) que en su artículo 22.1 establece que “Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecta significativamente de modo similar”.

Por otro lado, el Tribunal de Justicia en su Sentencia, además de exigir un tratamiento individualizado en la segunda fase, establece también una serie de garantías y limitaciones para el tratamiento automatizado de los datos PNR, y así concreta que “la creación y aplicación de criterios de evaluación debe limitarse a los delitos de terrorismo y a los delitos graves para los que sea pertinente el uso de tales criterios. Además, los criterios de evaluación deben definirse de manera que se reduzca al mínimo el número de personas inocentes identificadas erróneamente por el sistema” (§ 7). Criterios que, por otro lado, han de estar absolutamente predeterminados por la normativa de aplicación (art. 6.3 b ) Directiva PNR)(75), y deben revisarse periódicamente (art. 6.4 Directiva PNR) Es decir, se ha de respetar el principio de legalidad, por lo que, tanto la regulación de las bases de datos, así como los criterios utilizados en la evaluación previa basada en el tratamiento automatizado de datos han de estar predeterminados en nuestra normativa, y a sensu contrario, están excluidos los no previstos en la legislación europea. Asimismo, el Tribunal de Justicia, se opone a la utilización de tecnología de inteligencia artificial basada en sistemas de autoaprendizaje o “aprendizaje automático”, “capaces de modificar sin intervención humana o revisar el proceso de evaluación, y, en particular, los criterios de evaluación en los que se basa el resultado de la aplicación de dicho proceso, así como la ponderación de dichos criterios” (§ 194)(76) . Dicho de otra manera, es necesario que los afectados y las administraciones implicadas puedan conocer y comprender como se ha llegado a una determinada conclusión o coincidencia positiva, pues estos dispositivos están ejerciendo funciones y competencias públicas, y su uso “podría privar a los interesados de su derecho a la tutela judicial efectiva consagrado en el artículo 47 de la Carta de Derecho fundamentales, para el cual la Directiva PNR, según su considerando 28, pretende garantizar un elevado nivel de protección, en particular para impugnar el carácter no discriminatorio de los resultados obtenidos” (§ 195, y 210).(77)

En este diseño garantista del tratamiento de datos automatizados en el marco de la Directiva PNR, continua el Tribunal de Justicia perfilando y ampliando las salvaguardas y derechos de los interesados y así concreta que, las propias personas afectadas deben haber tenido la oportunidad de examinar tanto todos los motivos como las pruebas sobre cuya base se adoptó la decisión, lo que incluye los criterios de evaluación predeterminados y el funcionamiento de los programas que aplican dichos criterios, capacidad que también extiende al órgano jurisdiccional encargado del control de legalidad de la decisión adoptada por la autoridad competente (§ 211)(78).

Como se puede observar, la labor realizada por el Tribunal de Justicia en el asunto que nos ocupa, además de oportuna, pone orden y claridad en la materia, respondiendo a la necesidad de disponer de unos estándares garantistas y principios de funcionamiento en el desarrollo y aplicación de estos dispositivos de inteligencia artificial. Estos estándares se proyectan sobre todos los ámbitos en los que sean susceptibles de aplicación sistemas de evaluación o predicción automatizados, como es el ámbito de la gobernanza de la inmigración y en concreto cuando se evalúa y se trata de forma automatizada la solicitud de protección internacional o los permisos de residencia. Cada vez es mayor el número de inmigrantes que llegan a las fronteras europeas, y el volumen de información y datos que rodean a este fenómeno es inconmensurable, a lo que se une la deficiente regulación y claridad de los distintos procedimientos de asilo. Por estas razones es necesario tener la adecuada templanza, para avanzar en la eficacia del tratamiento de todos estos datos, pero desde el respeto más absoluto a los derechos fundamentales de los afectados. Y es que el uso de dispositivos basados en la IA, encuentra sentido y tienen legitimidad si sirven a la protección de los derechos y garantías básicas de las sociedades democráticas.

V. CONSIDERACIONES FINALES

A medida que el uso de sistemas de inteligencia artificial se generaliza en todas las fases del proceso migratorio, se plantean importantes cuestiones y múltiples retos para la protección de los derechos humanos de los migrantes. Los dispositivos de inteligencia artificial ya son de uso ordinario en los distintos trámites administrativos que afectan a los migrantes, tanto en el acceso a la frontera como en las solicitudes de visado y asilo y en la adopción de las distintas decisiones, Han demostrado su eficacia, trabajando con ingentes cantidades de datos, y acelerando de forma extraordinaria la tramitación administrativa, reduciendo la inmigración irregular y mejorando la detección de amenazas para la seguridad. Ahora bien, estos logros no justifican que se alcancen a cualquier precio, en especial violando derechos fundamentales, o amparando actuaciones discriminatorias.

Hay que evitar los riesgos que conllevan el uso de estos dispositivos, pues la falta de transparencia y la presencia de sesgos en los algoritmos de inteligencia artificial justifican una preocupación generalizada que va mucho más allá del ámbito de la migración. Los sistemas de inteligencia artificial no solo codifican las discriminaciones humanas, sino que pueden además amplificarlas, y esto podría conducir a la institucionalización y sistematización de los mismos y, a la larga, a la exclusión de personas sobre la base de características protegidas, como la raza y la etnia(79).

Otra cuestión a valorar es que la tecnología no es una herramienta neutra y por lo tanto también puede cometer errores. Por esta razón, su uso conlleva la exigencia de responsabilidad, por lo que es preciso concretar y establecer procedimientos que permitan a las personas afectadas obtener la correspondiente reparación cuando los errores de los sistemas de IA den lugar a decisiones equivocadas o incluso a violaciones de sus derechos fundamentales. Esto significa que las decisiones adoptadas por sistemas de IA, o con ayuda o auxilio de los mismos, deben poder ser impugnadas por los afectados ante un tribunal o una autoridad imparcial e independiente, y para ello, a su vez se requiere; en primer lugar, que las administraciones sean transparentes en el uso de la inteligencia artificial; y, en segundo lugar, que se facilite el derecho de información de los afectados sobre la tecnología desarrollada y utilizada.

Por otro lado, el uso generalizado y sistemático de dispositivos basados en la inteligencia artificial en el ámbito de la inmigración exige preparar un marco normativo adecuado, en el que el uso de estos sistemas alcance un equilibrio adecuado entre la eficiencia en la gobernanza de las políticas de inmigración y la eficacia en la protección de los derechos de los inmigrantes. El camino para alcanzar este objetivo, es la convivencia, integración e inter-relación, por un lado de normas específicas que regulan usos y espacios específicos de estas tecnologías (en el marco de las migraciones nos hemos ocupado de los sistemas PNR y SEIAV), y por otro lado, de normativas orgánicas y generales (Reglamentos) que pueden diseñar un marco de estándares, principios, requisitos y garantías que serán de obligado cumplimiento para todas las administraciones y autoridades competentes que opten por esta tecnología basada en la inteligencia artificial (a esto responde la propuesta de Reglamento europeo en Inteligencia Artificial en la UE, o la Directiva Canadiense en su ámbito de aplicación).

Las tecnologías, y entre ellas también las que se basan en sistemas de IA, son un instrumento al servicio de la sociedad, y no un fin en sí mismas, por lo que deben ayudar a dar respuesta a los problemas del ser humano, pero no sustituirlo. Así mismo, hemos de huir del “tecno-autoritarismo”, y del “Estado de vigilancia(80)”, que se abre camino bajo la sombra de la teórica eficiencia y neutralidad de la digitalización y de los sistemas de IA, y frente a ello hemos de defender con rigor y contundencia, el estatuto jurídico y las políticas consolidadas a nivel internacional en favor de los migrantes, que se concretan en los derechos humanos reconocidos a nivel internacional, pues son estos derechos y la protección de los mismos, la búsqueda de la igualdad y la eliminación de discriminaciones los que legitimarían y validarían el uso de los dispositivos de IA.

Hemos de ser conscientes que la denominada tecnología “inteligente” puede ser utilizada para intereses políticos y económicos particulares, sin que existan sobre este uso sistemas de control y de respeto a unos mínimos estándares de protección de los derechos humanos reconocidos en las normas internacionales sobre la materia, esto, no es solo una posibilidad, sino que se trata de una realidad que hay que prevenir y revertir. Los sistemas de inteligencia artificial con sesgos que proyectan sobre decisiones automatizadas en el ámbito migratorio, afectan a los derechos fundamentales de los migrantes, y es contrario al avance tecnológico guiado por la ética y la defensa de los derechos humanos, en el sentido que concretó la Carta Europea de Ética sobre el Uso de la Inteligencia Artificial en 2018 en Estrasburgo,(81) que es el primer texto en el que se enuncian los “principios sustanciales y metodológicos”(82), que como señala FAGGIANI, están llamados a convertirse en el centro de la ciber-justicia europea(83).

Por último, nuestra civilización, como estado de progreso material, social, cultural y político de nuestra sociedad, tiene a la persona humana como elemento inherente y central de la misma, por lo que cualquier tecnología, que forma parte de nuestro progreso, y por lo tanto construye y transforma nuestra civilización, ha de desarrollarse con el máximo respeto a la persona humana y a sus derechos fundamentales, y a su atributo esencial que es la dignidad. Cualquier avance, aplicación o desarrollo de la tecnología que pueda devaluar o afectar a estos derechos básicos, deberá ser suspendido, y si una vez analizado y verificado, se mantiene el perjuicio o injerencia indebido, deberá ser rechazado.

En este nuevo mundo globalizado, digitalizado y tecnificado, se ha de prestar una especial atención a la relación entre la persona humana y la máquina para evitar prácticas deshumanizadoras, devaluadoras o diluyentes de la persona humana, en las que se erosionan los derechos fundamentales y valores básicos de nuestra sociedad. Estas prácticas, desarrolladas bajo el paraguas de este nuevo neo-lenguaje sometido al mito de la neutralidad y eficacia absoluta, si se llevan a cabo sin la adecuada reflexión y ponderación, pueden debilitar el sistema de responsabilidad y solidaridad que es el resultado de nuestra civilización. Son los parámetros humanitarios los que han de fundamentar las salidas de las múltiples crisis en las que estamos inmersos como civilización, y la inteligencia artificial no puede convertirse en el sustituto de estos parámetros, sino que ha de incorporarse al desarrollo de nuestra sociedad, como un elemento novedoso, y excepcionalmente cualificado, pero igualmente respetuoso con los derechos humanos, las garantías fundamentales y los valores democráticos. Por ello, entre las posibilidades fundamentales de reflexión sobre la empleabilidad de la IA en el ámbito de la migración, es inaceptable renunciar a la centralidad de lo humano y, reclamamos la necesidad de que cualquier actuación en el marco jurídico europeo en la estrategia digital de la UE, así como en la estrategia de la IA, se lleve a cabo desde un “enfoque europeo humanista”, fiable, guiado por principios éticos, y en el que la persona y la protección de sus derechos fundamentales han de estar siempre en el centro de todas las consideraciones políticas.

VI. BIBLIOGRAFÍA

Aden, H. (2020), “Interoperability Between EU Policing and Migration Databases: Risks for Privacy”, European Public Law, n. 1, pp. 93-108.

Agencia Europea de los Derechos Fundamentales (2017).

https://fra.europa.eu/sites/default/files/fra_uploads/fra-2017-interoperability-eu-information-systems_en-1.pdf. Último acceso 2/11/2022.

Akhmetova, R. (2020), Efficient discrimination: on how governments use artificial intelligence in the immigration sphere to create and fortify ‘invisible border walls’, Centre on migration, policy and society, Working paper n. 149, University of Oxford, 2020, pp. 1-23. disponible en https://www.compas.ox.ac.uk/wp-content/uploads/wp-2020-149-akhmetova_eficient_discrimination.pdf .

Barbaro, C. (2018) “CEPEJ, adottata la prima carta etica europea sull’uso dell’intelligenza artificiale (ai) nei sistemi giudiziari”, www.questionegiustizia.it, 7.12.2018

Basile, F., (2019) “Intelligenza artificiale e diritto penale: quattro possibili percorsi di indagine”, Diritto penale e uomo, pp. 1-33.

Bither, J., y Ziebarth, A., (2020), AI, Digital Identities, Biometrics, Blockchain: A Primer on the Use of Technology in Migration Management. The German Marshall Fund of the United States. Disponible en www.gmfus.org/publications/aidigital-identities-biometrics-blockchain-primer-use-technology-migration-management.

Blasi Casagran, C., (2021) “Fundamental Rights Implications of Interconnecting Migration and Policing Databases in the EU”, Human Rights Law Review, n. 2, pp. 433–457.

Brouwer, E, (2020) “Large-Scale Databases and Interoperability in Migration and Border Policies: The Non- Discriminatory Approach of Data Protection”, European Public Law, n. 1, pp. 71-92.

Buolamwini, J., y Gebru, T., (2018), Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, 81:1-15.

Burrell, J. (2016), “How the machine ‘thinks’: Understanding opacity in machine learning algorithms”. Big Data and Society. Disponible en https://doi.org/10.1177/2053951715622512.

Canada, Immigration, Refugees and Citizenship Canada. Disponible en: https://www.canada.ca/en/inmigration-refugees-citizenship.html

Canada, (2018) Responsible Artificial Intelligence in the Government of Canada, Digital Disruption White Paper Series, https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai.html

Christian, T.,(2022) “A Directive altered beyond recognition: On the Court of Justice of the European Union’s PNR decision (C-817/19)”, Verfassungsblog, 23 junio 2022 (https://verfassungsblog.de/pnr-recognition/).

Chui, M., Harrysson, M., Manyika, J., Roberts, R., Chung, R., Van Heteren A., Nel, P., (2018) Applying Artificial Intelligence for Social Good. McKinsey Global Institute, Nueva York. Disponible en https://www.mckinsey.com/~/media/mckinsey/featured%20insights/artificial%20intelligence/applying%20artificial%20intelligence%20for%20social%20good/mgi-applying-ai-for-social-good-discussion-paper-dec-2018.pdf

Coman-Kund, F., (2020) “Europol’s International Exchanges of Data and Interoperability of AFSJ Databases”, European Public Law, n. 1, pp. 181-204.

Currier, C., (2019), “Lawyers and scholars to Lexisnexis, Thomson Reuters: Stop helping ICE deport people”. The Intercept, 14 de noviembre. Disponible en https://theintercept.com/2019/11/14/ice-lexisnexisthomson-reuters-database/

Duan, Y., Edwards, J.S. y Dwivedi, Y.K., (2019) “Artificial intelligence for decision making in the era of Big Data –evolution, challenges and research agenda-”. International Journal of Information Management, 48:63-71. Disponible en https://doi.org/10.1016/j.ijinfomgt.2019.01.021.

Eubanks, V. (2018), Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press, Nueva York.

Faggiani, V., (2022) “El derecho a un proceso con todas las garantías ante los cambios de paradigma de la IA”, en Teoría y Realidad Constitucional (TRC) nº 50, pp. 517-546.

Fang, L., y Biddle, S. (2020), “Google AI tech will be used for virtual border wall, Cbp contract shows”, The Intercept, 21 de octubre.

Ferguson, A.G. (2017), The Rise of Big Data Policing: Surveillance, Race, and the Future of Law Enforcement. New York University Press, Nueva York.

Forti, M., (2021) AI-driven migration management procedures: fundamental rights issues and regulatory answers, BioLaw, Journal, 2, pp. 433-451.

FranzI, J. s.f. Australian advanced passenger processing (APP). Presentación para el Departamento de Inmigración y Protección de Fronteras de Australia.2017. Disponible en https://www.icao.int/Meetings/TRIP-Symposium-2017/Presentations/FRANZI.pdf

Gmelch, G. (1983),” Who Returns and Why: Return Migration Behavior in Two North Atlantic Societies”, Human Organization, 42(1):46-54.

Google Cloud (2020) Vision AI. Disponible en https://cloud.google.com/vision.

HalL, L., (2021) “Programming the machine: gender, race, sexuality, AI, and the construction of credibility and deceit at the border”, Internet Policy Review, pp. 1-23. Accesible en: https://policyreview.info/articles/analysis/programming-machine-gender-race-sexuality-ai-and-construction-credibility-and

Hernandez, K., Y Roberts, T., (2020) , Predictive analytics in humanitarian action: A preliminary mapping and analysis. Institute for Development Studies, Reino Unido.

Hoffmann-Riem, W., (2022) Recht im Sog der Digitalen Transformation, Mohr Siebeck, Tübingen, 2022.

Jasmintaite-Zaniewicz, L.– Zomignani Barboza, J., (2021) “Disproportionate Surveillance: Technology-Assisted and Automated Decisions in Asylum Applications in the EU?”, International Journal of Refugee Law, n. 1, pp. 89-110.

Liptak, A., (2017) “Sent to Prison by a Software Program’s Secret Algorithms”, The New York Times, 1.5.2017 (http://nyti.ms/2qoe8FC).

Magrani, E, (2018)A internet das Coisas, FGV editora, Río de Janeiro.

Mayer-Schönberger, V. – Cukier, K. (2013), Big Data: A Revolution that Will Transform How We Live Work and Think, New York: Houghton Mifflin Harcout.

McAuliffe, M., y Koser, K., (2017), A Long Way to Go: Irregular Migration Patterns, Processes, Drivers and Decision-making. ANU Press, Camberra.

McCarroll, E. (2020), Weapons of Mass Deportation: Big Data and Automated Decision-making Systems in Immigration Law. Centro de Derecho de la Universidad de Georgetown. Disponible en www.law.georgetown.edu/immigration-law-journal/wp-ontent/uploads/sites/19/2020/08/Weapons-of-Mass-Deportation-Big-Data-and-Automated-Decision-Making-Systems-in-Immigration-Law.pdf

Molnar, P. (2019), “New technologies in migration: Human rights impacts”, Forced Migration Review, 61, The Ethics Issue, junio :7-9.

Accesible en https://www.fmreview.org/sites/fmr/files/FMRdownloads/en/ethics/ethics.pdf

Molnar, P., (2022) The EU’s AI Act and its Human Rights Impacts on people Crossing Borders, Dot.Mig.

Molnar, P., y GilL, L., (2018), Bots at the Gate: A Human Rights Analysis of Automated Decision-Making in Canada’s Immigration and Refugee System. Citizen Lab y Programa Internacional de Derechos Humanos, Universidad de Toronto. Disponible en https://tspace.library.utoronto.ca/handle/1807/94802

Nalbandian, L. (2021), Using Machine-Learning to Triage Canada’s Temporary Resident Visa Application, Working Papers Series, Ryerson Centre for Immigration and Settlement (RCIS) e CERC in Migration and Integration, 9, Disponible https://km4s.ca/wp-content/uploads/2021_9_Nalbandian_Lucia_Using_Machine_Learning_to_Triage_

Canadas_Temporary_Resident_Visa_Applications.pdf

Napierala, J., et al., (2021) “Toward an Early Warning System for Monitoring Asylum-Related Migration Flows in Europe”, International Migration Review, n. 4, Disponible en https://journals.sagepub.com/doi/epub/10.1177/01979183211035736

Noble, S.U., 2018, Algorithms of Oppression: How Search Engines Reinforce Racism. New York University Press, ciudad de Nueva York.

Oficina Nacional de Auditoria de Australia (ANAO): 2008 DIAC’s Management of the Introduction of Biometric Technologies. Departamento de Inmigración y Ciudadanía, Australia.

Piffer, C. y Cruz, P. M., (2021) “Direitos humanos e inteligencia artifical em materia de imigração e refúgio”, Revista, Novos Estudos Jurídicos, vol. 26, n. 3, septiembre-diciembre de pp. 814-836.

Purshouse, J.–Campbell, L., (2021) “Automated facial recognition and policing: A Bridge too far?”, Legal Studies, online, pp. 1-19.

Quattrocolo, S., (2018) “Intelligenza artificiale e giustizia: nella cornice della carta etica europea, gli spunti per un’urgente discussione tra scienze penali e informatiche”, lalegislazionepenale.eu, 18.12.2018, pp. 1-12.

Rivlin-Nadler, M., (2019), “How ICE uses social media to surveil and arrest immigrants”, The Intercept, 22 de diciembre.

Rizvi, A. (2004), “Designing and delivering visas”. People and Place, 12(2) pp. 45-53.

Rydlewski, C., (2010) "Computação sem fronteras", Caldião de ideias, Disponible en: https://caldeiraodeideias.wordpress.com/2010/07/02/computacao-sem-fronteiras/

Sánchez Monedero, J., – Dencik, L., (2020)“The politics of deceptive borders: 'biomarkers of deceit' and the case of iBorderCtrl”, Information, Communication & Society, pp. 1-18.

Šarf Pika, (2021) “Automating Freedom, Security and Justice: Interoperability of AFSJ Databases as a Move Towards the Indiscriminate Mass Surveillance of Third-Country Nationals”, en ZAVRŠNIK ALEŠ and BADALIč VASJA, Automating Crime Prevention, Surveillance, and Military Operations, Suiza, Springer, pp. 85-108.

Scassa, T., (2021) “Administrative Law and the Governance of Automated Decision-Making: A Critical Look at Canada’s Directive on Automated Decision-Making”, University of British Columbia Law Review, n. 1, pp. 251-298.

Schippers, L.-M.; Gagliardi, M. P., (2021) Inteligência Artificial e Controle Migratório: algoritmos podem discriminar migrantes?, CEPI – FGV/SP.

Tassinari, F. (2022)“La interoperabilidad de los sistemas de información de gran magnitud de la Unión europea y la detección de identidades múltiples: garantías y Responsabilidades”, en Lucha contra la Criminalidad organizada y cooperación judicial en la UE: Instrumentos, límites y perspectivas en la era digital, GARRIDO CARRILLO, F.J. (director), FAGGIANI, V. (coordinadora), Ed. Thomson Reuters Aranzadi, Pamplona, pp. 291-338.

Vavoula, N., (2020) “Interoperability of EU Information Systems: The Deathblow to the Right to Privacy and Personal Data Protection of Third Country Nationals?”, European Public Law, n. 1, 2020, pp. 131-156,

Walsh, T., Miller, K., Goldenfein, J., Chen, F., Zhou, J., Nock, R., Rubinstein, B., y Jazckson, M. (2019) Closer to the Machine: Technical, Social, and Legal Aspects of AI. Office of the Victorian Information Commissioner. Disponible en https://ovic.vic.gov.au/wp-content/uploads/2019/08/closer-to-themachine-web.pdf.

Zuboff, S. (2019) The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. PublicAffairs, ciudad de Nueva York.

NOTAS:

(1). Este trabajo ha sido realizado en el ámbito de los Proyectos: Acción Jean Monnet, Lucha contra la delincuencia organizada. Enfoques normativo, operativo y judicial en la recuperación y gestión de activos derivados del crimen (LUDELOR) 2020-2022, con referencia 620390-EPP-1-2020-1-ES-EPPJMO-PROJECT; Proyecto I+d+i Proceso penal y Unión Europea. Análisis y propuestas, con referencia PID2020-116848GB-100; Proyecto I+D+i del Programa Operativo FEDER Andalucía: “Políticas de Integración de los Inmigrantes y Refugiados en Perspectiva Nacional, Autonómica y Europea”, 2021-2023, Ref. B-SEJ-442-UGR20; y Red de Cooperación internacional y de excelencia científica de estudio y análisis “Justicia, Derecho, Constitución y Proceso”.

(2). La inteligencia artificial no sería una sola cosa, sino un conjunto de tecnologías conexas, desarrolladas para igualar o sustituir la inteligencia humana. Sobre el tema Vid. Duan Edwards, y Cwivedi, 2019 (48:63-71); Walsh, Miller, Goldenfein, Chen, Zhou, Nock, Rubinstein, y Jazckson 2019.

(3). Así lo advierte el parágrafo 19, punto 2º dedicado a los posibles riesgos y obstáculos en el uso de la IA de la Resolución del Parlamento Europeo, de 3 de mayo de 2022, sobre la Inteligencia Artificial en la era digital (2020/2266(INI)) que concretamente dispone que “…en las situaciones presentes o futuras en las que, para un uso en concreto, los sistemas de IA planteen riesgos elevados para los derechos fundamentales y humanos, se requiere una supervisión totalmente humana y una intervención reguladora, y que, habida cuenta de la velocidad del desarrollo tecnológico, la regulación de los sistemas de IA de alto riesgo debe ser flexible y estar orientada al futuro”.

(4). En este sentido, la Resolución 32/13 aprobada por el Consejo de Derechos Humanos de la ONU el 1 de julio de 2016, de Promoción, protección y disfrute de los derechos humanos en Internet, concreta que todos los derechos que las personas tienen fuera de internet deben ser igualmente protegidos en internet, especialmente los vinculados a la libertad de expresión, y así mismo exhorta a todos los Estados a abordar las preocupaciones relativas a la seguridad en Internet de conformidad con sus obligaciones internacionales en materia de derechos humanos. Accesible en https://www.ohchr.org/en/hrbodies/hrc/home (último acceso 5.12.2022).

https://ap.ohchr.org/documents/S/HRC/d_res_dec/A_HRC_32_L20.

(5). Denominada “cuarta revolución industrial (4.0). Vid. Mayer-Schönberger, y Cukier, k., 2013.

(6). Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión, Bruselas 21.04.2021, COM(2021) 206 final, 2021/0106 (COD) sobre Inteligencia Artificial.

(7). Es de interés consultar las "Orientaciones generales" adoptadas por el Consejo Europeo el 25 de noviembre de 2022 en relación con la Propuesta de Reglamento de Inteligencia Artificial, accesible en https://data.consilium.europa.eu/doc/document/ST-14954-2022-INIT/es/pdf. En dichas orientaciones y para garantizar que la definición de los sistemas de IA proporcione criterios suficientemente claros para distinguirlos de otros sistemas de software más sencillos, el texto del Consejo restringe dicha definición (artículo 3 apartado 1) a los sistemas desarrollados a través de estrategias de aprendizaje automático y estrategias basadas en la lógica y el conocimiento.

(8). Sobre las ventajas en la eficiencia y rendimiento de la IA Vid. Burrell, j. 2016; chui et al., 2018.

(9). Magrani, e, 2018; 42-43.

(10). Sobre esta cuestión vid. basile, f., 2019: 28-29 y Liptak, A., “Sent to Prison by a Software Program’s Secret Algorithms”, The New York Times, 1.5.2017.

(11). XAI, inteligencia artificial explicable. es decir que los resultados de la solución puedan ser entendidos por humanos expertos.

(12). O, dicho de otra manera, que se pueda conocer una traza de todas las acciones que llevan a cabo de forma que sea posible realizar un análisis posterior que permita averiguar lo que ocurrió.

(13). El efecto Black Box (caja negra) impide conocer, por la opacidad de estos sistemas, los códigos desde los que se deduce el algoritmo y sus efectos en la decisión, violando el derecho de la persona afectada a ser informado de forma clara e inteligible.

(14). Los sesgos en los sistemas de IA, en lo que respecta a los sistemas de aprendizaje profundo, se producen a menudo debido a la falta de datos de entrenamiento y de prueba, diversos y de alta calidad, por ejemplo, cuando se utilizan conjuntos de datos que no representan suficientemente a los grupos vulnerables, o cuando la definición de la tarea o el establecimiento de los propios requisitos están sesgados.

(15). Canada, Responsible Artificial Intelligence in the Government of Canada, Digital Disruption White Paper Series, 2018.

(16). El objetivo general de la mencionada Directiva es garantizar que los sistemas de decisión automatizados se implementen de una manera que reduzca los riesgos para los canadienses y las instituciones federales y conduzca a decisiones más eficientes, precisas, consistentes e interpretables de conformidad con la Ley canadiense. La directiva es accesible en https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=32592#cha6 (último acceso 6/11/2022). El gobierno canadiense también lanzó la herramienta de evaluación de impacto algorítmica (The Algorithmic Impact Assessment (AIA)) para ayudar a las instituciones a comprender y gestionar mejor los riesgos asociados con los sistemas de decisión automatizados. Accesible en https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai/algorithmic-impact-assessment.html (último acceso 06/11/2022).

(17). Forti, M., BioLaw, Journal, 2, p. 432, 2021.

(18). Nalbandian, L., Working Papers Series, CERC in Migration and Integration, 9, 2021.

(19). Scassa, T., University of British Columbia Law Review, n. 1, 2021, pp. 251-298.

(20). Tengamos en cuenta que el funcionamiento electrónico del sector público español se regula en la Ley 40/2015 de 1 de octubre, de Régimen Jurídico del sector público (BOE nº 236 de 2 de octubre de 2015), en los artículos 38 a 46 bis, ocupándose en el artículo 41 de la actuación administrativa automatizada entendiendo la misma como “cualquier acto o actuación realizada íntegramente a través de medios electrónicos… y en la que no haya intervenido de forma directa un empleado público”. La ley 40/2015, recoge, con las adaptaciones necesarias, las normas hasta ahora contenidas en la Ley 11/2007, de 22 de junio, en lo relativo al funcionamiento electrónico del sector público y algunas de las previstas en el Real Decreto 1671/2009, de 6 de noviembre, por el que se desarrolla parcialmente la anterior. Y de esta forma se integran materias que precisaban de una regulación unitaria como corresponde con un entorno en el que la utilización de los medios electrónicos ha de ser lo habitual, como la firma y sedes electrónicas, el intercambio electrónico de datos en entornos cerrados de comunicación y la actuación administrativa automatizada.

(21). Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación. BOE núm. 167 de 13 de julio de 2022.

(22). De hecho, el primer párrafo establece expresamente que esta disciplina se sitúa en el contexto de las iniciativas europeas en el ámbito de la inteligencia artificial. Y, por otro lado, haciéndose eco de numerosos documentos internacionales y europeos de soft law, el tercer párrafo del art. 23 proclama que: “Las administraciones públicas y las empresas promoverán el uso de una Inteligencia Artificial ética, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Unión Europea en este sentido”.

(23). Fuera de Europa, podemos encontrar algunas experiencias llevadas a cabo por Nueva Zelanda y Estados Unidos. Cf., entre otros, Schippers, L.-M.; Gagliardi, M. P., 2021.

(24). Piffer y Cruz, “Direitos humanos e inteligencia artifical em materia de imigração e refúgio”, Revista, Novos Estudos Jurídicos, vol. 26, n. 3, septiembre-diciembre de 2021, p. 827.

(25). Consultar: https://www.foxglove.org.uk/2017/10/29/legal-action-to-challenge-home-office-use-of-secret-algorithm-to-assess-visa-applications/ (Acceso al 30.10.2022).

(26). Court of Appeal, R (Bridges) v. The Chief Constable of South Wales Police et al., [2020] EWCA Civ 1058, sulla quale Purshouse, J.–Campbell, L., Legal Studies, online, 2021, pp. 1-19.

(27). En concreto el Tribunal de Apelación británico establece el en parágrafo § 176 que el objetivo es el de “tranquilizar a los miembros del público, cualquiera que sea su raza o su sexo, de que sus intereses han sido tenidos en cuenta debidamente antes de formular o poner en práctica las políticas”.

(28). COMISIÓN EUROPEA, Comunicación, Una estrategia europea para los datos, Bruselas, 19.2.2020, COM/2020/66 final.

(29). COMISIÓN EUROPEA, Crear confianza en la inteligencia artificial antropocéntrica, 8.4.2019, COM(2019) 168 final.

(30). Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión, Bruselas 21.04.2021, COM(2021) 206 final, 2021/0106 (COD) sobre Inteligencia Artificial.

(31). Sobre este particular hemos de tener en cuenta que las "Orientaciones generales" adoptadas por el Consejo Europeo el 25 de noviembre de 2022 en relación con la Propuesta de Reglamento de Inteligencia Artificial, prevé que la disposición por la que se prohíbe el uso de sistemas de IA que explotan las vulnerabilidades de grupos específicos de personas ahora incluye también a las personas vulnerables por su situación social o económica (artículo 5 del texto transaccional).

(32). El considerando número 39 in fine, también establece la obligación de que los sistemas de IA en el ámbito de la gestión de la migración, el asilo y el control fronterizo abarcados por la propuesta de Reglamento han de cumplir con los requisitos establecidos en la Directiva 2013/32/UE del Parlamento Europeo y del Consejo sobre procedimientos comunes para la concesión o la retirada de la protección internacional (DOUE núm. 180, de 29 de junio de 2013, p. 60), el Reglamento (UE) 810/2009 del Parlamento Europeo y el Consejo por el que se establece un Código comunitario sobre visados, y otra legislación en la materia (DOUE núm. 243, de 15 de septiembre de 2009, p.1).

(33). En relación a la clasificación de los sistemas de alto riesgo es de interés consultar las "Orientaciones generales" adoptadas por el Consejo Europeo el 25 de noviembre de 2022 en relación con la Propuesta de Reglamento de Inteligencia Artificial, por cuanto que añade al texto una serie de criterios horizontales para la clasificación de estos sistemas (vid. art. 6 apartado 3), con el fin de que no se incluyan en la misma sistema de IA que probablemente no acarrearán violaciones graves de los derechos fundamentales ni otros riesgos considerables.. Así mismo se han aclarado y precisado muchos de los requisitos de para los sistemas de IA de alto riesgo de manera que sean más viables desde el punto de vista técnico y supongan una carga menor para las partes interesadas.

(34). Molnar, P., Dot.Mig, 2022. Vid. Buolamwini, J., y Gebru, T., 2018, Proceedings of Machine Learning Research, 81:1-15.

(35). En previsión de los Juegos Olímpicos de 2000 en Sidney, el Gobierno de Australia introdujo un sistema de control de biodatos antes del embarque de los pasajeros, prohibiendo a las líneas áreas embarcar a los pasajeros o miembros de las tripulaciones que no hubieran superado ese control. Vid. Oficina Nacional de Auditoria de Australia (ANAO): 2008; Franzi, J.; 2010.

(36). Vid. Jasmintaite-Zaniewicz y Zomignani Barboza, 2021; 89-110. Para una adecuada descripción de las principales aplicaciones de la IA a lo largo del ciclo migratorio Vid.: Gmelch, G. 1983, 42(1):46-54.; McAuliffe, y Koser, 2017.

(37). El Paquete “Fronteras inteligentes”, fue propuesto por la Comisión en febrero de 2013, y culminó con la Comunicación de la Comisión de 6 de abril de 2016 titulada <<Sistemas de información más sólidos e inteligentes para la gestión de las fronteras y la seguridad>>. https://home-affairs.ec.europa.eu/pages/page/smart-borders-background_en (último acceso 01/11/2022).

(38). Reglamento (ue) 2018/1240 del Parlamento Europeo y del Consejo de 12 de septiembre de 2018 por el que se establece un Sistema Europeo de Información y Autorización de Viajes (SEIAV) y por el que se modifican los Reglamentos (UE) núm.1077/2011, (UE) núm. 515/2014, (UE) 2016/399, (UE) 2016/1624 y (UE) 2017/2226. (DOUE núm. 236, de 19 de septiembre de 2018, p.1)

(39). Incluidos los miembros de la familia de un ciudadano de la Unión al que se aplique la Directiva 2004/38/CE y los nacionales de terceros países que disfruten de un derecho a la libre circulación equivalente al de los ciudadanos de la Unión. (Considerando número 7 del Reglamento UE 2018/1240)

(40). Sentencia del Tribunal de Justicia de la Unión Europea de 21 de junio de 2022 (Gran Sala) Asunto C-817/19 (Ligue des droits humains / Conseil des ministres). ECLI:EU:C:2022:491

(41). En la Comunicación de 6 de abril de 2016 sobre "Sistemas de información más sólidos e inteligentes para las fronteras y la seguridad", la Comisión Europea define la interoperabilidad como "la capacidad de los sistemas de información para intercambiar datos y permitir la puesta en común de la información y el acceso a la misma" e identifica sus principales funciones para mejorar la gestión de las fronteras y la seguridad exterior de la UE.

(42). Considerando 58 del Reglamento (UE) 2018/1240. Sobre la interoperabilidad de los sistemas de información de gran magnitud de la UE, Vid. Por todos, TASSINARI, F. 2022; pp. 291-338.

(43). Agencia Europea de los Derechos Fundamentales, 2017.

(44). La Agencia Europea para la Gestión Operativa de Sistemas Informáticos de Gran Magnitud en el Espacio de Libertad, Seguridad y Justicia (eu-LISA) desarrollará el sistema de información del SEIAV y garantizará la gestión técnica. Vid. www.eulisa.europea.eu.

(45). Considerando número 59 y arts. 73, 74 Reglamento (UE) 2018/1240. Con posterioridad a este Reglamento, se adoptaron, en mayo de 2019 los Reglamentos de la Unión Europea 2019/817 y 2019/818 que establecen la interoperabilidad de los sistemas informáticos de la UE elaborados desde la década de los 90 en el Espacio de Libertad, Seguridad y Justicia (ELSJ). Esta reforma pretende poner en interconexión seis sistemas informáticos centralizados de la Unión Europea (UE): dos de ellos han sido reformados recientemente, el Sistema de Información Schengen (SIS) – Reglamento (UE) 2018/1860 y Reglamento (UE) 2018/1861-, el Sistema de Información de Visados (VIS) – Reglamento (CE) 767/2008-; tres se encuentran en fase de desarrollo, – el Sistema de Entradas y Salidas (SES) -Reglamento (UE) 2017/2226 -, el Sistema de Información y Autorización de Viajes (SEIAV) – Reglamento (UE) 2018/1240 - y el Servicio Europeo de Información de Antecedentes Penales (ECRIS-TCN) -Reglamento (UE) 2019/816 -, y un último sistema que continua en proceso de negociación en el enrevesado proceso legislativo comunitario desde 2016, que es el sistema de Dactiloscopia Europea (Eurodoac) – Reglamentos Reglamento (UE) 603/2013 y Reglamento (UE) 604/2013-.

(46). Tassinari, F., 2022; p.296.

(47). Véase, en este sentido a Coman-Kund, F., 2020; pp. 181-204.

(48). El sistema de información Schengen y el Servicio Europeo de Antecedentes penales procesan datos personales de los ciudadanos de la UE: y para el primero, se recogen distintas alertas en los capítulos VI a XI del Reglamento 2018/1862; para el segundo, es de interés el art. 2 del Reglamento 2019/816.

(49). Véanse: Aden Hartmut, 2020; pp. 93-108; Blasi Casagran, C., 2021; pp. 433–457; Brouwer 2020; pp. 71-92; Vavoula, 2020; pp. 131-156, y Šarf Pika, en Završnik Aleš and Badalič Vasja, 2021, pp. 85-108.

(50). Agencia Europea de los Derechos Fundamentales, 2017.

(51). Los pronósticos de la migración y la movilidad tienen un largo historial, y se basaron durante años en la modelización estadística y los conocimientos de los expertos. Con la expansión de los conjuntos de datos, especialmente sobre los contextos de desplazamiento humanitario (como el de la Matriz de Seguimiento de los Desplazamientos de la OIM), está creciendo el interés por utilizar tecnologías de inteligencia artificial para aprovechar esos datos. Vid. Bither y Ziebarth 2020. Especialmente llama la atención el incremento de las tecnologías de IA para predecir las crisis humanitarias, incluidos los efectos del desplazamiento causado por conflictos y por la violencia, la inseguridad alimentaria, el brote de enfermedades y los desastres. Vid. Hernandez, y Roberts, 2020.

(52). Uno de los primeros sistemas automatizados fue elaborado por Australia en 1996. Estos sistemas se han desarrollado con el tiempo de tal manera que las decisiones sobre las solicitudes de bajo riesgo son ahora automáticas, y emplean técnicas de caracterización que no requieren la intervención de un oficial de visados. Vid. Rizvi, A. 2004, People and Place, 12(2). En los últimos tiempos, lo que se han desarrollado con mayor intensidad han sido los chatbots para los servicios de información y asesoramiento ofrecidos a los migrantes en los países de destino.

(53). Canada, Immigration, Refugees and Citizenship Canada; Cf., también, Piffer y Cruz, 2021; p. 824.

(54). Se han encontrado indicaciones en documentos judiciales de los Estados Unidos de América, de que se está recurriendo a corredores o agentes de datos del sector privado, que utilizan algoritmos de IA para recopilar una amplia variedad de datos personales y crear así “expedientes de datos” a fin de identificar a las personas que podrían ser deportadas. Vid. Currier, C., 2019, The Intercept, 14 de noviembre. Molnar, P. 2019, 61:7-9; Rivlin-Nadler, M., 2019, “The Intercept, 22 de diciembre.

(55). En este sentido es de interés el parágrafo 89, punto 2º dedicado a los posibles riesgos y obstáculos en el uso de la Inteligencia Artificial de la Resolución del Parlamento Europeo, de 3 de mayo de 2022, sobre la Inteligencia Artificial en la era digital (2020/2266(INI)), que nos recuerda que “muchos regímenes autoritarios utilizan sistemas de IA para controlar, espiar, seguir y clasificar a sus ciudadanos, restringir su libertad de circulación y ejercer vigilancia colectiva; hace hincapié en que cualquier forma de marcaje normativo ciudadano por parte de las autoridades públicas, especialmente en el ámbito de las fuerzas de seguridad del Estado, el control de las fronteras y el poder judicial, así como su uso por parte de empresas privadas o particulares, conduce a la pérdida de autonomía y privacidad y no está en consonancia con los valores europeos….”

(56). Ejemplo de “muro fronterizo virtual” es la iniciativa tan controvertida que está desarrollando la Oficina de Aduanas y Protección Fronteriza de los Estados Unidos, entre este País y México, en asociación con las principales empresas de tecnología como parte del programa de innovación de dicho Oficina. Si dicha iniciativa sigue adelante, supondrá una vigilancia masiva mediante drones, torres, con capacidades similares a las del producto “visión AI” de Google, que detecta y categoriza rápidamente a las personas y los objetos de una imagen o video. Vid. Fang, y Biddle 2020, The Intercept, 21 de octubre; Google Cloud 2020 Vision AI.

(57). Akhmetova, R., Working Paper n. 149, University of Oxford, 2020, 16. P.14

(58). Napierala, J., et al., 2021.

(59). Cf., Molnar, P., FM Review, 61, The Ethics Issue, junio de 2019. Pp 7-9.

(60). Contra dicha Sentencia se ha interpuesto recurso de casación el 25 de febrero de 2022 por Patrick Breyer (Asunto C-135/22 P)

(61). La Agencia Europea de Investigación (REA) celebró un acuerdo de subvención con los miembros de un consorcio para la financiación del Proyecto “iBorderCtrl: Intelligent Portable Control System”, en el marco del Programa Horizonte 2020, con el objeto de experimentar con nuevas tecnologías en los escenarios de gestión controlada de fronteras (“controlled border management scenarios”) que podían incrementar la eficacia de la gestión de las fronteras exteriores de la UE, así como garantizar la gestión más rápida de los viajeros de buena fe y una detección más rápida de las actividades ilegales. Sobre el proyecto iBorderCtrl, vid. Sánchez Monedero y DenciK, L, Information, Communication & Society, 2020, pp. 1-18.

(62). Hall, L., Internet Policy Review, 2021, pp. 9 ss.

(63). Información extraída de la página web oficial del proyecto (https://www.iborderctrl.eu/Technical-Framework/). Último acceso 2/11/2022.

(64). Sobre el reconocimiento de emociones y en relación a la transparencia en el uso de sistemas de alto riesgo, las "Orientaciones generales" adoptadas por el Consejo Europeo el 25 de noviembre de 2022 en relación con la Propuesta de Reglamento de Inteligencia Artificial, incorporar una nueva disposición que hace hincapié en la obligación, de los usuarios de un sistema de reconocimiento de emociones, de informar a las personas físicas a las que se exponga a un sistema de este tipo (nuevo apartado 2 bis del artículo 52).

(65). Vid, parágrafos § 71, 77, 83, 88, 89, 90 Sentencia del Tribunal General de la UE de 15 de diciembre de 2021, Asunto Breyer/REA. (Asunto T-158/19)

(66). En concreto, entiende el Tribunal que en la solicitud confirmatoria, “… el demandante invocó un interés público superior que justificaba la divulgación de los documentos solicitados consistente, por una parte, en el interés legítimo del público en acceder a los resultados de una investigación financiada con fondos públicos y, por otra parte, en el derecho del público a saber si el desarrollo de un proyecto que pudiera conllevar injerencias no éticas o ilegales en el derecho al respeto de la vida privada de los ciudadanos se financia con fondos públicos, a efectos de permitir un debate crítico, público y democrático, sobre la implantación de nuevos sistemas de control masivo controvertidos como el propuesto en el proyecto iBorderCtrl”. (§ 189).

(67). Sobre esta cuestión Vid. McCarroll, E. 2020. Centro de Derecho de la Universidad de Georgetown; Molnar y Gill 2018, Citizen Lab y Programa Internacional de Derechos Humanos, Universidad de Toronto.

(68). Sentencia del Tribunal de Justicia (Gran Sala) de 21 de junio de 2022 (petición de decisión prejudicial planteada por la Cour constitutionnelle — Bélgica) — Ligue des droits humains / Conseil des ministres)

(69). El tratamiento automatizado de los datos del registro de nombre de pasajeros (PNR) se regulan por La Directiva (UE) 2016/681 del PE y del Consejo, de 27 de abril de 2016 relativa a la utilización de datos del registro de nombre de los pasajeros (PNR) para la prevención, detección, investigación y enjuiciamiento de los delitos de terrorismo y de la delincuencia grave (DOUE L119/132 de 4 de mayo de 2016) . Dicha Directiva fue transpuesta al ordenamiento español por la Ley Orgánica 1/2020, de 16 de septiembre, sobre la utilización de los datos del Registro de Nombres de Pasajeros para la prevención, detección, investigación y enjuiciamiento de delitos de terrorismo y delitos graves. BOE núm. 248, de 17 de septiembre de 2020.

(70). Christian, T., Verfassungsblog, 23 junio 2022.

(71). Vid. § 106 y 178 de la Sentencia del Tribunal de Justicia, Gran Sala de 21 de junio de 2022. (asunto C-817/19 (Ligue des droits humains / Conseil des ministres). Como señaló el Tribunal de Justicia, en su parágrafo 106, <<El Tribunal de Justicia ya ha sostenido que, dado que los análisis automatizados de los datos del PNR, se realizan sobre la base de datos personales no verificados y se basan en modelos y criterios predeterminados, necesariamente presentan cierto margen de error…. En particular, como señaló, en esencia, el Abogado General en el punto 78 de sus conclusiones, del documento de trabajo de la Comisión [SWD(2020) 128 final] adjunto a su informe de 24 de julio de 2020 sobre la revisión de la Directiva PNR se desprende que el número de coincidencias positivas procedentes del tratamiento automatizado con arreglo al artículo 6, apartado 3, letras a) y b), de dicha Directiva que resultan ser incorrectas tras un control individual por medios no automatizados es bastante considerable, y en 2018 y 2019 ascendió al menos a cinco de cada seis individuos identificados”. (§ 106).

(72). Todo ello conforme a la necesidad recogida en el cuarto considerando del preámbulo de CDFUE, de reforzar la protección de los derechos fundamentales, a la luz de los avances científicos y tecnológico, y de conformidad con el considerando 20 y el artículo 7 apartado 6 de la Directiva (UE) 2016/681 del PE y del Consejo de 27 de abril de 2016, relativa a la utilización de datos del registro de nombre de los pasajeros (PNR) para la prevención, detección investigación y enjuiciamiento de los delitos de terrorismo y de la delincuencia grave.

(73). Vid. parágrafos 28 y 179 de la STJUE (Gran Sala) de 21 de junio de 2022 (asunto C-817/19), y art. Art. 6.6 Directiva (UE) 2016/681 del PE y del Consejo de 27 de abril de 2016, relativa a la utilización de datos del registro de nombre de los pasajeros (PNR) para la prevención, detección investigación y enjuiciamiento de los delitos de terrorismo y de la delincuencia grave.

(74). Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos). DOUE L119/1 de 4.05.2016.

(75). Vid. Sobre esta cuestión el § 194 de la Sentencia y las Conclusiones del Abogado General, Sr. Giovvanni Pitruzzella, presentadas el 27 de enero de 2022, ECLI:EU:C:2022:65 (Asunto C-817/19 Ligue des droits humains contra Conseils des ministres) en concreto en la número 7 (§ 287), señala que “El artículo 6, apartado 3, letra b), de la Directiva 2016/681 debe interpretarse en el sentido de que, en el contexto del tratamiento automatizado en virtud de dicha disposición, se opone al uso de sistemas algorítmicos en los que criterios predeterminados sobre la base de los cuales dicho tratamiento pueda ser modificado sin intervención humana y que no permitan identificar de forma clara y transparente los motivos de una coincidencia positiva resultante de dicho tratamiento”.

(76). Así también lo recoge el Abogado General, Sr. Giovanni Pitruzzella, en sus conclusiones (228) presentadas el 27 de enero de 2022

(77). Señala el § 210 que “las autoridades deben velar por que el interesado, …pueda comprender como funcionan dichos criterios y programas, de modo que sea posible que decida con pleno conocimiento de causa los hechos pertinentes si ejerce o no su derecho al recurso judicial garantizado en el artículo 13.1 de la Directiva PNR, para cuestionar, en su caso, el carácter ilegal y, en particular, discriminatorio de dichos criterios”. Véase por analogía la Sentencia del Tribunal de Justicia (Gran Sala) 24 de noviembre de 2020, Minister van Buitenlandse Zaken, C225/19 y C226/19, EU:C:2020:951, apartado 43.

(78). Vid. por analogía la sentencia del Tribunal de Justicia (Gran Sala) de 4 de junio de 2013, ZZ (C300/11, EU:C:2013:363), apartados 54 a 59.

(79). Eubanks, V. 2018; Ferguson, A.G. 2017; Noble, S.U., 2018; ZubofF, S., 2019.

(80). Como recoge el parágrafo 88, punto 2º, dedicado a los posibles riesgos y obstáculos en el uso de la Inteligencia Artificial, de la Resolución del Parlamento Europeo, de 3 de mayo de 2022, sobre la Inteligencia Artificial en la era digital (2020/2266(INI)): “Se observa con preocupación que estas tecnologías de IA plantean cuestiones éticas y jurídicas cruciales; señala que determinadas tecnologías de IA permiten automatizar el tratamiento de la información a una escala sin precedentes, lo que allana el camino para la vigilancia colectiva y la injerencia de manera ilegal y representa una amenaza para los derechos fundamentales, en especial el derecho a la privacidad y la protección de datos”

(81). Carta ética europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno adoptado por el CEPEJ (Comisión Europea para la Eficiencia de la Justicia), durante su 31 st Reunión Plenaria en Estrasburgo, 3-4 de diciembre de 2018. CEPEJJ (2018) 14. Accesible en https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c (último acceso 30.10.2022). En línea con la Carta ética europea, en diciembre de 2020, el CAHAI, el Comité ad hoc sobre la IA del Consejo de Europa, adoptó por unanimidad el estudio de viabilidad de un marco normativo sobre el diseño, el desarrollo y la aplicación de la IA, con un enfoque basado en los derechos humanos, centrando la atención en los riesgos para la democracia y el Estado de Derecho.

(82). Barbaro, C., www.questionegiustizia.it, 7.12.2018; y QUATTROCOLO, S., lalegislazionepenale.eu, 18.12.2018, pp. 1-12.

(83). Faggiani, V., “El derecho a un proceso…”, op. Cit. pág. 11.