RIESGOS E IMPACTOS DEL BIG DATA, LA INTELIGENCIA ARTIFICIAL Y LA ROBÓTICA. ENFOQUES, MODELOS Y PRINCIPIOS DE LA RESPUESTA DEL DERECHO

Por

LORENZO COTINO HUESO(1)

Investigador de la Universidad Católica de Colombia. Catedrático de Derecho Constitucional de la Universitat de Valencia

[email protected]

Revista General de Derecho Administrativo 50 (2019)

RESUMEN: El estudio se aproxima a las nociones de los algoritmos, la inteligencia artificial, los sistemas de autoaprendizaje automático (machine learning), deep learning y redes neuronales, la robótica inteligente y el big data como “alimento” de la inteligencia artificial. Se centran y exponen los diferentes riesgos, peligros e impactos. En primer término los riesgos existenciales por una “inteligencia artificial fuerte”, “explosiva” o fuera de control. Se alertan de los errores y discriminaciones masivas y estupidez artificial así como se repasan las referencias más importantes en la literatura sobre los peligros de la “algocracia”, dictadura o fundamentalismo de los datos, “dataismo” o la “psicopolítica” y el “enjambre” por estas nuevas tecnologías. A partir de lo anterior se abordan los enfoques, modelos y principios de regulación. Se apuesta claramente por la necesidad de tomar el control y de regular a partir de la variada tipología de riesgos. Se subraya el factor o ritmo temporal de la regulación. En este sentido se valora la introducción de técnicas de un Derecho líquido o biodegradable, experimental en beta continuo, así como las llamadas “sandboxes”. Pese a las críticas que puedan formularse, se considera que hay que avanzar hacia esta innovación de la forma regulatoria. También se analiza la necesaria participación del sector tecnológico, de informáticos y de especialistas. No obstante, se alerta de los peligros por falta de legitimación, captura y manipulación algorítmica del regulador. También se tiene en cuenta la necesidad de adoptar técnicas relativas a los principios de precaución y de responsabilidad. Finalmente se hace una referencia de las primeras regulaciones que se detectan en la materia de estudio, así como sentencias y resoluciones.

PALABRAS CLAVE: algoritmos, inteligencia artificial, robótica, big data, derecho, derechos fundamentales.

SUMARIO: I. DE LOS ALGORITMOS A LA INTELIGENCIA ARTIFICIAL, SISTEMAS DE AUTOAPRENDIZAJE, ROBOTS Y BIG DATA. HACIA EL INTERNET DE LAS COSAS ROBÓTICAS. 1. Algoritmos. 2. Inteligencia artificial. 3. Aprendizaje automático (machine learning), deep learning y redes neuronales. 4. Robótica inteligente. 5. Big data o macrodatos: el alimento de la inteligencia artificial y su procedencia. 6. Algunas notas sobre el impacto económico. II. RIESGOS, PELIGROS E IMPACTOS DE ESTAS TECNOLOGÍAS QUE EXIGEN RESPUESTAS JURÍDICAS. 1. Riesgos incluso existenciales para la humanidad por una “inteligencia artificial fuerte”, “explosiva” o fuera de control. 2. Errores y discriminaciones masivas y estupidez artificial. 3. “Algocracia”, dictadura o fundamentalismo de los datos, “dataismo”, “psicopolítica” y “enjambre”. III. LA RESPUESTA DEL DERECHO. ENFOQUES, MODELOS Y PRINCIPIOS DE REGULACIÓN. 1. La necesidad de tomar el control y de regular. 2. Clasificación de los riesgos y los enfoques y respuestas jurídicas. 3. El tiempo apremia. Necesidad e inconvenientes de un Derecho líquido o biodegradable, experimental en beta continuo. 4. Además, un Derecho nebuloso, con alta participación del sector tecnológico, de informáticos y de especialistas. Peligros de falta de legitimación, captura y manipulación algorítmica del regulador. 5. La adopción técnicas relativas a los principios de precaución y de responsabilidad. 6. La importancia de la incorporación de técnicas de responsabilidad activa y una aproximación a la responsabilidad algorítmica. 7. Autoridad y autoridades sectoriales y especializadas. IV. PARA TERMINAR. UNA REFERENCIA A LAS PRIMERAS REGULACIONES, SENTENCIAS Y RESOLUCIONES.

RISKS AND IMPACTS OF BIG DATA, ARTIFICIAL INTELLIGENCE AND ROBOTICS. APPROACHES, MODELS AND PRINCIPLES OF THE RESPONSE OF THE LAW

ABSTRACT: The study approaches the concepts of algorithms, artificial intelligence, self-learning systems), deep learning and neural networks, intelligent robotics and big data as "food" of artificial intelligence. Then, the different risks, dangers and impacts are explained. First, the existential risks to humanity for a "strong artificial intelligence", "explosive" or out of control. The errors and massive discriminations and artificial stupidity are alerted. They are also followed the most important references in the literature about the dangers of these new technologies: the "algocracy", dictatorship or fundamentalism of the data, "dataism" or "psychopolitics" and the "swarm". Based on the above, regulatory approaches, models and principles are examined. The author affirms the need to take control and to regulate from the varied typology of risks. The time factor or the rhythm of the regulation is stressed. In this sense, it is valued the introduction of techniques of a liquid or biodegradable law, experimental in continuous beta, as well as the "sandboxes" techniques. Despite the criticisms about it, it is stated that we must move towards this innovation in the form of regulation. The necessary participation of the technology sector, computer specialists and specialists is also analyzed. However, the dangers due to lack of legitimacy, capture and algorithmic manipulation of the regulator are warned. It is also taken into account the need to adopt techniques related to the principles of precaution and responsibility. Finally, the first regulations in the subject of study are described, as well as judgments and resolutions.

KEYWORDS: algorithms, artificial intelligence, robotics, big data, law, fundamental rights.

I. DE LOS ALGORITMOS A LA INTELIGENCIA ARTIFICIAL, SISTEMAS DE AUTOAPRENDIZAJE, ROBOTS Y BIG DATA. HACIA EL INTERNET DE LAS COSAS ROBÓTICAS

1. Algoritmos

La RAE los define como “Conjunto ordenado y finito de operaciones que permite hallar la solución de un problema.” O como “Método y notación en las distintas formas del cálculo.” Algoritmo es una secuencia de comandos para que una computadora transforme un input en output. Señala Monasterio(2) que se trata de un código software que procesa un conjunto limitado de instrucciones. Existen muchas clases y de muy diversas aplicaciones si bien este autor señala tres propiedades básicas de los mismos: su universalidad, su opacidad y el impacto en la vida de las personas.

Como recuerdan Coglianese y Lehr(3), los algoritmos en modo alguno son nuevos, sino que han integrado los programas informáticos desde hace décadas. El motivo por el que centran ahora la atención es que algoritmos avanzados de aprendizaje automático advanced machine-learning algorithms están revolucionando y automatizando la vida y la sociedad. Estos autores subrayan que la creación de algoritmos es un proceso no sólo estadístico o matemático, sino complejo y humano que incluye recopilación, preparación y análisis de datos en diversas etapas.

En este proceso se incluyen asimismo muchas decisiones de desarrolladores y directivos(4). Y como apuntan Coglianese y Lehr(5), los algoritmos actuales son “robots” digitales que poseen habilidades efectivamente autónomas para adaptarse y aprender.

2. Inteligencia artificial

La Comisión Europea(6) señala que “El término <<inteligencia artificial>> (IA) se aplica a los sistemas que manifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción –con cierto grado de autonomía– con el fin de alcanzar objetivos específicos.” Puede consistir simplemente en un programa informático (p. ej. asistentes de voz, programas de análisis de imágenes, motores de búsqueda, sistemas de reconocimiento facial y de voz), pero la IA también puede estar incorporada en dispositivos de hardware (p. ej. robots avanzados, automóviles autónomos, drones o aplicaciones del internet de las cosas). Los pilares básicos de la IA que ya Nilsson señaló en 1980(7) se aplican a algoritmos, redes neuronales artificiales y patrones de razonamiento, en principio, similares a los humanos. Se trata de nociones necesariamente interconectadas, que llevan al tránsito entre algoritmos, IA hacia los sistemas de aprendizaje autónomo avanzado y la robótica inteligente. Navas(8) recuerda que un sistema de IA necesita de una secuencia de instrucciones que especifique las diferentes acciones a ejecutar por el sistema informático.

3. Aprendizaje automático (machine learning), deep learning y redes neuronales

La ISO 8373 de 2012 sobre Robots y dispositivos robóticos Robots and robotic devices define la autonomía como “capacidad para realizar tareas previstas en función del estado y la percepción actuales, sin intervención humana”(9) (ap. 2.2). Coglianese y Lehr(10) señalan tres claves de esta independencia de los seres humanos: autoaprendizaje automático: (1) los resultados de los algoritmos no dependen de que los humanos hayan especificado de antemano y que mientras los algoritmos de aprendizaje se están ejecutando, los humanos no están realmente controlando cómo se están combinando y comparando los datos. (2) La naturaleza de la “caja negra”, los resultados no siempre son intuitivamente explicables. Y (3) se trata de procesos con resultados rápidos y automáticos.

Así pues, el sistema trabaja sobre grandes volúmenes de datos sobre los que aplica numerosas reglas o algoritmos, se identifican patrones de comportamiento y, basándose en ellos, el sistema se entrena aprende de estos datos y es capaz de predecir comportamientos futuros.

Por cuanto al aprendizaje profundo o deep learning está inspirado en el funcionamiento de redes neuronales de nuestro cerebro. Los datos van pasando por distintas “capas” en la que se aplican reglas de aprendizaje, modelos para que pueda evaluar ejemplos e instrucciones para los resultados se vayan comparando y ajustando en cascada.

4. Robótica inteligente

Para el Parlamento UE(11) en su resolución sobre robótica, ésta especialmente es la “capacidad de aprender de la experiencia y tomar decisiones cuasi independientes— ha hecho que estos robots se asimilen cada vez más a agentes que interactúan con su entorno y pueden modificarlo de forma significativa”. Y se considera a la “Autonomía de un robot”(12) “como la capacidad de tomar decisiones y aplicarlas en el mundo exterior, con independencia de todo control o influencia externos; que esa autonomía es puramente tecnológica y que será mayor cuanto mayor sea el grado de sofisticación con que se haya diseñado el robot para interactuar con su entorno”. Y añade que “cuanto más autónomos sean los robots, más difícil será considerarlos simples instrumentos en manos de otros agentes (como el fabricante, el operador, el propietario, el usuario, etc.)” (13).

El Parlamento UE(14), como primer principio general subraya la importancia de las definiciones pidiendo “definiciones europeas comunes de sistema ciberfísico, sistema autónomo, robot autónomo inteligente y sus distintas subcategorías”. Y de modo operativo señala la necesidad de clasificación de robots a efecto de un “sistema global de registro de robots avanzados”.

La referida ISO 8373 de 2012 define robot como “mecanismo accionado programable en dos o más ejes con un grado de autonomía, que se mueve dentro de su entorno, para realizar las tareas previstas”. Y por lo que más interesa, el robot inteligente se define como el “capaz de realizar tareas detectando su entorno y / o interactuando con fuentes externas y adaptando su comportamiento” (2. 28). Santos(15) afirma que “robot inteligente será aquella máquina física que de manera autónoma a través de programas y sensores inteligentes pueda llegar a tomar decisiones basándose en la lógica e IA prediciendo las necesidades de los humanos y de las situaciones en las que se ven envueltos actuando, alterando e interactuando con el mundo físico, todo ello sin estar sometidos al control continuo de los humanos.”(16).

Como señala la Asamblea del Consejo de Europa(17) la convergenia tecnológica “tiene consecuencias no solo para los derechos humanos y la forma en que pueden ejercerse, sino también para el concepto fundamental de lo que caracteriza a un ser humano” (nº 1) […] 2. La omnipresencia de las nuevas tecnologías y sus aplicaciones está desdibujando los límites entre el ser humano y la máquina, entre las actividades en línea y fuera de línea, entre el mundo físico y el virtual, entre lo natural y lo artificial, y entre la realidad y la virtualidad. Lo que ahora se avecina en el horizonte es el ser humano “aumentado”.

Así pues, cabe hablar de un internet de las cosas robóticas (“Internet of Robotic Things, IoRT)”(18). Todas estas nuevas tecnologías convergentes y que “beben” del big data o se confunden con él, requieren la atención jurídica y especialmente desde la dignidad y los derechos fundamentales, especialmente los derechos de la personalidad y la vida privada. Y especial atención hay que prestar por su sensibilidad a las llamadas tecnologías “captology”, esto es las “Computers As Persuasive Technologies” . Se trata de tecnologías informáticas (computadoras, teléfonos móviles, sitios web, tecnologías inalámbricas, aplicaciones móviles, videojuegos, etc.) creadas para cambiar nuestras intenciones y comportamiento. Y es que estas tecnologías se basan precisamente en la recopilación de datos y su análisis a través de la IA e interfaces inteligentes(19). Y entre las referencias máximas, puede mencionarse las psicografías (psychographics) que llevan a cabo segmentación y análisis de datos sobre personalidades(20).

5. Big data o macrodatos: el alimento de la inteligencia artificial y su procedencia

La terminología “big data” trae causa del trabajo de Schönberger y Cukier(21). En español se utiliza la expresión inglesa “big data”, también “macrodatos” (Parlamento Europeo(22)) y no tanto la de “datos masivos”. El Parlamento Europeo en su letra A afirma que:

“el concepto de macrodato se refiere a la recopilación, análisis y acumulación constante de grandes cantidades de datos, incluidos datos personales, procedentes de diferentes fuentes y objeto de un tratamiento automatizado mediante algoritmos informáticos y avanzadas técnicas de tratamiento de datos, utilizando tanto datos almacenados como datos transmitidos en flujo continuo, con el fin de generar correlaciones, tendencias y patrones (analítica de macrodatos);”

Se habla de las “V” (23): volumen, variedad, velocidad y valor, a las que se añaden entre otras, la veracidad(24). El gran reto de los datos masivos es la captación, gestión y tratamiento para agregar valor a grandes volúmenes de datos poco utilizados o inaccesibles hasta la fecha, todo ello para aportar y descubrir un conocimiento hasta ahora oculto. Entre otros, Boyd y Crawford(25) subrayan que el Big Data no sólo se refiere a grandes conjuntos de datos y las herramientas y procedimientos utilizados para manipular y analizar ellos, sino también a un giro en el pensamiento computacional y la investigación.

Se da una necesaria convergencia del big data porque los sistemas computacionales son capaces de tratar, aprender, resolver problemas y tomar decisiones a partir de los grandes datos bajo un cambio de paradigma. La ingente acumulación de información y el big data es lo que ha permitido en los últimos años que vaya haciéndose efectivo el desarrollo de la IA.

Por cuanto a la procedencia de la ingente cantidad de datos, puede ser muy variada: datos generados por humanos, generados biométricamente, producidos máquina a máquina, productos de grandes transacciones o del uso de la web y redes sociales. En mayo de 2018 hay 4 mil millones de usuarios de internet en el mundo, los 2,243,058,923 usuarios activos de Facebook , los 335,506,850 usuarios activos de Twitter, las 1,884,903,109 Websites. Sólo en un segundo se envían 2.700.121, hay un tráfico de internet de 57,960GB, se hacen 67,565 búsquedas en Google, se ven 74,218 videos en YouTube, se envían 8,074 Tweets o se suben 851 fotos en Instagram(26) . Sólo en 2017 se vendieron 1500 millones de smartphones. De la unidad del byte vamos superando geométricamente las unidades de media (kilo, mega, giga, tera, peta, exa, zetta y yottabyte).

Innumerables son las masivas facturaciones o transacciones económicas. Y la cantidad de datos se dispara en las comunicaciones del internet de las cosas, comunicaciones entre máquinas, industrias, estaciones meteorológicas, etc. por lo general vinculadas a medidores y sensores de temperatura, luz, altura, presión, sonido, localización, GPS, así como en el entorno de tecnologías RFID, wifi o bluetooth. Y entre otros datos a añadir, los procedentes de movimientos de ratón o de interactuación con nuestro sistema operativo. También son parte del big data los datos biométricos, normalmente vinculados al ámbito de seguridad pero también de sanidad (escáneres de retina, de huellas digitales, o lectores de cadenas de ADN, monitoreos médicos de todo tipo, etc.).

Gracias al big data y la IA se permite generar patrones dinámicos de tendencias de futuro: la predictibilidad y el apoyo en la toma de decisiones. Se puede conocer mejor al cliente, al mercado, personalizar los productos y servicios, mejorar el márquetin y la publicidad, tener una mejor visión estratégica y de negocio, crear nuevos servicios y productos, y obtener nuevos ingresos, mejorar y agilizar la toma de decisiones, prever el comportamiento(27).

Como recuerda el Parlamento Europeo en la mencionada resolución sobre macrodatos “la analítica de macrodatos genera valor añadido” y puede repercutir muy positivamente “en los ámbitos de la asistencia sanitaria, la lucha contra el cambio climático, la reducción del consumo energético, la mejora de la seguridad en el transporte y la posibilidad de establecer ciudades inteligentes, mejorando, así, la optimización y eficiencia de las empresas y contribuyendo a una mejora de las condiciones laborales y a la detección y la lucha contra el fraude; y que los macrodatos pueden ofrecer una ventaja competitiva para los procesos de toma de decisiones de las empresas europeas, al mismo tiempo que el sector público puede beneficiarse de una mayor eficacia gracias a un mejor conocimiento de los distintos niveles de desarrollo socioeconómico” (letra h ).

Merced a las posibilidades de tratamiento, se trata de combinar datos como el químico que aleatoriamente va tomando muestras por doquier, se descubren correlaciones sin conocer previamente la causa. Uno de los mayores retos es disponer de personas adecuadas y formadas para analizar y explotar los datos, esto es, convertir una gran cantidad de datos en decisiones, estrategias y mejores experiencias para los consumidores(28).

6. Algunas notas sobre el impacto económico

Las repercusiones de la IA, big data, robótica, son incuestionables. El impacto económico de la automatización de los conocimientos, los robots y los vehículos autónomos puede estar entre 6.500 y 12.000 millones de euros al año de aquí a 2025 (incluida la mejora de la productividad y una mayor calidad de vida entre la población de edad avanzada)(29). Se afirmaba en 2016 una cifra de 60 000 millones euros y ésta podría posiblemente ascender a más de 106.000 millones de euros en 2020(30). En 2018 se señala que la IA puede hacer crecer el PIB español en 189 mil millones de dólares para 2035, más de un 10%(31). Las inversiones públicas y privadas en investigación y desarrollo en el ámbito de la IA oscilaron entre 4 000 y 5 000 millones euros frente a 6.500-9.700 millones euros en Asia y 12.100-18.600 millones euros en América del Norte(32). Ahí se afirmaba también que en 2020 la combinación del big data y el open data, especialmente el primero implicará un crecimiento de 230 mil millones de euros, un 1,9% adicional al PIB.

También se afirma que un 50% de la economía europea crecerá en su eficiencia en un 5-6%(33). En 2017, se ha afirmado que “el sector de los macrodatos está creciendo a un ritmo del 40 % anual, siete veces más rápidamente que el del mercado de las tecnologías de la información” (Parlamento Europeo, 2017 b, letra k).

II. RIESGOS, PELIGROS E IMPACTOS DE ESTAS TECNOLOGÍAS QUE EXIGEN RESPUESTAS JURÍDICAS

1. Riesgos incluso existenciales para la humanidad por una “inteligencia artificial fuerte”, “explosiva” o fuera de control

El Parlamento UE (2017 a, ob. cit.) afirma que pese a las ventajas del desarrollo de máquinas inteligentes y autónomas, la cuestión “plantea retos a la hora de velar por la no discriminación, las garantías procesales, la transparencia y la inteligibilidad de los procesos decisorios” (letra h). Se apunta también que “el progreso de la robótica podría traducirse en una elevada concentración de la riqueza y el poder en manos de una minoría” (letra k). Además, “existe la posibilidad de que a largo plazo la IA llegue a superar la capacidad intelectual humana” (letra p).

No son pocos los temores ante la “singularidad tecnológica”, una “IA fuerte” (strong AI) que puede quedar fuera de control humano con graves riesgos para la humanidad y su deshumanización. Kurzweil en 2005 (34) pronosticó para 2045 la “singularidad tecnológica”, esto es, el momento a partir del cual podría quedar fuera de control humano el futuro por el crecimiento exponencial de la tecnología. Se trata de la también llamada explosión de la IA(35), lo que Bolstrom, el Director del Future of Humanity Institute de la Universidad de Oxford, llama el “treacherous turn” el “giro traicionero” hacia una superinteligencia o inteligencia maligna. Bostrom afirma que “somos como niños jugando con una bomba”(36). Se hace referencia, pues, al momento en el que la IA pasa a ser lo suficientemente fuerte para atacar a los humanos sin advertencia o provocación, cuanto puede considerar que los humanos son una amenaza para el logro de sus valores finales y se vuelven en contra evitando los sistemas de control establecidos por los ingenieros.

Desde el Instituto del Futuro de la Vida del MIT (The Future of Life Institute) (37) se señala que “la IA tiene el potencial de volverse más inteligente que cualquier ser humano, no tenemos una manera segura de predecir cómo se comportará.” La IA suscita la existencia de riesgos existenciales para la humanidad que Petit denomina “Existernality”(38). Elon Musk (Tesla, SpaceX, Paypal, etc.) en 2014 advirtió que la IA presenta la “mayor amenaza existencial” para la civilización humana y la comparó con una “invocación al demonio” (“summoning the demon”)(39). Y en 2017 Musk ha recordado la necesidad de una regulación proactiva y no sólo reactiva frente a las malas consecuencias, porque de lo contrario la regulación llegará demasiado tarde(40).

También Stephen Hawking en sus últimos años insistió en que la IA puede “destruir”, “mejorar” o “reemplazar” a la humanidad(41). Bill Gates, aunque también ha subrayado el lado más amable, ha afirmado que los “humanos deberíamos estar preocupados por la amenaza que implica la IA”(42).

Frente a las visiones más negativas se han considerado exageraciones como que con la IA se acerque el día del juicio final(43). De especial interés, Calo ha criticado estas visiones tan negativas del “apocalipsis de la IA” que pueden generar una percepción social muy negativa para el desarrollo de la IA. Señala que un desproporcionado temor distrae a los policymakers para las necesidades más inmediatas y puede desincentivar la inversión o generar una política de hivernación de la IA (“AI Policy Winter”). De contrario a estas visiones más negativas se apunta que desde los años 50 no se ha conseguido que los robots sean más inteligentes que insectos(44). Se afirma además que la destrucción por superinteligencias no es la salida natural e inteligente, dado que como afirmara Yann LeCun el director de IA de Facebook, “las computadoras no tienen testosterona.”(45) No sin ironía se señala que el objetivo es que la IA efectivamente invada la tierra, pero que sea efectivamente inteligente frente a la situación actual.

Por cuanto al ámbito concreto del desarrollo de armas autónomas fue un hito en 2015 la “Carta abierta de investigadores de IA y robótica contra las armas autónomas”, que ha sido suscrita por unos 4000 investigadores de la máxima relevancia(46). Y también en 2015 se lanzó una Carta abierta “Prioridades de investigación para una IA robusta y beneficiosa”, pues “los beneficios potenciales son enormes”, “mientras se evitan riesgos potenciales.”(47)

Más allá de los riesgos existenciales para la humanidad, desde el Future of Humanity Institute de Oxford(48), se ha analizado el lado “malicioso”, los malos usos potenciales de la IA y los mecanismos de defensa que habrían de desarrollarse frente a ello. Se subraya el carácter de “doble uso” de estas tecnologías. Este reciente estudio agrupa los peligros de la IA en seguridad digital, física y política(49). Por cuanto a la “seguridad digital” se analiza la expansión e intensificación de los ataques cibernéticos, la intoxicación de datos e informaciones o el uso de síntesis de voz para la suplantación. Respecto de la “seguridad física” se afirman potenciales ataques con drones y otros sistemas físicos, el hackeo de los futuros vehículos autónomos. En el ámbito de la “Seguridad política” se afirma la mayor vigilancia y control social especialmente a través análisis de datos recopilados en masa; también, la persuasión y manipulación a través de propaganda dirigida, así como el engaño (por ejemplo, a través de la manipulación de videos) y la ampliación de amenazas de invasión de privacidad y la manipulación social. También se alerta de los análisis cada vez más novedosos de los comportamientos humanos, los estados de ánimo y las creencias de la población. Estos riesgos, se afirma, se dan especialmente en las dictaduras, pero también amenazan y mucho las democracias.

2. Errores y discriminaciones masivas y estupidez artificial

Boyd y Crawford (ob.cit.) ya afirmaron que los números no hablan por sí mismo; las afirmaciones de objetividad y precisión son engañosas dado que todos los investigadores son intérpretes de datos y siempre hay un proceso de “limpieza de datos” inherentemente subjetivo. También apuntan que con los datos masivos, también hay errores de datos masivos. O’Neil ha llegado a hablar de “Weapons of math destruction”(50) . Como señala Surden, lejos del “manto de objetividad de la tecnología”, los sistemas tecnológicos pueden tener valores sociales “incrustados” o emebidos en su diseño y que éstos sean contrarios a la igualdad, principios constitucionales y derechos humanos(51). El Parlamento UE(52) en su resolución sobre macrodatos ha insistido en que:

“los datos de capacitación a menudo son de una calidad cuestionable y no son neutrales” (Letra B), la “baja calidad” de los datos o los procedimientos “podrían dar lugar a algoritmos sesgados, correlaciones falsas, errores, una subestimación de las repercusiones éticas, sociales y legales, el riesgo de utilización de los datos con fines discriminatorios o fraudulentos y la marginación del papel de los seres humanos en esos procesos, lo que puede traducirse en procedimientos deficientes de toma de decisiones con repercusiones negativas en las vidas y oportunidades de los ciudadanos, en particular los grupos marginalizados, así como generar un impacto negativo en las sociedades y empresas” (Considerando m).

“[L]a información revelada por los análisis de los macrodatos no ofrece una visión general objetiva e imparcial de ninguna materia y que es tan fiable como lo permitan los datos subyacentes (Cons. General 2).

Los algoritmos pueden estar diseñados para discriminar, por lo que se tratarían de discriminaciones directas. No obstante, lo normal es que se trate de discriminaciones indirectas, la discriminación puede darse sin intención alguna, incluso con la pretensión de lograr toda la objetividad posible: malas elecciones de datos, datos sesgados contra un grupo, datos pobres, incompletos, incorrectos, desactualizados, mal recopilados, de mala calidad(53). En 2016 MS Tay un algoritmo de Microsoft diseñado para chatear en Twitter y aprender a interactuar con humanos, en menos de 24 horas se convirtió en negacionista del Holocausto, homófobo, transfobo y misógino. Fue inmediatamente desconectado. Google ha etiquetado a personas de raza negra como gorilas.

Richards y King(54) afirman importantes cautelas y una necesaria visión crítica frente a los “grandes evangelistas” del big data. Afirman la paradoja de la transparencia, por la que mientras que con los datos masivos se accede invasivamente a información privada, los resultados de estos tratamientos están casi completamente rodeadas de secreto legal e industrial. Subrayan especialmente la paradoja que implica que un futuro casi milagroso y de transformación social sea al fin y al cabo un privilegio que queda en manos del gobierno y de grandes empresas, a costa de los ciudadanos. Todos estos riesgos por el uso de IA y big data pueden llevarnos a errores masivos o a una estupidez artificial, que sería, eso sí, muy humana.

3. “Algocracia”, dictadura o fundamentalismo de los datos, “dataismo”, “psicopolítica” y “enjambre”

Cabe ahora hacer alguna muy breve referencia a las muy importantes e influyentes tesis críticas sobre la “algocracia” o la tiranía de los algoritmos(55), la “dictadura de los datos”(56) o el “dataismo”(57). Sin duda, son el referente o punto de partida en la materia. Entre los variados peligros, Cukier y Mayer hacen referencia a la “paralización de la privacidad” (“Paralyzing privacy”)(58) o las posibilidades de que se castigue preventivamente a individuos por la predicción de su posible comisión de delitos. En particular, bajo la idea de la “dictadura de los datos”, se critica el nuevo “dataismo”: “en Dios confiamos, y para todo lo demás hay que aportar datos”. (59)

En 2016 la Casa Blanca alertó también contra el “fundamentalismo de los datos”, esto es, “la creencia de que los números no pueden mentir y siempre representan la verdad objetiva” (60). En el famoso Homo Deus, Harari hace referencia al “dataismo” o religión de los datos en la III Parte de su obra (Homo sapiens pierde el control). El dataismo se considera que puede ser la nueva religión: “no venera ni a dioses ni al hombre: adora los datos”(61) “el dataismo amenaza con hacer a Homo sapiens lo que Homo sapiens ha hecho a todos los demás animales”(62). Los grandes e importantes algoritmos son generados por grandes empresas y equipos, un gran rompecabezas que nadie ve en perspectiva y sin control humano efectivo(63).

Otra de las grandes referencias críticas ineludibles es Han(64), filósofo alemán de origen surcoreano, entre otros bien analizado y evaluado por Galpasoro(65). Han muestra clara preocupación por la actual “sociedad de la transparencia”, nefasta para el hombre por la “hiperinformación” y la “hipercomunicación”, directamente vinculadas al Big Data. En la gran masa de información no hay ninguna verdad, ni cercanía, ni relaciones interpersonales. Se genera un síndrome exceso información (IFS, Information Fatigue Syndrome). Así, el Big Data no es sinónimo de un mayor conocimiento, más bien lo contrario: “el conocimiento total de datos es un desconocimiento absoluto en el grado cero del espíritu”(66). Se afirma que la red se ha convertido en un “enjambre digital” (“Digital swarm”) amorfo, que implica las meras acumulaciones de individuos aislados sin alma o espíritu colectivo. No hay multitud, sino aislamiento. Y se genera un muy negativo efecto de un panóptico digital en el que somos explotados, una “sociedad psicopolítica de la transparencia”. La psicopolítica con la vigilancia digital puede leer nuestros pensamientos y controlarlos(67), así pues, el sujeto neoliberal se explota a sí mismo y además lo hace de forma voluntaria(68).

Los explotados colaboran activamente y de buen grado a su construcción y conservación, dan todos los datos con una actitud “acompañada del sentimiento de libertad”(69), típico del feliz usuario de internet. Cabe recordar con Monasterio(70) el ethos tecnolibertario presente en las compañías tecnológicas y que se va extendiendo por todas las esferas de la sociedad como ha descrito Taplin(71).

III. LA RESPUESTA DEL DERECHO. ENFOQUES, MODELOS Y PRINCIPIOS DE REGULACIÓN

1. La necesidad de tomar el control y de regular

Para algunos, siguiendo la expresión de Latiff y McCloskey(72) con relación a los drones como armas-, quizá nos acercamos peligrosamente al “Robo-Rubicon”. La AI ya se ha expandido mundialmente, si bien, en modo alguno ha desplegado su potencial. Los riesgos existenciales de la AI es bien posible que sean distantes en el tiempo, no así los riesgos sistémicos y, obviamente los más concretos.

No obstante, hay que estar con el Parlamento Europeo o con Calo. Estamos aún a tiempo de dar una respuesta, por lo que aquí interesa desde el Derecho. Como señala Calo(73), quizás la mayor ventaja es el tiempo: AI ha logrado capturar la imaginación de los formuladores de políticas lo suficientemente temprano en su ciclo de vida que existe la esperanza de que podamos canalizarla hacia el interés público.

Buttarelli, Supervisor Europeo de Protección de Datos(74) afirma que la Unión Europea, en particular, dispone ahora de un “período crítico” antes de la masiva adopción de estas tecnologías para incorporar los valores a las estructuras digitales que definirán nuestra sociedad. El Instituto del Futuro de la Vida del MIT (The Future of Life Institute) recuerda que la inteligencia humana tiene que asumir el control de la IA. Se señala que si cedemos nuestra posición como la más inteligente en nuestro planeta, es posible que también cedamos el control.”(75)

La pregunta, como el título de la obra de Rushkoff(76), es “¿queremos dirigir la tecnología o queremos que ella nos dirija a nosotros?: Programar o ser programados”. El Parlamento británico(77) recuerda la conveniencia de que un ‘interruptor de apagado’; un código que aseguraría que un sistema de IA pudiera ser interrumpido de manera repetida y segura por supervisores humanos(78). Sánchez Barrilao afirma que no estamos en la Era de Ultrón, pero sí que puede que estemos ante ella. La sola posibilidad del riesgo exige por responsabilidad constitucional impedirlo, pero sin negar la IA. Hay que ser consciente de los riesgos para encauzar el desarrollo, con “gestión del riesgo, al fin y al cabo”. Sostiene que el Derecho no “se limite a actuar siempre a rebufo del progreso tecnológico”. (79)

Estamos aún a tiempo de que no se dé la llamada paradoja de Collingridge(80), quien describió la paradoja del control social de la tecnología. Cuando sería posible influir o controlar el desarrollo de una tecnología en sus primeras etapas, no hay suficiente conocimiento como para tomar decisiones racionales. Sin embargo, cuando se conoce la tecnología y sus riesgos ya es tarde y el control es difícil e incluso imposible por el desarrollo tecnológico o de los sectores que lo dominan.

Desde los años 90 ya hemos tenido esta la experiencia con la falta de regulación o su llegada tardía respecto de internet. En general, frente a problemas sistémicos y bien relevantes se ha intentado proyectar el Derecho offline en la medida de lo posible a internet, en una suerte de principio de equivalencia funcional(81). Asimismo, se ha funcionado de modo reactivo a través de respuestas jurisprudenciales por lo general tardías. Ahora bien, esta actitud no es una decisión inocua. De un lado ha llevado a que la ilegalidad se haga masiva en la red, con los problema políticos y culturales que ello conlleva. Del otro lado, entre los ganadores hay que ubicar a las grandes empresas tecnológicas que en la alegalidad logran una posición y tamaño de dominio tal que cuando la respuesta regulatoria llega –como sucede en los últimos años- es tarde y se da la paradoja de Collingridge y es muy cuestionable su eficacia real. Y todo hay que decir que esta situación no parece que haya favorecido al sector tecnológico europeo.

El Parlamento UE en su resolución sobre robótica(82) señala que “es necesario disponer de una serie de normas en materia de responsabilidad, transparencia y rendición de cuentas que reflejen los valores humanistas intrínsecamente europeos y universales que caracterizan la contribución de Europa a la sociedad; que esas normas no deben afectar al proceso de investigación, innovación y desarrollo en el ámbito de la robótica;” (letra u). Subraya asimismo el papel de la Unión para “establecer principios éticos básicos que deban respetarse en el desarrollo, la programación y la utilización de robots y de la IA, y a la hora de incorporar dichos principios a la normativa y los códigos de conducta de la Unión, con el fin de encauzar la revolución tecnológica” (letra v). No obstante, considera que “procede empezar por las cuestiones relativas a la responsabilidad civil” (letra x).

La pregunta de interés no es tanto si regular o no regular, las cuestiones relevantes se han de descomponer en muchas variables. Quién o quiénes tienen que regular, de qué nivel normativo, internacional, supranacional, nacional, regional…, se trata de autorregulación, de heterorregulación, de autorregulación impuesta, promovida, a través de normas públicas, privadas, estándares industriales, códigos tipo; con qué grado de participación de los sectores implicados en la elaboración e implementación de las normas, a través de qué instrumentos normativos, para qué niveles o ámbitos, por cuánto tiempo, sobre qué temas, qué mecanismos de evaluación normativa pueden implementares, etc. Y obviamente, ya por cuanto a los posibles contenidos regulatorios, hay que ver los principios y estructuras básicos, qué técnicas pueden ser más apropiadas para tener en cuenta los riesgos y daños posibles, qué papel tiene la dignidad y los derechos fundamentales en las medidas regulatorias, qué tipos de garantías pueden preverse.

2. Clasificación de los riesgos y los enfoques y respuestas jurídicas

Resulta de especial interés es la clasificación de los riesgos realizada por Petit(83) bajo su consideración de tipos de “externalidades” (externalities) que implica la IA y la robótica por cuanto los correlaciona con la respuesta jurídica que debe darse(84). Este autor distingue tres niveles de “externalidades”: discretas, sistémicas y existenciales (existernality).

Las discretas no afectan significativamente a la sociedad. Éstas se resuelven ex post de modo reactivo a través de las reglas actuales del Derecho y especialmente a través de su aplicación judicial. Además, este tipo de problemas permite experimentar en las decisiones, evaluar las respuestas de modo comparado y retroalimentarse.

En un segundo nivel están las externalidades sistémicas Systemic Externality que sí que afectan significativamente a la sociedad y tienen un interés público que exige la planificación, la evaluación(85) la regulación previa y la experimentación. Entre estas externalidades sistémicas Systemic Externality, se mencionan los problemas de caja negra y transparencia, de privacidad, de destrucción de empleo creativo, la mayor o menor atribución de responsabilidad o inmunidad por daños frente a la innovación, la mayor o menor protección de la propiedad intelectual o industrial o la transparencia de la innovación.

Petit(86) entiende como tercer –y peor- nivel de riesgo, los riesgos existenciales (“existernality”), esto es, respecto de la existencia misma de la humanidad. La respuesta natural a estos riesgos existenciales sería en el nivel internacional. No obstante, dados los consabidos problemas de las organizaciones internacionales para tomar decisiones y que los Estados las asuman, le llevan a subrayar el importante papel de las organizaciones internacionales de normalización (como IEEE, SAE, ISO y otras) para la definición de posiciones tempranas.

Y este autor señala los grandes enfoques y tipos de respuesta jurídicos(87). El primero es el legalista, proyectándose las grandes áreas jurídicas sobre la realidad de la IA y robótica: responsabilidad, privacidad, ciberseguridad, etc.(88) Petit señala que aunque puede ser positivo este enfoque corre el peligro de que juristas ajenos a lo tecnológico hagan propuestas con importantes desajustes. Asimismo, se corre el peligro de que se generen “puntos ciegos” al observar los nuevos fenómenos desde las reglas existentes(89). Y ello puede frenar el desarrollo jurídico(90). El segundo enfoque sería el tecnológico. Se parte del tipo de servicios prestados (autos sin conductor, robots sociales, educación, salud, seguridad, empleo, domésticos, entretenimiento exoesqueletos, etc.)(91) y cada ámbito se analiza en clave jurídica. Menciona Petit un tercer enfoque –sobre el que infra se volverá- siguiendo el ejemplo de las famosas tres leyes de la robótica de Isaac Asimov: “Normas [que] se pueden incorporar directamente a la tecnología en el sentido de que un comando y su cumplimiento está imbuido en la tecnología misma” (92). Se critica que las aproximaciones como las del Parlamento Europeo tanto sobre robótica como sobre macrodatos de 2017 ya referidas no tienen claro un enfoque o metodología sino que son un misceláneo de los señalados.

En una línea permisiva que permita especialmente el desarrollo tecnológico destaca Calo(93) para quien frente a los nuevos retos no será necesario ningún “cambio sistemático de leyes o instituciones legales para preservar o reequilibrar los valores establecidos”. Sin perjuicio de ello, apela a la adopción de políticas de IA (“AI policies”) como respuestas concretas, normativas o no. Incluso considera que es demasiado pronto para las respuestas normativas(94), puesto que con las “políticas” es más fácil explorar y planear antes de dar respuestas definitivas.

En esta misma línea, respecto del uso en el sector público, Coglianese y Lehr(95). Se trataría, pues, de re-dirigir, más que prohibir, el desarrollo informático. Antes de poner palos en las ruedas de la innovación y el avance, antes de vilipendiar el big data e imponer una regulación de mano dura. Tene y Polonetsky(96) afirman que cabe establecer directrices y regulaciones legales y técnicas para limitar usos poco éticos, contrarios a derechos fundamentales y principios, en especial vinculados con la no discriminación y la privacidad, así como fortalecer el control y garantías del individuo.

Además de estos tres enfoques, por cuanto a tipos de respuestas jurídicas, también sintetiza y critica Petit las regulaciones de la dificultan de la tecnología (disabling regulation), las capturas de la regulación por grupos de interés privados, la inacción e imposibilidad de seguir el ritmo de los cambios y la fácil obsolescencia. Y todo ello para en buena medida apostar por un modelo de regulación para la permisión “enabling”(97). Afirma que hay regulaciones de la desactivación de la innovación disabling regulation (98), bajo el paradigma de. Y en este sentido se marca como ejemplo en Gran Bretaña la Red Flag Act de 1865. La misma impuso el máximo de 2 mph en vehículos de motor (Locomotive) en aglomeraciones urbanas y exigía que una persona llevara una bandera roja 60 yardas delante del vehículo. Se dice que esta regulación retrasó la industria británica del automóvil durante 30 años. Como ejemplo actual se menciona la estricta normativa de autorización Órganos genéticamente modificados y en algunos aspectos las que se dan o puedan darse respecto del bitcoin, blockchain o los drones. También generan efectos negativos el modelo de la regulación del “rodillazo” (“Knee-jerk regulation”(99)). Se trata de imponer una sobrerregulación ineficiente como la reacción en algunos países tras el desastre nuclear de Fukushima o prohibiciones preventivas como prohibir todas las formas de clonación en la medida en que son incompatibles con la dignidad humana y la protección de los humanos. Petit(100) augura soluciones de este tipo en cuanto se dé el primer accidente por conducción de IA de un avión, pues se pasaría a exigir una grado significativo de operación humana que haría ineficiente la innovación en ese ámbito.

3. El tiempo apremia. Necesidad e inconvenientes de un Derecho líquido o biodegradable, experimental en beta continuo

Señala Sánchez(101) que nos encontramos ante una tecnología acelerada que genera unos cambios muy veloces. Y, si se me permite, llueve sobre mojado. El big data, la IA y la robótica son auténticos aceleradores de la vida, sociedad o modernidad líquida en la que que, como describe Bauman, lo único estable es el cambio continuo y debemos quedar dispuestos y flexibles al mismo, preparados para cambiar la sintonía, la mente en cualquier momento. “La fluidez o la liquidez son metáforas adecuadas para aprehender la naturaleza de la fase actual –en muchos sentidos nueva– de la historia de la modernidad”(102).

El Derecho es un plato que se sirve mejor frío, sin embargo, las nuevas tecnologías no dejan enfriar los problemas generados. Y como se ha expuesto supra, en algunos ámbitos se corre el riesgo de que la regulación o políticas tardías sean ineficaces.

Ante unas tecnologías que van generando retos y riesgos tan cambiantes, es bien posible que haya que introducir nuevas formas y mecanismos de regulación y gobernanza. De ahí que Calo apele a las referidas “políticas de IA” (“AI policies”) y, como se ha adelantado, entiende que es demasiado pronto para las respuestas normativas(103).

Sin embargo, pese a las justificadas reticencias que suscita no hay que descartar modelos de regulación líquida o, como afirma Le Déaut en el Consejo de Europa respecto de la AI, una “regulación biodegradable" “biodegradable rules” (104). No hay casi tiempo “para evaluar los riesgos y determinar las consecuencias a mediano y largo plazo para la salud humana y las implicaciones para los derechos humanos […] necesitamos un nuevo tipo de legislación que pueda revisarse regularmente (las llamadas “reglas biodegradables”) para acompañar a estos desarrollos a menudo cambiantes ya menudo radicales en la ciencia y la tecnología y su aplicación.” (id.).

Se trata de seguir el nuevo paradigma del beta continuo que es propio a la filosofía de la web 2.0(105). Lejos de versiones definitivas de un programa, utilidad, aplicación, todo ha de quedar dispuesto para el cambio y adaptación continuos. Así las cosas, se precisan regulaciones –o decisiones políticas e institucionales- que estén continuamente a modo prueba. Este Derecho líquido (106)(obviamente repulsa a la estabilidad y previsibilidad hasta ahora naturales al Derecho. Es por ello que frente a un “constitucionalismo líquido” juristas paleo positivista como Villaverde reivindiquen con razón el “Derecho sólido” “objetivo y estable del Estado y en especial los derechos fundamentales como tal”(107). También jusfiticadamente se García Rubio critica que vamos hacia un Derecho que se convierte en algo fluido, líquido, amorfo, que se adapta a las circunstancias y que ya no es freno y garantía de nada, sino vehículo de intereses contingentes que fluyen de forma constante y mutan y se adaptan de manera imprevisible. Pero como reconoce esta autora “en un mundo donde todo es provisional, pasajero y maleable, la norma jurídica también ha de contener respuestas contextuales y adaptativas.” (108)

En este punto, destaca especialmente Ranchordas(109): frente a los problemas de falta de “ritmo” de la legislación o escasa información para regular, subraya la conveniencia de técnicas como las “sunset clauses”, por las que la regulación tiene fecha o condiciones de caducidad y la legislación experimental. Se habla de “regulatory sandboxes” en referencia a las zonas de arena acotadas para que los niños jueguen. Una smart regulation en términos de Zetzsche(110), de la que Ponce se ha hecho eco en España(111), así como Cerrillo en esta obra. Esencialmente se trata de experimentar, probar o testear regulaciones por breves espacios de tiempo y/o a pequeña escala en ámbitos o sectores reducidos. De este modo, sobre la prueba y error, se reúne mejor información para dar respuestas regulatorias. A mi juicio hay que estar especialmente abierto a esta innovación regulatoria.

Los problemas clave que generan la tecnologías emergentes no pueden resolverse sólo de forma reactiva y a golpe de resolución jurisdiccional tardía. Se necesitan decisiones políticas, de planeación y de Derecho positivo. Se requieren respuestas de los actores políticos, institucionales y del Derecho en sus diversas fórmulas. Estas decisiones no siempre pueden esperar a que se decanten todas las opciones e intereses en un entorno cambiante. Sin renunciar a un Derecho “sólido”, hay que hacer de la necesidad virtud e introducir nuevas fórmulas regulatorias, más dinámicas, que incorporen la evaluación y adecuación normativa, que faciliten las diversas versiones, que introduzcan fórmulas de remisiones a la determinación normativa por órganos capacitados técnicamente y con suficiente legitimación. Todo ello puede permitir que el Derecho despliegue razonablemente su eficacia ante los nuevos retos. Ello, obviamente, respetando todos los principios de publicidad y seguridad jurídica y la legitimación democrática de las decisiones normativas. Como se señala supra, la introducción de los principios de precaución y de responsabilidad y sus técnicas son especialmente adecuados.

4. Además, un Derecho nebuloso, con alta participación del sector tecnológico, de informáticos y de especialistas. Peligros de falta de legitimación, captura y manipulación algorítmica del regulador

Las respuestas regulatorias parece que han de surgir de una nebulosa constelación de actores. Aunque no es en modo alguno un fenómeno exclusivo de internet ni del ámbito que nos ocupa, la regulación que pretenda tener alguna eficacia debe ser el resultado de fórmulas de gobernanza en las que participe activamente el sector afectado sobre el que tienen que aplicarse las normas. Se hace especialmente necesario un Derecho en red con intervención más horizontal de todos los operadores (Muñoz Machado, Reed) (112). En el ámbito del big data no falta quienes se inclinan hacia formas de regulación suaves (Rubinstein, o Tene y Polonetsky(113)). En el ámbito de la nube, Reed ha insistido en modelos de co-regulación trasnacional, en especial se insiste en que es necesario reforzar la legitimación de las normas.

Ya para la AI la Asamblea Parlamentaria Consejo de Europa(114) (nº 3) “observa con preocupación que cada vez es más difícil para los legisladores adaptarse a la velocidad a la que evolucionan las ciencias y las tecnologías y establecer los reglamentos y normas necesarios; cree firmemente que salvaguardar la dignidad humana en el siglo XXI implica desarrollar nuevas formas de gobernanza, nuevas formas de debate público abierto, informado y antagónico, nuevos mecanismos legislativos y, sobre todo, el establecimiento de una cooperación internacional que permita abordar estos nuevos desafíos de manera más efectiva”.

Se genera así un regulador nebuloso por cuanto la regulación surge de la comunidad afectada (instituciones, individuos y las entidades empresariales implicadas) y se articula a través de variadas formas, en especial, de soft law. Una vía es la estandarización técnica internacional de naturaleza privada. Y cabe alertar que una vez adoptada por el sector, tal regulación –que por lo general está protegida por la propiedad intelectual- en no pocas ocasiones pasa a ser aceptada por los Estados e instituciones delegando grandes espacios a lo privad. Así, se producen reenvíos desde la normativa pública a la privada o remisiones directas o indirectas a las distintas versiones de la norma técnica privada, para asegurar así la adecuación sin necesidad de modificación normativa (Tarrés Vives y Darnaculleta)(115). Otra vía habitual de esta regulación nebulosa se articula a través de códigos, normas de conducta, modelos de autorregulación más o menos impulsada por los poderes públicos de los diferentes niveles. Del lado positivo, en muchos casos estas fórmulas tienen mayores garantías de eficacia real teniendo en cuenta además que se trata de un fenómeno especialmente trasnacional.

La participación del sector sin duda es necesaria, pero son también muchos los problemas. Así, como recuerda para el ámbito de la IA Petit(116) hay que estar alerta al peligro de la capturas regulatoria o el capitalismo clientelar por el que grupos influyen haciendo prevalecer sus interés privados frente al interés general. De hecho, y frente a lo que se pueda pensar, tales capturas del regulador en el ámbito de las tecnologías emergentes no sólo se dan a favor del siempre poderoso sector tecnológico. En muchas ocasiones el regulador queda capturado por el sector social o empresarial que queda desplazado por las tecnologías emergentes, pero que suele gozar de importantes apoyos políticos y sociales (por ejemplo, Doménech(117)).

También, Calo(118) señala respecto de EEUU que en muchas ocasiones los códigos corporativos y éticos han suscitado numerosos litigios con autoridades regulatorias por ser contrarios a la competencia. Y que lo mismo puede temerse para el ámbito de la IA, por lo que habrá que vigilar los contenidos, motivaciones y y sus posibles efectos en los mercados y en la sociedad. Y como recuerda Moreno(119) además de este contexto tan cambiante que se acelera vertiginosamente, lo preocupante ahora es que crece la presión tecnológica del entorno y el conformismo de muchos ciudadanos ante sus exigencias.

De igual modo, debe tenerse incluso en cuenta el potencial del futuro papel del big data y la AI para la misma generación y creación de normas (algorithmic regulation) (Alarie, Coglianese y Lehr; Leighton) (120). Los peligros de dejar en manos de programadores o directamente de algoritmos las propuestas regulatorias no son escasos. Así, hay que tener presentes los problemas de mala información y sesgos que pueda tener el algoritmo que proponga regulaciones(121). Igualmente, las graves dificultades o errores sustanciales que cometen los programadores cuando traducen las normas jurídicas en código(122). O la mala influencia algorítmica en los procesos normativos democráticos a través de sistemas de manipulación masiva y desinformación. Además, la deliberación política y social democrática quizá esté ya viciada si estamos ya en un estado de vigilancia.(123)

Además de la mayor o menor participación e influencia del sector tecnológico o de programadores o algoritmos en las políticas y regulaciones, también se hace imprescindible introducir a los expertos y técnicos una materia tan compleja que cuenten con suficiente conocimiento. Como señala Calo, frente al desconocimiento gubernamental en este mundo tan profundamente mediado técnicamente, la solución puede venir por incluir nuevos órganos de consejo de las agencias e instituciones reguladoras(124). El parlamentario Le Déaut desde el Consejo de Europa, subraya la necesidad de “intercambios entre estadísticos, especialistas en TI, expertos legales, sociólogos y especialistas en ética. Solo a través de ese intercambio interdisciplinario, que reflejaría la naturaleza híbrida de los algoritmos, uno podría comenzar a dominar estos asuntos y establecer una protección legal efectiva.” Para ello, se precisa que “los parlamentos nacionales se equipen con estructuras de “evaluación tecnológica” y que, además, promuevan programas de sensibilización e intercambios regulares entre los que trabajan en las ciencias humanas y sociales y las ciencias tecnológicas.” (125). Ahora bien, sin perjuicio de estas mejoras necesarias, hay que advertir también de que esta interdisciplinariedad se traduce también en un Derecho de muchas fuerzas e intereses concurrentes, en muchas ocasiones privadas, con élites nómadas y extraterritoriales(126). De igual modo, no es en modo alguno nuevo en el ámbito de la UE los fenómenos de “comitología” y los diferentes problemas que generan de transparencia y legitimación de las decisiones.

5. La adopción técnicas relativas a los principios de precaución y de responsabilidad

Señala con acierto Sánchez(127) que ante la mayor la incerteza sobre el futuro que genera la ciencia y tecnología hay que responder con nuevos instrumentos del Derecho como son los principios de precaución y de responsabilidad. El principio de cautela o precaución ya proclamado por la Comisión Europea en 2000(128) básicamente implica que si una política o acción pudiera causar daños a las personas o al medio ambiente, y no existiera consenso científico al respecto, la política o acción en cuestión debería abandonarse. Supone un enfoque de la gestión del riesgo a partir del cual se han desarrollado toda una serie de técnicas, directrices y garantías desde el punto de vista jurídico. Así, hay que identificar riesgos, quienes los aleguen deben demostrarlos y, como consecuencia, se puede exigir que el productor, el fabricante o el importador demuestren la ausencia de peligro. Es exigible la participación de los implicados y transparencia en los procesos e investigación. Hay que consultar y evaluar los datos científicos, evaluar las consecuencias de actuar o no actuar y las decisiones deben ser proporcionales, no discriminatorias, coherentes con otras decisiones. Como resultado de estos procesos se adoptan las decisiones a lo largo del tiempo, puesto que deben actualizarse periódicamente al estado de la técnica, conocimiento y evaluación permanente de riesgos. El lector advertirá que las técnicas que implica este principio se adecúan a las necesidades de regulación dinámica y continua que exige el el fenómeno del big data y la IA.

Especial protagonismo el genérico principio de responsabilidad. En clave más general, desde la ética Jonas ha insistido en que hay que partir de los riesgos irreversibles que genera el progreso técnico y la necesidad del hombre actual y, sobre todo, las futuras generaciones vivan y lo hagan bien y creando valor. De ahí se genera el imperativo y obligación presente de responsabilidad en esta civilización tecnológica:

(...) obra de tal modo que los efectos de tu acción sean compatibles con la permanencia de una vida auténtica en la tierra; o, expresado negativamente: obra de tal modo que los efectos de tu acción no sean destructivos para la futura de esa vida; o, simplemente: no pongas en peligro las condiciones de la continuidad indefinida de la humanidad en la tierra; o, formulado positivamente: incluye en tu elección presente, como objeto también de tu querer, la futura integridad del hombre”(129).

Y en esta línea, especialmente ante los riesgos existenciales a los que se ha hecho referencia supra aunque también frente a los relevantes riesgos sistémicos de la IA y el big data bien puede proyectarse lo afirmado hace más de dos décadas en la Declaración sobre las responsabilidades de las generaciones actuales para con las generaciones futuras de 1997(130):

“Las generaciones actuales tienen la responsabilidad de garantizar la plena salvaguardia de las necesidades y los intereses de las generaciones presentes y futuras.” (art. 1)

“Es importante tomar todas las providencias necesarias para que, respetando los derechos humanos y las libertades fundamentales, las generaciones presentes y futuras puedan escoger libremente su sistema político, económico y social y preservar su diversidad cultural y religiosa.” (art. 2)

“Las generaciones actuales deben esforzarse por asegurar el mantenimiento y la perpetuación de la humanidad, respetando debidamente la dignidad de la persona humana.” (art. 3)

6. La importancia de la incorporación de técnicas de responsabilidad activa y una aproximación a la responsabilidad algorítmica

De modo más concreto, el principio de responsabilidad activa se ha proyectado en el Derecho a través de técnicas bien conocidas como los estudios de impacto previos (de especial importancia en el ámbito del medio ambiente o la discriminación). Y de especial interés hay que destacar por su afinidad tecnológica las técnicas de responsabilidad “proactiva, “demostrada” o “accountability” que recientemente en materia de protección de datos se exigen.

Así, quien asume la responsabilidad de tratar datos personales tiene cumplir las exigencias normativas y debe ser capaz de demostrarlo (para el ámbito del big data, González(131). El Reglamento europeo de protección de datos de 2016 apuesta por mecanismos proactivos y preventivos en vez de reactivos, que precisamente tienen especial importancia para el big data (132). Así, el Reglamento impone la protección de datos desde el diseño y por defecto (art. 25), de modo que la privacidad se integre desde el inicio en la gestión y ciclo de vida del tratamiento de datos. Igualmente, se exige la evaluación de impacto de protección de datos (artículo 35). Como recuerda Martínez(133), el principio de responsabilidad proactiva incorpora una filosofía de acción que apuesta por el valor del diseño tecnológico basado en el cumplimiento normativo. Y, precisamente, los usos del big data y la IA son claros candidatos a que dicha evaluación de impacto sea obligatoria, por cuanto suelen suponer la elaboración de perfiles y porque sobre el resultado del tratamiento se basan decisiones que produce efectos jurídicos sobre el individuo, o que pueden afectar de manera significativa a los individuos (art. 35. 3º Reglamento).(134)

De hecho, como he sostenido(135), no sólo los riesgos de privacidad y protección de datos, sino la prevención de la discriminación y los sesgos algorítmicos pasa en muy buena medida por incorporar estas técnicas preventivas de evaluación de impacto. Selbst(136) apunta para Estados Unidos la necesidad de introducir técnicas como “discrimination impact assessments” siguiendo el modelo de declaraciones de impacto ambiental. Edwards llega a afirmar la necesidad de una ética en el diseño incluso de una nueva "evaluación del impacto social"(137).

En buena medida se trata del tercer modelo regulatorio de la IA que menciona Petit bajo el ejemplo de las famosas tres leyes de la robótica de Isaac Asimov: “Normas [que] se pueden incorporar directamente a la tecnología en el sentido de que un comando y su cumplimiento está imbuido en la tecnología misma” (138). Se trata de que el Derecho y las finalidades que con él pretenden los poderes públicos se adecuén e inserten en el “Código” en términos de Lessig (2001), ese un código interno que aúna el funcionamiento técnico y la realidad y usos de la red.

Excede con mucho a este estudio abordar la cuestión capital de la responsabilidad por las consecuencias de los usos de inteligencia artificial o robótica. El Parlamento de la UE en su resolución sobre robótica considera “crucial” la fijación de la responsabilidad por cuanto que los robots “interactúan con su entorno y pueden modificarlo de forma significativa”(letra z). A mayor autonomía del robot, “más difícil será considerarlos simples instrumentos en manos de otros agentes” (humanos) (letra AA) y, por tanto, seguir el general esquema de responsabilidad. Como punto de partida se afirma que “independientemente del instrumento jurídico futuro que se escoja en materia de responsabilidad civil por los daños y perjuicios causados por robots” en ningún caso hay que “limitar el tipo o el alcance de los daños y perjuicios que puedan ser objeto de compensación, ni tampoco limitar la naturaleza de dicha compensación, por el único motivo de que los daños y perjuicios hayan sido causados por un agente no perteneciente a la especie humana” (nº 52)(139).

Esta misma línea se sigue por la Asamblea Parlamentaria del Consejo de Europa(140) (nº 9. 1.1.º):

“Las referencias a la toma de decisiones independiente por parte de los sistemas de IA no pueden eximir a los creadores, propietarios y gerentes de estos sistemas de la responsabilidad por violaciones de los derechos humanos cometidas con estos sistemas, incluso en casos en que un acto responsable no haya sido ordenado directamente por un humano responsable comandante u operador”. La cuestión es bien variable y como indica Calo(141) no es sólo que qué responsabilidad sino de quién debe fijar y controlar los criterios y estándares técnicos exigibles, lo cual se aborda en el siguiente apartado. También, política, normativa y jurisprudencialmente deben asentarse criterios de los riesgos y daños asumibles para el uso de las tecnologías en el ámbito del que se trate. O a partir de qué umbral de riesgos se exige el cumplimiento de ciertos determinados requisitos técnicos. De igual modo, el mercado puede autorregular en cierto modo la cuestión de la responsabilidad a través de la disponibilidad, oferta y demanda de los servicios de seguros.

Petit(142) recuerda que para atribuir la responsabilidad a un sistema inteligente autónomo hoy día es un “callejón sin salida” porque se requiere el reconocimiento de personalidad jurídica de Ios y robots, un “paso audaz” que hoy día no es posible. No obstante, el Parlamento UE e su resolución sobre robótica(143) entre las diversas soluciones a evaluar respecto de la responsabilidad robótica destaca la de “f) crear a largo plazo una personalidad jurídica específica para los robots, de forma que como mínimo los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar, y posiblemente aplicar la personalidad electrónica a aquellos supuestos en los que los robots tomen decisiones autónomas inteligentes o interactúen con terceros de forma independiente.”

7. Autoridad y autoridades sectoriales y especializadas

Un elemento importante de la “regulación”, adopción de políticas o gobernanza en materia de IA, big data y robótica es la determinación de quién o quiénes fijan criterios, controlan y supervisan el sector. Ello se requiere por la especialización y carácter técnico de la materia, su carácter impredecible, la necesidad de evaluación continua, de flexibilidad y adaptación a los cambios, la importancia de integrar a los técnicos, interesados y especialistas. Todo ello orienta hacia el reconocimiento de organizaciones sectoriales y de autoridades con competencias en materia de big data, IA y robótica. No se trata de un camino en modo alguno nuevo; Miller ya lo propuso hace cincuenta años en EEUU frente a los impactos tecnológicos en la privacidad (144)

El Parlamento británico(145) señaló en 2016 que quizá sea muy pronto para una regulación, si bien afirmó la necesidad de una autoridad robótica. Afirma que es posible que surja algo similar a la Civil Aviation Authority (corporación estatal británica que supervisa y regular todos los aspectos de la aviación para asegurar que los sistemas estás apropiadamente construidos y regulados). En todo caso hay que destacar la constitución del “Artificial Intelligence Committee” desde 2017 en la Cámara de los Lores.

La Comisión Europea en abril de 2018 ha subrayado la necesidad de “movilizar a las partes interesadas” con la creación de una “Alianza europea de la IA” anunciada también para 2018. Más que de una autoridad de control, se trataría de un “foro para intercambiar buenas prácticas y para estimular la inversión privada y las actividades relacionadas con el desarrollo de la IA.”(146)

Asimismo, se afirma que en su seno habría un Grupo de Expertos de Alto Nivel sobre IA

Este grupo(147):

1º- asesorará a la Comisión y le recomendará posibles políticas, evaluaciones legislativas y desarrollo de estrategias a medio y largo plazo ,

2º Apoyará a la Comisión en nuevos mecanismos de participación y divulgación

3º Propondrá a la Comisión directrices éticas AI, cubriendo cuestiones como equidad, seguridad, transparencia, futuro del trabajo, democracia y, en términos más generales, el impacto en la aplicación de la Carta de los Derechos Fundamentales, incluida la privacidad y la protección de datos personales, la dignidad, la protección del consumidor y la no discriminación. Las directrices se basarán en el trabajo del Grupo Europeo sobre Ética en Ciencia y Nuevas Tecnologías.

Por su parte, la Agencia de Derechos Fundamentales (FRA) ya ha lanzado un estudio específico sobre sesgos y discriminación algorítmica(148) y está en marcha una evaluación de los desafíos actuales que enfrentan los productores y usuarios de nuevas tecnologías con respecto al cumplimiento de los derechos fundamentales(149).

El Parlamento UE(150) ha pedido a la Comisión que estudie la designación de una “agencia europea para la robótica y la IA que proporcione los conocimientos técnicos, éticos y normativos necesarios (nº 16). Esta agencia habría de estar “dotada de un presupuesto adecuado y de un personal compuesto por reguladores y por expertos externos”·(nº 17) y tendría por finalidad “determinar las normas en materia de mejores prácticas y, en su caso, a recomendar medidas reguladoras, a definir nuevos principios y a hacer frente a posibles problemas de protección de los consumidores y desafíos sistémicos” e informar al Parlamento anualmente. (nº 17)

Para EEUU, Tutt(151) (2016) ha afirmado la conveniencia de a modo de una FDA (Food and Drug Administration) para los algoritmos, en especial por cuanto a los sistemas de autoaprendizaje con operaciones opacas y no siempre predecibles, respecto de los cuales los problemas de responsabilidad serán más complejos. Recuerda que la FDA nació después de algunas tragedias, si bien en esta no hay que esperar a que se produzcan para crear la agencia en esta materia(152). Entiende adecuado un modelo como el de la FDA dado que las preocupaciones que impulsan la regulación de los alimentos, los medicamentos especialmente y los cosméticos se parecen mucho a las preocupaciones que deberían impulsar la regulación de los algoritmos. Se señala que se requiere de una uniformidad federal con juicio experto, independencia y conocimiento del mercado. Que este modelo no frene la innovación pero permita que no entren algoritmos peligrosos en el mercado. Tutt(153) señala que esta agencia habría de contar con tres poderes: el de organizar y clasificar algoritmos en categorías regulatorias por su diseño, complejidad y potencial de daño (tanto en uso ordinario como a través del uso indebido). En segundo lugar, debe tener la capacidad de prevenir la introducción de algoritmos en el mercado hasta que su seguridad y eficacia hayan sido probadas mediante ensayos previos a la comercialización basados en evidencia. En tercer lugar, la agencia debe tener amplia autoridad para imponer requisitos de divulgación y restricciones de uso para evitar el uso nocivo dañino de los algoritmos.

Es muy posible que en los próximos años se creen, converjan o se especialicen diferentes autoridades u organizaciones. Y es muy posible que se redefinan y vayan nutriéndose de competencias en materia de IA y big data las ya existentes en diversas áreas: competencia, comunicaciones, transparencia, fraude, fiscales, etc. A partir de la –en general positiva- experiencia europea, entiendo que han de jugar un muy importante papel las autoridades independientes cercanas al sector de las nuevas tecnologías, en particular las autoridades de protección de datos (y transparencia en EU)(154) Obviamente habrían de ampliar su espectro respecto de otros derechos y garantías constitucionales en juego.

Y va a resultar clave que a estas autoridades o agencias en materia de big data e IA se les reconozcan fuertes facultades de acceso y conocimiento de los algoritmos, lógicas y los grandes datos que manejan tanto el sector privado como el público. De un lado, se trata del acceso a una información y conocimientos que requiere de una enorme especialización. Dada la escasez de personas realmente especializadas y cualificadas en la materia y su actual cotización, hay que alertar que será también muy importante dotar de personal muy cualificado a estas instituciones, así como prevenir la huida de los mismos a los sectores que tienen que controlar, así como tomar precauciones contra fenómenos como las puertas giratorias. De otro lado, el reconocimiento de fuertes facultades de acceso por estas instituciones reguladoras puede ser el mecanismo idóneo para conciliar la la necesidad de control y supervisión del cumplimiento normativo con las obligaciones de confidencialidad, secreto, derechos de propiedad, propiedad industrial, intelectual legítimos del sector respecto de sus datos, algoritmos e IA.

IV. PARA TERMINAR. UNA REFERENCIA A LAS PRIMERAS REGULACIONES, SENTENCIAS Y RESOLUCIONES

Sin perjuicio de las importantes aproximaciones por gobiernos y parlamentos a las que se ha hecho referencia, así como del Derecho generalmente aplicable. Hasta el momento escasean tanto las directas decisiones normativas como las jurisprudenciales en este ámbito.

Antes de que se vislumbrara la importancia y naturaleza que pueden adquirir hoy día las decisiones algorítmicas y automatizadas, cabe mencionar las regulaciones para el sector público. Así, el artículo 96. 3º de la Ley 58/2003, de 17 de diciembre, General Tributaria al menos mencionó la posibilidad y destacó en especial el artículo 39 de la que fue innovadora y hoy derogada Ley 11/2007, de 22 de junio. Ahí se introdujeron algunas garantías(155) y cabe destacar algunos desarrollos en administraciones punteras como la Agencia Tributaria(156) y reicentemente la Seguridad Social(157). Asimismo, aun sigue vigente la “actuación judicial automatizada” regulada en el artículo 42 de la Ley 18/2011, de 5 de julio, aunque sin desarrollos reseñables hoy día. Si aquellas normas fueron innovadoras, no lo es el reciente artículo 41 de la Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público pues no contiene aportación alguna y sin duda hay no pocas cuestiones técnicas, organizativas y sobre todo de garantías que requieren regulación en la materia.

El especial protagonismo regulatorio en nuestro ámbito lo tiene sin duda el derecho a no ser objeto de decisiones relevantes automatizadas y las garantías frente a las mismas. Este derecho queda reconocido en el artículo 22 del Reglamento General de Protección de Datos (RGPD) de la UE(158), así como en el artículo 11 de la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo. En mayo de 2018 este derecho se ha extendido internacionalmente con la muy reciente modificación del Convenio 108 del Consejo de Europa(159) y pasa a estar reconocido en nuevas legislaciones, como en el artículo 20 de la nueva Lei nº 13.709, de 14 de agosto de 2018 de Brasil. Este nuevo derecho excelentemente analizado por Palma en esta obra guardaba telarañas en España. No en vano ya estaba regulado desde el artículo 12 de la Ley Orgánica 5/1992, de 29 de octubre, luego en el artículo 13 de la ya derogada Ley Orgánica 15/1999, de 13 de diciembre. Nunca tuvo relevancia alguna. No obstante, sin duda la adquiere ahora. En la materia habrá que estar especialmente atentos a la regulación de transparencia obligatoria que quizá se concrete en el futuro Reglamento europeo sobre el fomento de la equidad y la transparencia para las empresas que utilizan servicios de intermediación en línea en fase de propuesta. Especialmente interesa la información obligatoria sobre clasiifcación de los usuarios por las plataformas (art. 5), descripciones de “tratos diferenciados” (art. 6).

Los desarrollos regulatorios que se dan en el ámbito de este estudio han girado sobre el derecho a la explicación y la transparencia de las decisiones automatizadas, tema sobre quien suscribe ha impulsado los primeros congresos en España(160). En Europa(161) ha sido relativamente innovador el desarrollo de este derecho y la regulación de diversas garantías frente a las decisiones automatizadas en la pionera ley de la República Digital, ley n° 2016-1321 de 7 de octubre de 2016 . De la ley baste destacar ahora la transparencia mínima de las decisiones individuales administrativas por algorítimos (art. 4) y su desarrollo por el Decreto de 16 de marzo de 2017 (Art. R. 311-3-1-2). También es muy destacable la prohibición de decisiones incluso semiautomatizadas en el ámbito de la justicia o las limitaciones para el ámbito administrativo que introduce esta ley al reformar el artículo 10.1º y 3º respectivamente de la Ley Loi n° 78-17 de 6 de enero de 1978. Resulta asimismo de todo interés es la decisión del Consejo Constitucional francés sobre la ley(162). Y como recuerda Ponce en esta obra, en Australia desde 1999 hasta la fecha se detectan no pocas normas para el ámbito de decisiones administrativas automatizadas(163).

Vinculadas a este ámbito de la transparencia algorítmica me permito ahora destacar en España la afortunada Resolución de 21 de septiembre de 2016, de estimación de las Reclamaciones 123/2016 y 124/2016 (acumuladas) de la Gaip(164), la Comisión de Garantía del derecho de acceso a la información pública de Cataluña. La misma contiene importantes reflexiones y conceptos y reconoce al acceso al algoritmo que determinó la selección de miembros de los tribunales correctores de las pruebas de acceso a la universidad.

Especialmente destacable en Italia es la sentencia de 22 de marzo de 2017 del Tribunal Administrativo Regional de Lazio (Sección III bis ), recurso 11419 del 2016. La misma, de todo interés, da acceso al algoritmo del software relacionado con las transferencias interprovinciales de personal docente, en concreto da acceso al código fuente del algoritmo de gestión de la movilidad de profesores para el curso académico 2016/2017. Es bien destacable su categorización jurídica del algoritmo en el ámbito del software y su posible protección jurídica, de igual modo las prolijas consideraciones sobre el algoritmo como acto administrativo del algoritmo. De igual modo se contienen importantes reflexiones sobre el necesario conocimiento completo y comprensión por la ciudadanía, para reconocer o un genérico acceso o un acceso “más profundo”.

En cualquier caso, resulta sin duda una referencia la sentencia del Tribunal Supremo de Wisconsin de 13 de julio de 2016, en el caso Loomis(165): decisión que ha sido excelentemente analizada y criticada por De Miguel(166). En un caso de aplicación de algoritmos predictivos que determinaron el incremento de la pena por la peligrosidad, el tribunal consideró suficiente la información facilitada a la defensa –poco más que un manual de la aplicación- al tiempo que señalaba que los propios jueces garantizaban suficientemente los derechos de la defensa en la aplicación concreta de la herramienta algorítmica.

Más allá de este ámbito, sin duda que hay que destacar la valenciana Ley 22/2018, de 6 de noviembre, de Inspección General de Servicios y del sistema de alertas para la prevención de malas prácticas en la Administración de la Generalitat y su sector público instrumental. Se trata de una ley ciertamente innovadora tanto en España como en el panorama internacional en el ámbito del uso de la tecnología para la prevención y lucha de la corrupción, irregularidades y malas prácticas, cuestión que aborda también Bento en esta obra. La ley regula con bastante precisión en sus artículos 17-29 los sistemas avanzados y herramientas de prospección de datos para detectar riesgos.

Sin duda que habrá que seguir de cerca las propuestas y desarrollos normativos, políticas adoptadas así como emergentes resoluciones y sentencias relativas al tema.

NOTAS:

(1). El presente estudio es resultado de investigación del proyecto “Derecho y Big Data”, Grupo de Investigación en Derecho Público y TIC como investigador de la Universidad Católica de Colombia. Así mismo es Catedrático de Derecho Constitucional de la Universitat de Valencia, España. De igual modo, el estudio se realiza en el marco del proyecto “La regulación de la transformación digital y la economía colaborativa” PROMETEO/2017/064 Generalitat Valenciana y MINECO Retos “Garantía de los derechos fundamentales y de la participación democrática ante la inteligencia artificial, big data y robótica” 2019-2021 (RTI2018-097172-B-C21) (pendiente), al igual que de la Estancia en Occentus Network S. L, ayuda Generalitat (AEST/2017/003).

(2). Monasterio Astobiza, Aníbal. (2017). “Ética algorítmica: Implicaciones éticas de una sociedad cada vez más gobernada por algoritmos”, Dilemata, Núm. 24 (2017): Ética de datos, sociedad y ciudadanía, 185-217. P. 186

(3). Coglianese, Cary and Lehr, David. (2017). “Regulating by Robot: Administrative Decision Making in the Machine-Learning Era”, febrero, Georgetown Law Journal, Forthcoming; U of Penn, Inst for Law & Econ Research Paper No. 17-8. p. 3. https://ssrn.com/abstract=2928293

(4). FRA. (2018). #BigData: Discrimination in data-supported decision making, European Union Agency for Fundamental Rights, Viena, p. 4. Acceso en https://fra.europa.eu/en/publication/2018/big-data-discrimination

(5). Coglianese, Cary and Lehr, David. (2017). Op. cit. p. 3.

(6). Comisión Europea. (2018). IA para Europa. Comunicación de la Comisión al Parlamento europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones. COM(2018) 237 final{SWD(2018) 137 final} Bruselas, 25.4.2018, p. 1.

(7). Nilsson, Nils. (1980). Principles of Artificial Intelligence, Palo Alto , California: Tioga Press.

(8). Navas Navarro, Susana. (2017 b). “Derecho e IA desde el diesño. Aproximaciones”, en Navas Navarro, Susana (ed). (2017 a.) IA. Tecnología, Derecho, Tirant lo Blanch, Valencia, p. 24.

(9). ISO. 2012. ISO 8373 Robots and robotic devices. https://www.iso.org/obp/ui/#iso:std:iso:8373:ed-2:v1:en

(10). Coglianese, Cary and Lehr, David. (2017). Op. cit. p. 18.

(11). Parlamento Europeo. (2017 a). Normas de Derecho civil sobre robótica. Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)). Letra z)

(12). Ibídem, letra AA.

(13). Ibídem, letra AB.

(14). Ibídem, principio 1.

(15). Santos González, María José. (2017). “Regulación legal de la robótica y la IA: retos de futuro”, en Revista Jurídica de la Universidad de León, Núm. 4 (2017), pp. 25-50, p. 31.

(16). Ibídem, p. 32.

(17). Consejo de Europa. (2017 b). Asamblea Parlamentaria, cit. Traducción libre.

(18). Simoens , Pieter; Mauro Dragone; Alessandro Saffiotti. (2018). “The Internet of Robotic Things. A review of concept, added value and applications”, International Journal of Advanced Robotic Systems Volume: 15 issue: 1, February 26.

(19). Stanford Persuasive Technology Lab, “What is captology?”, http://captology.stanford.edu/about/what-is- captology.html

(20). Samuel, Alexandra. (2016). “Psychographics Are Just as Important for Marketers as Demographics” https://hbr.org/2016/03/psychographics-are-just-as-important-for-marketers-as-demographics . También, Wade , Michael. (2018). “What are psychographics, the behavioural analysis that helped Cambridge Analytica get into the minds of voters?” The Independent, 22 March 2018 https://www.independent.co.uk/voices/cambridge-analytica-facebook-trump-elections-psychoanalytics-voters-minds-a8268721.html

(21). Mayer-Schönberger, Viktor y Cukier, Kenneth (2013 a): Big Data: A Revolution That Will Transform How We Live, Work, and Think; ahora en Big data. La revolución de los datos masivos, Turner Publicaciones.

(22). Parlamento Europeo. (2017 b). Resolución de 14 de marzo de 2017, sobre las implicaciones de los macrodatos en los derechos fundamentales: privacidad, protección de datos, no discriminación, seguridad y aplicación de la ley (2016/2225(INI)).

(23). Gartner. (2012). Emerging Market Analysis: IT. Mexico, 2012 and beyond Gartner., julio, acceso completo en https://www.gartner.com/doc/2096518/emerging-market-analysis-it-mexico

(24). Puyol Moreno, Javier. (2014). “Una aproximación a Big Data”, en Revista de Derecho UNED, núm. 14, págs. 471-505, p. 488. Acceso completo en Dialnet. De este autor, también, (2015). Aproximación Jurídica y Económica al Big Data, Tirant lo Blanch, Valencia.

(25). Boyd D. y Crawford K. (2011). “Six Provocations for Big Data”, A Decade in Internet Time: Symposium on the Dynamics of the Internet and Society, p. 6 Acceso completo: https://ssrn.com/abstract=1926431

(26). En http://www.internetlivestats.com/ se accede a los datos al momento,

(27). AEPD - ISMS Forum (eds.); Carlos Alberto Sáiz (coord.). (2017). Código de buenas prácticas en protección de datos para proyectos de Big Data, mayo, AEPD e ISMS Forum, Madrid, pp. 6-7.

(28). Ibídem, p. 21.

(29). Comisión Europea, 2018, op. cit.

(30). Comisión Europea. (2017). Comunicación de 2017 COM(2017) 9, <<La construcción de una economía de los datos europea>>, de 10 de enero de 2017 y documento anexo SWD(2017) 2, de 10 de enero de 2017.

(31). Accenture. (2018). Country Spolights. Why Artificial Intelligence is the Future of Growth. (Accenture, 2018, p. 3). Acceso en https://www.accenture.com/ve-es/_acnmedia/PDF-33/Accenture-Why-AI-is-the-Future-of-Growth--Country-Spotlights.pdf

(32). DemosEUROPA. (2014). Big and open data in Europe. A growth engine or a missed opportunity?, estudio solicitado por la Comisión Europea al Centre for European Strategy, Sonia Buchholtz, Maciej Bukowski, Aleksander Śniegocki the Warsaw Institute for Economic Studies (WISE Institute) esponsorizado por Microsoft.http://www.bigopendata.eu/wp-content/uploads/2014/01/bod_europe_2020_full_report_singlepage.pdf

(33). SMART-Comisión Europea. (2013). - Study on a "European data market", encargado por la Comisión 2013/0063 http://ec.europa.eu/digital-agenda/en/news/smart-20130063-study-european-data-market-and-related-services

(34). Kurzweil, Raymond. (2005). Singularity is near. When humans transcend biology, Penguin.

(35). Muehlhauser, Luke, and Anna Salamon. 2012. “Intelligence Explosion: Evidence and Import.” In Singularity Hypotheses: A Scientific and Philosophical Assessment, edited by Amnon Eden, Johnny Søraker, James H. Moor, and Eric Steinhart. Berlin: Springer, acceso en http://intelligence.org/files/IE-EI.pdf

(36). Bostrom, Nick. (2014). Superintelligence, Paths, Dangers, Strategies, Oxford University Press, p. 259. También ver Bostrom, Nick. 2013. “Existential risk prevention as global priority.” Global Policy 4.1 (2013): 15-31.

(37). The Future of Life Institute. “Benefits & Risks of Artificial Intelligence”·https://futureoflife.org/background/benefits-risks-of-artificial-intelligence/

(38). Petit, Nicolas. (2017). Law and Regulation of Artificial Intelligence and Robots - Conceptual Framework and Normative Implications (March 9, 2017). Working paper, cita p. 29 Acceso en SSRN: https://ssrn.com/abstract=2931339 or http://dx.doi.org/10.2139/ssrn.2931339

(39). Gibbs, Samuel. (2014). “Elon Musk: Artificial Intelligence is our Biggest Existential Threat”, The Guardian (Oct. 27, 2014).

(40). Gibbs, Samuel. (2017). “Elon Musk: regulate AI to combat 'existential threat' before it's too late, The Guardian (julio. 17, 2017).

(41). Mcmenemy, Rachael. (2017). “Stephen Hawking says he fears artificial intelligence will replace humans”, 1 nov 2017, https://www.cambridge-news.co.uk/news/cambridge-news/stephenhawking-fears-artificial-intelligence-takeover-13839799

(42). Rawlinson, Kevin. (2015). “Microsoft's Bill Gates insists AI is a threat”, BBC News, 29 de enero de 2015, https://www.bbc.com/news/31047780

(43). Khatchadourian (2015). “The Doomsday Invention”, The New Yorker (23 Nov.), https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom.

(44). Calo, Ryan. (2017). “Artificial Intelligence Policy: A Primer and Roadmap”. University of California, Davis [Vol. 51:399-435], p. 24 y ss. Citas de la p. 25 (agosto 2017). Acceso en SSRN: https://ssrn.com/abstract=3015350 or http://dx.doi.org/10.2139/ssrn.3015350

(45). Ibídem, p. 26.

(46). “Autonomous weapons: an open letter from ai & robotics researchers”, Carta de 28 de julio de 2015 en la apertura de la conferencia IJCAI 2015. https://futureoflife.org/open-letter-autonomous-weapons/?cn-reloaded=1

(47). Russell, Stuart; Dewey, Daniel; Tegmark Max. (2016). Research Priorities for Robust and Beneficial Artificial Intelligence (10 febrero) https://arxiv.org/abs/1602.03506

(48). Brundage Miles y otros. (2018) “The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation”, Future of Humanity Institute, Febrero de 2018. http://img1.wsimg.com/blobby/go/3d82daa4-97fe-4096-9c6b-376b92c619de/downloads/1c6q2kc4v_50335.pdf

(49). Ibídem, pp. 23-50.

(50). O’Neil, Cathy. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Crown. Ahora en español (2017). Armas de Destrucción Matemática. Como el Big Data aumenta la desigualdad y amenaza la democracia. Capitán. Swing, Madrid, 2017.

(51). Surden, H. (2017). “Values Embedded in Legal Artificial Intelligence”. U of Colorado Law Legal Studies Research Paper No. 17-2017 1-5, p. 2. Acceso: https://ssrn.com/abstract=2932333

(52). Resolución de 14 de marzo de 2017, ob. cit.

(53). FRA. (2018). #BigData… op. cit. pp. 4-5.

(54). Richards Neil M. y King Jonathan H. (2013). “Three Paradoxes of Big Data”, en 66 Stanford Law Review Online 41, p. 41. Acceso en https://www.stanfordlawreview.org/online/privacy-and-big-data-three-paradoxes-of-big-data/

(55). Danaher, John. (2016). “The Threat of Algocracy: Reality, Resistance and Accommodation”, 29 PHIL. & TECH. 245. Acceso en https://philpapers.org/rec/DANTTO-13

(56). Mayer-Schönberger, Viktor y Cukier, 2013 a (ob. Cit) y en particular (2013 b): “The Dictatorship of Data”, MIT Technology Review, mayo de 2013 https://www.technologyreview.com/s/514591/the-dictatorship-of-data/ acceso en español en https://www.technologyreview.es/s/3564/la-dictadura-de-los-datos (trad. Francisco Reyes).

(57). Harari, Yuval Noah. (2016). Homo Deus. Breve historia del mañana. Barcelona: Debate (Traducción: Joandomènec Ros). Se sigue versión disponible en internet de 613 páginas. También, Harari N. (2015), Homo Deus: A Brief History of Tomorrow. London. Harvill Secker.

(58). Ob. cit. 2013 a), pp. 99 y ss.

(59). Ibídem, pp. 102 y ss.

(60). White House. (2016). “Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights,” Executive Office of the President, mayo 2016, p. 10.

(61). Harari, Yuval Noah. (2016). Ob. Cit. p. 353.

(62). Ibídem, p. 319.

(63). Ibídem, p. 377.

(64). Han, Byung Chul. (2013). La sociedad de la transparencia. Barcelona: Herder; (2014 a). En el enjambre. Barcelona: Herder; (2014 b). Psicopolítica. Neoliberalismo y nuevas técnicas de poder. Barcelona: Herder y Han, Byung Chul. (2014 c). La agonía del eros. Barcelona: Herder.

(65). Galparsoro Ruiz, José Ignacio. (2017). “Big Data y Psicopolítica. Vía de escape: de la vida calculable a la vida como obra de arte”, en Dilemata, Núm. 24 (2017): Ética de datos, sociedad y ciudadanía, 25-43. Acceso completo en https://www.dilemata.net/revista/index.php/dilemata/article/view/412000099

(66). Han, 2014 b, op. cit. p. 105.

(67). Han 2014 a, op. cit. p. 78-79.

(68). Han, 2014 b, op. cit. p. 12.

(69). Han, Byung Chul. (2013). Op. cit. p. 92.

(70). Monasterio Astobiza, Aníbal. (2017). Op. cit. . p. 198.

(71). Taplin, Jonathan. (2017). Move Fast and Break Things: How Facebook, Google, and Amazon Cornered Culture and Undermined Democracy. New York. Little, Brown Company.

(72). Latiff Robert H. & McCloskey, Patrick J. (2013). With Drone Warfare, America Approaches the Robo-Rubicon, WALL ST. (Mar. 14, 2013), ahora en https://reilly.nd.edu/people/adjunct-faculty/maj-gen-robert-latiff-ret/with-drone-warfare-america-approaches-the-robo-rubicon/

(73). Calo, Ryan. (2017). Op. cit. , p. 28

(74). Supervisor Europeo de Protección de Datos. (2015). Dictamen 4/2015. Hacia una nueva ética digital. Datos, dignidad y tecnología, 11 de septiembre de 2015, p. 15.

(75). The Future of Life Institute. (Sin fecha), “Benefits & Risks of Artificial Intelligence” https://futureoflife.org/background/benefits-risks-of-artificial-intelligence/

(76). Rushkoff, Douglas. (2010). Program or be programmed: Ten commands for a digital age. New York, Or Books.

(77). House of Commons Science and Technology Committee. (2016). Robotics and artificial intelligence (No. Fifth Report of Session 2016-17). London, UK. Nº 42, p. 16 Acceso en: http://www.publications. parliament.uk/pa/cm201617/cmselect/cmsctech/145/145.pdf

(78). En esta línea señala que Google DeepMind informó de esta posibilidad en junio de 2016 para trabajar con académicos de la Universidad de Oxford. Google developing kill switch for AI, BBC News Online, 8 June 2016

https://www.bbc.com/news/technology-36472140

(79). Sánchez Barrilao, Juan Francisco. (2016). “El Derecho constitucional ante la era de Ultrón: la informática y la IA como objeto constitucional”, Estudios de Deusto: revista de la Universidad de Deusto, Vol. 64, Nº. 2, pp. 225-258, pp. 31-33.

(80). Collingridge, David. (1980). The Social Control of Technology, New York, St. Martin's Press.

(81). Si bien en ocasiones se menciona este principio genéricamente para la proyección del Derecho offline para el ámbito electrónico, como aquí se hace, formalmente se expresó respecto del valor de la firma electrónica y la firma en papel en la CNUDMI, Guía para la incorporación al derecho interno de la ley modelo de la CNUDMI sobre comercio electrónico (Nueva York: Naciones Unidas, 1999), p.21.

(82). Parlamento Europeo. (2017 a). Normas de Derecho civil sobre robótica. Cit.

(83). Petit, Nicolas. (2017). Op. cit. pp. 26-27.

(84). Ibídem, pp. 28 y ss.

(85). Ibídem, p. 28.

(86). Ibídem, p. 29.

(87). Ibídem, p. 9.

(88). Como ejemplos, se mencionan estudios desde las diferentes disciplinas legales: Leroux, C., et al. 2012. “Suggestion for a green paper on legal issues in robotics” Contribution to Deliverable D 3.1.También De Cock Buning, M., Belder L. and Bruin, R. de. 2012. “Mapping the Legal Framework for the introduction into Society of Robots as Autonomous Intelligent Systems”.

(89). Ibídem, p. 7.

(90). Ibídem, p. 8.

(91). Ibídem, p. 8. Como ejemplo, se señala Palmerini, E. et al. (2016). “RoboLaw: Towards a European framework for robotics regulation.” Robotics and Autonomous Systems 86 (2016): 78-85 ; o The Stanford Artificial Intelligence and Life in 2030 report (the “Stanford Report”) (2016). Study Panel, September 2016, que analiza el transporte, servicio de robots, cuidado de la salud, educación, comunidades de bajos recursos, público seguridad y protección, empleo y lugar de trabajo, robots domésticos / de servicio y entretenimiento”, dicho análisis se hace desde nueve amplias categorías de cuestiones jurídicas y políticas.

(92). Ibídem, pp. 3 y 11.

(93). Calo, Ryan. (2014 y 2015). “Robotics and the Lessons of Cyberlaw”, California Law Review, Vol. 103, No. 3, pp. 513-63; University of Washington School of Law Research Paper No. 2014-08, p. 553 Acceso en SSRN: https://ssrn.com/abstract=2402972  or http://dx.doi.org/10.2139/ssrn.2402972

(94). Calo, Ryan. (2017). Op. cit. , p. 8.

(95). Coglianese, Cary and Lehr, David. (2017). Op. cit. p. 3 y p. 62.

(96). Tene, Omer y Polonetsky, Jules. (2013). “Judged by the Tin Man: Individual Rights in the Age of Big Data”, en Journal of Telecommunications and High Technology Law, 11, agosto 2013, p. 3. Acceso en https://ssrn.com/abstract=2311040

(97). Petit, Nicolas. (2017). Op. cit. p. 17.

(98). Ibídem pp. 12-13.

(99). Ibídem, p. 13.

(100). Ibídem, p. 14.

(101). Sánchez Barrilao, Juan Francisco. (2016). Op. cit. p. 233.

(102). Bauman, Zygmunt. (2004). Modernidad líquida, México, Editorial Fondo de Cultura Económica, p. 8.

(103). Calo, Ryan. (2017). Op. cit., pp. 7-8.

(104). Consejo de Europa. (2017 a). Technological convergence, artificial intelligence and human rights, informe del parlamentario Jean-Yves Le Déaut, Committee on Culture, Science, Education and Media Doc. 14288, 10 abril 2017, Conclusiones, nº 69.

(105). O'Reilly, Tim. 2005. “What Is Web 2.0”, ww.oreilly.com, p. 4. https://www.oreilly.com/pub/a/web2/archive/what-is-web-20.html?page=1

(106). Přibáň, Jiří (ed.). 2016. Liquid Society and Its Law, Routledge.

(107). Villaverde Menéndez, Ignacio.( 2018). “El constitucionalismo líquido. La dogmática constitucional de los derechos fundamentales del siglo XXI tras 40 años de Constitución Española de 1978”, en (Punset, Ramón y otros, coords. Cuatro decadas de una Constitución normativa (1978-2018): Estudios sobre el desarrollo de la Constitución Española, pp. 31-51, p. 42.

(108). García Rubio, María Paz. (2016). “Sociedad líquida y codificación”, Anuario de derecho civil, Vol. 69, Nº 3, 2016, pp. 743-780, pp. 746 y 749 acceso en https://www.boe.es/publicaciones/anuarios_derecho/abrir_pdf.php?id=ANU-C-2016-30074300780_ANUARIO_DE_DERECHO_CIVIL_Sociedad_l%EDquida_y_codificaci%F3n

(109). Ranchordas, Sofia. (2014). Constitutional Sunsets And Experimental Legislation: A Comparative Perspective. Chentelham: Edward Elgar. Sigo por Ranchordas, Sofia. (2014). “Innovation-Friendly Regulation: The Sunset of Regulation, the Sunrise of Innovation”. Jurimetrics, Vol. 55, No. 2, 2015. Acceso en SSRN: https://ssrn.com/abstract=2544291 or http://dx.doi.org/10.2139/ssrn.2544291

(110). Zetzsche, Dirk y otros . (2017). “Regulating a Revolution: From Regulatory Sandboxes to Smart Regulation”. 23 Fordham Journal of Corporate and Financial Law 31-103 (2017). Acceso en SSRN: https://ssrn.com/abstract=3018534 / http://dx.doi.org/10.2139/ssrn.3018534

(111). Ponce, Juli (2017). “Regulatory sandboxes y empresas Fintech: innovación regulatoria y derecho a una buena administración”, en Hay Derecho, 26.11.2017.

(112). Muñoz Machado, Santiago. (2000). La regulación de la Red. Poder y Derecho en Internet, Taurus. Reed, Chris. (2012). Making Laws for Cyberspace, Oxford university Press, Oxford, capítulo IV.

(113). Tene, Omer y Polonetsky, Jules. (2013). Op. cit. .

(114). Consejo de Europa. (2017 b). Asamblea Parlamentaria, Recommendation 2102 (2017)1, de 28 de abril. Technological convergence, artificial intelligence and human rights.

(115). Tarrés Vives, Marc. (2003). “Las normas técnicas en el Derecho Administrativo”, en Documentación administrativa, nº 265-266, (Ejemplar dedicado a: Derecho administrativo, ciencia y tecnología), pp. 151-184. Ver pp. 170 y ss. Darnaculleta, María M. (2005). Autorregulación y Derecho Público: la autorregulación regulada, Marcial Pons, Barcelona.

(116). Petit, Nicolas. (2017). Op. cit. pp. 17.

(117). Doménech Pascual, Gabriel. (2017). “La regulación de la economía colaborativa en el sector del taxi y los VTC” en Montero Pascual Juan José (dir.), La regulación de la economía colaborativa: Airbnb, BlaBlaCar, Uber y otras plataformas /, ISBN pp. 351-401, ver pp. 373-374.

(118). Calo, Ryan. (2017). Op. cit., p. 7.

(119). Moreno Muñoz, Miguel. (2017). “Privacidad y procesado automático de datos personales mediante aplicaciones y bots”, en Dilemata, Núm. 24 (2017): Ética de datos, sociedad y ciudadanía, 1-23. p. 7. Acceso en https://www.dilemata.net/revista/index.php/dilemata/article/view/412000098

(120). Alarie, Benjamin; Niblett, Anthony y Yoon, Albert (2016): Law in the Future, mayo, https://ssrn.com/abstract=2787473;Coglianese, Cary and Lehr, David. (2017) y Leighton Andrews, Bilel and others. (2017). Algoritmic Regulation, London School of Economics and Polítical Science, Discussion paper, nº 85, sept., 2017.

(121). Lodge, Martin y Andrea Mennicken, (2017). “The importance of regulation of an by algorithm”, en Leighton Andrews, Bilel and others. 2017. Algoritmic Regulation, London School of Economics and Políticas Science, Discussion paper, nº 85, sept., , pp. 2-7.

(122). Citron, D. K. (2007).”Technological Due Process”, 85 Wash. U. L. Rev. pp. 1249-1313, 2007, p. 1254. Acceso en: http://openscholarship.wustl.edu/law_lawreview/vol85/iss6/2

(123). Krotoszynski Jr., Ronald J. (2015): “Reconciling Privacy and Speech in the Era of Big Data: A Comparative Legal Analysis”, William & Mary Law Review, Vol. 56, 1279, 2015; U of Alabama Legal Studies Research Paper, https://ssrn.com/abstract=2605508

(124). Calo, Ryan. (2017). Op. cit., pp. 22-23.

(125). Consejo de Europa. (2017 a). op. cit. nº 70.

(126). Bauman, Zygmunt. 2004. Op. cit. p. 18.

(127). Sánchez Barrilao, Juan Francisco. (2016). Op. cit. p. 234.

(128). Comisión Europea. (2000). Comunicación de la Comisión sobre el recurso al principio de precaución, COM/2000/0001 final https://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=CELEX:52000DC0001&from=ES

(129). Jonas, H. (1995).El principio de responsabilidad. Herder. Barcelona, p. 40.

(130). 27ª sesión plenaria, el 12 de noviembre de 1997.

(131). González, Pedro Alberto. (2017). “Responsabilidad proactiva en los tratamientos masivos de datos”, en Dilemata, Núm. 24 (2017): Ética de datos, sociedad y ciudadanía, pp. 115-129, pp. 120 y 125 y ss. Acceso en https://www.dilemata.net/revista/index.php/dilemata/article/view/412000103

(132). ENISA. (2015). Privacy by design in Big Data: An overview of privacy enhancing technologies in the era of Big Data analytics (European Union Agency For Network And Information Security). Acceso en https://www.enisa.europa.eu/publications/big-data-protection

(133). Martínez Martínez, Ricard. (2017). “Cuestiones de ética jurídica al abordar proyectos de Big Data. El contexto del Reglamento general de protección de datos, Dilemata, Núm. 24 (2017): Ética de datos, sociedad y ciudadanía, pp. 151-164, p. 160. Acceso en https://dialnet.unirioja.es/servlet/articulo?codigo=6066833

(134). Ver, AEPD - ISMS Forum (2017) op. cit. p. 21.

(135). Cotino Hueso, Lorenzo. (2017). “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales”, en Dilemata. Revista Internacional de Éticas Aplicadas, n º24, 2017, pp. 131-150. Acceso en https://goo.gl/iERVha

(136). Selbst, A. D. (2017). “Disparate Impact in Big Data Policing”. Georgia Law Review. 87 pp. Ver p. 50 Acceso en: https://ssrn.com/abstract=2819182 http://dx.doi.org/10.2139/ssrn.2819182

(137). Edwards, Lilian; McAuley, Derek y Diver, Laurence. (2016). “From Privacy Impact Assessment to Social Impact Assessment”,Conference: 2016 IEEE Security and Privacy Workshops (SPW), pp. 53-57, doi:10.1109/SPW.2016.19

(138). Petit, Nicolas. (2017). Op. cit. pp. 3 y 11.

(139). Parlamento Europeo. (2017 a). op. cit.

(140). Consejo de Europa. 2017 b. op. cit. .

(141). Calo, Ryan. (2017). Op. cit. , p. 7.

(142). Petit, Nicolas. (2017). Op. cit. p. 18.

(143). Parlamento Europeo. (2017 a).

(144). Miller, Arthur R. Miller (1969). “Personal privacy in the Computer Age: the challenge of a new technology and information oriented society”, Michigan Law Review, 67, 1089-1246.

(145). House of Commons Science and Technology Committee. (2016), op. cit. pp. 22, 23, 25, conclusiones nº 3 y 36.

(146). Comisión Europea. (2018). IA para Europa... Op. cit.

(147). https://ec.europa.eu/digital-single-market/en/news/call-high-level-expert-group-artificial-intelligence

(148). FRA. (2018). #BigData… op. cit.

(149). Se trata del Proyecto “Big Data and Fundamental Rights”).

http://fra.europa.eu/en/project/2018/artificial-intelligence-big-data-and-fundamental-rights

(150). Parlamento Europeo. (2017 a), op. cit.

(151). Tutt, Andrew. (2017). “An FDA for Algorithms” (Marzo, 2016). 69 Admin. L. Rev. 83 Acceso en SSRN: https://ssrn.com/abstract=2747994 or http://dx.doi.org/10.2139/ssrn.2747994

(152). Ibídem, pp. 119-120.

(153). Ibídem, pp. 107 y ss.

(154). AEPD - ISMS Forum (2017) op. cit. pp. 26 y ss.

(155). Sobre el tema, aun con referencia a la legislación anterior, por todos Martín Delgado, Isaac. (2009). “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”. Revista de Administración Pública, 180, pp. 353-386.

(156). Resolución de la Dirección General de la Agencia Estatal de la Administración Tributaria de 29 de diciembre de 2010 por la que se aprueban las aplicaciones informáticas para las actuaciones administrativas automatizadas.

(157). Destacan recientes resoluciones de 23 de febrero de 2016, del Instituto Nacional de la Seguridad Social, por la que se regula la tramitación electrónica automatizada de diversos procedimientos de gestión de determinadas prestaciones del sistema de la Seguridad Social.

(158). De especial referencia al respecto son las “Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679” del ya extinto Grupo del Artículo 29, de 3 de octubre de 2017, revisadas el 6 de febrero de 2018.

(159). Consejo de Europa - No. [223] Protocolo por el que se modifica el Convenio para la Protección de las Personas con respecto al procesamiento automático de datos personales [Estrasburgo, 10.X.2018] https://www.coe.int/en/web/conventions/new-treaties

(160). Así, he coordinado el Congreso Transparencia digital, algorítmica y big data. V Congreso Internacional del avance del Gobierno Abierto. III Congreso de Buen gobierno y transparencia de la Comunitat Valenciana que tuvo lugar 5 y 6 de septiembre de 2018. Ver contenidos en http://www.derechotics.com/congresos/2018-transparencia-big-data

(161). Por todos, Malgieri, Gianclaudio. (2018). “Right to Explanation and Algorithm Legibility in the EU Member States Legislations”, acceso en SSRN: https://ssrn.com/abstract=3233611 o http://dx.doi.org/10.2139/ssrn.3233611

(162). Conseil Constitutionnel, Décision n° 2018-765 DC de 12 de junio de 2018. Acceso en https://www.conseil-constitutionnel.fr/decision/2018/2018765DC.htm

(163). Así, a partir del artículo 64 de la Social Security (Administration) Act 1999, ha habido muchos desarrollos en más de veinte normas como puede apreciarse en https://airtable.com/embed/shrpkHgfDpvec6BA3/tblHPWVuiNI6v63nn?backgroundColor=blue

(164). http://www.gaip.cat/es/detall/normativa/2016-123-124

(165). State v. Loomis, 881, N.W.2d 749, 7532 (Wis, 2016).

(166). De Miguel Beriain, Iñigo (2018). “Does the use of risk assessments in sentences respect the right to due process? A critical analysis of the Wisconsin v. Loomis ruling, Law, Probability and Risk, Volume 17, Issue 1, 1 March 2018, pp. 45–53, https://doi.org/10.1093/lpr/mgy001