Inteligencia artificial y control policial (PDF)

Inteligencia artificial y control policial 2.2024 Cuestiones para un debate frente al hype. Sumario José María López Riba - Universitat de Girona Las aplicaciones de la inteligenc...

Inteligencia artificial y control policial 2.2024 Cuestiones para un debate frente al hype. Sumario José María López Riba - Universitat de Girona Las aplicaciones de la inteligencia artificial en el ámbito del control policial han generado un enfoque dual: por un lado, una creciente fascinación y entusiasmo debido a las posibilidades innovadoras; por otro lado, un conjunto de preocupaciones y cuestionamientos profundos sobre su implementación y sus posibles implicaciones en términos de derechos y justicia social. A pesar de que ya existen investigaciones sustanciales al respecto y se han planteado diversas inquietudes, el tema sigue despertando muchas expectativas exageradas. Es esencial comprender la base de estas expectativas y su origen, ya que a menudo están enraizadas en intereses económicos y en la promesa de una aplicación objetiva y neutral de la tecnología en el ámbito policial. Aquí es donde deben entrar en juego las reflexiones de las ciencias sociales, desempeñando un papel fundamental en la reconfiguración del debate entre optimistas y pesimistas. Abstract - The applications of artificial intelligence within the realm of policing have engendered a dichotomous approach: on one facet, an escalating fascination and enthusiasm attributed to innovative potentialities; conversely, an assemblage of profound concerns and inquiries regarding its implementation and prospective implications for civil liberties and social justice. Despite the existence of substantial investigations in this domain and the articulation of sundry apprehensions, the subject continues to evoke a plethora of exaggerated expectations. It is incumbent upon us to comprehend the underpinning of these expectations and their provenance, as they frequently derive from business interests and the pledge of an impartial and unbiased deployment of technology within the sphere of policing. This is where social science thinking must come into play, undertaking a pivotal role in the reconfiguration of the discourse amidst proponents and skeptics. Title: Artificial Intelligence and Policing: issues for a debate amidst the hype. - Palabras clave: control policial, tecnología, inteligencia artificial, ciencias sociales Keywords: policing, technology, artificial intelligence, ciencias sociales - DOI: 10.31009/InDret.2024.i2.10 - 407  Índice - 2.2024 Recepción 1. Las (¿exageradas?) expectativas sobre la inteligencia artificial 02/02/2024 2. Tipos de herramientas basadas en inteligencia artificial en el control - policial Aceptación 3. Problemas conocidos de las herramientas basadas en la inteligencia 11/04/2024 artificial - 3.1. Investigaciones evaluativas y otros estudios sobre las herramientas basadas en la inteligencia artificial 3.2. Asunciones problemáticas 3.3. Transparencia y rendición de cuentas 4. Si estos problemas son conocidos ¿de dónde viene el hype? 4.1. Intereses económicos 4.2. El giro preventivo y el tecnosolucionismo 5. El papel de las ciencias sociales en la era de la inteligencia artificial 5.1. Destecnificar y problematizar el debate 5.2. Tecnología y ciencia 5.3. ¿Si la solución es la inteligencia artificial, cuál era el problema? 6. Apuntes finales 7. Bibliografía 7.1. Investigaciones 7.2. Noticias y recursos web - Este trabajo se publica con una licencia Creative Commons Reconocimiento- No Comercial 4.0 Internacional 408 InDret 2.2024 José María López Riba 1. Las (¿exageradas?) expectativas sobre la inteligencia artificial* Últimamente existe un bombardeo de información constante sobre la inteligencia artificial1 y las promesas de revolución que conlleva en todos los ámbitos. James Manyika, vicepresidente de Google, afirmaba en una entrevista que «la inteligencia artificial cambiará el mundo, como las computadoras o la electricidad» 2. Este fenómeno también puede observarse en ámbitos más concretos como el académico3. Para referirse a este fenómeno, a las expectativas (muchas veces exageradas) sobre la inteligencia artificial, se ha acuñado el término AI hype4. Este hype también ha permeado entre los actores de la justicia penal y es frecuente ver noticias donde se afirma que las tecnologías basadas en inteligencia artificial van a ayudar a agilizar los procesos judiciales5 o, incluso, van a predecir la delincuencia futura6. Ya hay, de hecho, autores que hablan de justicia algorítmica7. En el campo del control policial, que es el foco del artículo, las herramientas basadas en inteligencia artificial prometen, principalmente, aumentar la eficiencia, al reducir el coste y optimizar la asignación de recursos 8 ; una alta precisión en las predicciones, al hacer uso de * José María López Riba ([email protected]). 1 No es el propósito de este trabajo, ni el autor es el más adecuado para, entrar en la discusión conceptual sobre la inteligencia artificial y sobre si las herramientas de las que se hablará a continuación pueden considerarse parte de este campo. Para ello ver, por ejemplo, BERK, «Artificial Intelligence, Predictive Policing, and Risk Assessment for Law Enforcement», Annual Review of Criminology, 4, 2021, pp. 209-237; o MIRÓ LLINARES, «Inteligencia artificial y Justicia Penal: más allá de los resultados lesivos causados por robots», Revista de Derecho Penal y Criminología, (20), 2018, pp. 90-94. Se debe tener en cuenta que la confusión de conceptos es uno de los aspectos aprovechados para generar expectativas sobre las herramientas que hacen uso de la inteligencia artificial. Ver KALTHEUNER, «AI Snake Oil, Pseudoscience and Hype», en FREDERIKE KALTHEUNER (ed.), Fake AI (Chapter 2). Disponible en versión digital en https://fakeaibook.com/. 2 ANGELA BRASCIA, «James Manyika (Google): “La inteligencia artificial cambiará el mundo, como las computadoras o la electricidad”», El País (edición digital), 28 de junio de 2023. Disponible en https://elpais.com/tecnologia/2023- 06-28/james-manyka-google-la-inteligencia-artificial-cambiara-el-mundo-como-las-computadoras-o-la- electricidad.html 3 EFE, «La inteligencia artificial, un "cambio de paradigma" en la universidad, según expertos», La Vanguardia (edición digital), 22 de junio de 2023. Disponible en https://www.lavanguardia.com/vida/20230622/9062016/inteligencia-artificial-cambio-paradigma-universidad- expertos.html 4 Por ejemplo, en el caso de los chatbots (como ChatGPT) se advierte que las expectativas van muy por delante de su desarrrollo. Ver HILTZIK, «Artificial intelligence chatbots are spreading fast, but hype about them is spreading faster», Los Angeles Times (edición digital), 13 de julio de 2023. Disponible en https://www.latimes.com/business/story/2023-07-13/column-artificial-intelligence-chatbots-are-spreading- fast-but-hype-about-them-is-spreading-faster 5 REQUEIJO, «Sentencias dictadas por inteligencia artificial. ¿Es posible sustituir al juez por un robot?», El Confidencial (edición digital), 1 de mayo de 2023. Disponible en https://www.elconfidencial.com/espana/2023-05- 01/sentencias-dictadas-inteligencia-artificial_3620933/ 6 WEBEDIA BRAND SERVICES, «Precrimen, ¿cómo se utiliza la IA para la detección de crímenes futuros?», Xataka.com, 20 de diciembre de 2020. Disponible en https://ecosistemahuawei.xataka.com/precrimen-como-se-utiliza-ia- para-deteccion-crimenes-futuros/ 7 Por ejemplo, ZAVRŠNIK, «Algorithmic justice: Algorithms and big data in criminal justice settings», European Journal of Criminology, 18(5), 2021, pp. 623-642. Para el autor este proceso forma parte de una tendencia social más general: la gobernanza algorítmica. 8 BRAYNE/ROSENBLAT/BOYD, «Predictive policing. Data & civil rights: a new era of policing and justice», 2015, p. 4; FUSSEY/DAVIES/INNES, «“Asssisted” facial recognition and the reinvention of suspicion and discretion in digital policing», British Journal of Criminology, 61(2), 2021, p. 326; SAPHIRO, «Reform predictive policing», Nature, 541, 2017, p. 459. 409 InDret 2.2024 José María López Riba técnicas de aprendizaje automático9; y una actuación más justa, al tener menos sesgos que los humanos10. 2. Tipos de herramientas basadas en inteligencia artificial en el control policial Pueden distinguirse diferentes tipos de herramientas basadas en inteligencia artificial que se han introducido en el control policial. En primer lugar, encontramos los sistemas de vigilancia con reconocimiento (de rasgos biométricos, de matrículas, etc.) o procesamiento de texto o lenguaje natural (por ejemplo, para la búsqueda de determinados patrones en mensajes de las redes sociales). Pese a que la vigilancia policial lleva tiempo apoyándose en la tecnología (principalmente, en las cámaras de videovigilancia), la introducción de la inteligencia en este ámbito permite el reconocimiento, recogida y procesamiento de datos en tiempo real11. Entre los sistemas más conocidos están los de reconocimiento facial12, los de matrículas13 o los sistemas de rastreo de discursos de odio. Los sistemas de reconocimiento facial no son muy populares en Europa14; de hecho, desde el Parlamento Europeo se ha propuesto su prohibición15. Sin embargo, en España, existen ejemplos de cámaras de videovigilancia con reconocimiento facial instaladas en estaciones de autobuses desde 201616 o en el recinto Ifema de Madrid en noviembre de 201917. También hay ejemplos de cámaras de reconocimiento automático de matrículas adquiridas por 9 WANG/KAPOOR/BAROCAS/NARAYANAN, «Against predictive optimization: on the legitimacy of decision-making algorithms that optimize predictive accuracy», 2023, p. 3. 10 BENNET MOSES/CHAN, «Algorithmic prediction in policing: assumptions, evaluation, and accountability», Policing & Society, 28(7), 2018, p. 812; SAPHIRO, «Predictive Policing for Reform? Indeterminacy and Intervention in Big Data Policing», Surveillance & Society, 17(3/4), 2019, pp. 456-472. 11 JANSEN/SÁNCHEZ MONEDERO/DENCIK, «Biometric identity systems in law enforcement and the politics of (voice) recognition: The case of SiiP», Big Data & Society, 202, pp. 2-3. 12 Esta tecnología implica procesado biométrico a tiempo real de imágenes capturadas por cámaras de vídeo fijas o móviles con el propósito de encontrar coincidencias con bases de datos policiales. Cuando el algoritmo detecta un posible emparejamiento envía una alerta y un agente de policía lo revisa. Ver FUSSEY, Pete/DAVIES, Bethan/INNES, «“Asssisted” facial recognition and the reinvention of suspicion and discretion in digital policing», British Journal of Criminology, 61(2), 2021, pp. 327-328. 13 Son cámaras instaladas en carreteras que procesan en tiempo real las matrículas de los coches y las cotejan con bases de datos policiales o administrativas. Representan los sistemas de vigilancia basados en inteligencia artificial más extendidos en Europa. Ver JANSEN, Fieke, «Data Driven Policing in the Context of Europe», 2018, p. 5. Disponible en: https:// www.datajusticeproject.net/wp-content/uploads/sites/30/2019/05/Report-Data- Driven- Policing-EU.pdf 14 La tecnología ha sido testada en Alemania (durante una reunión del G20), ver JANSEN, «Data Driven Policing in the Context of Europe», 2018, p. 5. Disponible en: https://www.datajusticeproject.net/wp- content/uploads/sites/30/2019/05/Report-Data-Driven-Policing-EU.pdf. Pero las pruebas más importantes se han realizado en Reino Unido, ver FUSSEY/DAVIES/INNES, «“Asssisted” facial recognition and the reinvention of suspicion and discretion in digital policing», British Journal of Criminology, 61(2), 2021, p. 326. 15 ALARCÓN, Nacho, «La Eurocámara exige prohibir el reconocimiento facial en la norma europea de IA», El Confidencial (edición digital), 14 de junio de 2023. Disponible en https://www.elconfidencial.com/tecnologia/2023-06-14/eurocamara-exige-prohibir-reconocimiento-facial- norma-europea-inteligencia-artificial_3665580/ 16 MIRALLES/CAMPISI/DÍAZ, «Vigilancia hi-tech en tiempos del COVID-19», 2021, p. 32. Disponible en https://www.donestech.net/files/mass-surveillance-esp-cast.pdf. Las autoras destacan además la posibilidad de proliferación de esta tecnología. 17 Aunque se tiene poca información sobre su uso. CALATAYUD, «Report Automating Society 2020», 2021, pp. 44-45. Disponible en https://automatingsociety.algorithmwatch.org/report2020/spain/ 410 InDret 2.2024 José María López Riba la Guardia Urbana de Barcelona en 201918. Además, se cuenta con el sistema VeriPol, diseñado para evaluar la veracidad de las denuncias de robos en domicilios y que utiliza el Cuerpo Nacional de Policía19; el proyecto europeo TENSOR, cuyo objetivo es desarrollar una plataforma digital con sistemas algorítmicos para detectar posibles actividades terroristas en internet 20 ; o un algoritmo para detectar discursos de odio en redes sociales empleado por el Ministerio del Interior21. En segundo lugar, deben mencionarse los sistemas predictivos, lo que se ha venido llamando predictive policing22 (policía predictiva). Estos sistemas son los que han acaparado mayor atención mediática y académica. Existen dos tipos: los que predicen el riesgo de comisión de delitos en determinados momentos y lugares (place-based) y los que asignan el riesgo a individuos concretos (person-based) 23. Los primeros son los más extendidos. El place-based predictive policing, según BRANTINGHAM24, es un proceso de tres pasos. En primer lugar, se recogen datos de uno o distintos tipos en diferentes zonas, como el tipo de delito, la hora detallada del hecho y la localización concreta. En segundo lugar, estos datos son procesados por algoritmos para predecir la ocurrencia de delitos en un ámbito de interés. En tercer y último lugar, la policía utiliza estas predicciones para fundamentar sus estrategias25. Se podría decir que, aunque todavía están en una fase «inicial» y se utilizan mayoritariamente en contextos concretos (principalmente en Estados Unidos de América y algunas ciudades europeas)26, se prevé que su uso aumente de forma 18 MIRALLES/CAMPISI/DÍAZ, «Vigilancia hi-tech en tiempos del COVID-19», 2021, p. 44. Disponible en https://www.donestech.net/files/mass-surveillance-esp-cast.pdf 19 MIRALLES/CAMPISI/DÍAZ, «Vigilancia hi-tech en tiempos del COVID-19», 2021, p. 52 y 53. Disponible en https://www.donestech.net/files/mass-surveillance-esp-cast.pdf 20 Ver web del projecto en https://tensor-project.eu/ 21 PÉREZ COLOMÉ, «¿Cuánto odio hay en Twitter? No mucho, pero es constante y hay para todos», El País (edición digital), 1 de noviembre de 2018. Disponible en https://elpais.com/tecnologia/2018/11/01/actualidad/1541030256_106965.html 22 Algunos autores destacan que realmente el término correcto debería ser “forecasting” y no “predictive”, ya que el primero captura mejor la dimensión de incertidumbre de los sistemas. Ver ROBINSON/KOEPKE, «Stuck in a pattern: early evidence on "predictive policing" and civil rights», 2016, p. 2. Disponible en https://search.issuelab.org/resource/stuck-in-a-pattern-early-evidence-on-predictive-policing-and-civil-rights 23 ROBINSON/KOEPKE, «Stuck in a pattern: early evidence on "predictive policing" and civil rights», 2016, p. 2. Disponible en https://search.issuelab.org/resource/stuck-in-a-pattern-early-evidence-on-predictive-policing-and-civil- rights 24 BRANTINGHAM, «The Logic of Data Bias and Its Impact on Place-Based Predictive Policing», Ohio State Journal of Criminal Law, 15, 2017, p. 473. 25 Estas herramientas no sirven solo para la predicción en sí misma, también funcionan para los mandos policiales en términos de reconducir la discrecionalidad policial de los agentes y controlar en qué se están invirtiendo los recursos. Ver BENBOUZID, «To predict and to manage. Predictive policing in the United States », Big Data & Society, 6(1), 2019, pp. 4-5. 26 BENNET MOSES/ CHAN, «Algorithmic prediction in policing: assumptions, evaluation, and accountability», Policing & Society, 28(7), 2018, p. 806; MIRÓ LLINARES, «Inteligencia artificial y Justicia Penal: más allá de los resultados lesivos causados por robots», Revista de Derecho Penal y Criminología, (20), 2018, p. 97; y MIRÓ LLINARES, «Predictive Policing: Utopia or Dystopia? On attitudes towards the use of Big Data algorithms for law enforcement», Revista d’Internet, Dret i Política, (30), 2020, p. 5; SAPHIRO, «Reform predictive policing», Nature, 541, 2017, p. 458. 411 InDret 2.2024 José María López Riba significativa27/ 28. En parte, por las expectativas puestas, por las grandes inversiones realizadas y todos los actores involucrados (organizaciones policiales, desarrolladores y comercializadores de la tecnología, investigadores y consultores)29. En España30 existen VioGén, un sistema que ha evolucionado desde su estadio actuarial al predictivo, y que sirve para predecir el riesgo en casos de violencia de género 31 ; y Pred-Crime, un software para predecir el momento y lugar de ocurrencia de determinados delitos utilizado por la Policía Local de Rivas-Vaciamadrid32. 3. Problemas conocidos de las herramientas basadas en la inteligencia artificial La investigación ya ha destacado algunos de los problemas de las herramientas basadas en inteligencia artificial que están utilizando los cuerpos de policía en la actualidad. Para abordar estas limitaciones y peligros se va a diferenciar entre las investigaciones realizadas, las asunciones teóricas detrás de estas herramientas y los problemas de transparencia y rendición de cuentas. 3.1. Investigaciones evaluativas y otros estudios sobre las herramientas basadas en la inteligencia artificial a. Investigaciones sobre los sistemas de reconocimiento y detección Sobre los sistemas de reconocimiento de rasgos biométricos se pueden destacar tres problemáticas halladas por la investigación. En primer lugar, estos sistemas reproducen las 27 Aunque también tenemos ejemplos de cómo se está frenando su implementación, tanto por problemas que se verán más adelante como por cuestiones de recursos. Ver, por ejemplo, UBERTI, David, «After Backlash, Predictive Policing Adapts to a Changed World», The Wall Street Journal (edición digital), 8 de julio de 2021. Disponible en https://www.wsj.com/articles/after-backlash-predictive-policing-adapts-to-a-changed-world-11625752931 También cabe destacar que en Europa existe un fuerte movimiento en contra de la implementación de estas tecnologías. Ver FAIR TRIALS, «AI Act: EU must ban predictive AI systems in policing and criminal justice», Fair Trials (News Section), 1 de marzo de 2022. Disponible en https://www.fairtrials.org/articles/news/ai-act-eu-must- ban-predictive-ai-systems-in-policing-and-criminal-justice/ 28 ADENSAMER/KLAUSNER, «“Part Man, Part Machine, All Cop”: automation in policing», Frontiers in Artificial Intelligence, 4, 2021, p. 8; FERGUSON, «Policing predictive policing», Washington University Law Review, 94(5), 2017, p. 1112; JOH, «Feeding the Machine: Policing, Crime Data, & Algorithms», William & Mary Bill of Rights Journal, 26(2), 2017, pp. 287-288. 29 BRAYNE/ROSENBLAT/BOYD, «Predictive policing. Data & civil rights: a new era of policing and justice», 2015, p. 5; FERGUSON, «Policing predictive policing», Washington University Law Review, 94(5), 2017, p. 1114; JANSEN, «Data Driven Policing in the Context of Europe», 2018, p. 7. Disponible en: https:// www.datajusticeproject.net/wp- content/uploads/sites/30/2019/05/Report-Data- Driven-Policing-EU.pdf. 30 Hay otras iniciativas, pero hasta la fecha no hay información de que se hayan implementado. Como el algoritmo para predecir robos en domicilio desarrollado por un agente de los Mossos d’Esquadra. Ver DURAN, «On hi pot haver onades de robatoris en domicilis? Un model matemàtic ajuda a predir-ho», Corporació Catalana de Mitjans Audiovisuals (324 Noticies), 8 de marzo de 2022. Disponible en https://www.ccma.cat/324/on-hi-pot-haver- onades-de-robatoris-en-domicilis-un-model-matematic-ajuda-a-predir-ho/noticia/3150679/ Otro ejemplo, también relacionado con los Mossos d’Esquadra se discutirá más adelante. 31 En este caso sí que se cuenta con bastante información sobre su uso aunque no sobre el algoritmo en sí. CALATAYUD, «Report Automating Society 2020», 2021, pp. 43-44. Disponible en https://automatingsociety.algorithmwatch.org/report2020/spain/; MIRÓ LLINARES, «Inteligencia artificial y Justicia Penal: más allá de los resultados lesivos causados por robots», Revista de Derecho Penal y Criminología, (20), 2018, pp. 102-103. 32 Se tiene poca información al respecto, de hecho no se sabe en qué punto de aplicación después de su implementación como prueba piloto en 2016. CALATAYUD, «Report Automating Society 2020», 2021, p. 45. Disponible en https://automatingsociety.algorithmwatch.org/report2020/spain/ 412 InDret 2.2024 José María López Riba desigualdades sociales; por ejemplo, los sistemas de reconocimiento reconocen mejor a los hombres blancos que al resto de personas, lo que ocurre por una sobrerrepresentación de estos en las imágenes que se utilizan para entrenar a los algoritmos33/ 34. En segundo lugar, con el uso de estos sistemas y las actuales bases de datos masivas se puede incurrir en la falacia de la tasa base. Esto ocurre porque ningún sistema de emparejamiento puede tener una tasa de éxito de 100% y al aumentar la escala de los conjuntos de datos aumenta el riesgo de falsos positivos (y más si los algoritmos están «forzados» a encontrar coincidencias)35. En tercer lugar, pese a que una de las promesas de estas tecnologías es reducir la discrecionalidad de los agentes de policía, la investigación de FUSSEY et al.36 muestra como sigue habiendo mucha discrecionalidad policial, sobre todo en la elección de los lugares donde se van a instalar las cámaras y las personas que van a ser sometidas a vigilancia. Por último, el campo de experimentación de algunas de estas tecnologías suele centrarse en las personas más vulnerables. Por ejemplo, existe un proyecto europeo que promete desarrollar un sistema capaz de detectar mentiras en los relatos de personas que quieren cruzar la frontera37. b. Investigaciones sobre los sistemas predictivos En cuanto a los sistemas de policía predictiva, existen algunas evaluaciones sobre su capacidad predictiva y su eficacia. Algunas obtienen resultados positivos. Por ejemplo, MOHLER et al. 38 muestran que el uso del algoritmo ETAS (Epidemic Type Aftershock Sequence) predice más delitos que los analistas que hacen uso de la inteligencia policial convencional y mapas de distribución de delitos. Además, las patrullas que siguen sus predicciones consiguen reducir las tasas de delitos. También puede citarse la evaluación de LEVINE et al.39, donde afirman que desde que la 33 Esto, junto con las protestas tras la muerte de George Floyd, ha llevado a que algunas empresas retiren sus productos o dejen de vendérselos a la policía. Ver BBC, «George Floyd: Amazon bans police use of facial recognition tech», BBC News, 11 de junio de 2020. Disponible en https://www.bbc.com/news/business-52989128 Existen múltiples polémicas en las que se han visto envueltos los sistemas de reconocimiento facial. El más reciente es el caso de una mujer detenida erróneamente por la Policía de Detroit en base a las imágenes de una cámara de videovigilancia. Ver SÁNCHEZ-VALLEJO, «La detención errónea de una embarazada reaviva el rechazo a los sistemas de reconocimiento facial», El País (edición digital), 12 de agosto de 2023. Disponible en https://elpais.com/tecnologia/2023-08-12/la-detencion-erronea-de-una-embarazada-reaviva-el-rechazo-a-los- sistemas-de-reconocimiento-facial.html De hecho, algunas ciudades como San Francisco han prohibido el uso de estos sistemas por parte de la policía, basándose en los problemas mencionados. Ver MENDOZA GONZÁLEZ, «San Francisco, primera ciudad en prohibir la tecnología de reconocimiento facial en EE UU», El País (edición digital), 15 de mayo de 2019. Disponible en https://elpais.com/tecnologia/2019/05/15/actualidad/1557904606_766075.html 34 BUOLAMWINI/GEBRU, «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», Proceedings of Machine Learning Research, 81, 2018, pp. 77-91. 35 ADENSAMER/KLAUSNER, «“Part Man, Part Machine, All Cop”: automation in policing», Frontiers in Artificial Intelligence, 4, 2021, p. 5. 36 FUSSEY/DAVIES/INNES, «“Asssisted” facial recognition and the reinvention of suspicion and discretion in digital policing», British Journal of Criminology, 61(2), 2021, p. 325-344. 37 Véase SÁNCHEZ MONEDERO/DENCIK, «The politics of deceptive borders: ‘biomarkers of deceit’ and the case of iBorderCtrl», Information, Communication & Society, 25(3), 2022, pp. 413-430. 38 MOHLER/SHORT/ MALINOWSKI/JOHNSON/TITA/BERTOZZI/BRANTINGHAM, «Randomized controlled field trials of predictive policing», Journal of the American Statistical Association, 110(512), 2015, pp. 1-43. Cabe destacar que en el artículo utilizan el algoritmo en el que se basa Predpol y algunos de los autores son fundadores de la empresa que lo comercializó. 39 LEVINE/TISCH/TASSO/JOY, «The New York City Police Department’s Domain Awareness System», INFORMS Journal of Applied Analytics, 47(1), 2017, pp. 70-84. Se podría decir que la evidencia en la que sostienen sus afirmaciones sobre la eficacia del sistema es circunstancial. 413 InDret 2.2024 José María López Riba Policía de Nueva York hace uso de DAS (Domain Awareness System) ha mejorado su eficacia en la lucha contra el delito; o la de RATCLIFFE et al.40, donde comparan zonas con patrullaje tradicional con aquellas que implementan un patrullaje guiado por software predictivo y encuentran que en aquellas zonas donde se realiza el último se observan reducciones significativas de delitos contra la propiedad. Por otro lado, también existen evaluaciones de su eficacia con resultados no tan positivos. HUNT, SAUNDERS Y HOLLYWOOD41 evalúan la puesta en práctica de un sistema predictivo por parte de la Policía de Shreveport. En su evaluación encuentran que, mientras que los agentes perciben beneficios en el uso de las nuevas estrategias, el uso de este sistema no comporta reducciones en los delitos contra la propiedad. En otra investigación, SAUNDERS, HUNT y HOLLYWOOD42 muestran como el uso de la SSL (Strategic Subjects List) por parte de la Policía de Chicago, un sistema basado en el riesgo de individuos, no es una estrategia efectiva a la hora de prevenir la violencia mediante uso de armas de fuego. Por último, y en referencia concreta a PredPol, BENBOUZID43 propuso al desarrollador original del algoritmo en el que se inspiró el equipo de PredPol, el sismólogo David Marsan, probar su eficacia frente a estrategias como los mapas de distribución de delitos44 con datos abiertos de la ciudad de Chicago. Marsan cuestiona que la aplicación del algoritmo suponga ninguna ventaja frente a las estrategias tradicionales, su análisis pone de relieve que la contribución del efecto contagio (el fundamento detrás de PredPol) a la explicación de delitos futuros es muy pequeña y que la asunción de que los delitos futuros tendrán una dinámica similar a los pasados (no estacionalidad) es muy problemática45, sobre todo teniendo en cuenta que, a diferencia de los eventos naturales (como terremotos), las personas que llevan a cabo los delitos pueden cambiar su comportamiento en el futuro (incluso como respuesta a las nuevas estrategias implementadas por la policía). Una investigación periodística más reciente reveló que las predicciones del software de Geolítica (el nombre de PredPol a partir de 2021) en la ciudad de Planfield (Nueva Jersey) tenían una tasa de acierto aproximada del 1 %.46 Más allá de las evaluaciones sobre su eficacia o eficiencia, existen estudios sobre otros aspectos de estas herramientas. Por ejemplo, LUM y ISAAC47 muestran cómo haciendo uso del algoritmo de PredPol para predecir delitos relacionados con drogas se marcan los lugares donde la policía ya (sobre)vigilaba tradicionalmente, barrios vulnerabilizados donde están sobrerrepresentadas personas racializadas y de minorías étnicas. Por ello concluyen que la policía predictiva “predice 40 RATCLIFFE/TAYLOR/ASKEY/THOMAS/GRASSO/BETHEL/FISHER/KOEHNLEIN, «The Philadelphia predictive policing experiment», Journal of Experimental Criminology, 17, 2021, pp.15-41. 41 HUNT/ SAUNDERS/HOLLYWOOD, Evaluation of the Shreveport Predictive Policing Experiment, 2014. Disponible en https://www.rand.org/pubs/research_reports/RR531.html 42 SAUNDERS/HUNT/HOLLYWOOD, «Predictions put into Practice», Journal of Experimental Criminology, 12, 2016, pp. 347-371. 43 BENBOUZID, «Values and Consequences in Predictive Machine Evaluation. A Sociology of Predictive Policing», Science & Technology Studies, 32(4), 2018, pp. 124-125. 44 El lema de PredPol era “More Than A Hotspot Tool”. Ver BENBOUZID, Science & Technology Studies, 32(4), 2018, p. 122. 45 La solución propuesta por MOHLER, introducir una variable de control temporal, no supone una solución adecuada para MARSAN ya que las dinámicas que él observa en diferentes momentos temporales para el delito son demasiado diferentes. Ver BENBOUZID, Science & Technology Studies, 32(4), 2018, p. 125. 46 SANKIN/MATTU, «Predictive Policing Software Terrible At Predicting Crimes», The Markup, 2 de octubre de 2023. Disponible en https://themarkup.org/prediction-bias/2023/10/02/predictive-policing-software-terrible-at- predicting-crimes 47 LUM/ISAAC, «To predict and serve?», Singificance, 13(5), 2016, pp. 14-19. 414 InDret 2.2024 José María López Riba el control policial futuro, no los delitos futuros” 48. En una línea similar, la investigación periodística de SANKIN et al.49 siguió la implementación en 2018 de PredPol 50 en la ciudad de Plainfield. Estos autores encontraron un patrón consistente en las predicciones de PredPol y sus recomendaciones: el software recomendaba concentrar más patrullas de forma sistemática en barrios de mayoría negra o latina y de bajos ingresos. Posteriormente, se analizaron las predicciones en otras ciudades de los Estados Unidos de América y encontraron los mismos patrones. Este problema era conocido por algunos de los cofundadores de la empresa comercializadora51 pero no fue comunicado a los cuerpos policiales que compraron el producto. Además, la investigación también muestra cómo algunos cuerpos policiales utilizan el software para delitos que los desarrolladores habían recomendado no utilizar, como delitos de drogas o delitos sexuales. Ante los resultados y críticas de algunos de los estudios citados, y otros que se citaran posteriormente, BRANTINGHAM, VALASIK y MOHLER52 investigan si las predicciones de su algoritmo pueden dar lugar a detenciones policiales sesgadas hacia determinados colectivos (por ejemplo, personas racializadas o de minorías étnicas o personas de bajos ingresos). Su estudio muestra que con los datos disponibles de la experiencia de la ciudad de Los Angeles esto no ocurre. Sin embargo, la investigación señala un mayor número de arrestos en las zonas marcadas por el algoritmo. Los autores finalizan advirtiendo de la importancia de la integridad de los datos con los que se «alimenta» el algoritmo. Este es precisamente un punto crítico, como advierten RICHARDSON, SCHULTZ y CRAWFORD 53. Según los autores, no existen procedimientos estandarizados de recolección, evaluación y uso de información recogida durante las actividades de la policía y no hay evidencia de que las empresas que desarrollan esta tecnología validen de forma independiente los datos policiales. Por lo tanto, existe el riesgo de que los algoritmos se alimenten de datos contaminados. Con este término se refieren a aquellos datos que han sido distorsionados por malas prácticas (como abusos policiales) o sesgos policiales (por ejemplo, actuaciones por perfil étnico). Señalan además que es importante tener en cuenta que los sesgos del trabajo policial pueden actuar tanto de forma activa (cuando son el resultado de prácticas sesgadas) como al omitir información sobre determinados delitos e infractores a los que no se presta la misma atención que a otros. 48 LUM/ISAAC, Singificance, 13(5), 2016, p. 16. 49 SANKIN/MEHROTRA/MATTU/GILBERSTON, «Crime Prediction Software Promised to Be Free of Biases. New Data Shows It Perpetuates Them», The Markup, 12 de febrero de 2021. Disponible en https://themarkup.org/prediction- bias/2021/12/02/crime-prediction-software-promised-to-be-free-of-biases-new-data-shows-it-perpetuates- them En el reportaje se muestra como la compañía responsable del algoritmo, que cambió su nombre de PredPol a 50 Geolítica en marzo de 2021, señaló que los investigadores usaban datos incompletos, aunque no aportaron muchas explicaciones y las que aportaron fueron hechos que los investigadores ya habían tenido en cuenta. 51 Los autores del reportaje señalan este hecho en base a la presentación MOHLER/RAJE/CARTER/VALASIK/BRANTINGHAM, «A Penalized Likelihood Method for Balancing Accuracy and Fairness in Predictive Policing», 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 7- 10 de octubre de 2018. Disponible en https://ieeexplore.ieee.org/abstract/document/8616417/authors#authors. En esta presentación los autores muestran el problema y proponen una corrección del algoritmo para hacerle frente. BRANTINGHAM/VALASIK/MOHLER, «Does Predictive Policing Lead to Biased Arrests? Results From a Randomized 52 Controlled Trial», Statistics and Public Policy, 5(1), 2018, pp. 1-6. 53 RICHARDSON/SCHULTZ/CRAWFORD, «Dirty data, bad predictions: how civil rights violations impact police data, predictive policing systems, and justice», New York University Law Review Online, 94(15), 2019, pp. 15-55. 415 InDret 2.2024 José María López Riba En el caso de la discrecionalidad, en un sentido similar a lo que ocurre con los sistemas de reconocimiento, pese a que una de las promesas de los sistemas predictivos es reducir o reemplazar la discrecionalidad policial (y por lo tanto los sesgos de los agentes), la investigación de BRAYNE y CHRISTIN54 muestra como en realidad lo que ocurre es que esta discrecionalidad se mantiene, por la resistencia de los agentes a ceder poder de decisión, o se desplaza a otros actores menos sujetos a la rendición de cuentas, como los desarrolladores de tecnología o los analistas de datos. Centrando la atención en el contexto español, existen pocas evaluaciones de la eficacia o el impacto negativo de las herramientas predictivas. La única herramienta sobre la que se ha puesto el foco es VioGén. La investigación de LÓPEZ OSORIO, GONZÁLEZ ÁLVAREZ y ANDRÉS PUEYO 55 , personas involucradas en la creación y desarrollo de todo el sistema VioGén, destaca que la valoración policial del riesgo (VPR, según ellos, el núcleo del sistema), que sirve para asignar protección a las víctimas, tiene una buena capacidad predictiva con una AUC56 de 0,71 , con una sensibilidad del 85 % y una especificidad del 53,7 %57, para intervalos de tiempo de tres meses, y una AUC de 0,58, sensibilidad de 61,2 % y especificidad del 53,6 % para seis meses58. Siguiendo a MARTÍNEZ GARAY y MONTES SUAY 59 los indicadores propuestos por los autores para medir la capacidad predictiva tienen una limitación importante. El AUC es un indicador de riesgo relativo, indica la mayor probabilidad del suceso de los individuos clasificados con un alto riesgo frente a los clasificados como de bajo riesgo. En base a los valores mostrados por LÓPEZ OSORIO et al.60 y siguiendo a MARTÍNEZ GARAY y MONTES SUAY61 se puede calcular que el valor predictivo positivo62 es de 8,7 %, mientras que el valor predictivo negativo63 es del 98,6 %. El valor predictivo positivo muestra que de los individuos que el modelo estimó que reincidirían a los tres meses sólo lo hizo finalmente el 8,6 %. Si bien para los autores del modelo el valor predictivo positivo bajo puede ser un indicador de eficacia de las medidas policiales tomadas, para MARTÍNEZ GARAY y MONTES SUAY64 esto no está tan claro en ausencia de más datos. Además, consideran que los indicadores de riesgo relativo pueden ser interesantes cuando se cuenta con pocos recursos y se necesita priorizar su asignación, pero cuando se trata de tomar decisiones policiales o judiciales sobre BRAYNE/CHRISTIN, «Technologies of Crime Prediction: The Reception of Algorithms in Policing and Criminal 54 Courts», Social Problems, 68(3), 2021, pp. 608-624. 55 LÓPEZ OSORIO/GONZÁLEZ ÁLVAREZ/ANDRÉS PUEYO, «Eficacia predictiva de la valoración policial del riesgo de la violencia de género», Pshychosocial intervention, 25, 2016, pp. 1-7. 56 El Área Bajo la Curva (AUC) se utiliza para evaluar la capacidad de un modelo de predecir correctamente entre dos clases de una variable binaria. La curva a la que se hace referencia es la curva ROC (Característica de Operación del Receptor) y esta representa la relación entre la tasa de verdaderos positivos y la tasa de falsos positivos. Una AUC de 0,5 indica que el modelo actúa aleatoriamente y, por lo tanto, no sirve para realizar predicciones. En este caso, al ser de 0,71 se podría considerar aceptable, por ser mayor que 0,5. 57 La sensibilidad indica el porcentaje de identificación de los verdaderos positivos y en este caso es relativamente alto (de 85 %), mientras que la especificidad se refiere al porcentaje de clasificación de los verdaderos negativos, siendo en este caso relativamente bajo (53,7 %). 58 Valores menos positivos en todos los casos, por lo que los autores consideran que la herramienta no es útil en este supuesto. 59 MARTÍNEZ GARAY/MONTES SUAY, «El uso de valoraciones del riesgo de violencia en Derecho Penal: algunas cautelas necesarias», InDret: revista para el análisis del derecho, (2), 2018, pp. 1-47. 60 LÓPEZ OSORIO/GONZÁLEZ ÁLVAREZ/ANDRÉS PUEYO, Pshychosocial intervention, 25, 2016, p. 5. 61 MARTÍNEZ GARAY/MONTES SUAY, InDret: revista para el análisis del derecho, (2), 2018, pp. 31. 62 El número de casos positivos observados dividido entre el total de casos positivos. 63 El número de casos negativos observados dividido entre el total de casos negativos. 64 MARTÍNEZ GARAY/MONTES SUAY, InDret: revista para el análisis del derecho, (2), 2018, pp. 32-33. 416 InDret 2.2024 José María López Riba individuos, que afectan a sus derechos fundamentales, lo que se necesita es conocer el riesgo absoluto del suceso para el caso concreto. Por otro lado, la evaluación de ETICAS65 sobre VioGén, destaca diferentes elementos discutibles. En primer lugar, que este sistema no ha sido evaluado de forma independiente; en segundo lugar, que no es transparente, ya que las investigadoras no pudieron acceder a los datos; en tercer lugar, el hecho de que, según su investigación, se acepten el 95 % de las recomendaciones hace pensar que es un sistema automático, aunque se promueve como un sistema de recomendación; en cuarto lugar, el sistema no involucra en ningún punto a las potenciales usuarias del mismo, lo que puede explicar el alto porcentaje de opiniones negativas de las mujeres que han formado parte de la evaluación; por último, destacan que la transición del sistema actuarial a un sistema predictivo alimentado por aprendizaje automático puede crear nuevas incógnitas. 3.2. Asunciones problemáticas66 A pesar de lo mencionado previamente, tal vez la faceta más crucial de estas herramientas se relaciona con las premisas teóricas, en el sentido de asunciones sobre el funcionamiento del mundo, en las que se fundamentan. Aquí se van a repasar algunas, principalmente enfocadas en las herramientas predictivas. a. Los datos disponibles reflejan la realidad de la delincuencia Esta asunción es difícilmente armonizable con años de investigación criminológica señalando los problemas de los datos sobre delitos registrados por la policía: los delitos que no se denuncian (cifra oscura), los patrones de denuncia diferenciales según la tipología delictiva, las inconsistencias en los registros, etc.67. Y esto lleva al problema de los bucles de retroalimentación (confirmation feedback loops) 68 , problema señalado anteriormente 69 : el hecho de basar las actuaciones futuras en datos sesgados de actuaciones pasadas refuerza esas mismas actuaciones 65 ETICAS, «The external audit of VioGén System», 2022. Disponible en https://eticasfoundation.org/gender/the- external-audit-of-the-viogen-system/ 66 Este apartado es una reproducción ligeramente reducida y modificada de un apartado del trabajo de BENNET MOSES/CHAN, «Algorithmic prediction in policing: assumptions, evaluation, and accountability», Policing & Society, 28(7), 2018, pp. 809-815. 67 BENNET MOSES /CHAN, Policing & Society, 28(7), 2018, pp. 809-810; FERGUSON, «Policing predictive policing», Washington University Law Review, 94(5), 2017, pp. 1146-1147; VESTBY/VESTBY, «Machine Learning and the Police: Asking the Right Questions», Policing, 15(1), 2019, pp. 51-52; ZAVRŠNIK, European Journal of Criminology, 18(5), 2021, pp. 629. 68 CHAPMAN/GRYLLS/UGWUDIKE/GAMMACK/AYLING, «A Data-driven analysis of the interplay between Criminological theory and predictive policing algorithms», FAccT '22: Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, 2022, pp. 36-45. En este estudio las investigadoras muestran cómo esos bucles de retroalimentación ocurren incluso con datos simulados, y en parte el fenómeno de los bucles se explica por las teorías criminológicas que fundamentan las prácticas policiales y los propios algoritmos. Véanse también ENSING/FRIEDLER/NEVILLE/SCHEIDEGGER/VENKATASUBRAMANIAN, «Runaway Feedback Loops in Predictive Policing», Proceedings of Machine Learning Research, 81, 2018, pp. 1-12; ENSING/FRIEDLER/NEVILLE/SCHEIDEGGER/VENKATASUBRAMANIAN, «Runaway Feedback Loops in Predictive Policing», Proceedings of Machine Learning Research, 81, 2018, pp. 1-12. 69 Véase LUM/ISAAC, «To predict and serve?», Singificance, 13(5), 2016, pp. 14-19. 417 InDret 2.2024 José María López Riba pasadas 70. Pero el verdadero elemento crítico, según JOH 71 , es asumir que la policía es el consumidor final del producto cuando son ellos mismos los que generan los datos (que procesan los sistemas) con cada una de sus decisiones sobre qué hechos investigar y cómo registrarlos. Estos problemas son conocidos por personas que investigan la delincuencia, pero no tanto por todas las personas que participan en el desarrollo de software de policía predictiva72. Algunas empresas han intentado hacer frente a este problema (y el de los datos contaminados), aunque con enfoques muy limitados. Por ejemplo, PredPol no utiliza los datos policiales del registro del delito sino los de las denuncias. Pese a que esto, a priori73, puede eliminar el problema de los sesgos de las prácticas policiales, tiene otros problemas, entre otros los sesgos de las personas que denuncian o las diferencias sistemáticas a la hora de denunciar entre diferentes tipologías delictivas y determinados grupos sociales74. Además, no elimina del todo el sesgo policial ya que hay denuncias que son interpuestas por la propia policía durante sus actuaciones como las paradas y cacheos75. b. Las dinámicas delincuenciales futuras serán similares a las dinámicas del pasado Asumir que la delincuencia futura será similar a la del pasado es una asunción discutible. Anteriormente ya se ha mostrado como las dinámicas delictivas de un año en la ciudad de Chicago eran muy diferentes al anterior76. Es razonable esperar que la regularidad sea diferente dependiendo de la tipología delictiva y de factores estructurales. Además, buscar patrones regulares puede hacer perder de vista fenómenos no tan regulares pero igualmente relevantes77. 70 RICHARDSON/SCHULTZ/CRAWFORD, «Dirty data, bad predictions: how civil rights violations impact police data, predictive policing systems, and justice», New York University Law Review Online, 94(15), 2019, p. 20. 71 JOH, «Feeding the Machine: Policing, Crime Data, & Algorithms», William & Mary Bill of Rights Journal, 26(2), 2017, pp. 289-296. 72 Con notables excepciones como la de Jeffrey P. BRANTINGHAM. Ver una discusión sobre estos temas en BRANTINGHAM, «The Logic of Data Bias and Its Impact on Place-Based Predictive Policing», Ohio State Journal of Criminal Law, 15, 2017, pp. 473-486; JOH, William & Mary Bill of Rights Journal, 26(2), 2017, p. 300; MIRÓ LLINARES, «Predictive Policing: Utopia or Dystopia? On attitudes towards the use of Big Data algorithms for law enforcement», Revista d’Internet, Dret i Política, (30), 2020, p. 13. 73 Las investigaciones muestran que lo atenúa, pero no lo elimina. Ver ENSING/FRIEDLER/NEVILLE/SCHEIDEGGER / VENKATASUBRAMANIAN, «Runaway Feedback Loops in Predictive Policing», Proceedings of Machine Learning Research, 81, 2018, pp. 1-12. 74 JOH, William & Mary Bill of Rights Journal, 26(2), 2017, p. 299; RICHARDSON/SCHULTZ/CRAWFORD, «Dirty data, bad predictions: how civil rights violations impact police data, predictive policing systems, and justice», New York University Law Review Online, 94(15), 2019, p. 23-24; SAPHIRO, «Reform predictive policing», Nature, 541, 2017, p. 459. 75 FERGUSON, «Policing predictive policing», Washington University Law Review, 94(5), 2017, p. 1150. 76 BENBOUZID, «Values and Consequences in Predictive Machine Evaluation. A Sociology of Predictive Policing», Science & Technology Studies, 32(4), 2018, p. 125. 77 ADENSAMER/KLAUSNER, «“Part Man, Part Machine, All Cop”: automation in policing», Frontiers in Artificial Intelligence, 4, 2021, pp. 3-4; BENNET MOSES/CHAN, Policing & Society, 28(7), 2018, p. 810; FERGUSON, «Policing predictive policing», Washington University Law Review, 94(5), 2017, p. 1157; KAUFMANN/EGBERT/LEESE, «Predictive policing and the politics of patterns», British Journal of Criminology, 59(3), 2019, pp. 679-684. 418 InDret 2.2024 José María López Riba c. Irrelevancia de las variables omitidas Como señalan BENNET MOSES y CHAN78, cualquier herramienta analítica depende de un volumen limitado de información disponible. Esta información limitada difícilmente será compatible con la teoría criminológica, que señala la naturaleza multifactorial del fenómeno delictivo. En la práctica, las variables omitidas tienen un efecto en la precisión del modelo predictivo: a menor número de variables relevantes (señaladas por la teoría) menor será la precisión del modelo. d. El proceso de análisis de datos no discrimina de forma injusta El objetivo de cualquier sistema predictivo es diferenciar lugares o personas asignándoles distintos niveles de riesgo, es decir, discriminar. Sus defensores argumentan que esta discriminación no se produce por motivos injustos, como los basados en constructos sociales de raza o género, puesto que esa información no se utiliza en el proceso de análisis. Sin embargo, esto no toma en cuenta que los criterios de diferenciación que el sistema «aprende» pueden ser resultado de procesos de discriminación social históricos, por lo que los algoritmos pueden discriminar por raza o género incluso sin que esas variables estén presentes en los datos de entrenamiento 79. Como ejemplifica SAPHIRO 80 «dado que en Estados Unidos la raza está estrechamente relacionada con la ubicación geográfica y el estatus socioeconómico, es imposible controlar totalmente los efectos indirectos en los datos».81 e. La intervención policial sugerida por el sistema predictivo es la que se llevará a cabo Para que el sistema predictivo pueda mostrar su eficacia es necesario que las intervenciones policiales que sugiere en sus predicciones sean las que se llevan a cabo82. Sin embargo, años de estudio sobre los procesos de toma de decisiones en la institución policial o sobre la cultura policial desaconsejan dar por sentada esta asunción 83. La investigación ha mostrado las discrepancias entre el «conocimiento» generado por los sistemas predictivos y la experiencia profesional de los agentes de policía 84 , y una investigación reciente de SELTEN, ROBEER y GRIMMELIKHUIJSEN 85 muestra que los agentes de policía están más inclinados a aceptar las recomendaciones de los sistemas predictivos cuando confirman su juicio profesional. 78 BENNET MOSES /CHAN, Policing & Society, 28(7), 2018, pp. 810-811. 79 ADENSAMER/KLAUSNER, «“Part Man, Part Machine, All Cop”: automation in policing», Frontiers in Artificial Intelligence, 4, 2021, pp. 3-4; BENNET MOSES/CHAN, Policing & Society, 28(7), 2018, pp. 811-812; BRAYNE/ROSENBLAT/BOYD, «Predictive policing. Data & civil rights: a new era of policing and justice», 2015, p. 4. 80 SAPHIRO, «Reform predictive policing», Nature, 541, 2017, p. 459. 81 Algo que también puede verse de forma más desarrollada en JEFFERSON, «Predictable Policing: Predictive Crime Mapping and Geographies of Policing and Race», Annals of the American Association of Geographers, 108, 2018, pp. 1-16. Este artículo sugiere que los sistemas de información geográfica sirven para legitimar las prácticas policiales dirigidas contra determinados lugares poblados por mayoría de personas racializadas. 82 A este respecto es también interesante ver las opiniones de los agentes de policía sobre la introducción de estos sistemas. Por ejemplo, ver BRAYNE/CHRISTIN, «Technologies of Crime Prediction: The Reception of Algorithms in Policing and Criminal Courts», Social Problems, 68(3), 2021, pp. 608-624. BENNET MOSES/CHAN, Policing & Society, 28(7), 2018, pp. 813-814; FERGUSON, «Policing predictive policing», 83 Washington University Law Review, 94(5), 2017, pp. 1172-1174. 84 Véase, por ejemplo, RATCLIFFE/TAYLOR/FISHER, «Conflicts and congruencies between predictive policing and the patrol officer’s craft», Policing & Society, 30, 2020, pp. 639-655. 85 SELTEN/ROBEER/GRIMMELIKHUIJSEN, «‘Just like I thought’: Street-level bureaucrats trust AI recommendations if they confirm their professional judgment», Public Administration Review, 83(2), 2023, pp. 263-278. 419 InDret 2.2024 José María López Riba Las anteriores asunciones son pertinentes tanto para los sistemas predictivos basados en lugares como en personas. Sin embargo, a estos últimos habría que añadirle otros problemas como la falta de fundamentos teóricos sólidos y sus negativas implicaciones para la presunción de inocencia86. 3.3. Transparencia y rendición de cuentas87 Los algoritmos que utilizan las herramientas predictivas presentan dos problemas de transparencia. El primero, es que muchos están protegidos por el secreto comercial. Y, el segundo, es que tienen una naturaleza de caja negra 88 que hace muy difícil entender los resultados, incluso para las personas que los han desarrollado89. Derivado de este problema de transparencia existe otro de rendición de cuentas. En una sociedad democrática se espera que los criterios de las actuaciones de la administración pública estén establecidos previamente y sean entendibles. Pero con los sistemas basados en aprendizaje automático los criterios no están definidos previamente y la persona que implementa las recomendaciones del sistema puede no conocer el «razonamiento” detrás de las predicciones, por lo tanto existe una dificultad para justificar las actuaciones90. Además, las técnicas de policía predictiva suponen otro problema para la rendición de cuentas. Es difícil exigir responsabilidad en un contexto en el que intervienen una gran variedad de actores (desarrolladores de tecnología, decisores, implementadores, etc.) y es difícil delimitar la responsabilidad de cada uno91. Para FERGUSON92 esto se añade a los problemas ya existentes de falta de transparencia y rendición de cuentas en la policía. 4. Si estos problemas son conocidos ¿de dónde viene el hype? Si se conocen las anteriores limitaciones y problemas de estos sistemas, cabría preguntarse porqué existen tantas expectativas. Aquí se proponen dos aspectos que contribuyen al hype: los 86 FERGUSON, «Policing predictive policing», Washington University Law Review, 94(5), 2017, p. 1143; MIRÓ LLINARES, «Predictive Policing: Utopia or Dystopia? On attitudes towards the use of Big Data algorithms for law enforcement», Revista d’Internet, Dret i Política, (30), 2020, p. 4; SAPHIRO, Nature, 541, 2017, p. 458. 87 Para algunos autores, los problemas en estas áreas pueden ser los más decisivos a la hora de frenar el avance de estas tecnologías en la toma de decisiones de la Administración en general. Ver, por ejemplo, BELL, «Replacing Bureaucrats with Automated Sorcerers?», Daedalus, 150, 2021, pp. 89-103. 88 Estos algoritmos toman datos de entrada, los procesan a través de capas y capas de cálculos complejos (tomando en cuenta gran cantidad de parámetros), y luego proporcionan una predicción. Es difícil entender cómo se llega a un resultado específico a través de todas esas capas de cálculos. 89 BENBOUZID, «Values and Consequences in Predictive Machine Evaluation. A Sociology of Predictive Policing», Science & Technology Studies, 32(4), 2018, p. 121-123; BENNET MOSES/CHAN, Policing & Society, 28(7), 2018, p. 818; FERGUSON, Washington University Law Review, 94(5), 2017, pp. 1165-1166; JOH, William & Mary Bill of Rights Journal, 26(2), 2017, pp. 292-293; RICHARDSON/SCHULTZ/CRAWFORD, «Dirty data, bad predictions: how civil rights violations impact police data, predictive policing systems, and justice», New York University Law Review Online, 94(15), 2019, p. 21; RICHARDSON/SCHULTZ/CRAWFORD, «Dirty data, bad predictions: how civil rights violations impact police data, predictive policing systems, and justice», New York University Law Review Online, 94(15), 2019, p. 21; SAPHIRO, Nature, 541, 2017, p. 458. 90 BELL, «Replacing Bureaucrats with Automated Sorcerers?», Daedalus, 150, 2021, pp. 89-103. 91 BENNET MOSES/CHAN, Policing & Society, 28(7), 2018, pp. 817-818; MEIJER/WESSELS, «Predictive Policing: Review of Benefits and Drawbacks», International Journal of Public Administration, 42(12), 2019, p. 1035. 92 FERGUSON, Washington University Law Review, 94(5), 2017, p. 1168. 420 InDret 2.2024 José María López Riba intereses comerciales y la intersección entre el proceso de reestructuración de prioridades del control policial y el solucionismo tecnológico. 4.1. Intereses económicos Aunque es difícil establecer si primero surgen los intereses económicos o el hype, parece claro que en un contexto de expectativas exageradas es más fácil vender productos que prometen conseguir resultados excepcionales surgidos de la inteligencia artificial.93 Es frecuente que el desarrollo de herramientas que hacen uso de inteligencia artificial para la vigilancia y control de la delincuencia sean adjudicadas a empresas privadas por parte de administraciones públicas 94. Por poner un ejemplo concreto, en una búsqueda rápida en la Plataforma de Servicios de Contratación Pública de la Generalitat de Catalunya 95 se puede encontrar un contrato de 2020 por valor de 1.481.785,97 € de la Comissaria General d’Informació de los Mossos d’Esquadra con la empresa S21sec para dotarse de una herramienta que permite identificar en internet el riesgo de amenaza terrorista. Las herramientas en cuestión son Voyager Analytics y Voyager Check, desarrolladas por la empresa israelí Voyager Labs. Este contrato se hizo sin concurso a través de la vía de emergencia, justificándose en el alto nivel de alerta antiterrorista96. Pero esto no ocurre solo con las administraciones de ámbito estatal (sean de nivel nacional, autonómico o local), MIRALLES, CAMPISI y DÍAZ97 muestran a lo largo de su investigación como la Unión Europea financia, directa o indirectamente, empresas que desarrollan varias de estas tecnologías a través de los fondos del programa Horizonte 2020. Y el interés económico no está solo en el desarrollo de estas herramientas sino también en fases posteriores como la supervisión de su uso98. 93 Aunque en la práctica no funcionan con inteligencia artificial o sus resultados están muy lejos de las promesas. Se pueden ver ejemplos en https://www.aisnakeoil.com/ o https://fakeaibook.com/ 94 MIRALLES, «Quan la inseguretat és un negoci», La Directa (edición digital), 4 de mayo de 2023. Disponible en https://directa.cat/quan-la-inseguretat-es-un-negoci/. También se pueden ver varios ejemplos en MIRALLES/CAMPISI/DÍAZ, «Vigilancia hi-tech en tiempos del COVID-19», 2021. Disponible en https://www.donestech.net/files/mass-surveillance-esp-cast.pdf 95 Ver https://contractaciopublica.cat/ca/detall-publicacio/6f0bb8e3-912d-8381-7268-e37fce24c46b/66289761 96 Cabe destacar que la empresa desarrolladora de las herramientas ha estado envuelta en polémica en otros países. En 2020 varios medios colombianos publicaron un reportaje donde anunciaban que el ejército de Colombia había estado realizando perfiles de periodistas, activistas, políticos o sindicalistas haciendo uso de las herramientas de Voyager Labs. Noticias que resuena con el hecho de que, entre 2012 y 2013, los Mossos d’Esquadra encargaron al Cesicat (la actual Agencia de Ciberseguridad de Catalunya) realizar informes de seguimiento de activistas y periodistas. Ver BORRÀS, Enric, «El Govern destina 1,5 milions en un sistema per espiar el jihadisme a la xarxa», Ara (edición digital), 18 de agosto de 2020. Disponible en https://www.ara.cat/societat/govern-mossos- plataforma-tecnologica-inteligencia-criminal-emergencia-seguretat-nacional-terrorisme- jihadista_1_1082254.html 97 MIRALLES/CAMPISI/DÍAZ, «Vigilancia hi-tech en tiempos del COVID-19», 2021. Disponible en https://www.donestech.net/files/mass-surveillance-esp-cast.pdf. 98 Como muestra la posible adjudicación de importantes contratos a la gran consultora Deloitte y a la asociación OdiseIA, que además son empresas que también tienen intereses en la fase de desarrollo. Ver GONZALO, «Qué empresas están detrás del contrato para supervisar la IA en España», Newtral, 10 de junio de 2023. Disponible en https://www.newtral.es/empresas-contrato-odiseia-ia-deloitte/20230610/ 421 InDret 2.2024 José María López Riba 4.2. El giro preventivo y el tecnosolucionismo Muchos de los cambios ocurridos en el seno del sistema de justicia penal (incluyendo a la policía) en las últimas décadas se ha enmarcado en el denominado «giro preventivo» 99. Esto para la institución policial ha implicado pasar de tener un rol principalmente reactivo ante la delincuencia y el desorden, aunque siempre ha tenido un peso importante la actuación proactiva, a exigirle que sus tareas se centren principalmente en la anticipación de los comportamientos infractores100. Según HARCOURT101 el programa actuarialista, que se enmarca en el giro preventivo, supuso la permeación en la concepción de la justicia de saberes técnicos, procedentes de fuera del propio sistema de justicia: la idea de que se debe y se puede predecir el comportamiento delictivo y que debe tratarse como un riesgo práctico. Esto provocó cambios estructurales en el sistema de justicia penal. Por ejemplo, para el autor, el actuarialismo desplaza las teorías del castigo: la sentencia pasa de estar fundada en ideas sobre lo que debería ser un castigo justo, a estar más relacionada con el historial previo de la persona como fundamento para predecir un riesgo futuro. En este sentido, se podría decir que las «nuevas» herramientas, basadas en inteligencia artificial, forman parte del avance del mismo proyecto: centrar el problema del comportamiento delictivo en sus cuestiones más prácticas o técnicas102/103. Pese a las diferencias de las herramientas (si son de policía predictiva o de reconocimiento de rasgos biométricos), todas persiguen un mismo fin: anticiparse a los riesgos y aumentar la eficiencia en la asignación de recursos 104. Lo que diferenciaría a las nuevas herramientas es la reducción todavía mayor del papel de (algunas) 99 Aunque el mismo proceso, o parte de este, ha recibido otros nombres. Ver, por ejemplo, GARLAND, «The culture of control: Crime and Social Order in Contemporary Society», 2001. The University of Chicago Press. 100 GARCÍA GARCÍA /MENDIOLA/ÁVILA /BONELLI/BRANDARIZ/FERNÁNDEZ BESSA/MAROTO CALATAYUD, «Metropolice: seguridad y policía en la ciudad neoliberal», 2021, pp. 63 y ss. Traficantes de Sueños; SAN MARTÍN SEGURA, «El papel de los objetos técnicos en el giro preventivo de las políticas securitarias», Revista Crítica Penal y Poder, (19), 2020, pp. 31-33. HARCOURT, «Against Prediction: Profiling, policing and punishing in an actuarial age», 2007, pp. 173 y ss. The 101 University of Chicago Press. También en el sentido de la gestión de los recursos. Ver BENBOUZID, «To predict and to manage. Predictive 102 policing in the United States », Big Data & Society, 6(1), 2019, pp. 1-13. 103 BRAYNE/ROSENBLAT/BOYD, «Predictive policing. Data & civil rights: a new era of policing and justice», 2015, p. 1; FERGUSON, Washington University Law Review, 94(5), 2017, p. 1114; HONG, «Prediction as extraction of discretion», Big Data & Society, online, 2023, pp. 1-11; KAUFMANN/EGBERT/LEESE, «Predictive policing and the politics of patterns», British Journal of Criminology, 59(3), 2019, p. 677; RICHARDSON /SCHULTZ/CRAWFORD, «Dirty data, bad predictions: how civil rights violations impact police data, predictive policing systems, and justice», New York University Law Review Online, 94(15), 2019, p. 21; SAN MARTÍN SEGURA, «El papel de los objetos técnicos en el giro preventivo de las políticas securitarias», Revista Crítica Penal y Poder, (19), 2020, pp. 39-50; ZAVRŠNIK, European Journal of Criminology, 18(5), 2021, pp. 627-628. 104 La herramienta antecesora con más relación con la policía predictiva es el COMPSTAT, ejemplo más representativo de la gestión actuarial en la policía, que se implementa, de la mano de William BRATTON, en 1994 en la Policía de Nueva York y que consiste en un sistema de georreferenciación de datos policiales en tiempo real que se utiliza para la asignación de recursos (y también para la rendición de cuentas). A finales de la década de los 2000, en un contexto de crisis económica y recortes en las organizaciones policiales, y ante la presión de distribuir los recursos policiales de forma más eficiente, William BRATTON, esta vez como jefe de la Policía de Los Ángeles y utilizando sus experiencias previas, comienza a trabajar con agencias federales para desarrollar la idea de policía predictiva. Ver BENBOUZID, Big Data & Society, 6(1), 2019, pp. 2-3.; BRAYNE/ROSENBLAT/BOYD, «Predictive policing. Data & civil rights: a new era of policing and justice», 2015, pp. 1-2.; FERGUSON, Washington University Law Review, 94(5), 2017, pp. 1124-1125. 422 InDret 2.2024 José María López Riba personas105 y de las teorías sobre el comportamiento delictivo en la toma de decisiones, la menor transparencia de la racionalidad detrás de las predicciones, y su aprovechamiento de los avances computacionales106/107. SAN MARTÍN SEGURA 108 sostiene que no es que el avance de las tecnologías de seguridad esté relacionado con el giro preventivo, sino más bien que este último se apoya en el primero y las decisiones de política preventiva se apoyan entonces en cuestiones técnicas «con pretensión de objetividad matemática»109. Este último punto, el de pasar decisiones sobre política criminal bajo la pretensión de objetividad que acompaña al uso de la tecnología, se relaciona también con la idea de tecnosolucionismo o solucionismo tecnológico110. Esta se puede definir cómo la idea de que los complejos problemas sociales pueden solucionarse a través de la tecnología. Pese a que es una idea que algunas personas siguen con la esperanza honesta de mejorar la sociedad, esta idea contiene dos peligros. Por un lado, esconde que otras personas promueven estas soluciones tecnológicas por meros intereses económicos y políticos (como los mencionados más arriba) y, por otro lado, simplifica la compleja realidad social y desvía la atención de soluciones menos «espectaculares» que sí toman en cuenta esta complejidad111. 5. El papel de las ciencias sociales en la era de la inteligencia artificial Llegados a este punto, es posible preguntarse por el papel que deben desempeñar las ciencias sociales ante este escenario. Más allá de la tarea de fiscalizar los intereses de la industria y otras instituciones, como hacen las investigaciones periodísticas antes mencionadas, se van a señalar una serie de ámbitos donde se considera necesaria la aportación de las ciencias sociales, entre ellas la criminología. Se puede considerar que hay una transferencia del poder de decisión de determinados actores públicos a los 105 desarrolladores de la tecnología (que suelen ser empresas privadas). 106 Incluso se podría considerar que las herramientas anteriores no generaban predicciones per se, ya que, por ejemplo, con los mapas de la delincuencia se pasa de mapas retrospectivos a mapas prospectivos usando para construir los parámetros del modelo los elementos de contagio y victimización reiterada. Ver BENBOUZID, «From situational crime prevention to predictive policing: sociology of an ignored controversy», Champ pénal/Penal field, 12, 2015, online. 107 BENNET MOSES/CHAN, Policing & Society, 28(7), 2018, p. 808; BRAYNE/ROSENBLAT/BOYD, «Predictive policing. Data & civil rights: a new era of policing and justice», 2015, p. 7; MEIJER/WESSELS, «Predictive Policing: Review of Benefits and Drawbacks», International Journal of Public Administration, 42(12), 2019, p. 1033; MIRÓ LLINARES, «Inteligencia artificial y Justicia Penal: más allá de los resultados lesivos causados por robots», Revista de Derecho Penal y Criminología, (20), 2018, pp. 92-94. 108 SAN MARTÍN SEGURA, «El papel de los objetos técnicos en el giro preventivo de las políticas securitarias», Revista Crítica Penal y Poder, (19), 2020, pp. 32-33. 109 Una problematización sobre la concepción neutral de la tecnología puede verse en MIRÓ LLINARES, «Predictive Policing: Utopia or Dystopia? On attitudes towards the use of Big Data algorithms for law enforcement», Revista d’Internet, Dret i Política, (30), 2020, pp. 1-18. 110 Aquí lo importante no es tanto el debate entre posiciones utópicas o distópicas en torno a las aplicaciones de la inteligencia artificial en el control policial sino como ese debate puede ignorar otros debates más profundos sobre la naturaleza del control policial. Al respecto, algunos estudios muestran que el marco predominante en la investigación académica es favorable a estas tecnologías. Ver LAVORGNA/UGWUDIKE, «The datafication revolution in criminal justice: An empirical exploration of frames portraying data-driven technologies for crime prevention and control», Big Data & Society, online, 2021, pp. 1-15. Un repaso sobre las posturas optimistas y fatalistas puede verse en MIRÓ LLINARES, «Predictive Policing: Utopia or Dystopia? On attitudes towards the use of Big Data algorithms for law enforcement», Revista d’Internet, Dret i Política, (30), 2020, pp. 1-18. 111 MOROZOV, «La locura del solucionismo tecnológico», 2015. Katz Editores; ZAVRŠNIK, European Journal of Criminology, 18(5), 2021, pp. 623-642. 423 InDret 2.2024 José María López Riba 5.1. Destecnificar y problematizar el debate Una de las cosas que debe hacerse desde las ciencias sociales es entender que el uso de herramientas basadas en inteligencia artificial en el trabajo policial no es solo una cuestión técnica. Se debe tener claro qué está en juego cuando debatimos sobre cualquier aspecto de la seguridad o la policía112. Un punto del debate, que se pierde en la discusión de los elementos técnicos, es la cuestión de para qué se van a usar estar herramientas113: qué delitos, qué personas, qué lugares, en definitiva, qué riesgos se van a intentar detectar o predecir114. A este respecto, CLIFTON, LAVIGNE y TSENG115 de The New Inquiry Magazine desarrollaron una herramienta predictiva 116 con una clara intencionalidad reivindicativa. Su trabajo comienza afirmando que «el crimen financiero es una amenaza rampante pero oculta. A pesar de esto, los sistemas policiales predictivos apuntan de manera desproporcionada a los delitos callejeros en lugar de los delitos de cuello blanco». Por lo menos desde 2016 existen herramientas para predecir las malas prácticas policiales y algunas personas se preguntan por qué la policía no hace uso de ellas117. Elegir para qué se utilizan estas herramientas tiene poco que ver con aspectos técnicos. Pero además existen otras cuestiones que son antes debates normativos que técnicos, como por ejemplo, qué objetivos se buscan cuando se utilizan estas herramientas118 o qué debe prevalecer en los sistemas, si la precisión o la equidad 119. Para ZAVRŠNIK 120 el problema va más allá, dado que el delito es un fenómeno normativo que varía según el contexto, los algoritmos nunca podrán ser calibrados con precisión dado el conjunto inicial y cambiante de hechos. Por otro lado, existe el mencionado problema de los datos contaminados. Aun cuando se reconoce este problema es muy difícil hacerle frente por dos razones: existe poco control sobre las prácticas policiales problemáticas, y no existe ninguna solución técnica que pueda mitigar el problema de la información que no se genera por la omisión de determinados hechos121. 112 LOADER, «Revisiting the police mission», 2020. Disponible en https://www.policingreview.org.uk/wp- content/uploads/insight_paper_2.pdf 113 Algunos autores señalan que los sistemas no miden otras necesidades de las comunidades ni usan otros indicadores sobre actuación policial más allá de la tasa de delitos. ROBINSON/KOEPKE, «Stuck in a pattern: early evidence on "predictive policing" and civil rights», 2016, p. 6. Disponible en https://search.issuelab.org/resource/stuck-in-a-pattern-early-evidence-on-predictive-policing-and-civil-rights HONG, Big Data & Society, online, 2023, pp. 1-11; VESTBY/VESTBY, «Machine Learning and the Police: Asking 114 the Right Questions», Policing, 15(1), 2019, pp. 52-54. 115 CLIFTON/LAVIGNE/TSENG, «Predicting Financial Crime: Augmenting the Predictive Policing Arsenal», 2017. Disponible en https://whitecollar.thenewinquiry.com/static/whitepaper.pdf 116 Puede consultarse aquí: https://whitecollar.thenewinquiry.com/ 117 ARTHUR, «We Now Have Algorithms To Predict Police Misconduct», FiveThirtyEight, 9 de marzo de 2016. Disponible en https://fivethirtyeight.com/features/we-now-have-algorithms-to-predict-police-misconduct/ 118 VESTBY/VESTBY, Policing, 15(1), 2019, pp. 52-54. 119 BERK, «Artificial Intelligence, Predictive Policing, and Risk Assessment for Law Enforcement», Annual Review of Criminology, 4, 2021, p. 233. 120 ZAVRŠNIK, European Journal of Criminology, 18(5), 2021, pp. 629. RICHARDSON/SCHULTZ/CRAWFORD, «Dirty data, bad predictions: how civil rights violations impact police data, 121 predictive policing systems, and justice», New York University Law Review Online, 94(15), 2019, pp. 48-49. 424 InDret 2.2024 José María López Riba WANG et al. 122 destacan además otros problemas de legitimidad de lo que ellos llaman optimización predictiva (el uso de aprendizaje automático para hacer predicciones sobre individuos y tomar decisiones en base a estas). Entre ellos: si los objetivos que persigue la optimización predictiva son objetivos socialmente relevantes, si los individuos afectados por las decisiones tienen capacidad para cuestionar estas decisiones, cómo de grave son las consecuencias de un error de clasificación, si las personas participan en procesos de optimización predictiva de forma voluntaria o involuntaria, o si las personas con mayor conocimiento del sistema pueden verse beneficiadas. En resumen, se trataría de hacer visible que decisiones que son aparentemente técnicas no lo son, sino que son decisiones con elementos normativos y de legitimidad. 5.2. Tecnología y ciencia A veces, el uso de tecnología parece legitimar científicamente algunas prácticas que no tienen fundamentos científicos verdaderamente sólidos (o que directamente no los tienen). a. Reconocimiento sin conocimiento En el caso de los sistemas de reconocimiento de rasgos biométricos, además de los problemas planteados anteriormente, algunos sistemas van más allá y prometen detectar, a partir de los datos físicos registrados en imágenes, aspectos como las emociones, las mentiras o incluso la propensión a la criminalidad. Se puede decir que las expectativas que generan estas promesas son inversamente proporcionales a la base científica real de las afirmaciones. Algunas grandes empresas tecnológicas (como Google, Amazon o IBM) venden algoritmos de reconocimiento de las emociones a través de imágenes faciales. Para el campo de la vigilancia policial, por ejemplo, esto podría significar ser capaz de anticipar amenazas123. El problema es que no existe ninguna base científica para inferir emociones en base a las expresiones faciales124. Otros sistemas aseguran poder detectar cuándo una persona está mintiendo, como ya se ha mencionado anteriormente 125. El interés de las agencias del control penal en tecnologías que permitan detectar las mentiras de sospechosos, acusados, testimonios, etc. no es nuevo. Pero las evidencias científicas sobre la capacidad de estas tecnologías para efectuar lo que prometen han sido débiles o inexistentes (ver, por ejemplo, para el caso del Polígrafo, el informe del NATIONAL RESEARCH COUNCIL126). Y es que existe poco apoyo científico a las asunciones de que las personas generan una respuesta física cuando están relatando un hecho que saben que es falso (ya que, por ejemplo, esas mismas respuestas físicas se dan independientemente de si el contenido del 122 WANG/KAPOOR/BAROCAS /NARAYANAN, «Against predictive optimization: on the legitimacy of decision-making algorithms that optimize predictive accuracy», 2023, pp. 1-45. Disponible en 123 VINCENT, «AI ‘emotion recognition’ can’t be trusted», The Verge, 25 de junio de 2019. Disponible en https://www.theverge.com/2019/7/25/8929793/emotion-recognition-analysis-ai-machine-learning-facial- expression-review BARRET/ADOLPHS/MARSELLA/MARTINEZ/POLLAK, «Emotional Expressions Reconsidered: Challenges to Inferring 124 Emotion From Human Facial Movements», Psychological Science in the Public Interest, 20(1), 2019, 1-68. 125 Ver SÁNCHEZ MONEDERO/DENCIK, Information, Communication & Society, 25(3), 2022, pp. 413-430. 126 NATIONAL RESEARCH COUNCIL, «The Polygraph and Lie Detection», 2003. Washington, DC: The National Academies Press. Disponible en https://nap.nationalacademies.org/catalog/10420/the-polygraph-and-lie- detection 425 InDret 2.2024 José María López Riba relato es falso o verídico) o que la mentira sea un predictor válido de la culpabilidad 127. Sin embargo, estas promesas han vuelto, esta vez apoyadas en la capacidad discriminatoria de los algoritmos de aprendizaje automático128, como iBorderCtrl (cuyos problemas son analizados por SÁNCHEZ-MONEDERO y DENCIK129). En nuestro contexto y en el terreno de la detección de mentiras tenemos el ejemplo de VeriPol130. Un algoritmo que según sus desarrolladores es muy efectivo a la hora de determinar si una denuncia de robo en domicilio es falsa131. A diferencia de las anteriores tecnologías, esta se basa en el procesamiento del lenguaje (escrito por los agentes de policía a través de las denuncias orales), no de imágenes, lo que supone una novedad relevante. A falta de evaluaciones o estudios independientes de la herramienta, se pueden destacar algunas limitaciones como la representatividad de los datos de entrenamiento o que en realidad no detecta mentiras sino lo similar que son algunos testimonios a denuncias que la policía ya ha catalogado como falsas132. Por último, y con promesas que van mucho más allá, algunos investigadores han afirmado crear algoritmos basados en aprendizaje automático capaces de predecir la «tendencia criminal» de individuos a partir de imágenes133. Este estudio ha sido criticado entre otras cuestiones por su diseño: las personas etiquetadas como criminales provenían de imágenes de identificaciones policiales mientras que las personas etiquetadas como no criminales provenían de fotos recopiladas de internet134. En otro artículo, otro grupo de investigadores, proponían también un algoritmo que aseguraba los mismos resultados. Sin embargo, este artículo no llegó a ver la luz por las críticas contenidas en una carta abierta de más de 1.000 personas expertas en diversas áreas (como el aprendizaje automático o la sociología)135 que hicieron que la editorial Springer 127 NATIONAL RESEARCH COUNCIL, «The Polygraph and Lie Detection», 2003. Washington, DC: The National Academies Press. Disponible en https://nap.nationalacademies.org/catalog/10420/the-polygraph-and-lie- detection; SÁNCHEZ MONEDERO/DENCIK, Information, Communication & Society, 25(3), 2022, p. 416. BITTLE, «Lie detectors have always been suspect. AI has made the problem worse.», MIT Technology Review, 13 128 marzo de 2020. Disponible en https://www.technologyreview.com/2020/03/13/905323/ai-lie-detectors- polygraph-silent-talker-iborderctrl-converus-neuroid/ 129 SÁNCHEZ MONEDERO/DENCIK, Information, Communication & Society, 25(3), 2022, pp. 413-430. 130 GARCÍA, «VeriPol, el polígrafo ‘inteligente’ de la policía, puesto en cuestión por expertos en ética de los algoritmos», El País (edición digital), 9 de marzo de 2021. Disponible en https://elpais.com/tecnologia/2021-03- 08/veripol-el-poligrafo-inteligente-de-la-policia-puesto-en-cuestion-por-expertos-en-etica-de-los- algoritmos.html 131 QUIJANO SÁNCHEZ/LIBERATORE/CAMACHO COLLADOS/CAMACHO COLLADOS, «Applying automatic text-based detection of deceptive language to police reports: Extracting behavioral patterns from a multi-step classification model to understand how we lie to the police», Knowledge-Based Systems, 149(1), 2018, pp. 155-168. 132 Ver GARCÍA, El País (edición digital), 9 de marzo de 2021. Disponible en https://elpais.com/tecnologia/2021-03- 08/veripol-el-poligrafo-inteligente-de-la-policia-puesto-en-cuestion-por-expertos-en-etica-de-los- algoritmos.html 133 Por ejemplo, HASHEMI/HALL, «Retracted article: Criminal tendency detection from facial images and the gender bias effect», Journals of Big Data, 7(2), 2020, pp. 1-16. Cabe destacar que los autores se retractaron de este artículo porque no se solicitó la aprobación de un comité ético antes de la investigación (aún haciendo uso de datos biométricos). BOWYER/KING/SCHEIRER/VANGARA, «The “Criminality From Face” Illusion», IEEE Transactions on Technology and 134 Society, 1(4), 2020, pp. 175-183. 135 Puede consultarse en https://medium.com/@CoalitionForCriticalTechnology/abolish-the- techtoprisonpipeline-9b5b14366b16 426 InDret 2.2024 José María López Riba Nature rechazara su publicación. Las críticas tachan estos estudios de seguir con la corriente pseudocientífica y racista de la frenología136. b. La ilusión del progreso137 Por lo que se refiere a los sistemas predictivos que hacen uso de algoritmos de aprendizaje automático, estos se promueven a través de una promesa de mayor precisión que las técnicas predictivas anteriores. En este punto cabe destacar que HAND138 demostró que el valor añadido de los modelos predictivos cada vez más complejos era pequeño comparado con los modelos más simples en términos de precisión. Además, el autor argumenta a favor del uso de modelos más sencillos por varias cuestiones, principalmente porque los modelos complejos necesitan cumplir muchas asunciones que en el mundo real no se cumplen y porque los modelos simples son más fácilmente interpretables. c. Los límites de la predictibilidad La «ilusión de progreso» ha sido confirmada en estudios posteriores. SALGANIK et al.139 presentan el resultado de una colaboración entre multitud de investigadores/as de diferentes disciplinas. El propósito de esta colaboración era, partiendo de un mismo conjunto de datos, predecir seis hitos en trayectorias vitales (por ejemplo, el promedio en las calificaciones escolares en la infancia o la probabilidad de sufrir un desahucio). Con este objetivo, diferentes grupos de investigadores/as crearon sus propios modelos predictivos. Los resultados muestran que los modelos más complejos, aquellos que hacían uso de algoritmos de aprendizaje automático, no eran más precisos que los modelos más simples. Pero este estudio muestra un problema aun mayor: los mejores modelos no eran muy precisos. Los resultados de este estudio tienen implicaciones muy serias en cuanto a los límites de la predicción en las ciencias sociales. De hecho, NARAYANAN, uno de los participantes del estudio, en una presentación afirma que, así como los algoritmos para detectar discursos de odio en redes sociales o internet son prometedores, en el campo de la policía predictiva la aplicación de la inteligencia artificial tiene muchos problemas y «estos problemas son difíciles porque no podemos predecir el futuro. Esto debería ser sentido común. Pero parece que hemos decidido suspender el sentido común cuando la inteligencia artificial está involucrada»140. 136 VINCENT, «AI experts say research into algorithms that claim to predict criminality must end», The Verge, 24 de junio de 2020. Disponible en https://www.theverge.com/2020/6/24/21301465/ai-machine-learning-racist-crime- prediction-coalition-critical-technology-springer-study 137 Título en referencia al trabajo HAND, «Classifier Technology and the Illusion of Progress», Statistical Science, 21(1), 2006, 1-14. 138 HAND, Statistical Science, 21(1), 2006, 1-14. 139 SALGANIK/LUNDBERG/KINDEL/AHEARN/AL-GHONEIM/ALMAATOUQ/MCLANAHAN, «Measuring the predictability of life outcomes with a scientific mass collaboration», Proceedings of the National Academy of Sciences, 117(15), 2020, pp. 8398-8403. 140 La presentación puede verse en https://www.cs.princeton.edu/~arvindn/talks/MIT-STS-AI-snakeoil.pdf 427 InDret 2.2024 José María López Riba d. Pragmatismo versus conocimiento Hay que tener en cuenta, además, que, aunque el uso de la tecnología envuelva algunas prácticas en cierta capa de cientificidad 141 , las personas que desarrollan esta tecnología no siempre lo hacen siguiendo los procedimientos ni buscando objetivos meramente científicos. El estudio de BENBOUZID 142 muestra las discrepancias entre el sismólogo Marsan y los desarrolladores de PredPol en este sentido. Para Marsan, la forma de evaluar el éxito de su algoritmo era mediante la comparación del modelo matemático y una concepción coherente del objeto estudiado. La forma de evaluar el éxito del algoritmo de PredPol para sus desarrolladores era comparando su rendimiento frente a otros algoritmos143. 5.3. ¿Si la solución es la inteligencia artificial, cuál era el problema? Como se ha visto anteriormente, la introducción de la inteligencia artificial en el control policial viene a solucionar principalmente un problema: la eficacia y eficiencia en la reducción de la delincuencia. Sin embargo, tradicionalmente los estudios sobre eficacia y eficiencia de las actuaciones policiales suelen obviar una parte importante del cálculo: los costes sociales144. Cabe destacar que hay algunas excepciones. Por ejemplo, en un informe de la Academia Nacional de Ciencias, Ingeniería, y Medicina de Estados Unidos de América, coordinado y editado por WEISBURD y MAJMUNDAR145, se hace una revisión de la eficacia de diferentes estrategias policiales proactivas. En las conclusiones de este estudio se señala uno de los costes sociales más importantes: «es muy probable que se produzcan grandes disparidades raciales en el volumen y naturaleza de los encuentros entre policía y ciudadanía cuando la policía se centra en personas o lugares de alto riesgo, como es común en muchos de los programas policiales proactivos». En una revisión sistemática reciente sobre los efectos de las paradas policiales146 se muestra que este tipo de actuaciones policiales pueden ir seguidas de reducciones en tasas delictivas, sin embargo, también van seguidas de mayores probabilidades de sufrir problemas de salud física y mental para las personas afectadas, más actitudes negativas hacía la policía (sobre todo entre los y las jóvenes) y mayores niveles de delincuencia autorreportada. En resumen, estos estudios advierten que determinadas actuaciones policiales, más allá de su eficacia en la reducción de delitos, pueden tener consecuencias graves en las personas y comunidades afectadas. Sin embargo, estos estudios se centran en algunas de las posibles HONG, Big Data & Society, online, 2023, pp. 1-11; JEFFERSON, «Predictable Policing: Predictive Crime Mapping 141 and Geographies of Policing and Race», Annals of the American Association of Geographers, 108, 2018, pp. 1-16. 142 BENBOUZID, Science & Technology Studies, 32(4), 2018, p. 127-128. 143 Una discrepancia en términos similares, el avance en el conocimiento frente a la investigación aplicada surgió entre HOPE y PEASE, dos investigadores de la prevención situacional de la delincuencia. Ver BENBOUZID, «From situational crime prevention to predictive policing: sociology of an ignored controversy», Champ pénal/Penal field, 12, 2015, online. 144 STAGOFF-BELFORT/BODAH/GILBERT, «The Social Costs of Policing», 2022 Disponible en https://www.vera.org/downloads/publications/ the-social-costs-of-policing.pdf WEISBURD/MAJMUNDAR (eds.), «Proactive Policing: effects on crime and communities», 2017. Washington, DC: The 145 National Academy Press. PETERSEN/WEISBURD/FAY/EGGINS/MAZEROLLE, «Police stops to reduce crime: A systematic review and meta‐ 146 analysis», Campbell Systematic Reviews, 19, 2023, pp. 1-42. 428 InDret 2.2024 José María López Riba actuaciones policiales. Por el contrario, la investigación de STAGOFF-BELFORT, BODAH y GILBERT147 es la primera que intenta sistematizar todos los costes sociales asociados al control policial. En este estudio se exponen tanto los costes sociales directos para los individuos afectados como los costes indirectos para la comunidad. Clasifican estos costes en cuatro ámbitos: daños a la salud de personas y comunidades; impactos negativos en el rendimiento escolar; impactos negativos en la seguridad económica; y reducciones en la participación cívica y el compromiso comunitario. Los autores critican que no tener en cuenta estos costes, como es común en las evaluaciones de la actividad policial, supone sobreestimar los beneficios en la seguridad. Entonces, si se tienen en cuenta estos costes lo siguiente sería buscar alternativas menos dañinas. Sin embargo, este punto crucial se pierde en los debates sobre la eficacia de las nuevas herramientas de inteligencia artificial de las que dispone la policía. 6. Apuntes finales En este trabajo se ha intentado mostrar cómo las exageradas expectativas, promovidas por intereses económicos y perspectivas tecnoptimistas, sobre las aplicaciones de la inteligencia artificial en el control policial ignoran, y en cierta manera dificultan, el debate sobre cuestiones más básicas sobre la policía. Se ha de tener en cuenta que estas herramientas se insertan en un contexto en el que falta un debate público más profundo sobre diversas cuestiones, como por ejemplo: ¿cuál debe ser la misión fundamental de la policía en una sociedad democrática? ¿de qué medios debe disponer la policía para cumplir con su misión? ¿qué costes sociales relacionados con la actividad policial se está dispuesto a asumir? ¿qué problemas que ahora gestiona la policía podrían ser gestionados de otra forma?148. Es difícil posicionarse en el debate sobre las herramientas discutidas en este trabajo sin antes haber establecido un acuerdo en estas cuestiones (entre otras). 7. Bibliografía 7.1 Investigaciones ADENSAMER, Angelika/KLAUSNER, Lukas Daniel, «“Part Man, Part Machine, All Cop”: automation in policing», Frontiers in Artificial Intelligence, 4, 2021, pp. 1-10. BARRET, Lisa Fieldman/ADOLPHS, Ralph/MARSELLA, Stacy/MARTINEZ Alex M./POLLAK, Seth D., «Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements», Psychological Science in the Public Interest, 20(1), 2019, 1-68. BELL, Bernard V., «Replacing Bureaucrats with Automated Sorcerers?», Daedalus, 150, 2021, pp. 89-103. 147 STAGOFF-BELFORT/BODAH/GILBERT, «The Social Costs of Policing», 2022 Disponible en https://www.vera.org/downloads/publications/ the-social-costs-of-policing.pdf Un buen punto de partida podrían ser los términos que propone LOADER, «Revisiting the police mission», 2020. 148 Disponible en https://www.policingreview.org.uk/wp-content/uploads/insight_paper_2.pdf 429 InDret 2.2024 José María López Riba BENBOUZID, Bilel, «From situational crime prevention to predictive policing: sociology of an ignored controversy», Champ pénal/Penal field, 12, 2015, online. BENBOUZID, Bilel, «Values and Consequences in Predictive Machine Evaluation. A Sociology of Predictive Policing», Science & Technology Studies, 32(4), 2018, pp. 119-136. BENBOUZID, Bilel, «To predict and to manage. Predictive policing in the United States », Big Data & Society, 6(1), 2019, pp. 1-13. BENNET MOSES, Lyria/CHAN, Janet, «Algorithmic prediction in policing: assumptions, evaluation, and accountability», Policing & Society, 28(7), 2018, pp. 806-822. BERK, Richard A., «Artificial Intelligence, Predictive Policing, and Risk Assessment for Law Enforcement», Annual Review of Criminology, 4, 2021, pp. 209-237. BOWYER, Kevin W./KING, Michael C./SCHEIRER, Walter J./VANGARA, Kushal, «The “Criminality From Face” Illusion», IEEE Transactions on Technology and Society, 1(4), 2020, pp. 175-183. BRANTINGHAM, P. Jeffrey, «The Logic of Data Bias and Its Impact on Place-Based Predictive Policing», Ohio State Journal of Criminal Law, 15, 2017, pp. 473-486. BRANTINGHAM, P. Jeffrey/VALASIK, Matthew/MOHLER, George O., «Does Predictive Policing Lead to Biased Arrests? Results From a Randomized Controlled Trial», Statistics and Public Policy, 5(1), 2018, pp. 1-6. BRAYNE, Sarah/CHRISTIN, Angèle, «Technologies of Crime Prediction: The Reception of Algorithms in Policing and Criminal Courts», Social Problems, 68(3), 2021, pp. 608-624. BRAYNE, Sarah/ROSENBLAT, Alex/BOYD, Danah, «Predictive policing. Data & civil rights: a new era of policing and justice», 2015, pp. 1-11. Disponible en http://www.datacivilrights.org/pubs/2015- 1027/Predictive_Policing.pdf BUOLAMWINI, Joy/GEBRU, Timnit, «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», Proceedings of Machine Learning Research, 81, 2018, pp. 77- 91. CALATAYUD, José Miguel, «Report Automating Society 2020», 2021. Disponible en https://automatingsociety.algorithmwatch.org/report2020/spain/ CHAPMAN, Adriane/GRYLLS, Philip/UGWUDIKE, Pamela/GAMMACK, David/AYLING, Jacqui, «A Data- driven analysis of the interplay between Criminological theory and predictive policing algorithms», FAccT '22: Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, 2022, pp. 36-45. CLIFTON, Brian/LAVIGNE, Sam/TSENG, Francis, «Predicting Financial Crime: Augmenting the Predictive Policing Arsenal», 2017. Disponible en https://whitecollar.thenewinquiry.com/static/whitepaper.pdf 430 InDret 2.2024 José María López Riba ENSING, Danielle/FRIEDLER, Sorelle A./NEVILLE, Scott/SCHEIDEGGER, Carlos/VENKATASUBRAMANIAN, Suresh, «Runaway Feedback Loops in Predictive Policing», Proceedings of Machine Learning Research, 81, 2018, pp. 1-12. ETICAS, «The external audit of VioGén System», 2022. Disponible en https://eticasfoundation.org/gender/the-external-audit-of-the-viogen-system/ FERGUSON, Andrew G., «Policing predictive policing», Washington University Law Review, 94(5), 2017, pp. 1109-1189. FUSSEY, Pete/DAVIES, Bethan/INNES, Martin, «“Asssisted” facial recognition and the reinvention of suspicion and discretion in digital policing», British Journal of Criminology, 61(2), 2021, pp. 325-344. GARCÍA GARCÍA, Sergio/MENDIOLA, Ignacio/ÁVILA, Débora/BONELLI, Laurent/BRANDARIZ, José Ángel/FERNÁNDEZ BESSA, Cristina/MAROTO CALATAYUD, Manuel, «Metropolice: seguridad y policía en la ciudad neoliberal», 2021. Traficantes de Sueños. GARLAND, David, «The culture of control: Crime and Social Order in Contemporary Society», 2001. The University of Chicago Press. HAND, David J., «Classifier Technology and the Illusion of Progress», Statistical Science, 21(1), 2006, 1-14. HARCOURT, Bernard E., «Against Prediction: Profiling, policing and punishing in an actuarial age», 2007. The University of Chicago Press. HASHEMI, Mahdi/HALL, Margaret, «Retracted article: Criminal tendency detection from facial images and the gender bias effect», Journals of Big Data, 7(2), 2020, pp. 1-16. HUNT, Priscillia/ SAUNDERS, Jessica/HOLLYWOOD, John S., «Evaluation of the Shreveport Predictive Policing Experiment», 2014. Disponible en https://www.rand.org/pubs/research_reports/RR531.html JANSEN, Fieke, «Data Driven Policing in the Context of Europe», 2018. Disponible en: https:// www.datajusticeproject.net/wp-content/uploads/sites/30/2019/05/Report-Data-Driven- Policing-EU.pdf JANSEN, Fieke/SÁNCHEZ MONEDERO, Javier/DENCIK, Lina, «Biometric identity systems in law enforcement and the politics of (voice) recognition: The case of SiiP», B