Catalunya usa un algoritmo para ayudar a decidir a qué presos concede la libertad condicional

La Inteligencia Artificial (IA) condiciona la vida de las personas mucho más de lo que uno se imagina. Estos sistemas se usan en las redes sociales para predecir el comportamiento humano, pero también para determinar si un banco debe o no conceder un crédito o para ayudar a decidir si un preso puede obtener la libertad condicional. Eso es lo que sucede en las prisiones de Catalunya, donde un algoritmo evalúa la concesión de permisos penitenciarios. Aunque ese protocolo funciona desde hace 12 años, varios expertos advierten del riesgo de que este mecanismo de evaluación genere discriminaciones contra la población reclusa. En 2009 el Departament de Justicia puso en marcha RisCanvi, un protocolo que se sirve de un algoritmo de análisis predictivo que calcula el riesgo de reincidencia de cada preso. Los internos de las prisiones catalanas son entrevistados cada seis meses. Sus respuestas son clasificadas y usadas por el algoritmo para establecer si hay un riesgo alto, medio o bajo de que vuelvan a cometer un delito tras salir de la cárcel. Ese informe personalizado sirve a los funcionarios como recomendación para ayudarles a decidir acerca de la concesión de la libertad condicional, pero también permisos penitenciarios o el traslado de reclusos. Aunque su funcionamiento es poco conocido por la opinión pública, esa herramienta está profundamente implantada en el sistema penitenciario catalán desde hace más de una década, cuando se lanzó para tratar de frenar la alta reincidencia violenta de los presos. Una versión de RisCanvi con 10 preguntas se aplica a los 7.873 presos que hay actualmente en las prisiones de Catalunya para hacer un cribado y otra más exhaustiva de 43 preguntas se aplica a aquellos con un alto riesgo de reincidencia. Desde 2009, un total de 37.897 internos han sido evaluados mediante este software, según datos de la Generalitat. Hasta 750 profesionales usan diariamente este programa, desde psicólogos a trabajadores sociales o criminólogos. ¿Sistema efectivo o con sesgos? La clave de todo sistema predictivo es la efectividad de sus pronósticos. Aún más cuando hay vidas humanas de por medio. Los únicos datos públicos sobre el rendimiento de RisCanvi –según un un informe oficial de 2014– documentan que el sistema acertó en la predicción de un riesgo de reincidencia alto o medio en un 77,15% de los casos y que acertó en un 52,26% en los casos clasificados de bajo riesgo. Los falsos negativos –los presos que reincidieron sin que el algoritmo lo predijese— fueron tan solo un 4,6% de los considerados de bajo riesgo, mientras que los falsos positivos –los que se predijo que reincidirían y no lo han hecho—fueron un 42,7% de los no reincidentes. El psicólogo Antonio Andrés Pueyo, uno de los creadores de RisCanvi, ha asegurado en varias ocasiones que el sistema es “independiente de los sesgos”. “Tenemos un sistema de revisión humana que nos permite corregir las predicciones del algoritmo para quitar los sesgos culturales o étnicos que pueda tener”, asegura Jordi Camps, jefe del Servei de Rehabilitació de la Generalitat de Catalunya. Un equipo de la Universitat Pompeu Fabra (UPF) que lidera el investigador Carlos Castillo está estudiando las entrañas del sistema catalán. “De momento no hemos encontrado ningún indicio de sesgo”, redunda, señalando que “funciona bien, pero eso no garantiza que siga así”. Sin embargo, otros expertos apuntan en la dirección opuesta. “RisCanvi puede contribuir a la discriminación socioeconómica al sobreestimar la peligrosidad de ciertos presos, que suelen provenir de grupos desfavorecidos, y contribuir a que sigan en prisión”, explica Gemma Galdón, fundadora y directora ejecutiva de ETICAS. Entre los parámetros que el algoritmo usa para evaluar el riesgo de cada preso hay su historial de violencia o de malas conductas, pero también su falta de recursos económicos, de empleo o de apoyo familiar, adicción a las drogas, nivel de educación o mala adaptación durante la infancia. Hay cuatro aspectos que siempre se evalúan: edad, género, nacionalidad y si el preso está condenado o pendiente de juicio. Se desconoce qué peso tiene cada uno de esos parámetros en el informe final del algoritmo. Falta de transparencia Los investigadores denuncian falta de transparencia en el sistema. “Es preocupante que RisCanvi no sea monitorizado cada año y no pase por un estudio de impacto algorítmico para saber si produce sesgos sociales”, explica Castillo. El algoritmo nunca ha sido auditado por un organismo independiente y el último informe público sobre su rendimiento, del 2014, no clasifica entre presos, lo que imposibilita saber si sus predicciones afectan igual dependiendo de nacionalidad, origen migrante o sexo. “La Generalitat fue pionera, pero se hizo en un momento en el que no había tantos estándares de regulación”, añade. El algoritmo de RisCanvi no toma una decisión final automatizada, sino que funciona como recurso orientativo para los funcionarios. Eso permite que su uso no esté regulado. “Jurídicamente es como si no existiera”, señala Alejandro Huergo, catedrático de derecho administrativo de la Universidad de Oviedo. Aunque considera que ese sistema “es más objetivo que el ojo clínico del funcionario”, alerta que la falta de una regulación hace que el proceso tenga “menos garantías”. La adopción de la Unión Europea de un reglamento sobre la IA calificaría RisCanvi como un sistema de ‘alto riesgo’ y obligaría a adoptar un mecanismo de supervisión. Indefensión jurídica de los presos Ese sistema también puede ocasionar casos de cierta indefensión jurídica de las personas privadas de libertad. ¿Qué pasa si el algoritmo penaliza a un preso por su condición de pobreza? ¿Podría recurrirlo? Quien concede los permisos son los jueces, no el algoritmo. Sin embargo, los problemas surgen si se da mucha relevancia a las recomendaciones de RisCanvi, pues se desconoce qué variables son las que más valora el sistema y si amplifica una discriminación. “Eso hace que nos sea muy complicado impugnar el algoritmo”, explica la abogada penalista Mireia Balaguer. “Hay factores que pueden llevar a un resultado no ajustado a la realidad, en ese caso debemos analizar cada caso y acreditar variables de los presos como su evolución positiva”. Aún así, esta especialista ve RisCanvi como “una buena herramienta orientativa para la prevención” y remarca que el proceso tiene garantías, pues el juez fundamenta su decisión sobre los permisos y no tiene una “fe ciega” en lo que recomienda el sistema. En relación al impacto de este protocolo sobre los reclusos también hay opiniones encontradas. “Se sienten completamente sometidos al ser permanentemente juzgados sobre sus hábitos”, explica Iñaki Rivera, director del Observatorio del Sistema Penal y los Derechos Humanos (OSPDH). “Se les hace preguntas muy intrusivas que, según mi criterio, chocan contra el derecho a la intimidad”. Camps, sin embargo, cree que el sistema es clave para la rehabilitación: “los datos que se extraen son muy prácticos para ayudar al interno y rebajar sus riesgos”. En 2008, un año antes de la entrada de RisCanvi, la tasa de reincidencia era del 40,3%. Los últimos datos públicos, de 2014, la sitúan en un 30,2%. La Generalitat trabaja en otro informe con los datos de 2018.

Catalunya usa un algoritmo para ayudar a decidir a qué presos concede la libertad condicional

Todas las cárceles catalanas usan el sistema automatizado RisCanvi para calcular el riesgo de reincidencia de los presos

Los expertos aseguran que el proceso tiene garantías pero otros denuncian falta de transparencia y posibles discriminaciones

Lo más visto