La Agencia del Seguro Social de Suecia (Försäkringskassan) debe interrumpir inmediatamente el uso de sistemas de inteligencia artificial (IA) opacos, ha afirmado hoy Amnistía Internacional, tras una investigación sobre el sistema de bienestar social sueco efectuada por Lighthouse Reports y Svenska Dagbladet que reveló que el sistema seleccionaba injustamente a grupos marginados para ser sometidos a inspecciones sobre fraude en las prestaciones.

La investigación revela que el sistema seleccionaba de forma desproporcionada a determinados grupos para someterlos a investigación adicional en relación con fraudes en las prestaciones sociales, como las mujeres, las personas de origen extranjero —nacidas en otros países o cuyos progenitores nacieron en otros países—, las personas de bajos ingresos y las que no poseen títulos universitarios. Amnistía Internacional apoyó la investigación revisando el análisis y la metodología empleados por el equipo del proyecto, haciendo aportaciones y sugerencias y examinando las conclusiones en un marco de derechos humanos.

“Los algoritmos invasivos de la Agencia del Seguro Social de Suecia discriminan a las personas por motivos de género, ‘origen extranjero’, nivel de ingresos y nivel educativo. Se trata de un ejemplo claro de violación del derecho de las personas a seguridad social, igualdad y no discriminación y privacidad por un sistema claramente sesgado”, ha afirmado David Nolan, investigador principal de Amnesty Tech.

La Agencia del Seguro Social de Suecia utiliza el sistema de aprendizaje automático desde al menos 2013. Este sistema asigna puntuaciones de riesgos, calculadas por un algoritmo, a quienes solicitan prestaciones de la seguridad social para detectar fraudes en las prestaciones sociales.

Försäkringskassan lleva a cabo dos tipos de comprobaciones: la investigación habitual de trabajadores y trabajadoras sociales, que no presupone intención dolosa y contempla la posibilidad de que las personas simplemente han cometido errores, y otra que es obra del departamento de “control”, que se ocupa de los casos cuando en los que sospechas de intención dolosa. Las personas que obtienen las puntuaciones de riesgo más altas según determina el algoritmo han sido sometidas automáticamente a investigaciones de controladores de fraudes dentro de la agencia de bienestar social, partiendo del supuesto de “intención dolosa” desde el primer momento.

Una “caza de brujas”

Las personas investigadoras de fraudes que examinan los expedientes seleccionados por el sistema tienen un poder enorme. Pueden examinar las cuentas en redes sociales, obtener datos de instituciones como centros escolares y bancos, incluso entrevistarse con vecinos de la persona afectada como parte de sus investigaciones.

“El sistema en su totalidad se asemeja a una caza de brujas contra cualquier persona seleccionada para ser objeto de investigaciones de fraude en las prestaciones sociales”, ha afirmado David Nolan.

Personas señaladas incorrectamente por el sistema de seguridad social sesgado se han quejado de que acaban haciendo frente a demoras y obstáculos legales para acceder a prestaciones a las que tienen derecho.

“Una de los problemas principales de los sistemas de inteligencia artificial que utilizan las agencias de seguridad social es que pueden agravar las desigualdades y la discriminación que ya existían. Cuando se señala a una persona, se la trata como sospechosa desde el principio. Esto puede ser extremadamente deshumanizador”, ha manifestado David Nolan.

“El sistema en su totalidad se asemeja a una caza de brujas contra cualquier persona seleccionada para ser objeto de investigaciones de fraude en las prestaciones sociales”.

David Nolan, investigador principal, Amnesty Tech

Aunque el equipo responsable del proyecto en Lighthouse Reports y Svenska Dagbladet presentó solicitudes de acceso a la información, las autoridades suecas no han sido plenamente transparentes en lo que respecta al funcionamiento interno del sistema.

Sin embargo, pese a la negativa de la agencia de bienestar, el equipo de Svenska Dagbladet y Lighthouse Reports logró acceder a datos desglosados sobre los resultados de las investigaciones de fraude efectuadas una muestra de casos seleccionadas por el algoritmo, junto con las características demográficas de las personas incluidas en el sistema. Esto sólo fue posible porque la Inspección de la Seguridad Social (ISF) había solicitado previamente los mismos datos.

Utilizando estos datos, el equipo pudo poner a prueba el sistema algorítmico con respecto a seis parámetros estadísticos habituales de equidad, entre ellos la paridad demográfica, la paridad predictiva y las tasas de falsos positivos. Cada indicador utiliza un enfoque distinto para tratar de medir el sesgo y la discriminación en un sistema algorítmico, y las conclusiones confirmaron que el sistema sueco actúa de forma desproporcionada contra grupos ya marginados en la sociedad sueca.

Sesgo arraigado

El sesgo arraigado en el sistema que utiliza la Försäkringskassan de Suecia es motivo de preocupación desde hace tiempo. Un informe de la ISF de 2018 explicaba que el algoritmo utilizado por la agencia “en su diseño actual [el algoritmo] no respeta la igualdad de trato”. La Agencia del Seguro Social de Suecia alegó que el análisis adolecía de deficiencias y se basaba en fundamentos discutibles.

Por otro lado, un funcionario de protección de datos que antes trabajó para la Agencia del Seguro Social de Suecia advirtió en 2020 de que la operación en su totalidad viola la normativa europea de protección de datos, porque la autoridad carece de fundamentos jurídicos para trazar perfiles de las personas.

Debido a su elevado riesgo para los derechos de las personas, en virtud del Reglamento europeo sobre inteligencia artificial aprobado recientemente (Ley de Inteligencia Artificial), los sistemas de inteligencia artificial que utilicen las autoridades para determinar el acceso a servicios públicos y prestaciones esenciales deben cumplir normas estrictas de índole técnica, de transparencia y de gobernanza, incluida la obligación de quienes la utilizan de llevar a cabo una evaluación de los riesgos en materia de derechos humanos y de garantizar medidas de mitigación antes de usarlos. Además, la Ley prohíbe sistemas concretos que puedan considerarse herramientas para la puntuación social (social scoring).

“Si la Agencia del Seguro Social de Suecia continúa usando este sistema, Suecia puede verse inmersa en un escándalo semejante al de Países Bajos, donde las autoridades tributarias acusaron falsamente de fraude a decenas de miles de padres, madres y personas que prestan cuidados, la mayoría de familias de bajos ingresos, y perjudicaron desproporcionadamente a personas de minorías étnicas”, ha afirmado David Nolan.

“Ante la respuesta opaca de las autoridades suecas, que no nos permite conocer el funcionamiento del sistema, y el marco impreciso de la prohibición de la puntuación social en la Ley de Inteligencia Artificial, resulta difícil determinar dónde se inscribiría este sistema concreto en la clasificación en función de los riesgos de los sistemas de IA que establece la Ley de Inteligencia Artificial. Sin embargo, hay datos suficientes que indican que el sistema viola el derecho a la igualdad y a no sufrir discriminación. Por tanto, el sistema debe dejar de usarse con carácter inmediato.”

Información complementaria

El 13 de noviembre de 2024, el informe de Amnistía Internacional Coded Injustice reveló que las herramientas de inteligencia artificial que utiliza la agencia de bienestar social de Dinamarca están creando vigilancia masiva maliciosa, que corre el riesgo de discriminar a las personas con discapacidad, los grupos racializados y las personas migrantes y refugiadas.

El 15 de octubre, Amnistía Internacional y otros 14 asociados de la coalición dirigida por La Quadrature du Net (LQDN) presentó una demanda ante el Consejo de Estado, máximo tribunal administrativo de Francia, en la que solicitaba que dejara de usarse el sistema algorítmico de puntuación de riesgos que utiliza la Caja Nacional de Prestaciones Familiares (CNAF).

En agosto de 2024 entró en vigor la Ley de Inteligencia Artificial de la UE para una regulación de la IA que proteja y promueva los derechos humanos. Amnistía Internacional, como parte de una coalición de organizaciones de la sociedad civil encabezada por la Red Europea de Derechos Digitales (EDRi), viene pidiendo una regulación de la UE sobre la inteligencia artificial que proteja y promueva los derechos humanos.

En 2021, el informe de Amnistía Internacional Xenophobic Machines exponía cómo los perfiles raciales estaban incluidos en el diseño del sistema algorítmico de las autoridades tributarias neerlandesas que seleccionaba como potencialmente fraudulentas las solicitudes de prestaciones de cuidado infantil.