España confía en la inteligencia artificial para combatir la violencia de género, pero los errores son mortales

En enero pasado, Lina acudió a la policía luego de que su expareja la amenazara en su hogar en Benalmádena. Su caso fue registrado en el Sistema de Seguimiento Integral en los casos de Violencia de Género, VioGén, el cual, a través de un algoritmo, clasificó su situación como de riesgo «medio». Tres semanas más tarde, fue presuntamente asesinada por su pareja. Este incidente resalta un problema crítico: nuestra creciente dependencia de los algoritmos.

El origen de VioGén. En 2007, el Ministerio del Interior desarrolló VioGén para predecir riesgos y, basándose en esa predicción, ofrecer protección y seguimiento a las víctimas de violencia de género.

Cómo funciona. El sistema analiza datos de múltiples fuentes, incluyendo denuncias policiales y antecedentes penales. Durante una denuncia, se evalúan varios factores: el episodio de agresión, la situación de la víctima, los hijos, el perfil del agresor y cualquier agravante de vulnerabilidad.

Niveles de riesgo. La evaluación asigna uno de cuatro niveles de riesgo, cada uno con medidas específicas, desde la teleasistencia hasta la protección policial constante en casos extremos.

VioGén 2. El sistema ha evolucionado, presentando ahora VioGén 2. Según Artículo 14, el algoritmo ha actualizado su funcionamiento eliminando el riesgo no apreciado y dificultando la desactivación de casos abiertos. Esto permite monitorizar aquellos casos que los expertos consideran de bajo riesgo, con control policial por hasta un año.

Protocolo Cero. Si una víctima solicita desactivar su caso voluntariamente, se activa el «Protocolo Cero» para minimizar riesgos. Esta medida es crucial, ya que, según una macroencuesta de Igualdad, solo el 21,7% de las víctimas denuncian, dejando a muchas sin protección.

Tragedias por doquier. El sistema no es plenamente efectivo. El caso de Lina ilustra la falta de fiabilidad. En otro incidente de 2024, una mujer fue asesinada a pesar de haber pedido ayuda previamente.

El algoritmo parece minimizar el riesgo. En septiembre de 2024, de las 96,644 mujeres registradas en VioGén, solo 12 fueron clasificadas como riesgo extremo. Los ministros Ana Redondo y Fernando Grande-Marlaska admiten que el sistema no es infalible, aunque salva vidas.

Nueva alarma contra la IA y los algoritmos. La confianza excesiva en algoritmos para decisiones críticas en administraciones públicas sigue siendo motivo de preocupación.

La IA no para de equivocarse. Casos como Veripol, que usó IA para detectar denuncias falsas, han demostrado ser poco fiables. Ejemplos adicionales incluyen errores en transcripciones judiciales y problemas con el reconocimiento facial en Madrid.

Falta de transparencia. Los sistemas algorítmicos suelen ser opacos. El caso de Veripol es solo uno de muchos. La falta de transparencia en algoritmos utilizados para decisiones críticas es preocupante, tanto en España como en otros países.

¿No había agencias para esto? En 2021 se acordó crear la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) para supervisar el cumplimiento digital en plataformas.

Qué pasa con AESIA. La sede de AESIA en La Coruña debería comenzar a operar en 2025, enfocándose en la aplicación de la Ley de IA de la UE, con el desafío de mejorar la implementación de algoritmos como VioGén.

Imagen | James Harrison | Policía Nacional