Un tribunal néerlandais a mis fin à un programme visant à identifier les personnes les plus susceptibles de commettre des fraudes aux allocations. Les critiques ont affirmé que ce programme était discriminatoire à l’égard des immigrants et des résidents à faible revenu.
Le SyRI, pour Systeem Risico Indicatie, ou indicateur de risque systémique, a été créé par le ministère néerlandais des affaires sociales en 2014 pour identifier les personnes considérées comme étant à haut risque de commettre des fraudes aux allocations. En 2018, un procès intenté par des groupes, dont la fédération syndicale FNV, a transformé le SyRI en un test aux limites du gouvernement algorithmique, surveillé par des experts de la protection de la vie privée du monde entier. La décision du tribunal a également déclaré que le programme ne respectait pas les principes de transparence et de réduction de la collecte de données énoncés dans la vaste loi européenne sur la protection de la vie privée, la RGPD, qui est entrée en vigueur en 2018.
En août, l’autorité suédoise de protection des données a infligé à une agence locale une amende de plus de 20 000 dollars pour un test de trois semaines d’un système de reconnaissance faciale qui se connectait chaque fois qu’un élève entrait dans une salle de classe. Il s’agissait de la première mesure d’exécution du pays dans le cadre de la RGPD.
En octobre dernier, l’autorité française de protection des données a déclaré que les écoles ne devaient pas utiliser la reconnaissance faciale pour contrôler les entrées, après avoir reçu des plaintes concernant des projets de test de cette technologie dans des lycées de Nice et de Marseille avec le soutien de la société américaine de réseaux Cisco.
Alors que les tribunaux et les régulateurs européens commencent à imposer aux citoyens des limites à l’utilisation gouvernementale de l’IA et des algorithmes, les résidents américains disposent de peu de protections. En l’absence de règles aux États-Unis, les autorités fédérales, étatiques et locales montrent toutes un intérêt croissant pour l’utilisation d’algorithmes et de logiciels qui écrasent les données des citoyens. Il est souvent impossible pour le public de savoir comment ils fonctionnent.
