L. Bardon . – Le mécanisme principal du système de crédit social chionois est constitué de listes noires et de listes rouges nationales. Chaque agence de régulation a été invitée à dresser un palmarès de ses pires contrevenants, des entreprises et des individus qui ont violé des réglementations sectorielles préexistantes. Les listes rouges sont exactement le contraire : ce sont des listes d’entreprises et de personnes qui ont été particulièrement respectueuses de la réglementation. Ces archives ont ensuite été rendues publiques sur un site web centralisé, appelé China Credit, où chacun peut les consulter. Les chercheurs chinois en droit s’inquiètent notamment d’une de ces bases de données : La Cour populaire suprême tient une liste noire des personnes qui, selon le gouvernement, n’ont pas respecté les décisions de justice, par exemple en ne payant pas les amendes, mais aussi des choses comme le fait de ne pas s’excuser officiellement auprès d’une personne qu’on juge avoir fait du tort. Le fait de figurer sur cette liste noire est désormais assorti de sanctions sévères. Vous pourriez ne pas être en mesure d’acheter des billets de train à grande vitesse, de prendre l’avion ou d’envoyer vos enfants dans une école privée. Plus de 13 millions de personnes figuraient sur la liste en mars, selon les rapports de l’État, et le gouvernement a interdit l’achat de plus de 20 millions de billets d’avion.
Les scores de crédit sont utilisés depuis des décennies pour évaluer la solvabilité des consommateurs, mais leur portée est bien plus grande maintenant qu’ils sont alimentés par des algorithmes : non seulement ils prennent en compte beaucoup plus de données, tant en volume qu’en type, mais ils déterminent de plus en plus si vous pouvez acheter une voiture, louer un appartement ou trouver un emploi à plein temps. Leur influence globale signifie que si votre score est ruiné, il peut être presque impossible de le récupérer. Pire encore, les algorithmes appartiennent à des sociétés privées qui ne divulguent pas la façon dont elles prennent leurs décisions. Les victimes peuvent être envoyées dans une spirale descendante qui se termine parfois par un sans-abrisme ou un retour à leur agresseur.
Les algorithmes de notation du crédit ne sont pas les seuls à affecter le bien-être économique des gens et leur accès aux services de base. Les algorithmes décident désormais quels enfants sont placés en famille d’accueil, quels patients reçoivent des soins médicaux, quelles familles ont accès à un logement stable. Ceux d’entre nous qui ont des moyens peuvent passer leur vie sans rien savoir de tout cela. Mais pour les personnes à faible revenu, la croissance rapide et l’adoption de systèmes de prise de décision automatisés ont créé un réseau caché de pièges qui s’imbriquent les uns dans les autres.
En ce qui concerne les rapports de solvabilité, la croissance des algorithmes a été stimulée par la prolifération des données, qui sont plus faciles que jamais à collecter et à partager. Les rapports de crédit ne sont pas nouveaux, mais leur empreinte est aujourd’hui beaucoup plus étendue. Les agences de renseignements sur les consommateurs, y compris les bureaux de crédit, les sociétés de vérification des locataires ou les services de vérification, recueillent ces informations à partir d’un large éventail de sources : dossiers publics, médias sociaux, navigation sur le web, activités bancaires, utilisation d’applications, etc. Les algorithmes attribuent ensuite aux personnes des scores de “mérite”, qui figurent en bonne place dans les vérifications d’antécédents effectuées par les prêteurs, les employeurs, les propriétaires, voire les écoles.traps.
Les agences gouvernementales sont amenées à adopter des algorithmes lorsqu’elles veulent moderniser leurs systèmes. L’adoption d’applications web et d’outils numériques a commencé au début des années 2000 et s’est poursuivie avec l’évolution vers des systèmes automatisés et une IA davantage axés sur les données. Il y a de bonnes raisons de rechercher ces changements. Pendant la pandémie, de nombreux systèmes d’allocations de chômage ont eu du mal à traiter le volume massif de nouvelles demandes, ce qui a entraîné des retards importants. La modernisation de ces anciens systèmes promet des résultats plus rapides et plus fiables.
Mais le processus d’acquisition de logiciels est rarement transparent et manque donc de responsabilité. Les organismes publics achètent souvent des outils décisionnels automatisés directement à des fournisseurs privés. Il en résulte que lorsque les systèmes tournent mal, les personnes concernées – et leurs avocats – sont laissées dans l’ignorance.
