Le New York ADS Task Force a été adopté en 2017, un projet de loi du conseil municipal répondant à l’inquiétude croissante concernant le rôle puissant et opaque que les systèmes de décision automatisés ont sur notre société. Des systèmes mal conçus ont eu de multiples répercussions, qu’il s’agisse d’encourager des actions de police parfois disproportionnées avec les communautés de couleur, de mal répartir les ressources en matière de santé et de lutte contre les incendies ou de fausses accusations de fraude aux prestations. Un système du Michigan a accusé à tort 40 000 résidents d’avoir fraudé l’assurance-chômage de l’État, poussant certains à la misère ou même au suicide.
La proposition initiale et agressive du conseil municipal exigeait que la ville de New York n’utilise que des systèmes de décision à code source libre. Mais elle a rapidement cédé la place au compromis plus viable sur le plan politique d’un groupe de travail chargé d’élaborer des lignes directrices exhaustives sur la façon de réglementer l’intelligence artificielle (IA) pour assurer l’application régulière de la loi, mettre fin au gaspillage gouvernemental et prévenir les préjugés.
Mais il est assez difficile de formuler des recommandations relatives à quelque chose ; à moins d’être d’accord sur ce qu’est cette chose. La task force n’est pas parvenue à un consensus. Les fonctionnaires municipaux ont évoqué le spectre d’une réglementation inapplicable qui s’appliquerait à toutes les calculatrices et à tous les documents Excel, un cauchemar kafkaïen où la simple construction d’un tableau croisé nécessiterait l’approbation interorganismes. Au lieu de cela il a été proposé une alternative limitée, un monde de régulation de l’IA axé uniquement sur les algorithmes et l’apprentissage machine avancé.
Le problème, c’est qu’au un moment où le monde est fasciné par les histoires sur la puissance désastreuse de l’apprentissage machine et de l'”IA”, certaines des formes les plus puissantes d’automatisation fonctionnent encore sous Excel, ou dans de simples scripts. Vous n’avez pas besoin d’un modèle de langage naturel de plusieurs millions de dollars pour créer un système potentiellement dangereux qui prend des décisions sans surveillance humaine, et qui a le pouvoir de changer la vie des gens. Et les systèmes automatisés de prise de décision le font beaucoup à New York.
La suite ici (Albert Fox Cahn)
