Les organismes publics responsables de domaines tels que la justice pénale, la santé et le bien-être s’appuient de plus en plus sur des systèmes de notation et des logiciels pour orienter ou prendre des décisions comme la libération sous caution, la condamnation, l’exécution et la hiérarchisation des services. Selon le rapport d’AI Now, un institut de recherche à NYU qui étudie les implications sociales de l’intelligence artificielle, un trop grand nombre de ces systèmes sont opaques pour les citoyens qui en dépendent. Le rapport d’AI Now appelle donc les organismes publics de refreiner l’utilisation de ce qu’elles appellent des systèmes de « boîte noire » dont l’auditabilité externe est impossible. De tels systèmes devraient devenir plus complexes à mesure que les technologies comme l’apprentissage automatique, utilisées par les entreprises technologiques, deviennent plus largement disponibles.
« Nous devrions disposer de protections pour les décisions algorithmiques équivalent à ceux pour les décisions humaines », dit Crawford. Les gouvernements s’appuient de plus en plus sur des algorithmes et des logiciels pour prendre des décisions et définir des priorités.
