Comme l’a démontré une expérience récente, le meilleur système de vision par intelligence artificielle (IA) pourrait voir une image de votre visage et « cracher » une insulte raciale, un stéréotype de genre ou un terme qui dénigre votre bonne réputation. Les scientifiques qui ont aidé à enseigner aux machines à voir essaient d’éliminer une partie des préjugés humains qui se cachaient dans les données utilisées pour entraîner les algorithmes. Mais l’effort montre que l’élimination des préjugés dans les systèmes d’IA reste difficile, en partie parce que le processus dépend encore des humains.
Ce projet s’inscrit dans un effort plus large visant à « guérir » les systèmes automatisés des préjugés et des partis pris cachés. Il s’agit d’un problème crucial qui peut avoir de graves répercussions. Des préjugés ont été identifiés dans les systèmes de reconnaissance faciale, les programmes d’embauche et les algorithmes qui sous-tendent les recherches sur le Web. Des systèmes de vision sont adoptés dans des domaines critiques comme le maintien de l’ordre, où les préjugés peuvent rendre les systèmes de surveillance plus susceptibles de fausser l’identification des minorités en tant que criminels.
En 2012, un projet appelé ImageNet a joué un rôle clé dans l’exploitation du potentiel de l’IA en donnant aux développeurs une vaste bibliothèque pour entraîner les ordinateurs à reconnaître les concepts visuels, des fleurs aux surfeurs des neiges. L’équipe d’ImageNet a analysé son ensemble de données pour découvrir ces concepts et d’autres sources de biais, puis a pris des mesures pour y remédier. Elle a eu recours au crowdsourcing pour identifier et supprimer les mots désobligeants. Elle a également identifié les termes qui projettent une signification sur une image, par exemple » philanthrope « , et ont recommandé d’exclure ces termes de l’entraînement des algorithmes. L’équipe a également évalué la diversité démographique et géographique des photos d’ImageNet et a mis au point un outil pour faire apparaître des images plus diversifiées.
