Des chercheurs ont construit deux systèmes d’intelligence artificielle (IA) et les ont testés sur deux ensembles de données composées de plus de 100 000 tweets qui avaient été annotés par des humains avec des étiquettes comme « offensant », « aucun » ou « discours haineux ». L’un des algorithmes a incorrectement signalé 46% des tweets inoffensifs d’auteurs afro-américains comme étant offensants. Des tests sur des ensembles de données plus importants, dont un composé de 5,4 millions de tweets, ont révélé que les messages d’auteurs afro-américains étaient 1,5 fois plus susceptibles d’être qualifiés d’offensants. Lorsque les chercheurs ont ensuite testé Perspective de Google, un outil d’IA que l’entreprise permet à quiconque d’utiliser pour modérer les discussions en ligne, ils ont découvert des préjugés raciaux similaires.
La modération de contenu en ligne est un travail traumatisant et difficile, de sorte que les plateformes géants sont désireuses de s’appuyer sur des systèmes d’IA plutôt que sur des êtres humains (ils sont aussi beaucoup moins chers). Cette étude montre les risques énormes inhérents à cette approche puisqu’en utilisant un logiciel pour éliminer automatiquement le langage offensant, nous risquons de réduire au silence les voix de minorités.
