Beaucoup de personnes jugent instantanément les autres en fonction de la façon dont ils parlent. Certains systèmes d’intelligence artificielle (IA) intègrent déjà malheureusement ces préjugés. Et comme les systèmes d’IA basés sur le langage deviennent de plus en plus fréquents, certaines minorités pourraient être injustement discriminées par des machines avertissent des chercheurs. Et ce problème pourrait être plus répandu et pernicieux que la plupart des gens. Des systèmes d’IA collectent déjà l’opinion publique sur Internet et les réseaux sociaux, et passent au peigne fin les documents écrits pour y détecter des informations utiles. Les services et produits s’appuyant sur ces systèmes pourraient être injustement discriminatoires contre certains groupes.
La question de l’injustice découlant de l’utilisation d’algorithmes d’IA prend de l’ampleur dans certains milieux car ces algorithmes sont utilisés de plus en plus largement. L’algorithme Compass est un exemple controversé de partialité possible. Ce dernier est utilisé pour décider si les détenus devraient se voir accorder la libération conditionnelle. Si le fonctionnement de l’algorithme est inconnu, des recherches suggèrent qu’il intègre un biais en défaveur des détenus noirs.
