Nombre d’experts estiment que les énormes bases de données utilisées pour entraîner les programmes de machine learning contiennent les préjugés humains. Une chercheuse de Microsoft, Kate Crawford, estime même que l’intelligence artificielle est aujourd’hui majoritairement semblable à un homme blanc. Récemment par exemple, une intelligence artificielle a jugé un concours de beauté international et n’a désigné comme vainqueurs quasiment que des blancs alors que toutes les origines étaient représentées. En fait nous avons déjà appris aux machines à être racistes. Et si le racisme et le sexisme que renferment ces bases de données de machine learning pouvait être « ré-équilibrés » grâce à un algorithme d’équité ? Et si un bout de code pouvait, de manière fiable, s’assurer que le résultat des requêtes soit fiable quand il s’agit par exemple de définir la prime d’assurance de quelqu’un. Une équipe de chercheurs de l’University of Utah, l’University of Arizona, et du Haverford College a commencé à transcrire l’équité en termes mathématiques afin que les informaticiens rendre leurs systèmes éthiques.
