Les systèmes algorithmiques qui utilisent le machine learning jouent un rôle croissant dans la prise de décisions de fond. Mais le processus est souvent opaque, même pour les ingénieurs de chez Google. Trois chercheurs du Carnegie Mellon University développent donc une base formelle pour améliorer la transparence des systèmes de prise de décision. Plus précisément, ils introduisent une famille d’influence d’entrée quantitative (Quantitative Input Influence – QII) qui captent le degré d’influence des entrées sur les sorties des systèmes. Ces mesures constituent une base pour la conception de rapports de transparence qui accompagnent les décisions du système et pour tester des outils utiles pour le contrôle interne et externe, par exemple pour détecter la discrimination algorithmique. Ces QII causales soutiennent une classe générale de requêtes de transparence et peuvent, en particulier, expliquer les décisions concernant les individus, par exemple une décision sur les conditions d’octroi d’un prêt, et des groupes, par exemple l’impact du sexe. Etant donné que de simples entrées peuvent ne pas toujours avoir beaucoup d’influence, les mesures de QII mesurent aussi l’influence conjointe d’un ensemble d’entrées sur les résultats, par exemple l’âge et le revenu sur les conditions d’octroi d’un prêt.
