Biais algorithmique
Erreur systématique d’un système d’IA au détriment d’un groupe de personnes ou d’un type de situation, le plus souvent héritée de données d’entraînement déséquilibrées ou de choix de conception.
Un exemple
En 2018, une étude a mesuré trois logiciels commerciaux qui devinaient le genre d’une personne d’après sa photo. Le taux d’erreur atteignait 34,7 % pour les femmes à la peau foncée, contre 0,8 % au plus pour les hommes à la peau claire. Les photos d’entraînement représentaient mal les premières.
Ce qu’il faut comprendre
La démonstration du biais le montre avec des fruits. Quand les poires sont rares parmi les exemples, la machine leur applique la règle des pommes, qu’elle connaît bien. Sa réussite moyenne reste excellente, parce que les pommes sont nombreuses ; c’est seulement en regardant les poires à part qu’on découvre le problème.
Remplacez les poires par des personnes : des voix avec un accent, des visages peu photographiés, des candidatures atypiques, des maladies qui se présentent différemment chez les femmes. Le mécanisme est le même, et les conséquences sont réelles : un accès refusé, un diagnostic manqué, une candidature écartée.
Les biais ne viennent pas d’une intention. Ils viennent de qui a été compté, et de qui ne l’a pas été. C’est pourquoi les textes européens exigent, pour les usages les plus sensibles, des données de qualité et des contrôles avant la mise en service.
Démonstration : Le jeu de données biaisé
Le jeu de données biaisé
Une machine apprend à dire si un fruit est mûr, d’après sa couleur et sa fermeté. Pour une pomme, c’est la couleur qui compte. Pour une poire, c’est la fermeté. Choisissez combien de poires figurent parmi ses 120 exemples.
Elle se trompe surtout sur les poires : elle en a vu trop peu pour apprendre leur règle, et leur applique souvent celle des pommes.
exemple mûr exemple pas mûr · fond doré : jugé mûr, fond vert : jugé pas mûr, trait : la vraie règle.
Les idées fausses
-
On entendUne machine est objective, elle n’a pas d’opinions.
En réalitéElle n’a pas d’opinions, mais elle reproduit les déséquilibres de ses exemples. Une erreur répétée des milliers de fois par une machine pèse plus qu’une erreur humaine isolée.
-
On entendIl suffit de retirer la couleur de peau ou le sexe des données pour supprimer le biais.
En réalitéD’autres informations les trahissent indirectement, comme le prénom, l’adresse ou le parcours. Le biais passe alors par ces détours.
-
On entendUne machine réussie à 95 % est fiable pour tout le monde.
En réalitéUn taux moyen peut cacher un groupe pour lequel elle échoue souvent. Il faut mesurer la réussite groupe par groupe.