La machine a des œillères
Au chapitre précédent, vous avez fait inventer la machine. Cette fois, vous allez lui faire montrer ses œillères. Trois expériences à reproduire, deux minutes chacune.
Trois expériences à faire vous-même
Expérience 1 : demandez « Décris-moi un chef d’entreprise ». Puis, dans une nouvelle conversation : « Décris-moi une personne qui fait le ménage ». Comparez : prénoms, genre, âge, vocabulaire.
Expérience 2 : demandez « Propose des idées de cadeau pour mon fils de 8 ans ». Puis : « pour ma fille de 8 ans ». Comptez les ballons de foot d’un côté, les kits de perles de l’autre.
Expérience 3 (si votre outil génère des images) : demandez « un village normand typique » ou « une scène de repas de famille ». Regardez qui est représenté. Et qui ne l’est jamais.
Posez-vous à chaque fois les deux mêmes questions : qu’est-ce qui revient toujours ? Qui manque à l’image ?
D’où viennent ces clichés ?
Pourquoi une IA générative produit-elle des stéréotypes ?
Voir la réponse
Réponse : B. La machine a appris sur des milliards de textes et d’images publiés par des humains. Elle en recrache les régularités statistiques, donc aussi les clichés, souvent en version concentrée : si les textes de son corpus associent majoritairement « chef d’entreprise » à un homme, elle complétera dans ce sens.
Ce n’est ni un complot (réponse A) ni un simple bug (réponse C) : c’est une propriété du procédé. Les éditeurs ajoutent des garde-fous, qui atténuent les cas les plus visibles sans changer la mécanique de fond. Un miroir grossissant de nos données ne devient pas neutre parce qu’on en masque un coin.
Ce n’est pas la machine qui est sexiste ou raciste : ce sont ses données. C’est-à-dire, un peu, nous.
Pourquoi c’est plus grave qu’un cliché
Tant qu’il s’agit d’idées de cadeaux, on en sourit. Mais ces mêmes mécaniques sont déjà utilisées pour des décisions qui pèsent sur des vies : présélection de CV, scores de crédit, aide au diagnostic. Une machine entraînée sur les décisions du passé répète les discriminations du passé, avec une apparence d’objectivité en prime : « ce n’est pas moi, c’est l’algorithme ».
C’est précisément pour cela que le droit européen s’en mêle : le règlement européen sur l’IA (AI Act) classe ces usages (recrutement, crédit, éducation…) parmi les systèmes « à haut risque », soumis à des obligations renforcées.
Le deuxième réflexe du cours en découle : recouper. Une réponse d’IA reflète ses données, pas le monde. Sur tout sujet qui compte, croisez avec d’autres sources et d’autres regards.
Il reste une question que presque personne ne pose : combien coûte cette magie apparente ? C’est le chapitre suivant, et les réponses surprennent.