Biais, limites et usages responsables de l'IA : exercices de 2de

Situation a : un logiciel trie des dossiers et influence un choix qui touche des personnes. C'est la prise de décision, domaine où l'on parle de biais algorithmique ¹.

Situation b : l'application collecte des informations sur l'élève, bien au-delà de ce qu'il faut pour réviser. Le domaine est celui des données personnelles ¹.

Situation c : le texte recopié peut contenir des erreurs ou des inventions. Le domaine est la communication de l'information, et le regard critique est indispensable ⁴.

Situation d : une solution simple existait. Le domaine est l'écologie : l'IA ne se justifie que si aucune solution moins coûteuse écologiquement ne répond au besoin ².

On identifie la partie et le total : la partie est 900 dossiers d'hommes, le total est 1 200 dossiers.

On calcule la proportion : $\dfrac{900}{1200} = 0{,}75$.

On convertit en pourcentage : $0{,}75 \times 100 = 75\ \%$. Les dossiers d'hommes représentent donc 75 % du jeu de données.

Interprétation : l'outil apprend à partir de ces exemples. Il peut en déduire qu'un bon profil ressemble à ceux des hommes déjà retenus, et reproduire ce déséquilibre. C'est le mécanisme décrit pour les jeux de données qui perpétuent des stéréotypes ¹.

Groupe A : $\dfrac{20}{500} = 0{,}04$, soit 4 %.

Groupe B : $\dfrac{30}{200} = 0{,}15$, soit 15 %.

Écart : $15 - 4 = 11$ points de pourcentage.

Le taux d'erreur du groupe B est plus de trois fois plus élevé que celui du groupe A (15 % contre 4 %), alors que le groupe B a moins d'essais. Le total brut de 50 erreurs ne dit rien de leur répartition : seuls les taux par groupe révèlent la différence.

Un tel écart est le signe d'un possible biais algorithmique, à relier à la composition des données d'entraînement ¹.

Le risque est la fabulation : une IA générative peut produire un texte convaincant qui contient des éléments inventés. Il faut donc former les élèves à l'éviter et à garder un regard critique ⁴.

Action 1 : relever chaque fait précis de la réponse (dates, noms, titres).

Action 2 : chercher chacun dans un manuel ou une ressource de référence, sans passer par l'IA.

Action 3 : comparer, et écarter tout fait que deux sources fiables ne confirment pas.

Action 4 : noter les sources vérifiées dans l'exposé, à la place de la réponse de l'assistant.

Si Léa ne retrouve rien, elle ne garde pas l'information. Elle peut aussi reformuler sa demande, mais la décision de conserver un fait lui revient, après contrôle.

Total prévu : $28 \times 5 = 140$ requêtes.

Total retenu : $28 \times 2 = 56$ requêtes.

Requêtes évitées : $140 - 56 = 84$ requêtes.

Principe : l'usage frugal. On réserve l'IA aux cas où aucune autre solution, moins coûteuse sur le plan écologique, ne répond correctement au besoin ².

Ce principe s'inscrit dans la sensibilisation à l'éducation au développement durable ².

Problème 1 : la collecte dépasse le besoin (photo, date de naissance). Pour une IA utilisée en éducation, le cadre d'usage doit garantir la protection des données ².

Problème 2 : l'absence d'information sur les destinataires et sur l'effacement empêche de savoir ce que deviennent les conversations de l'élève.

Problème d'information : une IA peut fabuler, et un regard critique reste indispensable ⁴. Affirmer qu'elle ne se trompe jamais est donc faux.

Recommandation possible : « Je n'utilise pas cette application telle quelle. Un outil d'éducation doit s'appuyer sur un cadre d'usage éthique et juridique qui protège les données et assure un usage responsable ². Je ne donne que le minimum d'informations, et je vérifie chaque correction avec mon cours. »

Potentialités : gain de temps pour un premier tri, traitement homogène d'un grand nombre de demandes. Ces usages s'accompagnent de risques et de limites, que les institutions ont examinés ³.

Risques : un biais algorithmique peut défavoriser certains élèves si les données reproduisent des stéréotypes ¹, et les données personnelles des candidats doivent être protégées ².

Condition 1 : tester l'outil groupe par groupe avant usage, en comparant les taux d'erreur, comme dans l'exercice 3.

Condition 2 : garder un humain qui prend la décision finale et qui peut corriger le tri.

Condition 3 : informer les élèves de l'usage de l'outil et respecter le cadre d'usage éthique et juridique ².

Position : accepter sous conditions. La formulation doit relier chaque condition à un risque identifié plus haut.