Risques et biais génériques

Cette ligne directrice de haut niveau est destinée aux hauts fonctionnaires parlementaires, au personnel parlementaire et aux parlementaires désireux de mieux comprendre les risques et biais génériques liés à l'IA.

Cette ligne directrice décrit une série de risques et de biais génériques liés à la mise en œuvre des technologies d'IA, que les parlements devront comprendre avant de s'engager dans des projets et des initiatives d'IA.

Pour une réflexion sur les risques liés plus spécifiquement aux travaux parlementaires, voir la ligne directrice Risques et difficultés pour les parlements.

L'utilisation inappropriée de l'IA peut entraîner des risques à différents niveaux, de la personne jusqu'au monde entier :

• Conséquences involontaires, par exemple le renforcement des biais existants du fait de systèmes biaisés, entraînant un traitement inéquitable des personnes ou des groupes.
• Manque de redevabilité et de transparence – qui sont des facteurs essentiels pour instaurer la confiance des utilisateurs – en raison d'une mauvaise compréhension de la complexité des systèmes d'IA et des processus décisionnels sous-jacents.
• Manipulation de l'opinion publique par l'hypertrucage, la désinformation et la propagande automatisée.
• Création de caisses de résonance amplifiant les opinions biaisées et l'extrémisme.
• Profilage psychologique permettant la manipulation ciblée des personnes.
• Faux contenus pouvant contribuer à éroder la confiance dans les informations authentiques.
• Incitations comportementales pouvant subtilement influer sur les opinions et les actes, souvent sans que les gens en soient pleinement conscients, ce qui risque de saper les processus démocratiques et le discours éclairé.
• Préjudices physiques et psychologiques liés à l'utilisation de systèmes d'IA dans les soins de santé, les véhicules autonomes et l'automatisation industrielle, qui peuvent entraîner des accidents ou des dysfonctionnements.
• Problèmes tels que l'addiction, l'anxiété et la dépression, provoqués par des algorithmes de réseaux sociaux pilotés par l'IA, qui promeuvent des contenus préjudiciables ou créent des comparaisons sociales irréalistes.
• Stress, atteinte à la vie privée et discrimination par l'utilisation de systèmes d'IA pour la surveillance et le profilage, exacerbant les problèmes de santé mentale et les tensions sociales.

L'intégration de l'IA présente de nouveaux types de risques pouvant être mal connus dans les parlements. Il peut s'agir notamment de :

• Manque de connaissances en matière d'IA
• Biais et discriminations
• Atteinte à la vie privée
• Failles de sécurité
• Absence de redevabilité
• Suppression de postes
• Dilemmes éthiques
• IA fantôme
• Pas de souveraineté des données
• Absence de confiance

Pour une discussion plus approfondie sur ces catégories, voir la sous-ligne directrice Risques et biais génériques : Catégories de risques.

Un biais est une différence systématique dans le traitement d'objets, de personnes ou de groupes par rapport à d'autres, entraînant un déséquilibre dans la répartition des données.

Les biais font partie de la vie de chacun. Au début, il s'agit généralement d'habitudes ou d'actes inconscients (biais cognitifs) qui, avec le temps, se transforment en biais techniques (biais de données et biais de traitement). Ce mécanisme accroît ou crée des risques qui peuvent aboutir à des systèmes d'IA non fiables.

Les biais des systèmes d'IA proviennent des biais cognitifs humains, des caractéristiques des données utilisées ou des algorithmes eux-mêmes. Si les systèmes d'IA sont entraînés à partir de données du monde réel, il est possible que les modèles apprennent des biais existants, voire les amplifient.

Dans un contexte statistique, les erreurs des systèmes prédictifs sont la différence entre les valeurs prédites par le modèle et la valeur réelle des variables prises en compte dans l'échantillon. Si l'erreur se produit systématiquement dans une direction ou pour un sous-ensemble de données, un biais peut être identifié dans le traitement des données.

Biais cognitifs

Les biais cognitifs sont des erreurs systématiques de jugement ou de décision courantes chez les êtres humains, dues à des limitations cognitives, des facteurs de motivation et des adaptations accumulées tout au long de la vie. Parfois, les actes révélateurs de biais cognitifs sont inconscients.

Pour une liste de biais cognitifs, voir la sous-ligne directrice Risques et biais génériques : Types de biais cognitifs.

Biais de données

Les biais de données sont un type d'erreur dans lequel certains éléments d'un ensemble de données sont plus fortement pondérés ou représentés que d'autres, ce qui donne une image inexacte de la population. Un ensemble de données biaisé ne représente pas fidèlement le scénario d'utilisation d'un modèle, ce qui entraîne des résultats faussés, de faibles niveaux d'exactitude et des erreurs d'analyse.

Pour une liste de ce type de biais, voir la sous-ligne directrice Risques et biais génériques : Types de biais de données.

Biais de traitement et de validation

Les biais de traitement et de validation résultent d'actions systématiques et peuvent se produire en l'absence de préjugés, de partialité ou d'intention discriminatoire. Au sein des systèmes d'IA, ces biais sont présents dans les processus algorithmiques utilisés pour le développement des applications d'IA.

Pour une liste de ce type de biais, voir la sous-ligne directrice Risques et biais génériques : Types de biais de traitement et de validation.

Les biais cognitifs font partie de la culture de nombreuses sociétés et organisations. Ils sont souvent présents, de manière inconsciente, dans les processus de travail et les décisions qui sous-tendent le fonctionnement des institutions. Au fil des ans, les biais cognitifs se transforment – souvent en combinaison – en biais de données et biais de traitement.

La sous-représentation ou l'omission d'un type particulier de données dans un échantillon peut donc découler d'un ou de plusieurs des facteurs suivants (entre autres) :

• Les systèmes ont été réalisés par des équipes qui, inconsciemment, n'ont pas impliqué d'autres unités de l'organisation en raison de jugements erronés concernant leur participation.
• Des acteurs importants n'ont pas été impliqués dans la conception des systèmes d'entrée des données parce qu'ils avaient un point de vue différent de celui des gestionnaires du projet.
• Les interfaces des systèmes favorisaient les points de vue individuels ou confirmaient les idées préconçues.
• Des bases de données non pertinentes ou incomplètes ont été utilisées pour entraîner des systèmes d'IA, simplement parce qu'elles étaient faciles à obtenir et qu'elles évitaient les négociations entre responsables de différents services.
• Des projets de systèmes d'IA révélant des décisions basées sur des variables inappropriées ont tout de même été lancés afin de justifier les coûts déjà engagés.
• Les développeurs de systèmes d'IA étaient tellement habitués à travailler avec certains modèles qu'ils les ont utilisés dans des situations où ils n'étaient pas appropriés.

Source : Adapté de NIST Special Publication 1270 et de Oxford Catalogue of Bias

Certains biais peuvent multiplier l'impact d'autres biais

Voici quelques exemples de la manière dont les biais cognitifs peuvent influencer et, dans certains cas, aggraver les biais de données ou de traitement dans le contexte parlementaire :

• Le parlement alimente les ensembles de données avec des informations provenant d'enquêtes et de questionnaires remplis uniquement par des personnes partageant la même idéologie politique. Dans ce cas, il est très probable qu'il existe un biais d'affinité. En outre, si cet ensemble de données contient des données telles que “l'opinion concernant un thème spécifique” et qu'il sert à entraîner un algorithme d'IA, il y a de fortes chances que ces biais soient reproduits dans ce système d'IA.
• Le parlement n'utilise que des ensembles de données provenant d'un très petit nombre de réunions de commissions pour entraîner un algorithme d'IA. Dans ce cas, il existe une probabilité de biais d'interprétation, car certains termes peuvent avoir une signification ou une importance différente selon les commissions.
• Le parlement a dépensé tout son budget d'innovation, mais l'équipe de projet n'a pas réussi à trouver le meilleur algorithme d'IA pour résoudre le problème initial. L'équipe met tout de même en place un système d'IA, en le présentant comme une innovation réussie, afin de tenter de justifier les coûts. Il s'agit d'un biais de financement qui aboutit à un système d'IA non fiable.

Comme le montrent les exemples ci-dessous, les outils d'IA générative peuvent combiner tous les biais cognitifs contenus dans un vaste ensemble de données et les exposer directement à l'utilisateur :

• Un outil d'IA générative reproduit les biais à l'encontre des candidates à un poste lorsqu'on lui demande de rédiger des lettres de recommandation. Les lettres pour les candidats utilisent souvent des termes comme “expert” et “intégrité”, tandis que les candidates sont décrites par des termes tels que “beauté” et “charme”.
• Des chercheurs utilisant un outil d'IA générative pour créer des avatars reçoivent des images diversifiées et valorisantes les présentant comme des astronautes et des inventeurs. Cependant, une chercheuse reçoit des avatars sexualisés – notamment des versions seins nus, rappelant des personnages de dessins animés ou de jeux vidéo – qu'elle n'a pas demandés ou pour lesquels elle n'a pas donné son consentement.
• Un système d'IA générative ne parvient pas à créer des images appropriées de personnes handicapées. 

• The State of Data & AI Literacy Report 2024
• Rethinking Privacy in the AI Era: Policy Provocations for a Data-Centric World
• Crowdsourcing Moral Machines
• Embedded ethics: some technical and ethical challenges 
• UNESCO Recommandation sur l’éthique de l’intelligence artificielle
• Oxford Catalogue of Bias
• NIST Special Publication 1270: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence 
• ISO/IEC TR 24027:2021: Technologie de l'information — Intelligence artificielle (IA) — Biais dans les systèmes d’IA et dans la prise de décision assistée par IA

À propos des Lignes directrices | Rôle de l'IA au sein des parlements | Présentation des applications d'IA | Coopération interparlementaire pour l'IA | Actions stratégiques pour la gouvernance de l'IA | Risques et difficultés pour les parlements | Risques et biais génériques | Principes éthiques | Gestion des risques | Adéquation par rapport aux normes et cadres nationaux et internationaux en matière d'IA | Gestion du portefeuille de projets | Gouvernance des données | Développement de systèmes | Gestion de la sécurité | Formation à la maîtrise des données et à la maîtrise l'IA | Glossaire terminologique