Risques et biais génériques : Types de biais cognitifs

Cette sous-ligne directrice fait partie de la ligne directrice Risques et biais génériques. Se reporter à la ligne directrice principale pour le contexte et une vue d'ensemble. Pour une réflexion sur les risques liés plus spécifiquement aux travaux parlementaires, voir la ligne directrice Risques et difficultés pour les parlements.

Cette sous-ligne directrice traite des biais cognitifs, qui sont des erreurs systématiques de jugement ou de décision courantes chez les êtres humains, dues à des limitations cognitives, des facteurs de motivation et des adaptations accumulées tout au long de la vie. Parfois, les actes révélateurs de biais cognitifs sont inconscients.
 

On parle de biais d'automatisation lorsque les conclusions tirées des algorithmes sont plus valorisées que les analyses humaines. Par exemple, les gens suivent souvent aveuglément les systèmes de navigation par satellite et arrivent au mauvais endroit, ou traversent des rues dangereuses et mettent leur vie en danger. 
 

Le biais de représentativité se réfère à la croyance que ce qui est valable pour un individu est valable pour tous. C'est le cas lorsque les gens citent des stéréotypes sur des professions en affirmant par exemple que “tous les avocats sont manipulateurs” ou que “tous les artistes sont excentriques”.

Les biais implicites désignent la pratique par laquelle on associe inconsciemment des situations à un modèle mental de représentation de cette situation. Par exemple, les gens supposent souvent qu'un collègue plus jeune n'a pas assez d'expérience pour être un bon responsable, ou qu'un employé plus âgé n'est pas capable d'acquérir de nouvelles compétences.
 

Il y a favoritisme intragroupe lorsqu'une personne agit avec partialité à l'égard des aspects existants du groupe auquel elle appartient. Par exemple, les gens peuvent systématiquement recommander quelqu'un de leur “groupe” pour un emploi et les fans de sport considèrent toujours leur équipe comme la meilleure.
 

Le favoritisme envers l'exogroupe renvoie au fait de favoriser des groupes extérieurs au groupe auquel on appartient. Par exemple, un responsable qui ne reconnaît pas les talents disponibles dans sa propre équipe se tournera toujours vers quelqu'un d'une autre équipe pour obtenir des conseils ou du soutien.
 

Il y a biais d'affinité lorsqu'une personne préfère les gens qui lui ressemblent en termes d'idéologie, d'attitudes, d'apparence ou de religion. Par exemple, un responsable du recrutement peut préférer, à d'autres candidats qualifiés, un candidat qui a fréquenté la même université que lui.
 

On parle de biais social quand de nombreuses personnes d'une société ou d'une communauté partagent le même biais. Les exemples les plus simples sont la religion et la politique. Certaines personnes sont tellement enfermées dans un système de croyances qu'elles sont incapables de voir les deux côtés d'un débat. Elles ne recherchent que les informations qui soutiennent leurs convictions et nient tout ce qui les contredit, démontrant ainsi leur parti pris dans chacune de leurs actions.
 

Le biais des règles et des systèmes fait référence au fait que, lorsque les développeurs sont habitués à des règles particulières intégrées dans des systèmes, ils essaient de reproduire les mêmes règles pour représenter d'autres situations. Par exemple, les développeurs choisissent parfois des solutions basées sur des exemples dont ils se souviennent facilement. Des études en situation contrôlée de laboratoire ont identifié les effets néfastes de biais cognitifs spécifiques sur plusieurs aspects du développement de logiciels tels que la densité des défauts, la spécification des exigences, l'originalité de la conception et la conception des fonctionnalités.

Le biais lié aux exigences renvoie à l'hypothèse selon laquelle toutes les personnes ou situations peuvent répondre, ou répondent, aux mêmes exigences techniques (matériel et/ou logiciel). Il s'agit d'un sous-ensemble du “biais des règles et des systèmes”.
 

Il y a biais d'ancrage lorsque les gens s'appuient trop sur des informations préexistantes, ou sur les premières informations qu'ils trouvent, lorsqu'ils prennent des décisions. Par exemple, si quelqu'un voit un ordinateur qui coûte 5 000 EUR, puis un deuxième qui coûte 2 000 EUR, il est probable qu'il considérera le deuxième ordinateur comme bon marché. Ce type de biais peut avoir un impact sur les décisions d'approvisionnement.

Le biais de disponibilité est un raccourci mental par lequel les gens ont tendance à accorder trop d'importance à ce qui est facilement “disponible” – c'est-à-dire ce qui leur vient facilement ou rapidement à l'esprit – lorsqu'ils émettent des jugements et prennent des décisions. Par exemple, les gens se souviennent d'événements marquants comme les accidents d'avion plutôt que d'incidents plus courants comme les accidents de voiture, bien que ces derniers soient beaucoup plus fréquents. Ils surestiment donc souvent la probabilité qu'un avion s'écrase et peuvent même choisir de conduire plutôt que de prendre l'avion, même s'ils sont beaucoup plus susceptibles d'être impliqués dans un accident de la route. Ce type de biais peut se produire lorsque le personnel de l'entreprise décrit les règles de l'entreprise aux développeurs.
 

Le biais de confirmation renvoie au fait que les gens ont tendance à préférer les informations qui confirment leurs croyances. Ce biais influe sur la manière de concevoir et de mener des enquêtes, des entretiens ou des groupes de discussion, et d'analyser la concurrence. En fait, les gens construisent leurs questions de manière à obtenir les réponses qu'ils souhaitent. Par exemple, si quelqu'un entre la question “Les chiens sont-ils meilleurs que les chats ?” dans un moteur de recherche en ligne, les articles qui plaident en faveur des chiens apparaîtront en premier. À l'inverse, la question “Les chats sont-ils meilleurs que les chiens ?” donnera des résultats en faveur des chats. Cela s'applique à deux variables quelconques : le moteur de recherche “suppose” que la personne pense que la variable A est meilleure que la variable B, et lui montre d'abord les résultats qui correspondent à son opinion.

On parle de biais d'interaction avec l'utilisateur si ce dernier impose ses propres biais et comportements quand il interagit avec des données, des éléments produits ou des résultats. Par exemple, si un système est entraîné à l'aide d'un flux de données provenant d'une discussion de groupe en direct, ce flux instille les biais qui existent dans ce groupe.
 

La pensée de groupe fait référence au fait que les membres d'un groupe ont tendance à prendre des décisions non optimales en raison de leur désir de se conformer au groupe ou par crainte d'être en désaccord. Par exemple, si le responsable d'un groupe demande à tout le monde d'empêcher l'adhésion des personnes issues d'une ethnie particulière, les membres du groupe acceptent cette décision sans la remettre en question.
 

Il y a biais de financement si des résultats biaisés sont communiqués dans le but de soutenir ou de satisfaire l'organisation qui finance un travail de recherche. Par exemple, une étude publiée dans une revue scientifique a montré que les boissons contenant du sirop de maïs à haute teneur en fructose n'augmentaient pas la graisse du foie ou le dépôt ectopique de graisse dans les muscles. Cependant, la section “remerciements” précise que l'un des chercheurs a reçu un financement d'une grande société de boissons non alcoolisées. Il est donc possible que les résultats aient été faussés pour donner une image positive de l'organisme de financement.

L'erreur des coûts irrécupérables est une tendance humaine à poursuivre une entreprise ou un comportement parce que des ressources telles que l'argent, le temps ou les efforts ont déjà été investies, indépendamment du fait que les coûts l'emportent ou non sur les avantages. Par exemple, dans le domaine de l'IA, une organisation qui a déjà investi beaucoup de temps et d'argent dans une application d'IA particulière la poursuivra jusqu'à la commercialisation plutôt que de décider d'annuler le projet, même si elle est confrontée à une dette technique ou éthique importante.

L'effet Rashomon est un terme dérivé d'un film japonais classique de 1950, Rashomon, qui aborde le concept de la réalité subjective et de la nature de la vérité en présentant des récits différents d'un même événement du point de vue de plusieurs personnages. Ce biais se produit lorsqu'il y a des différences de perspective, de mémoire et de souvenir, d'interprétation et de communication sur le même événement de la part de plusieurs témoins. Par exemple, les personnes qui ont assisté à une réunion d'une commission législative peuvent avoir des perceptions différentes du débat et, par conséquent, proposer un résumé différent de l'événement.
 

L'effet de réverbère fait référence au fait que les gens ont tendance à ne chercher que là où c'est le plus facile, par exemple lorsque des spécialistes des données développent un algorithme d'IA en n'utilisant qu'un petit ensemble de données (c'est-à-dire uniquement les données auxquelles ils ont accès), au lieu de rechercher des données plus complètes auprès d'autres organisations.

Le biais de classement est une forme de biais d'ancrage. Il s'agit du fait que, dans une liste de résultats de moteur de recherche, les gens pensent que les résultats les mieux classés sont les plus pertinents et les plus importants. Ils auront toujours tendance à cliquer davantage sur le premier résultat que sur les autres, même si les résultats sont classés de manière aléatoire.

L'erreur écologique consiste à tirer des conclusions sur des personnes à partir de données recueillies au niveau d'un groupe. Par exemple, si un quartier spécifique a un taux de criminalité élevé, les gens peuvent supposer que tout habitant de ce quartier est susceptible de commettre un crime.

Le biais de survie consiste à se concentrer sur les éléments, observations ou personnes qui “survivent” (c'est-à-dire qui passent un processus de sélection), tout en négligeant ceux qui ne survivent pas. Par exemple, en n'évaluant que les entreprises et les fonds communs de placement “survivants”, les analystes enregistrent des informations financières et d'investissement positivement biaisées, en omettant les nombreuses entreprises qui ont échoué bien qu'elles présentaient des caractéristiques similaires à celles des entreprises qui ont réussi.

Les Lignes directrices pour l’IA dans les parlements ont été produites par l’UIP en collaboration avec le Pôle parlementaire sur la science des données du Centre pour l'innovation au parlement de l'UIP. Ce document est soumis à une licence Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International. Il peut être librement partagé et réutilisé en mentionnant l'UIP. Pour plus d'informations sur les travaux de l'UIP en matière d'intelligence artificielle, veuillez consulter le site www.ipu.org/fr/impact/democratie-et-parlements-forts/lintelligence-artificielle ou contacter [email protected]