Risques et biais génériques : Types de biais de traitement et de validation

Cette sous-ligne directrice fait partie de la ligne directrice Risques et biais génériques. Se reporter à la ligne directrice principale pour le contexte et une vue d'ensemble. Pour une réflexion sur les risques liés plus spécifiquement aux travaux parlementaires, voir la ligne directrice Risques et difficultés pour les parlements.

Cette sous-ligne directrice traite des biais de traitement et de validation qui résultent d'actions systématiques et peuvent se produire en l'absence de préjugés, de partialité ou d'intention discriminatoire. Au sein des systèmes d'IA, ces biais sont présents dans les processus algorithmiques utilisés pour le développement des applications d'IA.
 

Le biais d'agrégation survient lorsqu'un modèle suppose une approche unique pour différents groupes démographiques qui, en réalité, peuvent avoir des caractéristiques ou des comportements différents.
 

Le biais d'amplification se produit lorsque plusieurs systèmes d'IA, chacun avec des biais distincts influencés par leurs données d'apprentissage et leur programmation, interagissent et renforcent mutuellement leurs biais, ce qui conduit à un biais plus prononcé et plus persistant que dans le cas d'un seul système.

Par exemple, un système entraîné sur des données historiques d'embauche, dans lesquelles les candidats masculins ont été majoritairement sélectionnés, favorise involontairement des candidats masculins lors de la sélection des CV. Un autre système d'IA, chargé d'évaluer les performances, a été entraîné à partir de données où les femmes employées étaient souvent moins bien notées en raison de préjugés humains latents. Lorsque ces deux systèmes interagissent, le système d'IA d'embauche peut proposer un plus grand nombre de candidats masculins, tandis que le système d'IA d'évaluation des performances continue à juger plus sévèrement les employées.
 

Le biais de déploiement – qui est peut-être plutôt une défaillance opérationnelle qu'un biais – se produit lorsqu'un système qui fonctionne bien dans un environnement de test donne de mauvais résultats lorsqu'il est déployé dans le monde réel, en raison des différences entre les deux environnements.
 

Le biais d'évaluation est un type de discrimination dans lequel les méthodes appliquées pour évaluer les performances d'un système d'IA sont biaisées, ce qui conduit à des évaluations incorrectes du fonctionnement du système.
 

Il y a biais d'exclusion ou d'échantillonnage lorsque des groupes spécifiques de populations d'utilisateurs sont exclus des tests et des analyses ultérieures.
 

Le biais de la boucle de rétroaction se produit lorsque la sortie d'un système d'IA influence ses entrées futures, ce qui peut renforcer et amplifier au fil du temps les biais existants.

Le biais de sélection de modèle est un terme technique désignant la confusion entre les analyses statistiques exploratoires et celles de test d'hypothèses. Si des données sont utilisées pour sélectionner le modèle le mieux adapté parmi un ensemble de candidats, ces mêmes données ne peuvent pas servir à tester des hypothèses sur la valeur des paramètres estimés du modèle le mieux adapté.

On parle de biais d'optimisation lorsque la fonction objective d'un système d'IA est définie d'une manière qui entraîne des conséquences involontaires ou des résultats injustes. 

Le biais de surajustement fait référence à une situation dans laquelle un modèle est trop complexe et s'adapte trop étroitement aux données d'apprentissage, incorporant potentiellement du bruit ou des valeurs aberrantes qui ne représentent pas les véritables schémas des données. Inversement, un biais de sous-ajustement se produit si le modèle est trop simple pour cerner les véritables schémas des données, ce qui entraîne de mauvaises performances et des résultats potentiellement biaisés.

Un biais de proxy se produit si les variables utilisées comme proxies des attributs protégés (tels que la race ou le sexe) introduisent un biais dans le modèle.

Un biais temporel se produit si les données d'apprentissage deviennent obsolètes et ne représentent plus les réalités actuelles, ce qui entraîne des prédictions biaisées. Bien que cela puisse être considéré comme un biais de données, il s'agit également d'un biais de traitement/validation car il se produit souvent lorsque les systèmes ne prennent pas en compte les aspects temporels du processus de validation des données, ou lorsque le processus de mise à jour et de validation des modèles ne tient pas compte de manière adéquate des changements au fil du temps dans la répartition sous-jacente des données.

Les Lignes directrices pour l’IA dans les parlements ont été produites par l’UIP en collaboration avec le Pôle parlementaire sur la science des données du Centre pour l'innovation au parlement de l'UIP. Ce document est soumis à une licence Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International. Il peut être librement partagé et réutilisé en mentionnant l'UIP. Pour plus d'informations sur les travaux de l'UIP en matière d'intelligence artificielle, veuillez consulter le site www.ipu.org/fr/impact/democratie-et-parlements-forts/lintelligence-artificielle ou contacter [email protected]