Gestion des risques : Questionnaires d'évaluation des risques

Cette sous-ligne directrice fait partie de la ligne directrice Maîtrise des risques. Se reporter à la ligne directrice principale pour le contexte et une vue d'ensemble.
La présente sous-ligne directrice propose des exemples de questionnaires d'évaluation des risques pouvant être utilisés pour accompagner le processus de maîtrise des risques du parlement dans les trois phases du cycle de vie du système d'IA :

⦁    Autorisation initiale du projet.
⦁    Phase de développement
⦁    Phase opérationnelle

Lorsque les responsables d'une organisation souhaitent soumettre une proposition pour lancer un projet d'IA, dans le cadre d'un partenariat avec le service informatique, ils se concentrent sur le problème que l'IA doit résoudre. À ce stade, les responsables et le service informatique doivent remplir un questionnaire initial, qui peut comprendre les questions suivantes, entre autres :

Objectif et parties prenantes
⦁    Quelle est l'argumentaire du système d'IA proposé et quel problème ce dernier doit-il résoudre ?
⦁    Quelles parties prenantes bénéficieraient de ce projet ? Quels seraient les effets pour ces parties prenantes ?
⦁    Y a-t-il des parties prenantes (internes ou externes) qui pourraient être affectées négativement par ce projet ? Dans l'affirmative, ces effets négatifs pourraient-ils être atténués ou compensés ?

Conformité
⦁    Ce projet sera-t-il en conflit avec les politiques du parlement, ou avec une loi ou une disposition réglementaire ?

Données et confidentialité
⦁    Les propriétaires des données que le système d'IA utilisera ont-ils été identifiés ?
⦁    Le système d'IA utilisera-t-il des données internes ? Dans l'affirmative, une autorisation interne a-t-elle été obtenue pour utiliser les données du parlement à cette fin ?
⦁    Le système d'IA utilisera-t-il des données externes ? Le parlement a-t-il signé un protocole d'accord ou un autre type d'accord avec l'organisation (ou les organisations) propriétaire(s) des données ? 
⦁    Certains groupes sont-ils potentiellement sous-représentés dans les données ?
⦁    Le système d'IA utilisera-t-il des données personnelles ? Existe-t-il un accord ou un mécanisme assorti de garanties appropriées ?
⦁    Les éléments produits par le système d'IA seront-ils mis à la disposition d'utilisateurs externes ?

Copyright
⦁    Des données du parlement devraient-elles être protégées par copyright ?
⦁    Existe-t-il des copyrights ou des conditions contractuelles à respecter ?

Renforcement des capacités et externalisation
⦁    Quelles sont les compétences manquantes au sein du parlement (le cas échéant) pour entreprendre l'acquisition, le développement ou la mise en œuvre du système d'IA ?
⦁    Ce système d'IA sera-t-il développé en interne, acheté en tant que produit commercial ou développé par le biais d'une externalisation ?

Ce deuxième questionnaire doit être rempli par le personnel opérationnel et l'équipe de développement chargée de l'IA au cours de la phase de développement. Si une méthode de développement agile est appliquée, les réponses doivent être examinées pour chaque nouvelle version du système, afin de prendre, en toute connaissance de cause, la décision de poursuivre ou de suspendre – voire d'annuler – le projet. Ce questionnaire pourrait comprendre les questions suivantes, entre autres :

Données et confidentialité
⦁    Les propriétaires des données ont-ils autorisé toutes les actions concernant l'accès aux données et leur traitement ?
⦁    Les données disponibles pour le projet sont-elles suffisantes ?
⦁    La qualité des données est-elle suffisante pour ce projet ? Si ce n'est pas le cas, quels sont les problèmes de qualité des données qui ont été identifiés ?
⦁    Comment le parlement va-t-il améliorer la qualité des données par rapport aux problèmes identifiés ?
⦁    L'utilisation des données à caractère personnel sera-t-elle limitée aux fins pour lesquelles elle a été planifiée/autorisée ?
⦁    Est-il possible de protéger convenablement la vie privée des citoyens ? Sera-t-il possible de ré-identifier les personnes concernées ?

Biais et discriminations
⦁    Existe-t-il des catégories de données sous-représentées ou des biais potentiels dans l'ensemble des données ? Dans l'affirmative, quels problèmes ont été détectés et comment sont-ils atténués ? 
⦁    Si l'IA générative est utilisée, quelles hallucinations doivent être évitées ou limitées dans ce projet ?
⦁    Le système d'IA génèrera-t-il une classification du comportement des personnes ?

Transparence
⦁    Comment les phases de planification, de modélisation, d'évaluation, de test et de déploiement sont-elles étudiées ?
⦁    La documentation utilise-t-elle un langage approprié pour le(s) public(s) cible(s) ?
⦁    Comment les documents démontrent-ils que le modèle répond aux exigences de l'organisation ?
⦁    Comment les documents démontrent-ils que le système d'IA est suffisamment exact ?
⦁    Existe-t-il une interaction directe entre les utilisateurs finaux humains et le système d'IA ? Les utilisateurs sont-ils explicitement informés qu'ils interagissent avec un système d'IA ? 

Sécurité et robustesse
⦁    Le modèle défini présente-t-il des faiblesses ?
⦁    La phase de test présente-t-elle des faiblesses ?
⦁    Le système d'IA est-il résistant aux défaillances potentielles et aux attaques de sécurité ?
⦁    Existe-t-il un plan de déploiement ?
⦁    Existe-t-il une stratégie de retour en arrière ou de reprise après sinistre ?

Une fois qu'un système d'IA est déployé dans un environnement opérationnel, il doit être surveillé en permanence par le personnel en charge des opérations et de l'informatique. À ce stade, ce personnel devrait remplir un troisième questionnaire pour s'assurer que les changements dans les données, les règles d'activité, les tendances sociales et l'environnement opérationnel ont été pris en compte. Ce questionnaire pourrait comprendre les questions suivantes, entre autres :

Autonomie et contrôle humains
⦁    Le système d'IA fait-il l'objet d'un contrôle continu des performances ?
⦁    Le parlement a-t-il établi des critères clairs pour classer les comportements acceptables ou inacceptables des systèmes d'IA ? Dans l'affirmative, le comportement actuel du système d'IA est-il acceptable au regard de ces critères ?
⦁    Le parlement a-t-il mis en place un processus continu pour recueillir les commentaires des utilisateurs sur le comportement du système d'IA ? Dans l'affirmative, le comportement actuel du système d'IA est-il acceptable au regard des retours des utilisateurs ?
⦁    Le parlement a-t-il identifié de nouvelles variables (changements) dans le système d'IA qui n'avaient pas été prises en compte lors de la phase de développement ?

Transparence
⦁    Le processus de suivi des performances et de collecte des retours des utilisateurs fait-il l'objet d'un examen minutieux ?

Les Lignes directrices pour l’IA dans les parlements ont été produites par l’UIP en collaboration avec le Pôle parlementaire sur la science des données du Centre pour l'innovation au parlement de l'UIP. Ce document est soumis à une licence Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International. Il peut être librement partagé et réutilisé en mentionnant l'UIP. Pour plus d'informations sur les travaux de l'UIP en matière d'intelligence artificielle, veuillez consulter le site www.ipu.org/fr/impact/democratie-et-parlements-forts/lintelligence-artificielle ou contacter [email protected].