Skip to main content

Gestion de la sécurité : Menaces

Image

À propos de cette sous-ligne directrice

Cette sous-ligne directrice fait partie de la ligne directrice Gestion de la sécurité. Elle peut être lue conjointement avec la sous-ligne directrice Gestion de la sécurité : Bonnes pratiques. Se reporter à la ligne directrice principale pour le contexte et une vue d'ensemble. 

Contexte

Les systèmes d'IA apprennent à partir des données qui leur sont fournies et appliquent ensuite des modèles pour prendre des décisions, générer de nouveaux contenus ou réaliser d'autres tâches pour lesquelles ils sont programmés.
C'est pourquoi il est essentiel qu'ils reçoivent des données correctes, épurées et non biaisées (pour une réflexion plus approfondie sur ce sujet, voir la ligne directrice Risques et biais génériques). Toute modification de ces données, qu'elle soit intentionnelle ou non, peut entraîner des conséquences, des résultats (par exemple, un système de gestion budgétaire) ou des comportements (par exemple, une voiture autonome) inattendus. Le résultat final s'apparente à l'enseignement d'un comportement inapproprié ou à la transmission d'informations erronées à un enfant tout au long de sa vie.

Il est également essentiel de surveiller le système qui recevra les données de l'utilisateur, les enverra au système d'IA et renverra ensuite le résultat à l'utilisateur. Dans certains cas, les hackers peuvent exploiter cette chaîne de communication.
Les attaques peuvent survenir à n'importe quelle phase, de la préparation des données, jusqu'au développement, au déploiement ou à l'exploitation des systèmes d'IA (pour plus de détails sur ce sujet, voir la ligne directrice Développement des systèmes). L'ensemble du cycle de vie du système d'IA doit donc être correctement supervisé afin de limiter les comportements inattendus.

Types d'attaques

Il existe neuf types d'attaques courantes contre les systèmes d'IA :
⦁    Attaques adverses
⦁    Attaques par évasion du modèle
⦁    Attaques par transfert
⦁    Attaques par empoisonnement des données
⦁    Attaques par inversion de modèle
⦁    Attaques par inférence d'appartenance
⦁    Attaques par déni de service distribué (DDoS)
⦁    Attaques par manipulation des données
⦁    Attaques par utilisation frauduleuse des assistants d'IA
Chacune de ces attaques est examinée ci-dessous.

Attaques adverses

Figure 1 : Exemples d'attaques adverses

Une attaque adverse implique qu'un hacker manipule les données d'entrée d'un système d'IA afin que celui-ci produise des réponses inexactes, inattendues ou erronées. Plus le hacker dispose d'informations sur le système d'IA (en particulier sur le modèle d'IA utilisé), plus l'attaque sera facile. Ce type d'attaque vise souvent les systèmes de reconnaissance d'images par l'IA, en faisant en sorte que le système reconnaisse incorrectement une image – par exemple, un chien est reconnu comme un tigre ou, pire encore, une personne est reconnue comme un animal. Les changements subtils de l'image ne sont pas facilement reconnaissables par l'œil humain, ce qui rend le problème encore plus difficile à résoudre dans certaines circonstances. D'un point de vue parlementaire, un hacker pourrait cibler un système de vote utilisant la technologie de reconnaissance faciale, ce qui lui permettrait de voter en se faisant passer pour un parlementaire.


Attaques par évasion du modèle

Figure 2 : Diagramme d'une attaque par évasion du modèle

Une attaque par évasion du modèle est considérée comme étant un type spécifique d'attaque adverse. Dans ce cas, le hacker modifie intentionnellement les données d'entrée afin d'échapper à la détection ou à la classification de l'IA. Par exemple, le hacker peut modifier la façon dont un courriel non sollicité est rédigé pour éviter d'être détecté par le système anti-spam de l'IA. Ainsi, un message malveillant peut parvenir à un utilisateur normal, lequel peut cliquer sur un faux lien et permettre à un hacker d'accéder au réseau d'une organisation.
Attaques par transfert
Une attaque par transfert se produit lorsqu'un hacker utilise des attaques de type adverse développées pour un modèle afin de tromper d'autres modèles. Les conséquences sont les mêmes que pour une attaque adverse.

Attaques par empoisonnement des données

Figure 3 : Diagramme d'une attaque par empoisonnement des données

Dans une attaque par empoisonnement des données, le hacker ajoute des données à l'ensemble de celles utilisées pour entraîner un modèle d'IA. Le modèle apprendra à partir d'informations incorrectes, ce qui l'amènera à prendre de mauvaises décisions. Par exemple, un système pourrait diagnostiquer à tort un patient en bonne santé comme étant atteint d'un cancer mortel ou, pire encore, diagnostiquer à tort un patient atteint d'un cancer comme étant en bonne santé, l'empêchant ainsi de recevoir un traitement approprié. Dans un contexte parlementaire, une proposition pourrait être transmise à la mauvaise commission pour discussion.

Attaques par inversion de modèle

Figure 4 : Diagramme d'une attaque par inversion de modèle


Dans des circonstances normales, un modèle d'IA apprend à partir des données d'entrée et produit une sortie sur cette base. L'objectif d'une attaque par inversion de modèle est d'utiliser la sortie comme moyen de déduire les données d'entrée. Ainsi, le hacker peut accéder à des informations confidentielles ou privées qui ont servi à entraîner le modèle. Par exemple, le hacker pourrait obtenir le résultat de l'analyse sanguine d'un patient spécifique ou accéder à des données plus sensibles. Dans un contexte parlementaire, si un modèle d'IA est entraîné sur les données d'un scrutin secret, un hacker peut obtenir des informations sur le vote d'un parlementaire.

Attaques par inférence d'appartenance

Figure 5 : Diagramme d'une attaque par inférence d'appartenance


Dans le cadre d'une attaque par inférence d'appartenance, un hacker cherche à savoir si des enregistrements individuels de données ont servi à entraîner le modèle d'IA. Comme dans le cas d'une attaque par inversion de modèle, le hacker peut déduire des informations sensibles. Par exemple, un système d'IA entraîné sur des informations financières pourrait révéler les antécédents financiers d'une personne.

Attaques par déni de service distribué (DDoS)

Figure 6 : Diagramme d'une attaque DdoS


Lors d'une attaque DDoS, un hacker inonde un système – y compris un système d'intelligence artificielle – d'un nombre trop important de requêtes. L'objectif est de faire en sorte que le système cesse de fonctionner, empêchant toute réponse ou, du moins, le rendant si lent que les utilisateurs s'en détourneront. Cela entraîne souvent des pertes financières et une atteinte à la réputation de l'organisation qui gère le service. Dans un contexte parlementaire, un hacker pourrait faire tomber le chatbot IA conçu pour répondre aux questions des citoyens lors d'une séance plénière consacrée à un thème largement soutenu par l'opinion publique.

Attaques par manipulation des données

Dans une attaque par manipulation des données, le hacker modifie les données d'entrée (souvent une petite modification) dans le but de générer des prédictions inexactes. Par exemple, un système d'IA qui identifierait normalement facilement un cas de fraude peut considérer ce cas comme une transaction régulière si le hacker apporte des modifications mineures aux données d'entrée.

Attaques par utilisation frauduleuse des assistants d'IA

L'utilisation d'assistants d'IA (par exemple les chatbots ou les applications intégrées aux appareils courants de communication) augmente à mesure que ces systèmes deviennent plus avancés. Il est donc essentiel de s'assurer qu'un processus bien pensé est en place pour sélectionner et assainir l'ensemble des données d'entraînement, éviter les biais, sélectionner le bon modèle pour l'application, traiter les questions de sécurité pendant le développement et surveiller l'utilisation de l'application.

Dans un contexte parlementaire, un greffier pourrait utiliser un assistant d'IA (tel que celui préinstallé sur son téléphone portable) pour l'aider dans ses tâches quotidiennes. Toutefois, les résultats produits par cet assistant pourraient être biaisés en fonction des préférences politiques ou autres du greffier.

Le problème peut s'aggraver si l'assistant d'IA est attaqué par un groupe ayant des préférences particulières sur un sujet dont le parlement pourrait débattre, surtout si ce sujet est sensible. De même, si le parlement décide de développer un assistant d'IA pour aider les citoyens sur les questions législatives, cet assistant doit être considéré comme une cible pour les cyberattaques, notamment parce que son public est souvent inconnu. Dans ce cas, les invites doivent au moins être nettoyées avant d'être soumises comme entrées au modèle d'IA, de même que comme entrées de tout autre système doté d'IA.


Les Lignes directrices pour l’IA dans les parlements ont été produites par l’UIP en collaboration avec le Pôle parlementaire sur la science des données du Centre pour l'innovation au parlement de l'UIP. Ce document est soumis à une licence Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International. Il peut être librement partagé et réutilisé en mentionnant l'UIP. Pour plus d'informations sur les travaux de l'UIP en matière d'intelligence artificielle, veuillez consulter le site www.ipu.org/fr/impact/democratie-et-parlements-forts/lintelligence-artificielle ou contacter [email protected].