De l'automatisation des tâches manuelles à la réponse avancée aux menaces, l'intelligence artificielle n'est pas seulement un ajout à la boîte à outils de la cybersécurité — elle devient rapidement la colonne vertébrale d'une nouvelle ère de défense numérique. Mais bien que l'IA offre des opportunités significatives en termes d'efficacité, elle introduit également une gamme de risques que les organisations doivent naviguer.

En réponse aux menaces et opportunités posées par les technologies d'IA, le National Institute of Standards and Technology (NIST) a élaboré le Cadre de gestion des risques liés à l'intelligence artificielle (AI RMF). Ce cadre est destiné à aider les organisations à concevoir, développer, déployer et utiliser les systèmes d'intelligence artificielle de manière responsable et éthique.

Dans cet article, nous passerons en revue les différents aspects du NIST AI RMF, ses ressources complémentaires, le NIST AI RMF Playbook et le NIST AI RMF Generative AI Profile, et expliquerons comment les organisations peuvent appliquer le cadre pour guider l'utilisation de leurs systèmes d'IA.

Comprendre le cadre de gestion des risques liés à l'intelligence artificielle du NIST

Les risques posés par les systèmes d'IA sont différents des risques posés par les systèmes logiciels traditionnels. Non seulement ces risques sont uniques et complexes, mais ils peuvent avoir des conséquences étendues et significatives pour les individus, les organisations, les communautés et la société civile.

Par exemple, les modèles d'IA peuvent être entraînés sur des ensembles de données qui évoluent avec le temps, affectant ainsi la fonctionnalité de manière difficile à comprendre. Et parce que les systèmes d'IA nécessitent si souvent des interactions humaines, ils sont aussi influencés par le comportement humain et les dynamiques sociales.

La fonctionnalité d'un système d'IA peut être influencée de manière significative par des facteurs tels que :

• Comment le système est-il utilisé ?
• Interacte-t-il avec d'autres systèmes d'IA ?
• Qui l'exploite ?
• Quel est le contexte social ou organisationnel dans lequel il est déployé ?

Une bonne compréhension de ces risques peut aider les organisations à bien comprendre et à tenir compte des limitations des technologies d'IA, améliorant ainsi les performances, la fiabilité et la probabilité que l'IA soit utilisée de manière bénéfique. Le cadre de gestion des risques liés à l'IA du NIST offre une méthode structurée pour que les organisations acquièrent une compréhension appropriée des risques.

Publié pour la première fois en janvier 2023, NIST AI RMF 1.0 est un cadre volontaire pour aider les organisations de tous les secteurs et industries à concevoir, développer, déployer et utiliser les systèmes d'IA de manière responsable et éthique. Il offre des lignes directrices pour le développement et le déploiement des technologies d'IA afin que la société puisse bénéficier des nombreuses opportunités offertes par l'IA tout en se protégeant contre les dommages potentiels.

Les avantages de la mise en œuvre du NIST AI RMF

De nombreux aspects de l'intelligence artificielle sont en évolution, des technologies et algorithmes eux-mêmes à la manière dont les organisations et les individus les perçoivent et les utilisent. Le NIST reconnaît que le AI RMF est un nouveau cadre, et son efficacité pratique reste en grande partie à évaluer.

Cela dit, le cadre est le résultat de plusieurs années de collaboration entre experts de l'industrie, et les organisations qui mettent en œuvre le AI RMF devraient voir une gamme d'avantages.

• Amélioration des processus de gouvernance de l'IA, y compris la cartographie, la mesure et la gestion des risques liés à l'IA
• Une culture organisationnelle qui comprend mieux les risques liés aux systèmes d'IA et leur impact potentiel, ainsi que qui priorise l'identification et la gestion des risques liés à l'IA
• Amélioration de la sensibilisation aux relations entre les caractéristiques de fiabilité de l'IA, les approches sociotechniques et les risques liés à l'IA
• Processus définis pour décider quand commander/déployer des systèmes d'IA — et quand ne pas le faire
• Processus, politiques et pratiques définis pour améliorer la responsabilité organisationnelle concernant les risques des systèmes d'IA
• Partage d'informations amélioré au sein et entre les organisations concernant les risques de l'IA
• Connaissance contextuelle et sensibilisation accrues aux risques en aval
• Engagement et communauté renforcés parmi les « acteurs de l'IA » (terme générique de NIST pour les individus et organisations impliqués ou impactés par les systèmes d'IA, comme les développeurs, déployeurs, utilisateurs finaux, tiers affectés et régulateurs/législateurs)
• Meilleure capacité pour les tests, l'évaluation, la vérification et la validation (TEVV) des systèmes et risques d'IA

Définir les caractéristiques de l'IA digne de confiance

Le but du Cadre de gestion des risques liés à l'intelligence artificielle du NIST est d'aider les organisations à développer et déployer des « systèmes d'IA dignes de confiance » — une IA qui soit éthique, fiable et en accord avec les valeurs et normes sociétales.

Selon le NIST AI RMF, une IA digne de confiance possède les caractéristiques suivantes :

• Valide et fiable : les systèmes d'IA doivent fonctionner de manière cohérente dans diverses conditions et être résilients aux attaques, échecs et autres perturbations. Ils doivent maintenir leur fonctionnalité et fournir des résultats fiables même dans des environnements changeants ou difficiles.
• Sûre, sécurisée et résiliente : les systèmes d'IA doivent intégrer des mesures de sécurité robustes pour prévenir les accès et manipulations non autorisés. Ils doivent être sûrs à utiliser, minimisant les risques pour les individus et les communautés et assurant qu'ils ne causent pas de dommages involontaires.
• Responsable et transparent : les systèmes d'IA doivent avoir des mécanismes en place qui garantissent la responsabilité pour les résultats des décisions prises par l'IA. Cela inclut une documentation claire des processus de prise de décision et des parties responsables identifiables pour la conception, le déploiement et l'exploitation des systèmes d'IA.
• Explicable et interprétable : il doit y avoir de la transparence dans le fonctionnement des systèmes d'IA, avec une explication des décisions intégrée au processus. Les parties prenantes doivent pouvoir comprendre comment et pourquoi un système d'IA a atteint une décision particulière, permettant une évaluation plus facile et une confiance dans le système.
• Respect de la vie privée : les systèmes d'IA doivent être conçus pour respecter la vie privée des utilisateurs, en mettant en place des mesures de protection des données qui empêchent l'utilisation abusive des informations personnelles. Ils doivent être conformes aux lois et règlementations sur la protection de la vie privée applicables.
• Équitable, avec biais préjudiciable géré : des efforts doivent être faits pour minimiser les biais dans les processus de prise de décision de l'IA. Les systèmes d'IA doivent être conçus et surveillés pour garantir un traitement équitable de toutes les personnes, sans discrimination.

Ces caractéristiques sont alignées avec les principes plus larges de l'IA éthique et sont conçues pour renforcer la confiance parmi les utilisateurs, développeurs, déployeurs et le grand public affecté par les systèmes d'IA. En incorporant ces caractéristiques, les organisations peuvent s'assurer que leurs systèmes d'IA ne sont pas seulement efficaces et efficients, mais également développés avec un focus sur le bien-être humain, augmentant plutôt que remplaçant la prise de décision humaine.

Les fonctions principales du NIST AI RMF

Développer et utiliser des systèmes d'IA de manière responsable nécessite des contrôles appropriés pour atténuer et gérer les résultats indésirables. Le cœur du cadre décrit quatre fonctions conçues pour aider les organisations à faire face aux risques des systèmes d'IA : gouverner, cartographier, mesurer et gérer.

Gouverner

Cette fonction centrale se concentre sur l'établissement et le maintien de structures de gouvernance qui garantissent une surveillance efficace et une responsabilité pour les systèmes d'IA. Cela inclut la définition de rôles et de responsabilités clairs, la fixation d'objectifs pour la gouvernance de l'IA et l'assurance de la conformité aux lois et réglementations pertinentes. Elle met l'accent sur l'importance des considérations éthiques et de l'engagement des parties prenantes dans le processus de gouvernance.

Par exemple :

• L'organisation comprend-elle ses obligations légales et réglementaires concernant l'IA ?
• L'organisation prend-elle des mesures pour s'assurer que les caractéristiques d'une IA digne de confiance sont intégrées dans ces politiques et processus ?
• Existe-t-il des processus formels de gestion des risques et d'évaluation des risques, avec des rôles et des responsabilités définis ? Sont-ils périodiquement révisés et mis à jour ?
• Comment les risques sont-ils documentés et communiqués ?
• Les systèmes d'IA sont-ils inventoriés et existe-t-il un processus de mise hors service des systèmes d'IA en toute sécurité ?

Cartographier

La fonction centrale de cartographie implique de comprendre et d'évaluer l'écosystème de l'IA, y compris les sources de données, les modèles d'IA et l'environnement dans lequel l'IA opère. Elle nécessite l'identification et la documentation du flux de données, de la fonctionnalité des systèmes d'IA et de leurs interactions avec les utilisateurs et d'autres systèmes. Cette fonction est cruciale pour évaluer les risques potentiels et les vulnérabilités dans les opérations de l'IA.

Par exemple :

• L'organisation comprend-elle parfaitement comment le système d'IA sera déployé par les divers utilisateurs ? Quels sont les impacts positifs et négatifs potentiels du système ?
• Les implications socio-techniques sont-elles prises en compte lors de l'évaluation des risques de l'IA ?
• L'organisation a-t-elle une mission et des objectifs définis pour la technologie de l'IA, et sont-ils documentés et communiqués ?
• L'organisation a-t-elle une tolérance au risque pour l'IA définie et documentée ?
• Existe-t-il des processus de surveillance humaine définis et documentés ?

Mesurer

Cette fonction vise à évaluer la performance des systèmes d'IA et leur conformité aux objectifs et exigences définis. Elle implique l'établissement de mesures et de repères pour la performance, la sécurité et la fiabilité de l'IA. La mesure comprend également la surveillance de l'opération continue des systèmes d'IA pour détecter et répondre aux écarts par rapport à la performance ou au comportement attendu.

Par exemple :

• Comment la performance du système d'IA est-elle mesurée ? Quels ensembles de tests ou mesures sont utilisés ? Ces mesures incluent-elles les retours des utilisateurs finaux et des communautés affectées ?
• Le système d'IA est-il régulièrement évalué pour les risques de sécurité ? Comment la performance est-elle surveillée ?
• Le modèle d'IA est-il expliqué, validé et documenté afin qu'il puisse être utilisé de manière responsable ?
• Les risques pour la vie privée, l'équité et les biais, ainsi que pour l'environnement sont-ils documentés ?
• Existe-t-il des processus et un personnel en place pour identifier et suivre les risques d'IA existants, nouveaux et/ou inattendus ?

Gérer

La fonction de gestion consiste à mettre en œuvre des stratégies pour répondre aux risques identifiés dans les fonctions de cartographie et de mesure. Elle inclut le développement de plans de réponse aux risques, la mise en œuvre de contrôles pour atténuer les risques identifiés et l'assurance de l'amélioration continue des systèmes d'IA grâce à des mises à jour et des raffinement. Cette fonction couvre également les stratégies de réponse aux incidents et de récupération pour gérer les échecs ou les violations potentielles de l'IA.

Par exemple :

• Les risques d'IA documentés sont-ils priorisés en fonction de l'impact, de la probabilité et des ressources disponibles ?
• Y a-t-il des réponses aux risques documentées pour les risques d'IA prioritaires (c'est-à-dire atténuation, transfert, évitement ou acceptation) ? Les risques en aval non atténués sont-ils documentés et communiqués ?
• Existe-t-il des mécanismes pour remplacer, désactiver ou désengager les systèmes d'IA qui montrent des performances ou des résultats incohérents avec l'utilisation prévue ?
• Les incidents et erreurs sont-ils communiqués aux acteurs de l'IA pertinents et aux communautés affectées ?

Selon l'AI RMF, la gestion des risques n'est pas un événement ponctuel, mais un processus continu réalisé tout au long du cycle de vie du système d'IA. Ces quatre fonctions sont conçues pour être adaptables et applicables à différents types d'organisations et d'applications d'IA, fournissant une approche structurée, holistique et continue pour la gestion des risques de l'IA.

Le NIST a publié une feuille de route qui décrit les activités futures pour évaluer l'efficacité de l'AI RMF, insistant sur le fait que l'amélioration et l'itération du cadre est un processus collaboratif qui nécessite des retours continus des organisations ainsi que des acteurs et des parties prenantes de l'IA.

Le cadre de l'IA devrait être officiellement examiné et révisé au plus tard en 2028.

L'approche NIST pour construire une solide gouvernance de l'IA

Le NIST AI RMF met fortement l'accent sur la gouvernance de l'IA en tant qu'élément fondamental pour gérer le déploiement et le fonctionnement des systèmes d'IA. Les activités suivantes sont recommandées pour établir et maintenir de solides pratiques de gouvernance de l'IA :

Dans l'ensemble, le NIST AI RMF souligne l'idée que la gouvernance efficace de l'IA est dynamique, évoluant au fur et à mesure que de nouveaux défis et perspectives apparaissent dans le domaine de l'IA.

Mise en pratique : le manuel d'utilisation NIST AI RMF

Le manuel d'utilisation NIST AI RMF est une ressource supplémentaire conçue pour aider les organisations à naviguer dans l'AI RMF et à le mettre en pratique. Ce n'est pas une liste de contrôle ni un ensemble d'exigences strictes, mais plutôt des actions suggérées que les organisations peuvent entreprendre pour guider leur mise en œuvre du cadre et les aider à en tirer le meilleur parti.

Le manuel est divisé en sections pour chacune des quatre fonctions principales et leurs sous-catégories.

Par exemple, la section sur Govern 1.1 donne une explication détaillée du principe : « Les exigences légales et réglementaires impliquant l'IA sont comprises, gérées et documentées. » Cela fournit un contexte plus approfondi sur pourquoi ce principe est important et ses défis, tels que les exigences réglementaires complexes, les processus de test disparates des systèmes d'IA pour les biais, et les expériences utilisateur différentes (comme les utilisateurs avec des handicaps ou des déficiences qui pourraient affecter leur utilisation du système d'IA).

Le manuel propose ensuite une série d'actions suggérées, telles que l'établissement de rôles spécifiques pour surveiller le paysage juridique et réglementaire, l'alignement des efforts de gestion des risques avec les exigences applicables, et la formation continue pour garantir que le personnel reste à jour avec les réglementations pouvant impacter la conception, le développement et le déploiement de l'IA.

En plus des actions suggérées, le manuel offre des conseils sur la documentation spécifique que les organisations peuvent maintenir et partage des ressources applicables. Par exemple :

• L'organisation a-t-elle identifié et clairement documenté toutes les règles légales et les normes minimales qu'elle doit suivre ?
• Un contrôle approfondi a-t-il été effectué pour s'assurer que le système répond à toutes les lois, réglementations, normes et directives pertinentes ?

En tout, le manuel comprend plus de 140 pages de conseils et de ressources supplémentaires pour aider les organisations à mettre en pratique l'AI RMF. Le document AI RMF et le manuel font tous deux partie du NIST Trustworthy and Responsible AI Resource Center.

Le Profil d'IA Générative du NIST AI RMF

En plus du Playbook, le NIST a publié en avril 2024 le Cadre de Gestion des Risques de l'Intelligence Artificielle : Profil d'Intelligence Artificielle Générative en tant que document complémentaire au AI RMF. Il aide les organisations à comprendre les risques uniques liés aux technologies d'IA générative (GAI) et propose des actions recommandées pour atténuer ces risques.

Le Groupe de Travail Public sur l'IA Générative (GAI PWG) du NIST a identifié 12 risques clés de l'IA générative :

1. Informations CBRN : Accès facilité à des informations dangereuses sur les armes chimiques, biologiques, radiologiques ou nucléaires.
2. Confabulation : La création d'informations incorrectes ou fausses mais présentées de manière confiante.
3. Recommandations dangereuses ou violentes : Création et accès facilités à des contenus encourageant la violence, des vues radicales, l'auto-mutilation ou des activités illégales.
4. Confidentialité des données : Risques de fuite d'informations sensibles comme des données biométriques, de santé ou personnelles.
5. Environnement : Utilisation élevée de ressources pour l'entraînement de modèles d'IA qui pourrait nuire à l'environnement.
6. Configuration humaine-IA : Problèmes découlant de la collaboration entre humains et systèmes IA, tels que la dépendance excessive à l'IA, des objectifs mal alignés ou des comportements trompeurs de l'IA.
7. Intégrité de l'information : Génération et diffusion facilitées de contenus non vérifiés pouvant être utilisés pour des campagnes de désinformation ou de mésinformation.
8. Sécurité de l'information : Réduction des barrières pour les cyberattaques, comme le piratage et les logiciels malveillants, via l'IA.
9. Propriété intellectuelle : Création et utilisation facilitées de contenus pouvant enfreindre des droits d'auteur ou des marques déposées.
10. Contenu obscène, dégradant et/ou abusif : Création et accès facilités à des images nuisibles ou abusives, y compris des contenus illégaux.
11. Toxicité, biais et homogénéisation : Défis pour contrôler l'exposition à des contenus nocifs ou biaisés, et problèmes de diversité des données affectant la performance de l'IA.
12. Chaîne de valeur et intégration des composants : Problèmes d'intégration non transparente de composants tiers dans les systèmes IA, y compris des problèmes de qualité des données et de vérification des fournisseurs.

Le document Profil d'IA Générative décrit des actions spécifiques que les organisations peuvent prendre pour gérer ces risques liés à la GAI, organisées par les fonctions de base du AI RMF. Chaque action est attribuée à un numéro d'identifiant correspondant à la fonction et sous-fonction spécifiques. Par exemple :

GV-1.1-001 est la première action qui correspond à Gouverner 1.1 : Les exigences légales et réglementaires impliquant l'IA sont comprises, gérées et documentées. L'action est : Aligner l'utilisation de la GAI avec les lois et politiques applicables, y compris celles relatives à la confidentialité des données et à l'utilisation, la publication ou la distribution de matériel sous licence, breveté, de marque déposée, protégé par des droits d'auteur ou de secret commercial.

GV-1.2-001 est la première action qui correspond à Gouverner 1.2 : Les caractéristiques d'une IA digne de confiance sont intégrées dans les politiques, processus, procédures et pratiques organisationnelles. L'action est : Connecter les nouvelles politiques, procédures et processus GAI aux modèles, données et gouvernance IT existants ainsi qu'aux fonctions juridiques, de conformité et de risque.

Le Profil d'IA Générative comprend plus de 50 pages de 467 actions uniques, en faisant un compagnon complet au AI RMF spécifiquement pour la gestion des risques associés à la GAI.

Une manière plus rapide et plus facile de mettre en œuvre le NIST AI RMF

Secureframe aide les organisations à atteindre la conformité avec le NIST AI RMF en fournissant des outils et des modèles adaptés au cadre.

• Plus de 200 intégrations à votre pile technologique existante automatisent la collection de preuves par rapport aux contrôles et tests spécifiques du NIST AI RMF.
• Modèles de politiques et de processus, développés et vérifiés par des experts internes et d'anciens auditeurs, adaptés aux spécificités du NIST AI RMF.
• Surveillance continue pour des alertes en temps réel des échecs des tests cloud, garantissant que vos systèmes adhèrent constamment aux exigences et contrôles associés au NIST AI RMF.
• Identifiez et gérez facilement les risques liés à l'IA qui pourraient impacter votre conformité avec le NIST AI RMF.

Pour en savoir plus sur la mise en œuvre du NIST AI RMF avec Secureframe, contactez pour planifier une démo avec l'un de nos experts.