Qu'est-ce que la gestion de la posture de sécurité par l'IA (AI-SPM) ?
La gestion de la posture de sécurité de l'IA (AI-SPM) est une approche globale visant à maintenir la sécurité et l'intégrité des systèmes d' intelligence artificielle (IA) et d' apprentissage machine (ML) . Elle implique une surveillance, une évaluation et une amélioration constantes de la posture de sécurité des modèles, des données et de l'infrastructure de l'IA. L'AI-SPM comprend l'identification et la résolution des vulnérabilités, des Configurations erronées et des risques potentiels liés à l'adoption de l'IA, ainsi que la conformité aux réglementations pertinentes en matière de confidentialité et de sécurité.
En mettant en œuvre l'AI-SPM, les organisations peuvent protéger de manière proactive leurs systèmes d'IA contre les menaces, minimiser l'exposition des données et maintenir la fiabilité de leurs applications d'IA.
AI-SPM expliqué
La gestion de la posture de sécurité par l'IA (AI-SPM) est un composant essentiel dans les paysages de cybersécurité où l'intelligence artificielle (IA) joue un rôle central. Les systèmes d'IA, qui englobent les modèles d'apprentissage automatique, les large language models (LLM), et les systèmes de décision automatisés, présentent des vulnérabilités uniques, et des surfaces d'attaque. L'AI-SPM aborde ces questions en fournissant des mécanismes pour la visibilité, l'évaluation et l'atténuation des risques associés aux composants de l'IA au sein des écosystèmes technologiques.
Visibilité et découverte
L'absence d'inventaire de l'IA peut conduire à des modèles d'IA fantômes, à des violations de la conformité et à l'exfiltration de données par le biais d'applications alimentées par l'IA. AI-SPM permet aux organisations de découvrir et de maintenir un inventaire de tous les modèles d'IA utilisés à travers leurs environnements cloud, ainsi que les ressources cloud associées, les sources de données et les pipelines de données impliqués dans la formation, le réglage fin ou la mise à la terre de ces modèles.
Gouvernance des données
La législation axée sur l'IA impose des contrôles stricts autour de l'utilisation de l'IA et des données clients introduites dans les applications d'IA, ce qui exige une gouvernance de l'IA plus forte que celles actuellement pratiquées par la plupart des organisations. AI-SPM inspecte les sources de données utilisées pour la formation et l'ancrage des modèles d'IA afin d'identifier et de classer les données sensibles ou réglementées - telles que les informations personnelles identifiables (PII) des clients - qui pourraient être exposées à travers les sorties, les journaux ou les interactions des modèles contaminés.
Gestion des risques
AI-SPM permet aux organisations d'identifier les vulnérabilités et les Configurations erronées dans la chaîne logistique de l'IA qui pourraient conduire à l'exfiltration de données ou à un accès non autorisé aux modèles et aux ressources de l'IA. La technologie cartographie l'ensemble de la chaîne logistique de l'IA - données sources, données de référence, bibliothèques, API et pipelines alimentant chaque modèle. Il analyse ensuite cette chaîne d'approvisionnement pour identifier les paramètres inappropriés de cryptage, de journalisation, d'authentification ou d'autorisation.
Surveillance et détection en cours d'exécution
AI-SPM surveille constamment les interactions des utilisateurs, les invites et les entrées dans les modèles d'IA (comme les grands modèles de langage) afin de détecter les abus, la surcharge des invites, les tentatives d'accès non autorisé ou les activités anormales impliquant les modèles. Il analyse les résultats et les journaux des modèles d'intelligence artificielle afin d'identifier les cas potentiels d'exposition aux données sensibles .
Atténuation des risques et réponse
Lorsque des incidents de sécurité hautement prioritaires ou des violations de politiques sont détectés autour des données ou de l'infrastructure d'IA, AI-SPM permet des flux de travail de réponse rapide. Il offre une visibilité sur le contexte et les parties prenantes pour la remédiation des risques ou des Configurations erronées identifiés.
Gouvernance et conformité
Avec l'augmentation des réglementations autour de l'utilisation de l'IA et des données clients, telles que GDPR et le Artificial Intelligence Risk Management frameworkdu NIST, AI-SPM aide les organisations à appliquer des politiques, à maintenir des pistes d'audit - y compris la traçabilité de la lignée des modèles, des approbations et des critères d'acceptation des risques - et à assurer la conformité en cartographiant les identités humaines et des machines ayant accès à des données sensibles ou à des modèles d'IA.
Pourquoi l'IA-SPM est-elle importante ?
Le déploiement de systèmes d'IA dans les entreprises et les infrastructures critiques s'accompagne d'une surface d'attaque élargie que les mesures de sécurité traditionnelles ne sont pas équipées pour protéger. Outre le fait que les applications alimentées par l'IA obligent les organisations à stocker et à conserver davantage de données (tout en mettant en œuvre de nouveaux pipelines et de nouvelles infrastructures), les vecteurs d'attaque de l'IA ciblent les caractéristiques uniques des algorithmes d'IA et comprennent une catégorie distincte de menaces.
L'un de ces vecteurs d'attaque est l'empoisonnement des données, où des acteurs malveillants injectent des échantillons soigneusement élaborés dans les données d'apprentissage, amenant le modèle d'IA à apprendre des schémas biaisés ou malveillants. Les attaques adverses, quant à elles, impliquent des perturbations subtiles des données d'entrée qui peuvent induire le système d'IA en erreur et l'amener à faire des prédictions ou à prendre des décisions incorrectes, ce qui peut avoir des conséquences graves.
L'extraction de modèle - lorsqu'un attaquant tente de voler le modèle propriétaire d'une organisation par un accès non autorisé ou en sondant les sorties du modèle pour reconstituer ses paramètres internes - est également préoccupante. Une telle attaque pourrait entraîner le vol de la propriété intellectuelle et l'utilisation potentielle du modèle volé à des fins malveillantes.
AI-SPM est la réponse de sécurité à l'adoption de l'IA. En fournissant aux organisations les outils nécessaires pour anticiper et répondre aux vulnérabilités et aux attaques spécifiques à l'IA, AI-SPM soutient une posture de sécurité proactive, donnant aux organisations la capacité de gérer les risques dans le pipeline de l'IA. De la phase de conception initiale jusqu'au déploiement et à l'utilisation opérationnelle, AI-SPM veille à ce que la sécurité de l'IA fasse partie intégrante du cycle de vie du développement de l'IA.
En quoi AI-SPM diffère-t-il de la GPSC ?
La gestion de la posture de sécurité dans le cloud (CSPM) et l'AI-SPM sont complémentaires mais axés sur la gestion de la posture de sécurité dans différents domaines - l'infrastructure cloud et les systèmes d'IA/ML, respectivement.
Le CSPM se concentre sur l'évaluation et l'atténuation des risques dans les environnements cloud publics, comme AWS, Azure et GCP. Ses principaux objectifs sont de s'assurer que les ressources cloud sont correctement configurées selon les meilleures pratiques de sécurité, de détecter les configurations erronées qui créent des vulnérabilités et d'assurer la conformité avec les politiques réglementaires.
Les principales capacités du CSPM sont les suivantes
- Découverte et inventaire constants de tous les actifs du cloud (calcul, stockage, réseau, etc.)
- Évaluation des règles des groupes de sécurité, des politiques IAM, des paramètres de cryptage par rapport à des critères de référence
- Suivi des changements de configuration qui introduisent de nouveaux risques
- Remédiation automatisée des configurations non sécurisées
En revanche, la gestion de la posture de sécurité de l'IA se concentre sur les considérations de sécurité uniques des systèmes d'IA et de ML tout au long de leur cycle de vie - données, formation des modèles, déploiement et opérations. AI-SPM intègre des contrôles de sécurité spécialisés adaptés aux actifs d'IA tels que les données d'entraînement, les modèles et les carnets de notes. Il tient à jour une base de connaissances qui établit une correspondance entre les menaces liées à l'IA et les contre-mesures applicables.
Pour atténuer les risques liés aux données, l'AI-SPM intègre la détection et la prévention de l'empoisonnement et de la pollution des données, où les altérations préjudiciables des données d'entraînement sont identifiées et neutralisées. Il s'appuie également sur des techniques de confidentialité différentielle, permettant aux organisations de partager des données en toute sécurité sans exposer d'informations sensibles.
Pour sécuriser la chaîne d'approvisionnement des modèles, AI-SPM s'appuie sur un contrôle rigoureux des versions et un suivi de la provenance pour gérer les itérations et l'historique des modèles. À cela s'ajoutent le cryptage et les contrôles d'accès qui protègent la confidentialité des modèles, ainsi que des tests spécialisés conçus pour contrecarrer les attaques d'extraction de modèles et d'inférence d'appartenance.
La protection des systèmes d'IA et de ML en direct passe par la surveillance des perturbations d'entrée adverses, c'est-à-dire des efforts visant à tromper les modèles d'IA au moyen d'entrées déformées. Le renforcement du modèle d'exécution est utilisé pour améliorer la résilience des systèmes d'IA contre ces attaques.
AI-SPM intègre des contrôles de sécurité spécialisés adaptés aux actifs de l'IA tels que les données d'entraînement, les modèles, les carnets de notes, ainsi que des modèles de menace spécifiques à l'IA pour des risques tels que les attaques adverses, le vol de modèles, etc. Il maintient une base de connaissances qui établit une correspondance entre les menaces liées à l'IA et les contre-mesures applicables.
Alors que le CSPM se concentre sur la posture de sécurité de l'infrastructure cloud, l'AI-SPM régit la posture de sécurité des systèmes d'IA/ML qui peuvent être déployés sur le cloud ou sur place. À mesure que l'IA s'intègre dans les piles de cloud, les deux disciplines doivent être synchronisées pour une gestion des risquescomplète.
Par exemple, CSPM s'assure que les ressources cloud hébergeant des charges de travail d'IA ont des configurations correctes, tandis que AI-SPM valide si les modèles déployés et les pipelines de données ont un durcissement de sécurité adéquat. Conjointement, ils offrent une visibilité de la posture de sécurité de l'IA complète et une atténuation des risques.
AI-SPM vs. DSPM
La gestion de la sécurité des données et de la protection de la vie privée (DSPM) et l'IA-SPM sont des domaines distincts mais complémentaires au sein du domaine plus large de la gestion de la sécurité et de la protection de la vie privée. La DSPM se concentre sur la protection des données au repos, en transit et pendant le traitement, en garantissant leur confidentialité, leur intégrité et leur disponibilité. Les principaux aspects de la DSPM sont le cryptage, les contrôles d'accès, la classification des donnéeset la.
La gestion de la posture de sécurité de l'IA traite de la sécurisation des modèles, algorithmes et systèmes d'IA. Il aborde les défis uniques posés par les technologies de l'IA, tels que les attaques adverses, l'empoisonnement des données, le vol de modèles et les préjugés. AI-SPM englobe l'apprentissage sécurisé des modèles, les techniques d'IA préservant la vie privée, la défense contre les attaques et l'explicabilité.
Bien que la DSPM et l'AI-SPM abordent différents aspects de la sécurité et de la confidentialité des données, elles fonctionnent ensemble pour créer une stratégie de sécurité complète et holistique. Le DSPM fournit une base pour la protection des données, tandis que l'AI-SPM garantit l'utilisation sûre et responsable des technologies d'intelligence artificielle qui traitent et analysent les données. L'intégration des deux domaines permet aux organisations de protéger à la fois leurs actifs de données et leurs systèmes d'IA, en minimisant les risques et en assurant la conformité des données avec les réglementations pertinentes.
AI-SPM au sein de MLSecOps
La gestion de la posture de sécurité de l'IA est une pierre angulaire des opérations de sécurité de l'apprentissage automatique (MLSecOps), des pratiques et des outils utilisés pour sécuriser le cycle de vie de l'intelligence artificielle. MLSecOps englobe tout, de la sécurisation des données utilisées pour entraîner les modèles à la surveillance des modèles déployés pour détecter les vulnérabilités, dans le but de garantir l'intégrité, la fiabilité et l'équité des systèmes de ML tout au long de leur développement et de leur fonctionnement.
Au sein de MLSecOps, AI-SPM se concentre sur les besoins de sécurité spécifiques des systèmes d'IA, qui impliquent souvent des modèles et des fonctionnalités plus complexes que les systèmes de ML traditionnels. Cette complexité introduit des défis de sécurité uniques auxquels AI-SPM répond - sécurité des données, sécurité des modèles, surveillance des modèles et conformité réglementaire. Et les avantages de l'AI-SPM au sein de MLSecOps sont indiscutables :
- Position de sécurité renforcée: En traitant de manière proactive les risques de sécurité spécifiques à l'IA, AI-SPM renforce la posture de sécurité globale des pipelines de ML de l'organisation et des modèles déployés.
- Augmentation de la confiance dans l'IA: La sécurité de l'IA favorise la confiance dans les systèmes d'IA, ce qui les rend plus fiables et plus faciles à intégrer dans les processus d'entreprise.
- Une innovation plus rapide et plus sûre: AI-SPM facilite un environnement sécurisé pour le développement de l'IA, permettant aux organisations d'innover en toute confiance avec les technologies de l'IA.
FAQ AI-SPM
L'ancrage et la formation sont deux aspects distincts du développement des modèles d'IA, bien qu'ils contribuent tous deux à la fonctionnalité et à l'efficacité de ces systèmes.
L'ancrage consiste à relier les opérations de l'IA, telles que la compréhension du langage ou les processus de prise de décision, à des contextes et des données du monde réel. Il s'agit de s'assurer que les résultats d'un modèle d'IA sont applicables et significatifs dans un cadre pratique. Par exemple, l'ancrage d'un modèle linguistique consiste à lui apprendre à relier les mots aux objets, actions ou concepts correspondants dans le monde réel. Cela entre en jeu dans des tâches telles que la reconnaissance d'images, où le modèle doit associer les pixels d'une image à des étiquettes identifiables ayant des contreparties tangibles.
La formation est le processus qui consiste à apprendre à un modèle d'IA à faire des prédictions ou à prendre des décisions en lui fournissant des données. Au cours de la formation, le modèle apprend à reconnaître des modèles, à établir des connexions et, essentiellement, à améliorer sa précision au fil du temps. Cela se produit lorsque divers algorithmes ajustent les paramètres internes du modèle, souvent en l'exposant à de vastes ensembles de données dont les entrées et les sorties souhaitées (étiquettes) sont connues. Ce processus améliore la capacité du modèle à généraliser les données d'apprentissage à de nouvelles situations inédites.
La principale différence entre le grounding et le training réside dans leur objectif et leur application :
- Grounding est de garantir la pertinence par rapport au monde réel et l'utilité pratique, en créant un pont entre les calculs abstraits de l'IA et les applications tangibles du monde réel.
- La formation implique des méthodologies techniques visant à optimiser les performances du modèle, en se concentrant principalement sur la précision et l'efficacité dans le cadre de tâches définies.
La contamination des modèles fait référence à l'entraînement involontaire de modèles d'IA sur des données sensibles, ce qui pourrait exposer ou faire fuir les données sensibles par le biais de ses sorties, journaux ou interactions une fois qu'il est déployé et utilisé pour des tâches d'inférence ou de génération. L'AI-SPM vise à détecter et à prévenir la contamination.
La visibilité et le contrôle sont des éléments essentiels de la gestion de la posture de sécurité de l'IA. Pour gérer efficacement la posture de sécurité des systèmes d'IA et de ML, les organisations doivent avoir une compréhension claire de leurs modèles d'IA, des données utilisées dans ces modèles et de l'infrastructure associée. Il s'agit notamment d'avoir une visibilité sur la chaîne logistique de l'IA, les pipelines de données et les environnements cloud.
Grâce à la visibilité, les organisations peuvent identifier les risques potentiels, les Configurations erronées et les problèmes de conformité. Le contrôle permet aux organisations de prendre des mesures correctives, telles que la mise en œuvre de politiques de sécurité, la correction des vulnérabilités et la gestion de l'accès aux ressources AI. .
Une nomenclature d'IA (AIBOM) est l'inventaire principal qui répertorie tous les composants et sources de données entrant dans la construction et l'exploitation d'un système ou d'un modèle d'IA. L'AIBOM offre une transparence de bout en bout indispensable pour gérer le cycle de vie de l'IA :
- Les données d'entraînement utilisées pour construire le modèle d'IA
- Tous les modèles pré-entraînés ou les bibliothèques utilisés
- Sources de données externes utilisées pour l'ancrage ou l'extraction de connaissances
- Les algorithmes, les cadres et l'infrastructure utilisés
- API et pipelines de données intégrés au modèle.
- Informations sur l'identité des personnes/services ayant accès au modèle
Considérez l'AIBOM comme une facture de logiciel (SBOM) , mais axée sur la cartographie des éléments constitutifs, à la fois des données et des opérations, qui composent un système d'IA.
Dans le contexte de la sécurité de l'IA, l'explicabilité est la capacité de comprendre et d'expliquer le raisonnement, le processus de prise de décision et le comportement des modèles d'IA/ML, en particulier lorsqu'il s'agit d'identifier des risques ou des vulnérabilités potentiels en matière de sécurité. Les principaux aspects de l'explicabilité sont les suivants :
- Être capable d'interpréter la manière dont un modèle d'IA parvient à ses résultats ou à ses décisions sur la base des données d'entrée. Cela permet d'analyser si le modèle se comporte comme prévu ou s'il y a des anomalies qui pourraient indiquer des problèmes de sécurité.
- Avoir une visibilité sur les rouages, les paramètres et la logique du modèle d'IA plutôt que de le traiter comme une boîte noire. Cette transparence permet de vérifier si le modèle présente des vulnérabilités ou des biais potentiels.
- La capacité à retracer les sources de données, les algorithmes et les processus impliqués dans le développement et l'exploitation d'un modèle d'IA. Cela permet d'expliquer l'ensemble de la chaîne d'approvisionnement de l'IA.
- Techniques permettant de valider et d'expliquer le comportement des modèles d'intelligence artificielle dans différentes conditions, dans des cas extrêmes ou dans des situations d'adversité, afin de découvrir les faiblesses en matière de sécurité.
- De plus en plus, les réglementations en matière d'IA exigent l'explicabilité dans le cadre des exigences de responsabilité afin de comprendre si les modèles se comportent de manière éthique, équitable et sans biais.
L'explicabilité fait partie intégrante de la surveillance des modèles d'IA pour détecter les anomalies, les dérives et les compromis d'exécution, pour enquêter sur les causes profondes des incidents liés à l'IA et pour valider les modèles d'IA par rapport aux politiques de sécurité avant leur déploiement.
Les carnets de notes font référence à des environnements de codage interactifs tels que les carnets de notes Jupyter ou les carnets de notes Google Colab. Ils permettent aux data scientists et aux ingénieurs ML d'écrire et d'exécuter du code pour l'exploration des données, l'entraînement des modèles, les tests et l'expérimentation dans un document unique qui combine du code en direct, des visualisations, du texte narratif et des résultats enrichis. Facilitant un processus itératif et collaboratif de développement de modèles, les notebooks, via le code qu'ils contiennent, définissent les pipelines de données, les étapes de prétraitement, les architectures de modèles, les hyperparamètres, etc.
Du point de vue de la sécurité de l'IA, les ordinateurs portables sont des actifs importants qui doivent être gérés :
- Ils contiennent souvent des ensembles de données de formation sensibles ou y ont accès.
- Le code du modèle et les paramètres représentent une propriété intellectuelle confidentielle.
- Les ordinateurs portables permettent de tester les modèles contre des échantillons ou des attaques adverses.
- Les carnets partagés peuvent potentiellement laisser échapper des données privées ou des détails sur le modèle.
La chaîne logistique de l'IA désigne le processus de bout en bout consistant à développer, déployer et maintenir des modèles d'IA - y compris la collecte de données, l'entraînement des modèles et l'intégration dans les applications. Outre les différentes étapes concernées, la chaîne logistique de l'IA englobe les sources de données, les pipelines de données, les bibliothèques de modèles, les API et l'infrastructure cloud.
La gestion de la chaîne d'approvisionnement de l'IA est essentielle pour garantir la sécurité et l'intégrité des modèles d'IA et protéger les données sensibles contre l'exposition ou l'utilisation abusive.
Les vecteurs d'attaque de l'IA sont les différentes façons dont les acteurs de la menace peuvent exploiter les vulnérabilités des systèmes d'IA et de ML pour compromettre leur sécurité ou leurs fonctionnalités. Parmi les vecteurs d'attaque les plus courants de l'IA, on peut citer
- Empoisonnement des données: Manipulation des données d'apprentissage pour introduire des biais ou des erreurs dans le modèle d'IA, ce qui l'amène à produire des résultats incorrects ou malveillants.
- Inversion de modèle: Utiliser les résultats du modèle d'IA pour déduire des informations sensibles sur les données d'apprentissage ou faire de l'ingénierie inverse sur le modèle.
- Exemples contradictoires: La fabrication de données d'entrée subtilement modifiées pour que le modèle d'IA produise des résultats incorrects ou nuisibles, tout en paraissant normal aux yeux des observateurs humains.
- Vol de modèles: Voler le modèle d'IA ou ses paramètres pour créer une réplique en vue d'une utilisation non autorisée ou pour identifier des vulnérabilités potentielles.
- Attaques d'infrastructures: Exploiter les vulnérabilités des environnements cloud ou des pipelines de données soutenant les systèmes d'IA pour obtenir un accès non autorisé, perturber les opérations ou exfiltrer des données.
Les applications alimentées par l'IA posent de nouveaux défis en matière de gouvernance et de réglementation de la protection de la vie privée, car elles traitent de grandes quantités de données et impliquent des systèmes complexes et interconnectés. La conformité aux réglementations relatives à la protection de la vie privée, telles que GDPR et CCPA, exige des organisations qu'elles protègent les données sensibles, qu'elles maintiennent la transparence du traitement des données et qu'elles fournissent aux utilisateurs un contrôle sur leurs informations. Les applications alimentées par l'IA peuvent compliquer ces exigences en raison de la nature dynamique des modèles d'IA, du risque d'exposition involontaire des données et de la difficulté de suivre les données sur plusieurs systèmes et environnements cloud. Par conséquent, les organisations doivent adopter de solides pratiques de gouvernance des données et des mesures de sécurité spécifiques à l'IA pour garantir la conformité et protéger la vie privée des utilisateurs.
