Votre écosystème d’IA est-il sécurisé ?

L’essor fulgurant de l’intelligence artificielle s’accompagne, en parallèle, d’une explosion des cyberattaques visant les systèmes et jeux de données liés à l’IA. Ainsi, selon des rapports récents, 57 % des entreprises font état d’une augmentation des attaques pilotées par IA au cours de l’année précédente. À titre d’exemple, Amazon a constaté une véritable déferlante de cybermenaces. Le nombre d’incidents observés chaque jour est ainsi passé de 100 millions à près d’un milliard en l’espace de six mois – une hausse vertigineuse en partie due à la prolifération de l’IA.

Seulement voilà, les systèmes de sécurité traditionnels n’ont pas été conçus pour lutter contre les risques inédits engendrés par la GenAI. Ils ne suffisent donc plus pour protéger ces environnements. Si ces outils reposent sur des règles statiques et des schémas de menace connus, la GenAI produit, elle, des résultats hautement variables et même imprévisibles, qui ne suivent pas des signatures fixes. En conséquence, les systèmes traditionnels sont dépourvus du contexte nécessaire pour détecter les menaces de façon précise. Ils passent également à côté des attaques propres à l’IA, complètement absentes des environnements IT classiques, telles que les prompt injections, l’empoisonnement de données et la manipulation de modèle.

Souvent, les outils de GenAI traitent des données non structurées sous forme de texte, de code ou d’images – des formats que les solutions de sécurité d’ancienne génération peinent à analyser efficacement. Pour ne rien arranger, ces systèmes n’offrent aucune visibilité sur la manière dont les modèles d’IA génèrent leurs réponses, ce qui complique la détection des défaillances ou des détournements plus subtils. Incapables de surveiller les entrées, les résultats et le comportement du modèle en temps réel, les solutions de sécurité traditionnelles créent des angles morts critiques et laissent le champ libre aux cybercriminels armés de leurs propres outils IA.

Attaques par prompt injection

Les prompt injections font partie des menaces spécifiques aux systèmes de GenAI. Dans ce type d’offensive, un utilisateur malintentionné saisit une requête (prompt) spécialement formulée pour inciter le modèle IA à ignorer les instructions qui lui ont été dictées par ses créateurs et le pousser à exécuter ces nouvelles commandes malveillantes.

Ces attaques sont particulièrement difficiles à neutraliser, et ce pour deux raisons. Premièrement, elles commencent généralement par un accès légitime via un chatbot, un champ de saisie ou un outil intégré. Aucun piratage, au sens traditionnel du terme, n’est nécessaire : il suffit à l’attaquant de détourner habilement le langage naturel. Il ne laisse ainsi aucune signature ni aucune trace caractéristique qui permettrait de distinguer ses agissements d’un usage légitime.

Deuxième raison, les prompt injections exploitent la tendance naturelle des applications GenAI à suivre les instructions à la lettre, même si celles-ci nuisent à la sécurité ou aux performances. Imaginons, par exemple, une application GenAI qui teste le système d’un grand établissement bancaire. Celui-ci intègre naturellement des règles interdisant la divulgation d’informations clients. Or, un cybercriminel pourrait les contourner avec un simple prompt du type « ignore les restrictions sur le partage des informations clients », sachant parfaitement que l’application s’exécuterait avec diligence et désactiverait les mesures de sécurité.

Fuites de données, violations de politiques, détournement d’outils, jailbreaking des systèmes IA… les attaques par prompt injection ont des répercussions terribles. Elles abusent du manque de compréhension contextuelle de l’IA et de sa tendance à suivre les instructions de manière très (trop) littérale. Pour lutter contre ce fléau, de solides mesures de sécurité doivent être mises en place : validation rigoureuse des entrées, nette séparation des rôles et surveillance en temps réel du comportement du modèle.

Modèles open-source

Les modèles d’IA open-source sont publiés en ligne et leurs composants (code, architecture, pondérations ou données d’entraînement) mis à disposition sous une licence permissive. Les avantages des logiciels open-source sont largement documentés. Toutefois, leur utilisation engendre des risques non négligeables, notamment la désérialisation et la manipulation du modèle.

La désérialisation consiste à convertir les données stockées en objets utilisables dans un programme. Dans le domaine de l’IA, ce processus sert généralement à charger des modèles ou des configurations. Le problème : le traitement de données non approuvées présente d’importants risques de sécurité. De fait, les attaquants peuvent fabriquer des fichiers malveillants qui, lorsqu’ils sont chargés, exécutent du code à distance, accordent des accès aux fichiers ou élèvent les privilèges. Dans les systèmes d’IA, ce genre d’incident risque de corrompre les modèles en introduisant des backdoors ou des déclencheurs cachés. Les outils les plus courants, tels que pickle ou joblib, sont particulièrement vulnérables.

La manipulation de modèle IA désigne la modification non autorisée de la structure ou du comportement du modèle. Cette technique sert notamment à intégrer des backdoors et des conditions de déclenchement, ou encore à falsifier les résultats dans le but de diffuser de fausses informations ou de divulguer des données sensibles. Malheureusement, ces modifications passent souvent sous les radars, ce qui sape l’intégrité du modèle et la confiance des utilisateurs. Dans les environnements réglementés, la manipulation de modèle entraîne des violations de la conformité et fait peser sur les entreprises une menace persistante.

À titre d’exemple, une équipe de chercheurs a développé un modèle de catégorisation des panneaux de signalisation. Or, un hacker a intégré à leur insu un code qui fausse la classification d’une image lorsque celle-ci contient un déclencheur visuel défini, quasi imperceptible. La plupart du temps, le modèle remplit parfaitement sa fonction. Mais dès qu’il tombe sur une image intégrant le déclencheur, le résultat est compromis.

Résultats non sécurisés

Les résultats non sécurisés de l’IA générative exposent souvent les utilisateurs à des URL malveillantes, que ce soit à la suite d’une manipulation intentionnelle ou par accident. À titre d’exemple, un chatbot peut générer un lien dangereux après avoir extrait des informations d’une source compromise ou empoisonnée délibérément.

Seulement voilà, les URL malveillantes paraissent généralement légitimes, ce qui en fait de parfaits vecteurs d’attaque (phishing, malwares ou accès non autorisé aux systèmes). Autre exemple, dans les environnements de confiance, les utilisateurs peuvent suivre les suggestions générées par IA sans se méfier, augmentant le risque de compromission. Parce que ces modèles dépendent de données externes et historiques, un seul résultat compromis proposant du contenu non sécurisé suffit à mettre les systèmes en danger et à fragiliser la confiance dans les outils d’IA. Face à ces menaces, un strict filtrage du contenu et une surveillance continue de la qualité des résultats sont de rigueur.

Fuites de données sensibles

Comme nous l’avons déjà évoqué, les systèmes de GenAI dépendent des données propriétaires pour leur entraînement et leur fonctionnement. Par nécessité, ces informations sortent donc du périmètre des contrôles de sécurité traditionnels. Un filon fort lucratif pour les cyberattaquants, qui manipulent les modèles et compromettent les données, faisant peser de sérieuses menaces sur l’entreprise.

Par ailleurs, les applications GenAI génèrent parfois des informations fausses ou trompeuses sous un vernis parfaitement crédible. C’est ce qu’on appelle couramment des « hallucinations ». Un exemple type d’hallucination est l’invention par un modèle de GenAI de références bibliographiques (article, auteur, source, etc.). Il peut ainsi citer une étude pour étayer un argument, avec le titre, le journal dont elle est tirée, la date de publication… mais aucune de ces informations, aussi réalistes soient-elles, n’est vraie. Ces références inventées de toute pièce induisent les utilisateurs en erreur, ce qui est d’autant plus problématique dans les contextes universitaires et professionnels où l’exactitude des sources est primordiale.

Détournement d’agent

Les technologies évoluent à vitesse fulgurante, comme l’illustre l’essor foudroyant des agents IA. Les agents sont des systèmes autonomes qui perçoivent leur environnement, traitent les données et prennent des décisions pour effectuer des tâches. Capables d’apprendre et de s’adapter, ils remplissent des missions complexes : mise au point de médicaments, service client, marketing, codage, recherche, etc. À l’heure où 78 % des entreprises prévoient de s’en équiper, la sécurisation de ces précieux outils devient vitale pour rentabiliser pleinement les investissements dans l’IA.

Et pour cause : la plupart d’entre eux sont vulnérables au détournement d’agent, un type d’attaque indirecte par prompt injection qui consiste à insérer des instructions malveillantes dans les données susceptibles d’être ingérées par l’agent IA pour influencer son comportement. Par exemple, les cybercriminels potentiels peuvent dissimuler des instructions malveillantes parmi des commandes légitimes pour outrepasser les mesures de sécurité, à l’insu de l’entreprise.

Selon les études menées par les plus grands analystes, les responsables de la sécurité des systèmes d’information (RSSI) se disent d’un avis mitigé quant aux mesures de sécurité IA de leur entreprise. Bien que la majorité (83 %) des Comex investissant dans la cybersécurité estiment que les montants engagés sont suffisants, la plupart d’entre eux (60 %) doutent de l’efficacité de leurs défenses face aux menaces.

Et pour cause : les systèmes d’IA présentent des risques entièrement inédits (prompt injection, empoisonnement des données, vol de modèles et hallucinations) contre lesquels les outils de sécurité traditionnels ne font pas le poids. Pour répondre à cette demande, les fournisseurs se sont empressés de concevoir des solutions spécialisées, ciblant des menaces précises. Bien qu’elle parte d’une intention louable, cette approche a créé des écosystèmes fragmentés d’outils disparates qui 1) ne partagent pas la Threat Intelligence, 2) ne s’intègrent pas les uns aux autres et 3) se gèrent séparément. Résultat, les entreprises se retrouvent à composer des patchworks de produits pour ne pas se laisser dépasser par des menaces IA en constante évolution. Toutefois, le constat est sans appel : la sécurisation de la GenAI demande plus qu’un assemblage de solutions déconnectées. Elle requiert une approche IA native intégrée, capable de suivre le rythme des technologies qu’elle protège.

Pour remédier à cette complexité, Palo Alto Networks a mis au point Prisma AIRS, la plateforme de sécurité de l’IA la plus complète de la planète. Prisma AIRS protège les modèles, les données, les applications et les agents selon une approche unifiée qui non seulement répond aux besoins d’aujourd’hui, mais évolue aussi au rythme des technologies, pérennisant vos investissements dans la sécurité IA.

Sa principale innovation ? Une sécurité sur mesure, intégrée au sein d’une plateforme unique couvrant le moindre composant de l’infrastructure IA. À la clé, la protection la plus efficace et le taux de faux positif le plus faible du marché.

Analyse des modèles d’IA

Un certain nombre de menaces planent sur les modèles d’IA. D’abord, la manipulation de modèle, qui consiste à altérer leur logique ou leurs paramètres internes afin de produire des résultats biaisés ou à risque. Par ailleurs, des scripts malveillants sont parfois introduits pendant le déploiement, facilitant l’exécution d’actions non autorisées ou la compromission des systèmes. Ensuite, la désérialisation, qui exploite les processus de chargement des données sauvegardées et permet aux attaquants d’exécuter du code malveillant. Enfin, l’injection de données erronées ou manipulées dans le jeu d’entraînement, aussi appelée « empoisonnement », force le modèle à apprendre des comportements inadaptés ou à intégrer des backdoors cachées.

La réponse de Prisma AIRS face à ces menaces : AI Model Scanning, un outil d’analyse qui détecte les menaces cachées comme le code malveillant, les backdoors ou les configurations non sécurisées avant le déploiement d’un modèle d’IA. Sécurité, fiabilité, conformité aux politiques de sécurité… AI Model Scanning offre de nombreux avantages.

Aperçu des capacités d’AI Model Scanning :

Gestion de la posture

En matière d’IA, la gestion de la posture de sécurité devient une priorité absolue, car elle assure une visibilité continue sur la configuration et l’utilisation des systèmes. Sans elle, les erreurs de configuration, les comportements à risque et les accès non autorisés risqueraient d’échapper à la vigilance des équipes. Face à la nature mouvante des systèmes IA et à la sensibilité des données exploitées, la gestion de la posture de sécurité facilite l’application des politiques, renforce la détection des risques et réduit le risque de compromission. Résultat, les opérations IA sont plus sécurisées et conformes.

Il est indispensable de trouver le juste équilibre dans la configuration des autorisations pour les agents IA, qui fonctionnent généralement en autonomie et accèdent aux outils ou données sans contrôle direct. Les politiques trop permissives ouvrent effectivement la voie aux infractions des règles de sécurité, aux fuites de données ou aux dégradations des systèmes. À l’inverse, un excès de zèle risque de brider l’efficacité des agents. Pour réduire le risque de compromission et assurer la sécurité et la conformité des opérations IA, les agents doivent suivre le principe du moindre privilège. Autrement dit, leurs accès doivent être limités au strict nécessaire pour l’exécution de leurs tâches.

Prisma AIRS dote les équipes de sécurité des fonctionnalités dont elles ont besoin pour une gestion de la posture efficace, notamment une visibilité continue sur la configuration, l’utilisation et les risques des systèmes d’IA. Armées de ces informations, les entreprises détectent les vulnérabilités en amont, appliquent les politiques de sécurité et limitent le risque d’erreur de configuration ou d’exposition des données.

Aperçu des capacités de Prisma AIRS Posture Management :

Simulations Red Team ciblées sur l’IA

Les exercices de simulation Red Team aident les entreprises à identifier leurs vulnérabilités avant les attaquants. Ils jouent donc un rôle fondamental dans la sécurité des systèmes d’IA en les mettant à l’épreuve face à divers scénarios : prompt injection, empoisonnement de données ou manipulation de modèle. Cette approche proactive permet de découvrir les vulnérabilités dissimulées dans les modèles, les données d’entraînement et le comportement du système. Elle aide également à consolider les défenses, valider les politiques et renforcer la confiance dans les applications d’IA.

Les simulations Red Team occupent une place déterminante dans la sécurisation de l’IA, car elles mettent au jour les failles de l’entreprise avant que les cybercriminels ne puissent les exploiter. Elles consistent à reproduire des menaces réelles dans le but de révéler les vulnérabilités cachées. Contrairement aux outils Red Team statiques, qui proposent des scénarios prédéfinis, notre solution est dynamique. Elle comprend le contexte de l’application (services de santé ou financiers, par exemple), dont elle se sert pour identifier intelligemment les types de données qu’un attaquant chercherait à extraire. À la différence des solutions concurrentes, notre moteur de test adaptatif apprend de ses échecs, revoit sa stratégie et recommence jusqu’à identifier des chemins exploitables. Cette approche dynamique, basée sur le contexte, permet de détecter des risques plus insidieux, mais aussi de renforcer les défenses pour une utilisation sereine des systèmes d’IA.

Aperçu des capacités AI Red Teaming de Prisma AIRS pour les équipes de sécurité IA :

Sécurité des agents IA

Parce que les agents IA prennent des décisions et agissent sans surveillance humaine, leur sécurisation est primordiale. En cas de compromission, ils risqueraient de détourner les outils légitimes, d’accéder à des données sensibles ou de causer de graves préjudices. Les attaques par prompt injection, les empoisonnements de données et les autorisations trop permissives facilitent les comportements non autorisés. La sécurisation des agents IA garantit leur bon fonctionnement, le respect des objectifs et la protection des entreprises contre les risques cachés. En pleine démocratisation de l’IA agentique, il devient indispensable de mettre en place des contrôles de sécurité rigoureux pour bloquer le détournement des agents et préserver la confiance des utilisateurs.

Avec AI Agent Security, votre équipe libère tout son potentiel :

Runtime Security, la solution de sécurité au runtime

Runtime Security est une solution complète conçue pour sécuriser les applications, les modèles, les données et les agents IA contre les cybermenaces traditionnelles et propres à l’intelligence artificielle. Intégrée à la plateforme Prisma AIRS, elle vous protège en temps réel contre les risques comme les prompt injections, le code malveillant, la fuite de données et la manipulation de modèle. Grâce à une surveillance continue des systèmes d’IA, Runtime Security assure l’intégrité et la sécurité des opérations d’IA pour permettre aux organisations d’adopter ces outils en toute confiance.

Robuste et évolutive, la solution Palo Alto Networks répond aux exigences uniques des technologies IA et apporte ainsi une réponse idéale aux entreprises qui souhaitent sécuriser ces environnements d’un genre nouveau. Elle se déploie à deux niveaux : développeur et réseau.

La plateforme Prisma AIRS s’intègre en toute transparence à Palo Alto Networks Strata Cloud Manager pour une gestion et une visibilité centralisées de l’ensemble de l’écosystème d’IA. Prisma AIRS protège les workloads IA grâce à des mécanismes de détection et de prévention des menaces avancées, gages de conformité et de réduction des risques de compromission.

Pour exploiter tout le potentiel de Prisma AIRS, les entreprises peuvent incorporer ces capacités dans le tout cycle de vie de la GenAI : intégration pré-déploiement, contrôles au runtime, surveillance continue et simulations Red Team pour tester la sécurité des agents et modèles.

Intégration pré-déploiement

Pour intégrer Prisma AIRS aux pipelines CI/CD ou MLOps, les développeurs passent au crible les modèles et données d’entraînement à la recherche de backdoors, de processus de sérialisation non sécurisés et de menaces incorporées. Prisma AIRS se connecte par API aux registres de modèles comme MLflow ou Hugging Face Spaces pour analyser et étiqueter automatiquement les modèles approuvés, accélérant considérablement les contrôles de sécurité en amont.

Contrôles au runtime

Pendant la phase d’exécution, les équipes utilisent Prisma AIRS pour scanner les API, les kits de développement logiciel (SDK), les protocoles Model Context Protocol (MCP) ou les fichiers de configuration réseau afin d’appliquer aux agents GenAI des contrôles stricts limitant leurs accès à certains outils ou API. L’utilisation de sidecars ou de proxys dans la mise en œuvre de ces politiques permet d’empêcher tout comportement non autorisé. Assainissement des prompts, validation des entrées, journalisation des résultats et protection contre les prompt injections figurent également dans l’éventail de fonctionnalités Prisma AIRS.

Surveillance continue

Prisma AIRS offre une visibilité en temps réel sur les activités des modèles, agents et données pour une surveillance ininterrompue des environnements d’IA. La plateforme détecte instantanément les comportements anormaux, les erreurs de configuration et les infractions aux règles de sécurité. Prompt injections, fuite de données, détournement des outils d’IA… elle traque toutes les menaces en continu pour protéger aussi bien les environnements de développement que de production. Prisma AIRS analyse sans interruption les activités à la recherche de risques émergents et s’adapte à l’évolution des menaces grâce à l’automatisation de la détection et des tests. Cette approche proactive garantit la sécurité, la conformité et la résilience des systèmes d’IA, sans dépendre d’une surveillance manuelle ni d’un patchwork d’outils hétérogènes.

Exercices Red Team de test des modèles et agents

À l’aide des outils d’exercices Red Team offerts par Prisma AIRS, les développeurs simulent des scénarios de saisie malveillante ou de détournement d’outils afin de tester la réaction des modèles et des agents GenAI en conditions d’attaque. Ces exercices servent notamment à repérer les vulnérabilités dans la logique, le comportement ou les accès aux outils. Fortes de ces informations, les équipes sont à même de renforcer les défenses du modèle et la sécurité des agents, ce qui garantit la protection et la fiabilité du système avant le déploiement.

Basé sur Precision AI^® , Strata Copilot de Palo Alto Networks est un assistant IA qui simplifie les opérations de sécurité réseau grâce à des éclairages en temps réel et des interactions en langage naturel.

Pour le premier déploiement en production de Prisma AIRS, les développeurs dédiés chez Palo Alto Networks se sont associés à l’équipe Strata Copilot. Utilisateur actif de la plateforme et première source de feedback, Strata Copilot a contribué à définir la feuille de route du produit. Aujourd’hui, chaque interaction avec Strata Copilot aux États-Unis transite par l’API Prisma AIRS, qui passe au crible les prompts et les réponses du modèle à la recherche de menaces (prompt injection, exposition de données sensibles, URL malveillantes, contenu toxique, etc.). Grâce à cette intégration, l’équipe bénéficie de fonctionnalités de visibilité, de détection des menaces et de mise en application des politiques en temps réel, gages d’un chatbot sécurisé et conforme. En outre, en s’alignant sur les principes Secure AI by Design, Prisma AIRS accélère la livraison des fonctionnalités.

Si Prisma AIRS est aujourd’hui une solution flexible adaptée à la production, c’est grâce au rôle déterminant de la collaboration avec Strata Copilot. Conjuguant les conseils de Strata aux retours de clients externes, nous avons perfectionné notre plateforme afin qu’elle réponde à l’évolution constante des besoins des applications, modèles et agents IA. L’équipe d’ingénierie considère désormais Prisma AIRS comme une composante essentielle du cycle de développement en ce qu’elle accélère les déploiements, simplifie la sécurité par des interceptions API et protège les interactions avec l’IA.

Si Prisma AIRS est aujourd’hui une solution flexible adaptée à la production, c’est grâce au rôle déterminant de la collaboration avec Strata Copilot. Conjuguant les conseils de Strata aux retours de clients externes, nous avons perfectionné notre plateforme afin qu’elle réponde à l’évolution constante des besoins des applications, modèles et agents IA. L’équipe d’ingénierie considère désormais Prisma AIRS comme une composante essentielle du cycle de développement en ce qu’elle accélère les déploiements, simplifie la sécurité par des interceptions API et protège les interactions avec l’IA.