Lorsque j’ai commencé à travailler sur les cyberagents autonomes en 2020, on ne prévoyait pas de déployer ces technologies en entreprise avant plusieurs décennies au moins. À l’époque, ces systèmes étaient perçus comme des investissements à long terme : intéressants, certes, mais bien trop spécifiques pour une application concrète dans un futur proche.
Puis le monde a basculé.
L’avènement de l’IA générative (GenAI), bien que progressif, a déclenché une incessante avalanche d’avancées qui, à ce jour, continuent d’accélérer les cycles de développement. Loin de seulement redéfinir les objectifs, la vague de la GenAI balaie tous les anciens repères et transforme le champ des possibles à une vitesse absolument inédite. Des fonctionnalités jadis réservées à la recherche à long terme intègrent désormais des environnements live avec une rapidité déconcertante.
Sans grande surprise, les systèmes agentiques sont utilisés dans d’innombrables situations. On les incorpore aux workflows d’entreprise, aux pipelines décisionnels, voire à l’infrastructure critique, avant même d’avoir déterminé comment les gouverner ou les sécuriser. Aujourd’hui, on ne se prépare plus à l’arrivée de l’IA agentique mais on vit au rythme de son inlassable et vertigineuse évolution. Bref, 2020 me semble à des années-lumière.
Rapport sur une cible mouvante
Le rapport que j’ai co-écrit, Achieving a Secure AI Agent Ecosystem, est le fruit d’un travail interinstitutionnel cherchant à comprendre cette accélération. Élaboré en partenariat avec RAND, Schmidt Sciences et des leaders de l’IA agentique dans le secteur, la recherche et l’administration, l’article ne propose pas de solution miracle, mais une perspective radicalement différente sur cette technologie.
Il distingue trois piliers fondamentaux de la sécurité des agents IA et tente d’anticiper les futures défaillances de nos hypothèses et de nos infrastructures actuelles face à l’évolution des systèmes. Plus qu’un simple constat, un véritable changement de paradigme s’impose : nous sommes déjà dans l’ère des systèmes agentiques. C’est un fait. Par conséquent, leur sécurisation ne peut pas attendre demain et doit commencer dès aujourd’hui. Une urgence intensifiée par le rythme effréné de l’innovation, l’expansion des réseaux, les risques disproportionnés pour les primo-adoptants et l’asymétrie marquée entre les capacités d’attaque et les objectifs de défense.
Toutefois, l’une des difficultés de la sécurisation des agents IA réside dans leur différence par rapport aux logiciels traditionnels, tant dans leur comportement que leur structure. Ces systèmes dynamiques ne cessent d’évoluer et d’améliorer leur capacité à exécuter des décisions avec une intervention humaine minimale. Certains sont spécialement conçus pour automatiser des tâches comme la gestion d’emplois du temps ou le tri des e-mails, tandis que d’autres se dirigent vers une autonomie totale dans des environnements à fort enjeu. Dans les deux cas, les frameworks de sécurisation pour les applications traditionnelles ne sont pas adaptés. Et pour cause, loin d’être de simples dérivés de vulnérabilités connues, les problèmes qui surviennent s’avèrent entièrement inédits. Autrement dit, la surface d’attaque s’est transformée.
Les trois piliers de la sécurité des agents IA
Ce changement de paradigme fait émerger trois grandes préoccupations animant le paysage de la cybersécurité :
- Protéger les agents IA des compromissions tierces – Comment empêcher les agents IA de tomber sous le joug ou d’être manipulés par des cyberattaquants
- Protéger les utilisateurs et les entreprises des agents eux-mêmes – Comment s’assurer que les agents IA ne nuisent pas aux utilisateurs ni aux entreprises qu’ils servent, tant pendant leur fonctionnement normal qu’en cas de dysfonctionnement
- Protéger les systèmes critiques des agents malveillants – Comment défendre l’infrastructure et les systèmes fondamentaux contre les agents IA spécialement conçus et déployés dans l’intention de nuire
Nuançons toutefois : ces catégories ne sont pas fixes, mais constituent un large spectre avec différents degrés de capacité et de maturité des menaces. De nos jours, la plupart des entreprises déploient des agents correspondant aux deux premières préoccupations. Mais la troisième (des acteurs malveillants autonomes) reste inexplorée. Si les groupes étatiques ont été parmi les premiers à investir dans des cyberagents autonomes1, il se peut qu’ils soient vite rejoints dans ce domaine.
Face aux nouvelles menaces autonomes et redoutables qui planent sur les entreprises, il ne suffit plus de perfectionner petit à petit les défenses actuelles. À la place, nos experts doivent changer radicalement leur approche de la collaboration pour innover sur la sécurité.
Pendant longtemps, les chercheurs en IA et les professionnels de la cybersécurité tendaient à évoluer sur des chemins parallèles, partant de différents postulats sur les risques et les architectures. Seulement voilà, la complexité de la sécurité de l’IA agentique ne peut être conquise qu’en unissant leurs forces. Aucune communauté n’est en mesure de surmonter seule ces défis immenses. D’où la nécessité d’une collaboration approfondie et durable. Même si les protocoles universels et les bonnes pratiques sont en pleine maturation dans ce domaine, on ne peut plus dire que les produits clé en main pour la sécurisation des agents se font rares. Il existe désormais des solutions sophistiquées et déployables, qui offrent une protection spécialisée et vitale pour les systèmes agentiques critiques. Un signe de progrès, certes, qui souligne l’urgence d’adopter des stratégies de sécurité multicouches et adaptatives incluant l’origine des modèles, des mécanismes d’endiguement robustes et des contrôles résilients supervisés par les équipes. Chacune de ces fonctions doit bien évidemment évoluer au même rythme que les agents qu’elle protège.
Des interventions à portée de main
S’il est impératif de concevoir des solutions solides et évolutives pour réduire les risques opérationnels immédiats de l’IA agentique, une sécurité complète à long terme passe toutefois par un investissement dédié de tout le secteur dans des fonctionnalités vitales et une vision commune. Parmi ces axes de développement, plusieurs sont parfaitement réalisables à condition de coordonner nos efforts vers un même objectif, en complément de notre innovation.
Il est par exemple question de créer une sorte de nomenclature des agents, basée sur la nomenclature des logiciels (SBOM), pour accroître la visibilité sur leurs composants : modèle, données d’entraînement, outils, mémoire, etc. Le projet rencontre néanmoins des obstacles en matière de viabilité, tels que l’absence de système commun pour les identifiants de modèle, information pourtant cruciale pour offrir la transparence souhaitée.
En outre, des bancs d’essai standardisés en prédéploiement permettraient de réaliser des évaluations évolutives selon divers scénarios, avant le lancement des agents dans les environnements de production. Des protocoles de communication émergent, comme MCP (Model Context Protocol) et A2A (Agent-to-Agent), mais rares sont ceux qui intègrent véritablement la sécurité dès le départ. Or, même lorsque des mesures de sécurité sont incorporées en natif, la forte prévalence de risques inconnus dans ces nouveaux systèmes agentiques met en lumière le besoin d’évaluations rigoureuses et continues, gages d’intégrité et de sécurité.
Notre rapport observe que la mémoire d’un agent, bien qu’indispensable à son apprentissage et à son amélioration pour éviter de reproduire les mêmes erreurs, constitue une vulnérabilité de taille susceptible d’être altérée par des acteurs malveillants. Face à cette problématique d’importance critique, l’utilisation d’instances d’agent de clonage au démarrage ou dédiées à certaines tâches s’impose. Dans un tel modèle, les agents conçus pour assurer des missions opérationnelles définies ou des interactions à durée limitée traitent leur mémoire de travail active comme un processus éphémère. Autrement dit, une fois que la tâche ou la session prévue est terminée, ces instances peuvent être supprimées. Les opérations ultérieures sont gérées par de nouvelles instances, initialisées à partir d’un référentiel sécurisé et fiable.
L’objectif ? Réduire considérablement le risque de corruption durable de la mémoire ou les effets résiduels d’une éventuelle manipulation au cours d’une session. Il est toutefois crucial qu’un tel système soit conçu avec le plus grand soin pour maintenir et protéger le socle de connaissances d’un agent et les fruits de son apprentissage sur la durée. Ces acquis doivent non seulement être préservés des altérations, mais aussi rester accessibles en toute sécurité pour informer les instances opérationnelles plus éphémères. Même si une telle gestion des états opérationnels ne saurait constituer une solution complète pour bloquer toutes les menaces contre la mémoire des agents, sa créativité et son approche systémique marquent une avancée notoire vers une sécurité des agents et des capacités d’endiguement solides.
Une invitation à l’engagement commun
En résumé, la sécurisation de l’IA agentique ne se fera pas par une seule avancée révolutionnaire, mais par des efforts continus impliquant la coordination des parties prenantes, toutes disciplines confondues : chercheurs, décideurs, professionnels du secteur et leaders, entre autres. Les menaces sont à la fois technologiques et fondamentales. Nous cherchons à sécuriser des systèmes que nous ne maîtrisons pas encore parfaitement. Cependant, s’il y a bien un enseignement à tirer des dernières années, c’est qu’à attendre d’avoir toutes les cartes en main, on finit par laisser passer notre chance.
L’évolution de l’IA agentique signifie que notre secteur est en train de mettre au point des défenses critiques en parallèle de sa démocratisation. En soi, ce développement simultané ne nous met pas dans une situation de crise, mais nous invite à prendre collectivement nos responsabilités. Notre réussite tient à la collaboration du secteur tout entier pour construire ces piliers avec transparence, rigueur et une vision commune pour un écosystème d’IA fiable.
Consultez le rapport complet : Achieving a Secure AI Agent Ecosystem.
1Autonomous Cyber Defence Phase II, Centre for Emerging Technology and Security, 3 mai 2024.
