Gros plan sur des mains tapant sur un clavier mécanique devant un écran technique affichant un schéma de workflow.

NVIDIA contribue à la CNCF pour sécuriser et scaler les agents IA

NVIDIA approfondit son engagement envers l’open source en contribuant deux projets majeurs à la Cloud Native Computing Foundation (CNCF) : OpenShell, un runtime pour sécuriser et gouverner les agents autonomes, et son soutien à Agent Substrate, un cadre pour faire tourner ces agents à grande échelle sur Kubernetes.

Le problème, c’est que les agents IA ne tournent pas comme des services web classiques. Ils passent la majeure partie de leur temps à attendre : un prompt humain, le résultat d’un outil, ou la réponse d’un modèle. Kubernetes n’a pas été conçu pour ce comportement « réveil-action-sommeil ». Garder un Pod dédié par session, même inactif, coûte cher en ressources. En revanche, le supprimer entre deux étapes impose un temps de démarrage à froid de plusieurs secondes, ce qui est trop lent pour un sandbox qui doit réagir en millisecondes.

Agent Substrate, désormais un projet CNCF Sandbox, propose une solution. Il multiplexe plusieurs sessions sur un petit pool de Pods travailleurs. Quand un acteur (l’agent) est inactif, son état — mémoire et système de fichiers inclus — est sauvegardé (checkpointé) dans son sandbox, qu’il soit gVisor ou une microVM. Quand l’acteur est sollicité à nouveau, il est restauré sur un worker disponible, sans passer par le cycle complet de l’API server de Kubernetes. Cela accélère considérablement le temps de réponse.

Baie de serveurs faiblement éclairée dans une salle de serveurs moderne, avec des reflets de lumières sur le sol.

Cette technique répond à des besoins spécifiques. Les assistants de codage, par exemple, alternent entre appels à des LLM et exécution de commandes dans leur environnement, exigeant une persistance immédiate de l’état. Le Reinforcement Learning (RL) avec des environnements agents, lui, voit des demandes de sandboxes CPU lourds arriver par rafales. NVIDIA souligne que ces usages poussent l’infrastructure au-delà des capacités standard des conteneurs.

Gouvernance et contrôle des agents

La performance n’est qu’une partie de l’équation ; la sécurité est primordiale. L’autonomie des agents, leur permettant d’accéder à des outils ou d’exécuter des tâches, nécessite des garde-fous solides. C’est le rôle d’OpenShell, également introduit à la CNCF en tant que projet Sandbox. Ce runtime vise à donner aux organisations le contrôle sur ce que les agents sont autorisés à faire.

OpenShell applique des contrôles déterministes sur l’activité des agents. Il permet d’appliquer des politiques strictes lorsque l’agent utilise un outil ou accède à des services d’inférence. Son architecture est extensible ; les équipes peuvent intégrer leurs propres systèmes de stockage de secrets ou de monitoring. Les développeurs ont précisé que le projet adopte Cedar, un autre projet CNCF, comme langage de politique, montrant une intégration profonde dans l’écosystème cloud natif.

Vers des usines IA gérées

Au-delà de l’optimisation des agents individuels, il y a la question de l’infrastructure des « AI Factories ». Pour ces usines, NVIDIA propose également NVIDIA Kubernetes Engine (NVKE) et NVIDIA Kubernetes Recipes (NVKR), disponibles en prévisualisation publique. Ces outils aident les équipes à déployer et à gérer l’infrastructure GPU sur Kubernetes tout en conservant le contrôle de leur logiciel et de leur expérience client.

NVKE fournit le logiciel pour faire tourner un service Kubernetes géré, avec des API pour provisionner et gérer les clusters. NVKR, quant à lui, construit les images système et conteneurs nécessaires, en utilisant des recettes qui définissent des combinaisons validées de versions logicielles et de générations de GPU. Les deux projets font partie de la plateforme DSX AI Factory de NVIDIA.

Pour les chercheurs, par exemple, Agent Substrate permet de lancer des sandboxes GPU isolées pour compiler du code CUDA ou effectuer des calculs numériques, et de les partager équitablement sur un pool limité de GPU. De plus, NVIDIA travaille sur la pluggabilité de dispositifs, permettant aux fournisseurs de brancher leurs équipements via un profil, et les premiers dispositifs supportés seront les GPU NVIDIA.

Sources