La passerelle API de Google Cloud intègre le support du streaming en version avant-première, permettant aux applications en temps réel de passer sous son contrôle sécurisé. Avant cette mise à jour, les équipes devaient choisir : soit accepter la limitation du streaming en plaçant la passerelle devant leur API, soit contourner la passerelle pour conserver les fonctionnalités d’authentification et d’observabilité, menant à une gestion fragmentée des services.

Cette évolution permet désormais aux endpoints de streaming de résider derrière la même passerelle que le reste des services, bénéficiant ainsi des politiques de sécurité en vigueur. Pour les applications d’intelligence artificielle, l’impact est significatif. Les réponses des modèles, comme ceux de Gemini, Claude ou OpenAI gpt-oss, peuvent être transmises au fur et à mesure de leur génération.

Ce n’est pas un ajout fonctionnel majeur nécessitant une refonte de spécifications. Google souligne que le modèle de description de l’API reste inchangé ; il suffit d’activer le streaming en cochant une option lors de la création de la passerelle. Cette approche assure la continuité des usages existants, y compris l’application des clés API et le routage.

Le streaming, un mode d’interaction attendu

Le support du streaming est présenté non pas comme une niche pour les systèmes d’IA, mais comme le mode d’interaction attendu. Les utilisateurs s’attendent à voir les résultats d’un modèle apparaître progressivement, et les agents travaillant en plusieurs étapes doivent pouvoir signaler leurs progrès de manière continue. L’API Gateway devient ainsi une porte d’entrée viable pour ce trafic agentique.

En parallèle de ce gain en fluidité, la gestion des noms d’hôtes des passerelles devient bien plus prévisible. Auparavant, l’adresse de la passerelle était déterminée par un hachage généré au moment de sa création, rendant difficile sa configuration dans les systèmes de déploiement automatisés ou les documents d’intégration. Désormais, l’URL suit un format déterministe : GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev, ce qui simplifie grandement l’industrialisation des environnements.

Centralisation du contrôle pour les modèles d’IA

Au-delà du streaming, la passerelle intègre le routage de modèles. Cela permet d’exposer un point d’accès unique, compatible avec OpenAI, qui peut acheminer la requête vers différents modèles (Gemini, Claude, etc.) en fonction d’un champ spécifique du corps de la requête. Le couplage de ce routage avec le streaming maintient un contrôle centralisé sur l’accès aux modèles, tout en offrant une expérience utilisateur familière et standardisée.

Cependant, il faut noter les réserves soulevées par la communauté. Selon des utilisateurs sur X, les métriques de latence traditionnelles de la passerelle mesurent la durée totale du flux, et non le temps jusqu’au premier octet, ce qui peut masquer des expériences utilisateur très différentes sous un même graphique de performance. De plus, il est précisé que les passerelles existantes ne peuvent pas être modifiées directement pour intégrer cette fonctionnalité en cours de route.

Il reste à surveiller comment cette intégration du streaming va impacter les politiques de gouvernance des API lorsqu’elles sont utilisées pour des charges de travail hautement coûteuses et gourmandes en quota, comme les appels récurrents à des modèles d’IA.

Sources

• Streaming comes to API Gateway: real-time and AI-ready APIs, without changing your spec, developers.googleblog.com
• Google Cloud API Gateway Introduces Streaming Support for Real-Time and AI-Powered Applications, InfoQ, 5 novembre 2026
• [In preview] Public Preview: MCP gateway for Application Gateway for Containers, Microsoft Azure, 2 novembre 2026