TPU Sync : gestion du cache KV pour accélérer l’inférence sur TPU
L'orchestration de la mémoire est devenue le nouveau goulot d'étranglement des grands modèles d'IA. GitHub présente TPU Sync, un framework C++ natif pour optimiser le cache clé-valeur sur les infrastructures TPU.