ARTIFICIAL INTELLIGENCE WORKLOAD MIGRATION FOR PLANET-SCALE ARTIFICIAL INTELLIGENCE INFRASTRUCTURE SERVICE

The disclosure herein describes platform-level migration for deep learning training (DLT) jobs from a checkpointed stated between a source node and a destination node. The checkpointing is performed through capturing GPU state (e.g., device state) and CPU state (e.g., host state). The GPU state includes GPU data (e.g., model parameters, optimizer state, etc.) that is located in the GPU and GPU context (e.g., the default stream in GPU, various handles created by libraries). Restoring the DLT job on the destination node involves resumption of processing of a destination GPU at the same checkpointed state. L'invention décrit une migration de niveau de plateforme pour des tâches d'apprentissage d'apprentissage profond (DLT) à partir d'un point de contrôle indiqué entre un nœud source et un nœud cible. Le pointage de contrôle est réalisé par capture d'un état de GPU (par exemple, un état de dispositif) et d'un état de CPU (par exemple, un état d'hôte). L'état de GPU comprend des données de GPU (par exemple, des paramètres de modèle, un état d'optimiseur, etc.) qui sont situées dans le GPU et dans le contexte de GPU (par exemple, le flux par défaut dans la GPU, divers descripteurs créés par des bibliothèques). La restauration de la tâche DLT sur le nœud de destination implique la reprise du traitement d'une GPU de destination au même état de point de contrôle.