MACHINE LEARNING WORKLOAD ORCHESTRATION IN HETEROGENEOUS CLUSTERS

Systems and methods are described herein to orchestrate the execution of an application, such as a machine learning or artificial intelligence application, using distributed compute clusters with heterogeneous compute resources. A discovery subsystem may identify the different compute resources of each compute cluster. The application is divided into a plurality of workloads with each workload associated with resource demands corresponding to the compute resources of one of the compute clusters. Adaptive modeling allows for hyperparameters to be defined for each workload based on the compute resources associated with the compute cluster to which each respective workload is assigned and the associated dataset. L'invention concerne des systèmes et des procédés permettant d'orchestrer l'exécution d'une application, telle qu'une application d'apprentissage automatique ou d'intelligence artificielle, à l'aide de grappes de calcul distribuées avec des ressources informatiques hétérogènes. Un sous-système de découverte peut identifier les différentes ressources informatiques de chaque grappe de calcul. L'application est divisée en une pluralité de charges de travail, chaque charge de travail étant associée à des demandes de ressources correspondant aux ressources de calcul de l'un des groupes de calcul. Une modélisation adaptative permet de définir des hyperparamètres pour chaque charge de travail sur la base des ressources de calcul associées au groupe de calcul auquel chaque charge de travail respective est attribuée et de l'ensemble de données associé.