ALLOCATING COMPUTING RESOURCES BETWEEN MODEL SIZE AND TRAINING DATA DURING TRAINING OF A MACHINE LEARNING MODEL

Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for training a machine learning model to perform a machine learning task. In one aspect, a method performed by one or more computer is described. The method includes: obtaining data defining a compute budget that characterizes an amount of computing resources allocated for training a machine learning model to perform a machine learning task; processing the data defining the compute budget using an allocation mapping, in accordance with a set of allocation mapping parameters, to generate an allocation tuple defining: (i) a target model size for the machine learning model, and (ii) a target amount of training data for training the machine learning model; instantiating the machine learning model, where the machine learning model has the target model size; and obtaining the target amount of training data for training the machine learning model. L'invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support de stockage informatique, permettant d'entraîner un modèle d'apprentissage automatique pour effectuer une tâche d'apprentissage automatique. Selon un aspect, un procédé effectué par un ou plusieurs ordinateurs est décrit. Le procédé consiste à : obtenir des données définissant un budget informatique qui caractérise une quantité de ressources informatiques attribuées pour entraîner un modèle d'apprentissage automatique pour effectuer une tâche d'apprentissage automatique ; traiter les données définissant le budget informatique à l'aide d'un mappage d'attribution, conformément à un ensemble de paramètres de mappage d'attribution, pour générer un tuple d'attribution définissant : (i) une taille de modèle cible pour le modèle d'apprentissage automatique, et (ii) une quantité cible de données d'entraînement pour entraîner le modèle d'apprentissage automatique ; instancier le modèle d'apprentissage automatique, le modèle d'apprentissage automatique ayant la taille de modèle cible ; et obtenir la quantité cible de données d'entraînement pour entraîner le modèle d'apprentissage automatique.