ASYNCHRONOUS DISTRIBUTED DATA FLOW FOR MACHINE LEARNING WORKLOADS

Methods, systems, and apparatus, including computer programs encoded on computer storage media, for distributing machine learning workloads, e.g., computations for training a neural network or computing an inference using a neural network, across multiple hardware accelerators. One of the systems comprises a plurality of accelerator islands, each accelerator island comprising a respective plurality of hardware devices that include a plurality of hardware accelerators and a corresponding host for each of the plurality of hardware accelerators; and a respective scheduler for each of the accelerator islands that is configured to schedule workloads across the plurality of accelerators and corresponding hosts in the accelerator island, wherein the system is configured to: receive data representing a machine learning workload; and assign a respective portion of the machine learning workload to each of the plurality of accelerator islands for scheduling by the respective scheduler for the accelerator island. L'invention concerne des procédés, systèmes et un appareil, comprenant des programmes informatiques codés sur des supports de stockage informatiques, pour distribuer des charges de travail d'apprentissage automatique, par exemple, des calculs pour entraîner un réseau neuronal ou calculer une inférence à l'aide d'un réseau neuronal, sur de multiples accélérateurs matériels. L'un des systèmes comprend une pluralité d'îlots d'accélérateur, chaque îlot d'accélérateur comprenant une pluralité respective de dispositifs matériels qui comprennent une pluralité d'accélérateurs matériels et un hôte correspondant pour chacun de la pluralité d'accélérateurs matériels ; et un programmateur respectif pour chacun des îlots d'accélérateur qui est configuré pour planifier des charges de travail à travers la pluralité d'accélérateurs et des hôtes correspondants dans l'îlot d'accélérateur, le système étant configuré pour : recevoir des données représentant une charge de travail d'apprentissage automatique ; et attribuer une partie respective de la charge de travail d'apprentissage automatique à chacun de la pluralité d'îlots d'accélérateur pour une planification par le programmateur respectif pour l'îlot d'accélérateur.