PARALLEL METHOD BASED ON HYBRID ARCHITECTURE IN DISTRIBUTED TRAINING

In a distributed training, in order to save communication cost and reduce training time, a first computing node may divide a data chunk assigned to a processing unit into a plurality of data segments, the plurality of data segments comprising at least a first data segment and a second data segment; assign the plurality of data segments to a plurality of threads, the plurality of threads comprising at least a first thread and a second thread; and perform an intra-node sub-operation on a portion of the first data segment using the first thread, in parallel with performing an inter-node sub-operation on a portion of the second data segment using the second thread, thus utilizing intra-node and inter-node link fabrics simultaneously to lessen idle times of the intra-node and inter-node link fabrics. Dans un apprentissage distribué, afin d'économiser le coût de communication et de réduire le temps d'apprentissage, un premier nœud de calcul peut diviser un bloc de données attribué à une unité de traitement en une pluralité de segments de données, la pluralité de segments de données comprenant au moins un premier segment de données et un second segment de données; attribuer la pluralité de segments de données à une pluralité de fils, la pluralité de fils comprenant au moins un premier fil et un second fil; et effectuer une sous-opération intra-nœud sur une partie du premier segment de données en utilisant le premier fil tout en réalisant une sous-opération inter-nœuds sur une partie du second segment de données en utilisant le second fil, ce qui permet d'utiliser simultanément des tissus de liaison intra-nœud et inter-nœuds pour réduire les temps de repos des tissus de liaison intra-nœud et inter-nœuds.