DATA-AWARE MODEL PRUNING FOR NEURAL NETWORKS

Embodiments of the present disclosure include systems and methods for performing data-aware model pruning for neural networks. During a training phase, a neural network is trained with a first set of data. During a validation phase, inference with the neural network is performed using a second set of data that causes the neural network to generate a first set of outputs at a layer in the neural network. During the validation phase, a plurality of mean values and a plurality of variance values are calculated based on the first set of outputs. A plurality of entropy values are calculated based on the plurality of mean values and the plurality of variance values. A second set of outputs are pruned based on the plurality of entropy values. The second set of outputs are generated by the layer of the neural network using a third set of data. Les modes de réalisation de la présente divulgation concernent des systèmes et des procédés permettant d'effectuer un élagage de modèle sensible aux données pour réseaux neuronaux. Pendant une phase d'entraînement, un réseau neuronal est entraîné avec un premier ensemble de données. Pendant une phase de validation, une inférence avec le réseau neuronal est effectuée à l'aide d'un deuxième ensemble de données qui amène le réseau neuronal à générer un premier ensemble de sorties au niveau d'une couche dans le réseau neuronal. Pendant la phase de validation, une pluralité de valeurs moyennes et une pluralité de valeurs de variance sont calculées sur la base du premier ensemble de sorties. Une pluralité de valeurs d'entropie est calculée sur la base de la pluralité de valeurs moyennes et de la pluralité de valeurs de variance. Un second ensemble de sorties est élagué sur la base de la pluralité de valeurs d'entropie. Le second ensemble de sorties est généré par la couche du réseau neuronal à l'aide d'un troisième ensemble de données.