CONSTRAINED MASKING FOR SPARSIFICATION IN MACHINE LEARNING

Certain aspects of the present disclosure provide techniques and apparatus for feature masking. A feature tensor is accessed in a neural network, and a feature mask is generated by processing the feature tensor using a masking subnetwork, where the masking subnetwork was trained based at least in part on a polarization constraint and an activation constraint to generate feature masks. A masked feature tensor is generated based on the feature tensor and the feature mask, and an output inference is generated using the neural network based at least in part on the masked feature tensor. Certains aspects de la présente divulgation concernent des techniques et un appareil de masquage de caractéristiques. Un tenseur de caractéristiques est accessible dans un réseau de neurones artificiels, et un masque de caractéristiques est généré par traitement du tenseur de caractéristiques à l'aide d'un sous-réseau de masquage, le sous-réseau de masquage ayant été entraîné sur la base, au moins en partie, d'une contrainte de polarisation et d'une contrainte d'activation pour générer des masques de caractéristiques. Un tenseur de caractéristiques masqué est généré sur la base du tenseur de caractéristiques et du masque de caractéristiques, et une inférence de sortie est générée à l'aide du réseau de neurones artificiels sur la base, au moins en partie, du tenseur de caractéristiques masqué.