FIXED-POINT MULTIPLICATION FOR NETWORK QUANTIZATION

Techniques for training a neural network having a plurality of computational layers with associated weights and activations for computational layers in fixed-point formats include determining an optimal fractional length for weights and activations for the computational layers; training a learned clipping-level with fixed-point quantization using a PACT process for the computational layers; and quantizing on effective weights that fuses a weight of a convolution layer with a weight and running variance from a batch normalization layer. A fractional length for weights of the computational layers is determined from current values of weights using the determined optimal fractional length for the weights of the computational layers. A fixed-point activation between adjacent computational layers is related using PACT quantization of the clipping-level and an activation fractional length from a node in a following computational layer. The resulting fixed-point weights and activation values are stored as a compressed representation of the neural network. Des techniques de formation d'un réseau neuronal présentant une pluralité de couches de calcul avec des poids et des activations associés pour des couches de calcul dans des formats à virgule fixe consistent à déterminer une longueur fractionnaire optimale des poids et des activations correspondant aux couches de calcul; à former un niveau de découpage formé avec une quantification à virgule fixe à l'aide d'un processus PACT correspondant aux couches de calcul; et à quantifier des poids effectifs qui fusionnent un poids d'une couche de convolution avec un poids et à exécuter une variance à partir d'une couche de normalisation par lots. Une longueur fractionnaire correspondant aux poids des couches de calcul est déterminée à partir de valeurs de courant de poids à l'aide de la longueur fractionnaire optimale déterminée correspondant aux poids des couches de calcul. Une activation à virgule fixe entre des couches de calcul adjacentes est associée à l'aide d'une quantification PACT du niveau de découpage et d'une longueur fractionnaire d'activation à partir d'un nœud dans une couche de calcul suivante. Les poids et les valeurs d'activation à virgule fixe qui en résultent sont stockés sous la forme d'une représentation compressée du réseau neuronal.