QUANTIZATION METHOD FOR ACCELERATING THE INFERENCE OF NEURAL NETWORKS

An electronic apparatus performs a method of quantizing a neural network. The method includes: clipping a value used within the neural network beyond a range from a minimum value to a maximum value; simulating a quantization process using the clipped value; updating the minimum value and the maximum...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
1. Verfasser: DENG, Weiran
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:An electronic apparatus performs a method of quantizing a neural network. The method includes: clipping a value used within the neural network beyond a range from a minimum value to a maximum value; simulating a quantization process using the clipped value; updating the minimum value and the maximum value during a training of the neural network to optimize the quantization process; and quantizing the value used within the neural network according to the updated minimum value and the maximum value. In some embodiments, the method of quantizing a neural network further includes minimizing the range during the training. La présente invention concerne un appareil électronique qui réalise un procédé de quantification d'un réseau neuronal. Le procédé comprend : l'écrêtage d'une valeur utilisée au sein du réseau neuronal au-delà d'une plage allant d'une valeur minimale à une valeur maximale ; la simulation d'un processus de quantification à l'aide de la valeur écrêtée ; la mise à jour de la valeur minimale et de la valeur maximale pendant un entraînement du réseau neuronal pour optimiser le processus de quantification ; et la quantification de la valeur utilisée au sein du réseau neuronal en fonction de la valeur minimale et de la valeur maximale mises à jour. Dans certains modes de réalisation, le procédé de quantification d'un réseau neuronal comprend en outre la réduction au minimum de la plage pendant l'entraînement.