QUANTIZATION METHOD FOR ACCELERATING THE INFERENCE OF NEURAL NETWORKS
An electronic apparatus performs a method of quantizing a neural network. The method includes: clipping a value used within the neural network beyond a range from a minimum value to a maximum value; simulating a quantization process using the clipped value; updating the minimum value and the maximum...
Gespeichert in:
1. Verfasser: | |
---|---|
Format: | Patent |
Sprache: | eng ; fre |
Schlagworte: | |
Online-Zugang: | Volltext bestellen |
Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Zusammenfassung: | An electronic apparatus performs a method of quantizing a neural network. The method includes: clipping a value used within the neural network beyond a range from a minimum value to a maximum value; simulating a quantization process using the clipped value; updating the minimum value and the maximum value during a training of the neural network to optimize the quantization process; and quantizing the value used within the neural network according to the updated minimum value and the maximum value. In some embodiments, the method of quantizing a neural network further includes minimizing the range during the training.
La présente invention concerne un appareil électronique qui réalise un procédé de quantification d'un réseau neuronal. Le procédé comprend : l'écrêtage d'une valeur utilisée au sein du réseau neuronal au-delà d'une plage allant d'une valeur minimale à une valeur maximale ; la simulation d'un processus de quantification à l'aide de la valeur écrêtée ; la mise à jour de la valeur minimale et de la valeur maximale pendant un entraînement du réseau neuronal pour optimiser le processus de quantification ; et la quantification de la valeur utilisée au sein du réseau neuronal en fonction de la valeur minimale et de la valeur maximale mises à jour. Dans certains modes de réalisation, le procédé de quantification d'un réseau neuronal comprend en outre la réduction au minimum de la plage pendant l'entraînement. |
---|