WEIGHT OSCILLATION MITIGATION DURING MACHINE LEARNING

Certain aspects of the present disclosure provide techniques and apparatus for mitigating weight oscillation during quantization-aware training. In one example, a method includes identifying oscillation of a parameter of a machine learning model during quantization-aware training of the machine learning model, and applying an oscillation mitigation procedure during the quantization-aware training of the machine learning model in response to identifying the oscillation, the oscillation mitigation procedure comprising at least one of oscillation dampening or parameter freezing. Certains aspects de la présente divulgation concernent des techniques et un appareil pour atténuer une oscillation de pondérations pendant un entraînement sensible à la quantification. Dans un exemple, un procédé consiste à identifier une oscillation d'un paramètre d'un modèle d'apprentissage automatique pendant un entraînement sensible à la quantification du modèle d'apprentissage automatique et à appliquer une procédure d'atténuation d'oscillation pendant l'entraînement sensible à la quantification du modèle d'apprentissage automatique en réponse à l'identification de l'oscillation, la procédure d'atténuation d'oscillation comprenant un amortissement d'oscillation et/ou un gel de paramètre.