MODEL SELECTION LEARNING FOR KNOWLEDGE DISTILLATION

The present disclosure provides method and apparatus for obtaining a target model based on knowledge distillation. A data set and a set of candidate reference models may be obtained. A set of selected reference models selected from the set of candidate reference models may be determined for each training sample in the data set. A set of target probability distributions output by the set of selected reference models for the training sample may be acquired. The target model may be trained with the set of target probability distributions. La présente invention concerne un procédé et un appareil permettant d'obtenir un modèle cible sur la base d'une distillation de connaissances. Un ensemble de données et un ensemble de modèles de référence candidats peuvent être obtenus. Un ensemble de modèles de référence sélectionnés qui sont sélectionnés à partir de l'ensemble de modèles de référence candidats peut être déterminé pour chaque échantillon d'apprentissage dans l'ensemble de données. Un ensemble de distributions de probabilité cibles délivrées par l'ensemble de modèles de référence sélectionnés pour l'échantillon d'apprentissage peut être acquis. Le modèle cible peut être formé avec l'ensemble de distributions de probabilité cibles.