RATE CONTROL MACHINE LEARNING MODELS WITH FEEDBACK CONTROL FOR VIDEO ENCODING

Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for encoding video comprising a sequence of video frames. In one aspect, a method comprises for one or more of the video frames: obtaining a feature embedding for the video frame; processing the feature embedding using a rate control machine learning model to generate a respective score for each of multiple quantization parameter values; selecting a quantization parameter value using the scores; determining a cumulative amount of data required to represent: (i) an encoded representation of the video frame and (ii) encoded representations of each preceding video frame; determining, based on the cumulative amount of data, that a feedback control criterion for the video frame is satisfied; updating the selected quantization parameter value; and processing the video frame using an encoding model to generate the encoded representation of the video frame. La présente invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support de stockage informatique, permettant de coder une vidéo comprenant une séquence de trames vidéo. Selon un aspect, un procédé consiste, pour une ou plusieurs des trames vidéo, à : obtenir une intégration de caractéristiques pour la trame vidéo ; traiter l'intégration de caractéristiques à l'aide d'un modèle d'apprentissage automatique de commande de débit afin de générer un score respectif pour chaque valeur d'une pluralité de valeurs de paramètres de quantification ; sélectionner une valeur de paramètre de quantification à l'aide des scores ; et déterminer une quantité cumulative de données requises pour représenter : (i) une représentation codée de la trame vidéo et (ii) des représentations codées de chaque trame vidéo précédente ; déterminer, d'après la quantité cumulative de données, qu'un critère de commande de rétroaction pour la trame vidéo est rempli ; mettre à jour la valeur de paramètre de quantification sélectionnée ; et traiter la trame vidéo à l'aide d'un modèle de codage afin de générer la représentation codée de la trame vidéo.