REINFORCEMENT LEARNING-BASED RATE CONTROL FOR END-TO-END NEURAL NETWORK BSED VIDEO COMPRESSION

An end-to-end neural network-based rate control method based on reinforcement learning implements video codec embodiments. In one embodiment, the codec environment is based on an Asymmetric Gained Variational Auto-Encoder (AG-VAE) architecture. A Reinforcement Learning (RL) agent is implemented thro...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: DINESHA, Ujwal, UL HAQ, Syed Mateen, CHOI, Hyomin, RACAPE, Fabien
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:An end-to-end neural network-based rate control method based on reinforcement learning implements video codec embodiments. In one embodiment, the codec environment is based on an Asymmetric Gained Variational Auto-Encoder (AG-VAE) architecture. A Reinforcement Learning (RL) agent is implemented through a deep convolutional neural network. In an embodiment, the RL agent conveys a choice of gain vector to the AG-VAE codec and receives reward data from the AG-VAE environment. Rate control is optimized over a period of frames, such as a Group of Pictures (GOP). Un procédé de régulation de débit basé sur un réseau neuronal de bout en bout basé sur un apprentissage par renforcement met en œuvre des modes de réalisation de codec vidéo. Dans un mode de réalisation, l'environnement de codec est basé sur une architecture d'encodeur automatique variationnel à gain asymétrique (AG-VAE). Un agent d'apprentissage par renforcement (RL) est mis en œuvre par l'intermédiaire d'un réseau neuronal convolutif profond. Dans un mode de réalisation, l'agent de RL communique un choix de vecteur de gain au codec d'AG-VAE et reçoit des données de récompense de l'environnement d'AG-VAE. Une régulation de débit est optimisée sur une période de trames, telle qu'un groupe d'images (GOP).