STACKED CONVOLUTIONAL LONG SHORT-TERM MEMORY FOR MODEL-FREE REINFORCEMENT LEARNING

Methods, systems, and apparatus, including computer programs encoded on computer storage media, for controlling an agent interacting with an environment. One of the methods includes obtaining a representation of an observation; processing the representation using a convolutional long short-term memory (LSTM) neural network comprising a plurality of convolutional LSTM neural network layers; processing an action selection input comprising the final LSTM hidden state output for the time step using an action selection neural network that is configured to receive the action selection input and to process the action selection input to generate an action selection output that defines an action to be performed by the agent at the time step; selecting, from the action selection output, the action to be performed by the agent at the time step in accordance with an action selection policy; and causing the agent to perform the selected action. La présente invention concerne des procédés, des systèmes et un appareil, y compris des programmes d'ordinateur codés sur un support de stockage informatique, permettant de commander un agent interagissant avec un environnement. L'un des procédés consiste à obtenir une représentation d'une observation ; à traiter la représentation à l'aide d'un réseau neuronal à mémoire à long terme et à court terme (LSTM) à convolution comprenant une pluralité de couches de réseau neuronal LSTM à convolution ; à traiter une entrée de sélection d'action comprenant la sortie d'état caché de LSTM final correspondant à l'étape temporelle à l'aide d'un réseau neuronal de sélection d'action qui est configuré pour recevoir l'entrée de sélection d'action et pour traiter l'entrée de sélection d'action permettant de générer une sortie de sélection d'action qui définit une action à exécuter par l'agent à l'étape temporelle ; à sélectionner, à partir de la sortie de sélection d'action, l'action à exécuter par l'agent à l'étape temporelle conformément à une politique de sélection d'action ; et à amener l'agent à exécuter l'action sélectionnée.