LEARNED COMPUTER CONTROL USING POINTING DEVICE AND KEYBOARD ACTIONS

A computer-implemented method for controlling a particular computer to execute a task is described. The method includes receiving a control input comprising a visual input, the visual input including one or more screen frames of a computer display that represent at least a current state of the particular computer; processing the control input using a neural network to generate one or more control outputs that are used to control the particular computer to execute the task, in which the one or more control outputs include an action type output that specifies at least one of a pointing device action or a keyboard action to be performed to control the particular computer; determining one or more actions from the one or more control outputs; and executing the one or more actions to control the particular computer. L'invention concerne un procédé mis en œuvre par ordinateur pour commander un ordinateur particulier afin qu'il exécute une tâche. Le procédé consiste à recevoir une entrée de commande comprenant une entrée visuelle, l'entrée visuelle comprenant une ou plusieurs trames d'écran d'un dispositif d'affichage informatique qui représentent au moins un état actuel de l'ordinateur particulier; traiter l'entrée de commande à l'aide d'un réseau neuronal pour générer une ou plusieurs sorties de commande qui sont utilisées pour commander l'ordinateur particulier afin qu'il exécute la tâche, la ou les sorties de commande comprenant une sortie de type action qui spécifie une action de dispositif de pointage et/ou une action de clavier devant être effectuée pour commander l'ordinateur particulier; déterminer une ou plusieurs actions parmi la ou les sorties de commande; et exécuter la ou les actions pour commander l'ordinateur particulier.