SIMULATING INDUSTRIAL FACILITIES FOR CONTROL

Methods, systems, and apparatus, including computer programs encoded on computer storage media, for simulating industrial facilities for control. One of the methods includes. at each of a plurality of time steps during a task episode: receiving, from a computer simulator of an industrial facility, measurements representing a current state of the facility; generating, from the measurements, an observation; providing the observation as input to a control policy for controlling the facility; receiving, as output, an action for controlling one or more setpoints of the facility; generating, from the action, one or more control inputs for the one or more setpoints of the facility; and providing, as input to the simulator, (i) the control inputs and (ii) current values for one or more configuration parameters of the simulator to cause the simulator to generate, as output, new measurements representing a new state of the facility. Procédés, systèmes et appareil, comprenant des programmes informatiques codés sur des supports d'enregistrement informatiques, pour simuler des installations industrielles pour une commande. L'un des procédés consiste à, au niveau de chacune d'une pluralité d'étapes temporelles pendant un épisode de tâche : recevoir, en provenance d'un simulateur informatique d'une installation industrielle, des mesures représentant un état actuel de l'installation; générer, à partir des mesures, une observation; fournir l'observation en tant qu'entrée à une politique de commande pour commander l'installation; recevoir, en tant que sortie, une action pour commander un ou plusieurs points de consigne de l'installation; générer, à partir de l'action, une ou plusieurs entrées de commande pour le ou les points de consigne de l'installation; et fournir, en tant qu'entrée au simulateur, (i) les entrées de commande et (ii) des valeurs actuelles pour un ou plusieurs paramètres de configuration du simulateur pour amener le simulateur à générer, en tant que sortie, de nouvelles mesures représentant un nouvel état de l'installation.