OPERATION COMMAND GENERATION DEVICE AND OPERATION COMMAND GENERATION METHOD

To enable an object to be selected in autonomous learning type end-to-end operation command generation.SOLUTION: An operation command generation device 100 comprises: an acquisition unit 111 which acquires an image including a candidate of an object of the work by a robot and sensor information; and a command generation unit 113 which outputs an operation command of the robot with the image and the sensor information as an input by using a machine learning model (command generation model 140). The machine learning model comprises: a position extraction block which includes a parameter to be referred to when calculating a position or region of a candidate of the object; and an operation command generation block which includes a parameter to be referred to when calculating an operation command of the work of a robot on the object. An explanatory variable includes the image and sensor information and a target variable is generated by using learning data 130 including the operation command.SELECTED DRAWING: Figure 2 【課題】自律学習型のエンドツーエンドの動作指令生成において対象物の選択を可能とする。【解決手段】動作指令生成装置１００は、ロボットが作業する対象物の候補を含む画像およびセンサ情報を取得する取得部１１１と、機械学習モデル（指令生成モデル１４０）を用いて、前記画像および前記センサ情報を入力として前記ロボットの動作指令を出力する指令生成部１１３とを備える。機械学習モデルは、対象物の候補の位置または領域を算出する際に参照されるパラメータを含む位置抽出ブロックと、対象物に対するロボットの作業の動作指令を算出する際に参照されるパラメータを含む動作指令生成ブロックとを含み、説明変数が画像およびセンサ情報を含み、目的変数が動作指令を含む学習データ１３０を用いて生成される。【選択図】図２