POSE ESTIMATION REFINEMENT FOR AERIAL REFUELING

To provide fuel receptacle position/pose estimation for aerial refueling (derived from aircraft position and pose estimation).SOLUTION: A video frame (200), showing an aircraft (110) to be refueled, is received from a single camera. An initial position/pose estimate (506) is determined for the aircraft, which is used to generate an initial rendering image (418) of an aircraft model (416). The video frame and the initial rendering image are used to determine refinement parameters (44) (e.g., a translation refinement and a rotational refinement) for the initial position/pose estimate, providing a refined position/pose estimate (508) for the aircraft. The position/pose (622) of a fuel receptacle (116) on the aircraft is determined, based on the refined position/pose estimate for the aircraft, and an aerial refueling boom (104) may be controlled to engage the fuel receptacle. Examples extract features from the aircraft in the video frame and the aircraft model rendering image, and use a deep learning neural network (NN) to determine the refinement parameters.SELECTED DRAWING: Figure 4 【課題】 空中給油に際して給油口の位置／姿勢推定を（航空機の位置及び姿勢推定から導出して）行う。【解決手段】 給油対象の航空機（１１０）を示すビデオフレーム（２００）を、１台のカメラから受信する。航空機モデル（４１６）の初期レンダリング画像（４１８）の生成に用いられる航空機の初期位置／姿勢推定（５０６）を決定する。ビデオフレーム及び初期レンダリング画像を用いて、初期位置／姿勢推定のための修正パラメータ（４４）（例えば、並進修正値及び回転修正値）を決定し、航空機の修正位置／姿勢推定（５０８）を実現する。航空機の修正位置／姿勢推定に基づいて、航空機の給油口（１１６）の位置／姿勢（６２２）を特定し、空中給油ブーム（１０４）を給油口に係合させるように当該空中給油ブームを制御する。例えば、ビデオフレーム及び航空機モデルのレンダリング画像における航空機から特徴を抽出し、深層学習ニューラルネットワーク（ＮＮ）を用いて修正パラメータを決定する。【選択図】 図４