POSE ESTIMATION REFINEMENT FOR AERIAL REFUELING

Aspects of the disclosure provide fuel receptacle position/pose estimation for aerial refueling (derived from aircraft position and pose estimation). A video frame (200), showing an aircraft (110) to be refueled, is received from a single camera. An initial position/pose estimate (506) is determined for the aircraft, which is used to generate an initial rendering (418) of an aircraft model (416). The video frame and the initial rendering are used to determine refinement parameters (44) (e.g., a translation refinement and a rotational refinement) for the initial position/pose estimate, providing a refined position/pose estimate (508) for the aircraft. The position/pose (622) of a fuel receptacle (116) on the aircraft is determined, based on the refined position/pose estimate for the aircraft, and an aerial refueling boom (104) may be controlled to engage the fuel receptacle. Examples extract features from the aircraft in the video frame and the aircraft model rendering, and use a deep learning neural network (NN) to determine the refinement parameters. 본 개시내용의 양상들은 (항공기 포지션 및 포즈 추정으로부터 도출된) 공중 급유를 위한 연료 리셉터클 포지션/포즈 추정을 제공한다. 급유될 항공기(110)를 보여주는 비디오 프레임(200)이 단일 카메라로부터 수신된다. 항공기에 대한 초기 포지션/포즈 추정치(506)가 결정되며, 이는 항공기 모델(416)의 초기 렌더링(418)을 생성하는 데 사용된다. 비디오 프레임 및 초기 렌더링은 초기 포지션/포즈 추정치에 대한 개선 파라미터들(44)(예를 들어, 병진 개선 및 회전 개선)을 결정하여, 항공기에 대한 개선된 포지션/포즈 추정치(508)를 제공하는 데 사용된다. 항공기 상의 연료 리셉터클(116)의 포지션/포즈(622)는 항공기에 대한 개선된 포지션/포즈 추정치에 기반하여 결정되고, 공중 급유 붐(104)은 연료 리셉터클과 맞물리도록 제어될 수 있다. 예들은 비디오 프레임 및 항공기 모델 렌더링에서 항공기로부터 특징들을 추출하고, 딥 러닝 뉴럴 네트워크(NN; neural network)를 사용하여 개선 파라미터들을 결정한다.