Visual Question Answering Apparatus for Explaining Reasoning Process and Method Thereof

Embodiments of the present invention provide an apparatus and a method of a visual query and response. The apparatus of a visual query and response outputs regions selected in a process of reasoning an answer as well as an answer and the order of the selected regions by adding a plurality of region maps to a visual query and response model, and combines a plurality of region characteristics to apply the region characteristics to a sentence generation model such that an explanation sentence with respect to an object, which is not the answer, can be outputted with an image. 본 실시예들은 시각 질의 응답 모델에 복수의 영역 맵을 추가함으로써 정답뿐만 아니라 정답을 추론하는 과정에서 선택된 영역들 및 영역들이 선택된 순서가 무엇인지 출력하고, 복수의 영역 특징을 결합하여 문장 생성 모델에 적용함으로써 이미지와 함께 정답이 아닌 객체에 관한 설명 문장을 출력할 수 있는 시각 질의 응답 장치 및 방법을 제공한다.