Bildverarbeitungsvorrichtung und -verfahren, Bildaufnahmevorrichtung und Steuerungsverfahren dafür, Programm und Speichermedium

Bildverarbeitungsvorrichtung, mit: einer Bezugseinrichtung, die konfiguriert ist, um eine Vielzahl von unterschiedlichen Betrachtungspunktbildern zu beziehen, die durch Aufnehmen einer gleichen Szene aus unterschiedlichen Betrachtungspunkten aus erhalten werden, und konfiguriert ist, um mindestens ein Parallaxenbildpaar mit einer Parallaxe durch Pupillenteilung zu beziehen; einer ersten Erzeugungseinrichtung, die konfiguriert ist, um ein erstes Distanzbild aus dem Parallaxenbildpaar zu erzeugen; einer zweiten Erzeugungseinrichtung, die konfiguriert ist, um ein zweites Distanzbild aus der Vielzahl von unterschiedlichen Betrachtungspunktbildern zu erzeugen; und einer Integrationseinrichtung, die konfiguriert ist, um das erste Distanzbild und das zweite Distanzbild zu integrieren und ein integriertes Distanzbild zu erzeugen. An image processing apparatus comprises: an acquisition unit that acquires a plurality of different viewpoint images obtained by shooting a same scene from different viewpoints, and acquires at least one parallax image pair having parallax by pupil division; a first generator that generates a first distance image from the parallax image pair; a second generator that generates a second distance image from the plurality of different viewpoint images; and an integrator that integrates the first distance image and the second distance image and generates an integrated distance image.