SCENE UNDERSTANDING AND GENERATION USING NEURAL NETWORKS

이미지 렌더링을 위해 컴퓨터 저장 매체상에 인코딩된 컴퓨터 프로그램을 포함하는 방법, 시스템 및 장치가 개시된다. 일 양태에서, 방법은 특정 장면을 특징짓는 복수의 관측치를 수신하는 단계를 포함하며, 각각의 관측치는 특정 장면의 이미지 및 그 이미지를 캡처한 카메라의 위치를 식별하는 데이터를 포함한다. 다른 양태에서, 상기 방법은 특정 비디오를 특징짓는 복수의 관측치들을 수신하는 단계를 포함하며, 각각의 관측치는 특정 비디오로부터의 비디오 프레임 및 특정 비디오에서의 비디오 프레임의 시간 스탬프를 식별하는 데이터를 포함한다. 또 다른 양태에서, 상기 방법은 특정 이미지를 특징짓는 복수의 관측치들을 수신하는 단계를 포함하며, 각 관측치는 특정 이미지의 크롭 및 특정 이미지의 크롭을 특징짓는 데이터를 포함한다. 이 방법은 관측 신경망을 사용하여 복수의 관측치 각각을 프로세싱하여 수치 표현을 출력으로 결정한다. Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for image rendering. In one aspect, a method comprises receiving a plurality of observations characterizing a particular scene, each observation comprising an image of the particular scene and data identifying a location of a camera that captured the image. In another aspect, the method comprises receiving a plurality of observations characterizing a particular video, each observation comprising a video frame from t31he particular video and data identifying a time stamp of the video frame in the particular video. In yet another aspect, the method comprises receiving a plurality of observations characterizing a particular image, each observation comprising a crop of the particular image and data characterizing the crop of the particular image. The method processes each of the plurality of observations using an observation neural network to determine a numeric representation as output.