SYSTEM FOR MONITORING PASSENGERS WITHIN CABIN OF PASSENGER TRANSPORT VEHICLE

본 개시는 2022년도 정부(한국산업기술진흥원)의 재원으로 '상용차산업 혁신 성장 및 미래형 산업생태계(R&D) 사업'의 지원을 받아 수행된 연구이다(NO.P0020972, 도심형 버스 탑승자 보호를 위한 머신 러닝 기반 충돌 완화 시스템 개발) 본 개시는 여객 운송 차량 객실 내 승객 모니터링 시스템을 제공하며, 이 시스템은, 상기 여객 운송 차량 객실 내에 고정된 복수의 카메라로 구성된 카메라 세트로서, 상기 여객 운송 차량 객실의 바닥은 미리 정의된 개수의 사각형 그리드들의 집합인 것으로 설정되고 각각의 그리드마다 고유의 ID가 부여된 것으로 설정되며 상기 복수의 카메라 각각은 자신의 고유의 FOV(Field of view) 내의 승객에 대한 영상 프레임을 생성하는, 상기 카메라 세트; 상기 복수의 카메라 각각으로부터 생성되는 상기 영상 프레임들을 분석하여 상기 영상 프레임들 내의 객체 감지, 특징 추출, 깊이 추정 및 얼굴 감지에 관한 연산을 수행하는 분석 모듈; 상기 분석 모듈의 상기 연산의 결과들을 융합하여 상기 영상 프레임 내의 승객에 대한 3D 위치 벡터 생성에 관한 연산을 수행하는 시맨틱 특징 융합 모듈; 상기 시맨틱 특징 융합 모듈로부터 전달되는 상기 영상 프레임 내의 상기 승객에 대한 상기 3D 위치 벡터를, 위에서 아래를 바라보는 방향의 대응하는 2D 좌표로 변환하는 그라운드 플레인 투영(ground plane projection) 모듈; 및 상기 2D 좌표의 값에 대응하는 그리드 ID를, 상기 영상 프레임 내의 상기 승객에 대하여 부여하거나 또는 갱신하는 연산을 수행하는 그리드 ID 부여 및 갱신 모듈을 포함한다.