MIXING INFRARED AND COLOR COMPONENT DATA POINT CLOUDS

본 개시는 적외선 데이터가 희박한 영역들에서 깊이 관련 데이터를 제공하기 위해 RGB 데이터를 적외선 데이터와 믹싱하는 것에 관한 것이다. 예를 들어, 포인트 클라우드 데이터에 대응하는 적외선 데이터는 그 내부의 희박한 영역들을 결정하기 위해 프로세싱된다. 임의의 이러한 희박한 영역들에 대해, RGB 데이터에서의 대응 영역에 대응하는 RGB 데이터가 데이터 구조에 추가된다. IR 데이터를 포함할 수 있거나 IR 데이터에 연결될 수 있는 데이터 구조는 예를 들어, 포인트 클라우드와 깊이 관련 데이터를 위해 사용될 수 있다. The subject disclosure is directed towards a framework that is configured to allow different background-foreground segmentation modalities to contribute towards segmentation. In one aspect, pixels are processed based upon RGB background separation, chroma keying, IR background separation, current depth versus background depth and current depth versus threshold background depth modalities. Each modality may contribute as a factor that the framework combines to determine a probability as to whether a pixel is foreground or background. The probabilities are fed into a global segmentation framework to obtain a segmented image.