Apparatus and method for spatiotemporal neural network-based labeling for building anomaly data set

A labeling method comprises: a step in which an object detection unit detects human objects in each of a plurality of consecutive frames of an image through area boxes representing areas occupied by the human objects, using an object detection model; a step in which an object tracking unit assigns unique identifiers to the area boxes representing the same human objects across the plurality of consecutive frames to track the same human objects; a step in which an action identification unit sequentially identifies actions of the human objects from the plurality of area boxes to which the same identifiers are assigned across the plurality of consecutive frames, using an action classification model; and a step in which a behavior detection unit detects any abnormal behavior corresponding to the sequentially identified actions of the human objects. Therefore, the labeling method can reduce the time required for labeling or label verification. 레이블링 방법은 객체탐지부가 객체탐지모델을 통해 영상의 복수의 연속된 프레임 각각에서 사람 객체가 차지하는 영역을 나타내는 영역상자를 통해 사람 객체를 검출하는 단계와, 객체추적부가 상기 복수의 연속된 프레임에 걸쳐 동일한 사람 객체를 나타내는 영역상자에 대해 고유의 식별자를 부여하여 동일한 사람 객체를 추적하는 단계와, 행위식별부가 행위분류모델을 통해 상기 복수의 연속된 프레임에 걸쳐 동일한 식별자가 부여된 복수의 영역상자 각각으로부터 사람 객체의 행위를 순차로 식별하는 단계와, 행동검출부가 상기 순차로 식별된 사람 객체의 행위에 부합하는 이상행동을 검출하는 단계를 포함한다.