METHOD AND SYSTEM FOR MANAGEMENT OF COLLECTING BULK DATA BASED ON HADOOP

A Hadoop-based bulk data collection management system according to an embodiment of the present invention includes: a control module for collecting and managing data; a task arrangement module for processing a reservation task; a management module for managing an agent; and an agent collection module for enabling the agent to perform a collection operation. The management module includes: a data collection modeler for performing the setting of the agent for data collection; an agent distribution module for distributing the agent to a collection server; and an agent monitoring module for monitoring the task contents and performance information of the distributed agent. Accordingly, the present invention can improve the setting time and process of the data collection by easily and quickly distributing the agent. 본 발명의 실시예에 따른 하둡 기반 대용량 데이터 수집 관리 시스템은 데이터 수집 관리 하는 제어 모듈; 예약 작업을 처리하는 작업배치모듈; 에이전트를 관리하는 관리모듈; 및 에이전트가 수집 작업을 수행하도록 하는 에이전트 수집 모듈;을 포함하고, 상기 관리모듈은, 데이터 수집을 위한 에이전트의 설정을 수행하는 데이터 수집 모델러; 상기 에이전트를 수집서버로 배포하는 에이전트 배포 모듈; 및 배포된 에이전트의 작업 내용과 성능 정보를 모니터링하는 에이전트 모니터링 모듈;을 포함하는 하둡 기반 대용량 데이터 수집 관리 시스템을 제공할 수 있다.