Web scraping method and system using method of making web scraping script

The present invention relates to a web scraping method using a web scraping system, wherein according to one embodiment, disclosed is the web scraping method comprising: a step of generating a job script comprising a command enabling one or more web scrapers connected through a communication network...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: LEE JUNG SHIN, SONG CHANG HWAN, LIM DONG HYEON, KIM CHEONG BIN
Format: Patent
Sprache:eng ; kor
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:The present invention relates to a web scraping method using a web scraping system, wherein according to one embodiment, disclosed is the web scraping method comprising: a step of generating a job script comprising a command enabling one or more web scrapers connected through a communication network to scrape a digital content of a target site; a step of generating a target site subject to web scraping and a job schedule specifying an execution schedule of web scraping; a step of generating a job to be transmitted to each web scraper according to the job schedule; and a step of transmitting the job to each web scraper based on a job status of each web scraper. Therefore, the present invention is capable of more conveniently and efficiently perform an execution and script management of a web scraping job. 본 발명은 웹 스크래핑 시스템을 이용한 웹 스크래핑 방법에 관한 것으로, 일 실시예에 따르면, 통신망을 통해 연결된 하나 이상의 웹 스크래퍼가 타겟 사이트의 디지털 콘텐츠를 스크래핑하도록 하는 명령어를 포함하는 작업 스크립트를 생성하는 단계; 웹 스크래핑의 대상이 되는 타겟 사이트 및 웹 스크래핑의 실행 일정을 지정하는 작업 스케줄을 생성하는 단계; 상기 작업 스케줄에 따라 각 웹 스크래퍼에 전달할 작업(job)을 생성하는 단계; 및 각 웹 스크래퍼의 작업 상태에 기초하여 각 웹 스크래퍼에게 상기 작업(job)을 전달하는 단계;를 포함하는 웹 스크래핑 방법을 개시한다.