Web scraping method and system using method of making web scraping script
The present invention relates to a web scraping method using a web scraping system, wherein according to one embodiment, disclosed is the web scraping method comprising: a step of generating a job script comprising a command enabling one or more web scrapers connected through a communication network...
Gespeichert in:
Hauptverfasser: | , , , |
---|---|
Format: | Patent |
Sprache: | eng ; kor |
Schlagworte: | |
Online-Zugang: | Volltext bestellen |
Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Zusammenfassung: | The present invention relates to a web scraping method using a web scraping system, wherein according to one embodiment, disclosed is the web scraping method comprising: a step of generating a job script comprising a command enabling one or more web scrapers connected through a communication network to scrape a digital content of a target site; a step of generating a target site subject to web scraping and a job schedule specifying an execution schedule of web scraping; a step of generating a job to be transmitted to each web scraper according to the job schedule; and a step of transmitting the job to each web scraper based on a job status of each web scraper. Therefore, the present invention is capable of more conveniently and efficiently perform an execution and script management of a web scraping job.
본 발명은 웹 스크래핑 시스템을 이용한 웹 스크래핑 방법에 관한 것으로, 일 실시예에 따르면, 통신망을 통해 연결된 하나 이상의 웹 스크래퍼가 타겟 사이트의 디지털 콘텐츠를 스크래핑하도록 하는 명령어를 포함하는 작업 스크립트를 생성하는 단계; 웹 스크래핑의 대상이 되는 타겟 사이트 및 웹 스크래핑의 실행 일정을 지정하는 작업 스케줄을 생성하는 단계; 상기 작업 스케줄에 따라 각 웹 스크래퍼에 전달할 작업(job)을 생성하는 단계; 및 각 웹 스크래퍼의 작업 상태에 기초하여 각 웹 스크래퍼에게 상기 작업(job)을 전달하는 단계;를 포함하는 웹 스크래핑 방법을 개시한다. |
---|