In EDS ansehen

Metody extrakce dat z webových stránek ; Methods of Data Extraction from the Web

Gespeichert in:
Bibliographische Detailangaben
Titel: Metody extrakce dat z webových stránek ; Methods of Data Extraction from the Web
Autoren: Perina, Lukáš
Weitere Verfasser: Burget, Radek, Křivka, Zbyněk
Verlagsinformationen: Vysoké učení technické v Brně. Fakulta informačních technologií
Publikationsjahr: 2021
Bestand: Brno University of Technology (VUT): Digital Library / Vysoké učení technické v Brně: Digitální knihovně
Schlagwörter: Web scraping, Javascript, Node.js, Google Chrome, Chromium, JSON, Extrakcia dát, scraping, web, DOM, CSS, HTML, Puppeteer, data extraction
Beschreibung: Cieľom tejto bakalárskej práce je návrh architektúry a následná implementácia aplikácie, ktorá je určená na extrakciu dát (web scraping) z webových dokumentov. Na rozdiel od konvenčných metód sa jedná o extrakciu založenú na definovaní dátových typov a regulárnych výrazov hľadaných prvkov. Extrakcia prebieha tak, aby nebolo potrebné poznať detailnú štruktúru daného webového dokumentu a aby bolo umožnené použitie jednej definície na detekciu hľadaných prvkov na rôznych webových stránkach. Algoritmus dosahuje priemernú presnosť 85,51% a recall 80,28%. Týmto prístupom sa umožní zredukovať čas potrebný na analýzu jednotlivých stránok na minimum a nebrať štruktúru kódu, ako určujúci faktor pri vytváraní požiadaviek na web scraping. ; The purpose of this bachelor thesis is to design an architecture and subsequent implementation of an application designed for data extraction (web scraping) from web documents. Unlike conventional methods, it is an extraction based on defining data types and regular expressions of requested elements. Extraction is executed in such a manner, where it is not necessary to know the detailed structure of given web document and the possibility of using just one definition to detect requested elements on different web pages. Algorithm is able to achieve overall accuracy of 85,51% and recall 80,28%. This approach can reduce the time required for analysis of web pages significantly and not to take the structure of the code as a determining factor while creating web scraping requests. ; B
Publikationsart: bachelor thesis
Dateibeschreibung: application/pdf; text/html
Sprache: Slovak
Relation: PERINA, L. Metody extrakce dat z webových stránek [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2021.; 136542; http://hdl.handle.net/11012/198940
Verfügbarkeit: http://hdl.handle.net/11012/198940
Rights: Standardní licenční smlouva - přístup k plnému textu bez omezení
Dokumentencode: edsbas.5F32FC20
Datenbank: BASE
Beschreibung
Abstract:Cieľom tejto bakalárskej práce je návrh architektúry a následná implementácia aplikácie, ktorá je určená na extrakciu dát (web scraping) z webových dokumentov. Na rozdiel od konvenčných metód sa jedná o extrakciu založenú na definovaní dátových typov a regulárnych výrazov hľadaných prvkov. Extrakcia prebieha tak, aby nebolo potrebné poznať detailnú štruktúru daného webového dokumentu a aby bolo umožnené použitie jednej definície na detekciu hľadaných prvkov na rôznych webových stránkach. Algoritmus dosahuje priemernú presnosť 85,51% a recall 80,28%. Týmto prístupom sa umožní zredukovať čas potrebný na analýzu jednotlivých stránok na minimum a nebrať štruktúru kódu, ako určujúci faktor pri vytváraní požiadaviek na web scraping. ; The purpose of this bachelor thesis is to design an architecture and subsequent implementation of an application designed for data extraction (web scraping) from web documents. Unlike conventional methods, it is an extraction based on defining data types and regular expressions of requested elements. Extraction is executed in such a manner, where it is not necessary to know the detailed structure of given web document and the possibility of using just one definition to detect requested elements on different web pages. Algorithm is able to achieve overall accuracy of 85,51% and recall 80,28%. This approach can reduce the time required for analysis of web pages significantly and not to take the structure of the code as a determining factor while creating web scraping requests. ; B