The Ethicality of Web Crawlers

Search engines largely rely on web crawlers to collect information from the web. This has led to an enormous amount of web traffic generated by crawlers alone. To minimize negative aspects of this traffic on websites, the behaviors of crawlers may be regulated at an individual web server by implemen...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology Jg. 1; S. 668 - 675
Hauptverfasser:	Sun, Yang, Councill, Isaac G., Giles, C. Lee
Format:	Tagungsbericht
Sprache:	Englisch
Veröffentlicht:	IEEE 01.08.2010
Schlagworte:	Costs Crawlers ethicality Ethics Guidelines Privacy Regulation Robots robots.txt Search engines Vectors web crawler ethics
ISBN:	9781424484829, 1424484820
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!