The Ethicality of Web Crawlers

Search engines largely rely on web crawlers to collect information from the web. This has led to an enormous amount of web traffic generated by crawlers alone. To minimize negative aspects of this traffic on websites, the behaviors of crawlers may be regulated at an individual web server by implemen...

Celý popis

Podrobná bibliografia

Vydané v:	2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology Ročník 1; s. 668 - 675
Hlavní autori:	Sun, Yang, Councill, Isaac G., Giles, C. Lee
Médium:	Konferenčný príspevok..
Jazyk:	English
Vydavateľské údaje:	IEEE 01.08.2010
Predmet:	Costs Crawlers ethicality Ethics Guidelines Privacy Regulation Robots robots.txt Search engines Vectors web crawler ethics
ISBN:	9781424484829, 1424484820
On-line prístup:	Získať plný text
Tagy:	Pridať tag Žiadne tagy, Buďte prvý, kto otaguje tento záznam!