The Ethicality of Web Crawlers

Search engines largely rely on web crawlers to collect information from the web. This has led to an enormous amount of web traffic generated by crawlers alone. To minimize negative aspects of this traffic on websites, the behaviors of crawlers may be regulated at an individual web server by implemen...

Celý popis

Podrobná bibliografie

Vydáno v:	2010 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology Ročník 1; s. 668 - 675
Hlavní autoři:	Sun, Yang, Councill, Isaac G., Giles, C. Lee
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 01.08.2010
Témata:	Costs Crawlers ethicality Ethics Guidelines Privacy Regulation Robots robots.txt Search engines Vectors web crawler ethics
ISBN:	9781424484829, 1424484820
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!