Webcrawler

Was ist ein Webcrawler?

Der Webcrawler ist ein Programm einer Suchmaschine, um das Internet nach neuen Seiten zu durchforsten und diese zu indexieren und analysieren. Webcrawler werden in der Spam Industrie auch eingesetzt um z.B. in einem Forum in Sekunden alle Email Adressen einzusammeln. 2004 funktionierte das noch wunderbar. Man ging auf das Forum des Konkurrenten, startete den Webcrawler und kannte im Bestfall nach Sekunden alle Email Adressen der Forumsteilnehmer. Inzwischen muss ein Webcrawler nicht nur die Daten sammeln, sondern auch bewerten und sortieren. Durch die ständig steigende Flut an Informationen erhalten vor allem ältere Webseiten erstmals eine größere Beachtung. Den Google Webcrawler kann man nach Erstellung einer neuen Webseite oder Blogbeitrags durch „submit URL“ die neue Webseite mitteilen.

Karin TaiberWebcrawler