Crawler

Ein Crawler (auch Robot oder Spider genannt) bezeichnet speziell von Suchmaschinen entwickelte Programme, welche das Internet selbständig und kontinuierlich nach Änderungen durchsucht. Die Aufgabe der Crawler besteht darin, bereits im Suchmaschinenindex aufgenommene Webseiten auf mögliche Änderungen zu prüfen und neue Seiten in den Index aufzunehmen.

Der Crawler erkennt die Adressen der neu hinzugefügten Webseiten entweder über eine vorangegangene manuelle Anmeldung bei der Suchmaschine, oder aber über eine Verlinkung die den Crawler auf die zu indexierende Webseite leitet.

Zurück

Impressum

Sprechen wir über Ihr Projekt!
Scheiben Sie uns eine E-Mail oder rufen Sie uns an: 0381 / 20 35 49 33 Selbstverständlich ist Ihre Anfrage unverbindlich und kostenlos.