Ein Robot (auch Crawler oder Spider genannt) ist ein Programm einer Suchmaschine, welches eigenständig das Internet nach Veränderungen und neuen Webseiten durchsucht. Ein Robot öffnet mehrere hunderte Verbindungen gleichzeitig um bei Komplikationen problemlos auf eine andere Verbindung zuzugreifen. Durch diese Methode ist es für die Programme der Suchmaschinen möglich mehrere Webseiten gleichzeitig zu erfassen.