mybest seo

Crawler

Term Definition
Crawler

Crawler sind Computerprogramme, die das Internet ohne jede menschliche Interaktion durchsuchen und Websites analysieren. Crawler werden hauptsächlich für Suchmaschinen eingesetzt. Sie gehören zu Bots (Kurzform von Robots) – autonomen Programmen, die unabhängig immer wieder die gleichen Aufgaben durchführen und die Ergebnisse ihrer Arbeit an einer definierten Stelle hinterlegen. Crawler können unterschiedliche Aufgaben durchführen. Neben der Indexierung des öffentlichen Internets für Suchmaschinen kann das zum Beispiel auch das Sammeln von E-Mail-Adressen von Websites sein, um Werbe-E-Mails (Spam) zu versenden. Ein weiteres Beispiel ist das Auffinden von Inhalten, die dem Urheberrecht unterliegen. Über die Metadaten einer Site können Website-Betreiber Crawler bis zu einem gewissen Grad aussperren, wenn sie das wollen.

Zugriffe: 725

© 2018 by mybestseo.de ein Projekt von Frank Hartung