mybest seo

Robots.txt

Term Definition
Robots.txt

Die Datei Robots.txt kann der Website-Betreiber nutzen, um zu beeinflussen, welches Verhalten die Roboter der Suchmaschinen beim Scannen seiner Site an den Tag legen sollen. Es gibt keine Festlegung eines Gremiums, mit der Name, Ort oder Inhalt der Robots.txt definiert werden, das hat sich als Standard historisch entwickelt. Das Verhalten der Suchmaschinencrawler kann auch durch Metatags in HTML-Dateien beeinflusst werden. Das gilt dann aber jeweils nur für diese Datei oder durch Verweise erreichbare Sites. Durch die Nutzung einer zentralen Robots.txt können ganze Verzeichnisstrukturen festgelegt werden. Browser werten die Robots.txt nicht aus. Die Suchmaschinencrawler halten sich in der Regel an die Vorgaben aus der Robots.txt. Nur Robots, die in böser Absicht unterwegs sind, halten diese nicht ein.

Zugriffe: 599

© 2018 by mybestseo.de ein Projekt von Frank Hartung