Robots.txt-Generator
Erstelle eine gültige robots.txt: alles erlauben, alles sperren oder gesperrte Pfade pro Crawler feinjustieren – mit angehängter Sitemap.
robots.txt
—
Werbung
So benutzt du den Robots.txt-Generator
- Wähle eine Vorgabe oder eigene Pfade.
- Liste die zu sperrenden Pfade auf (einer pro Zeile).
- Füge deine Sitemap-URL hinzu und kopiere die Datei ins Stammverzeichnis deiner Website.
Die robots.txt ist eine Bitte, kein Schloss – regelkonforme Crawler befolgen sie, bösartige ignorieren sie. Für echten Datenschutz brauchst du Authentifizierung oder Noindex-Header.
Weitere Tools der Webmaster-Tools
Häufige Fragen
Alles erlauben oder leere Datei?
Gleiche Wirkung für regelkonforme Crawler; eine explizite Datei ist trotzdem besser, weil sie auch deine Sitemap-Anweisung enthält.
Versteckt Disallow Seiten vor Google?
Nein – gesperrte Seiten können weiterhin nur mit ihrer URL ohne Snippet erscheinen. Nutze Noindex-Meta-Tags, um sie ganz aus den Ergebnissen zu halten.
Wird Crawl-Delay respektiert?
Von vielen Crawlern (Bing, Yandex), aber nicht von Google – Google steuert seine eigene Crawling-Rate.