Robots.txt-Generator

Erstelle eine gültige robots.txt: alles erlauben, alles sperren oder gesperrte Pfade pro Crawler feinjustieren – mit angehängter Sitemap.

robots.txt
—
Werbung

So benutzt du den Robots.txt-Generator

  1. Wähle eine Vorgabe oder eigene Pfade.
  2. Liste die zu sperrenden Pfade auf (einer pro Zeile).
  3. Füge deine Sitemap-URL hinzu und kopiere die Datei ins Stammverzeichnis deiner Website.

Die robots.txt ist eine Bitte, kein Schloss – regelkonforme Crawler befolgen sie, bösartige ignorieren sie. Für echten Datenschutz brauchst du Authentifizierung oder Noindex-Header.

Weitere Tools der Webmaster-Tools

Häufige Fragen

Alles erlauben oder leere Datei?

Gleiche Wirkung für regelkonforme Crawler; eine explizite Datei ist trotzdem besser, weil sie auch deine Sitemap-Anweisung enthält.

Versteckt Disallow Seiten vor Google?

Nein – gesperrte Seiten können weiterhin nur mit ihrer URL ohne Snippet erscheinen. Nutze Noindex-Meta-Tags, um sie ganz aus den Ergebnissen zu halten.

Wird Crawl-Delay respektiert?

Von vielen Crawlern (Bing, Yandex), aber nicht von Google – Google steuert seine eigene Crawling-Rate.

Gefällt dir dieses Tool?

Hol dir Very Useful Tools Pro – ein Abo für 6 $/Monat für alle Tools: werbefrei, sobald Werbung startet, plus größere Stapel und höhere Limits.

Go Pro