Générateur de robots.txt
Créez un robots.txt valide : tout autoriser, tout bloquer ou régler finement les chemins interdits par robot, avec votre sitemap joint.
robots.txt
—
Publicité
Comment utiliser le Générateur de robots.txt
- Choisissez un préréglage ou personnalisez.
- Listez les chemins à interdire (un par ligne).
- Ajoutez l'URL de votre sitemap et copiez le fichier à la racine de votre site.
Le robots.txt est une demande, pas un verrou — les robots conformes le respectent, les malveillants l'ignorent. Pour une vraie confidentialité, il faut une authentification ou des en-têtes noindex.
Plus d'outils Webmaster Tools
Questions fréquentes
Tout autoriser ou fichier vide ?
Même effet pour les robots conformes ; un fichier explicite reste préférable car il porte aussi votre directive Sitemap.
Disallow masque-t-il des pages de Google ?
Non — les pages bloquées peuvent toujours apparaître par leur URL, sans extrait. Utilisez des meta tags noindex pour les exclure complètement des résultats.
Le crawl-delay est-il respecté ?
Par de nombreux robots (Bing, Yandex), mais pas par Google, qui gère sa propre fréquence d'exploration.