Générateur de robots.txt

Créez un robots.txt valide : tout autoriser, tout bloquer ou régler finement les chemins interdits par robot, avec votre sitemap joint.

robots.txt
—
Publicité

Comment utiliser le Générateur de robots.txt

  1. Choisissez un préréglage ou personnalisez.
  2. Listez les chemins à interdire (un par ligne).
  3. Ajoutez l'URL de votre sitemap et copiez le fichier à la racine de votre site.

Le robots.txt est une demande, pas un verrou — les robots conformes le respectent, les malveillants l'ignorent. Pour une vraie confidentialité, il faut une authentification ou des en-têtes noindex.

Plus d'outils Webmaster Tools

Questions fréquentes

Tout autoriser ou fichier vide ?

Même effet pour les robots conformes ; un fichier explicite reste préférable car il porte aussi votre directive Sitemap.

Disallow masque-t-il des pages de Google ?

Non — les pages bloquées peuvent toujours apparaître par leur URL, sans extrait. Utilisez des meta tags noindex pour les exclure complètement des résultats.

Le crawl-delay est-il respecté ?

Par de nombreux robots (Bing, Yandex), mais pas par Google, qui gère sa propre fréquence d'exploration.

Vous aimez cet outil ?

Passez à Very Useful Tools Pro — un abonnement de 6 $/mois pour tous les outils : sans publicité dès leur lancement, avec des lots plus grands et des limites plus élevées.

Go Pro