Gerador de robots.txt
Crie um robots.txt válido: permita tudo, bloqueie tudo ou ajuste os caminhos bloqueados por rastreador — com o seu sitemap anexado.
robots.txt
—
Anúncio
Como usar o Gerador de robots.txt
- Escolha uma predefinição ou personalize.
- Liste os caminhos a bloquear (um por linha).
- Adicione a URL do seu sitemap e copie o arquivo para a raiz do site.
O robots.txt é um pedido, não uma tranca — os rastreadores que seguem as regras o respeitam, os maliciosos o ignoram. Para privacidade de verdade, é preciso autenticação ou cabeçalhos noindex.
Mais ferramentas do Webmaster Tools
Perguntas frequentes
Permitir tudo ou arquivo vazio?
O mesmo efeito para rastreadores que seguem as regras; mesmo assim, um arquivo explícito é melhor porque também traz a diretiva Sitemap.
O Disallow esconde páginas do Google?
Não — as páginas bloqueadas ainda podem aparecer apenas pela URL, sem trecho. Use meta tags noindex para excluí-las totalmente dos resultados.
O crawl-delay é respeitado?
Por muitos rastreadores (Bing, Yandex), mas não pelo Google, que gerencia a própria taxa de rastreamento.