Gerador de robots.txt

Crie um robots.txt válido: permita tudo, bloqueie tudo ou ajuste os caminhos bloqueados por rastreador — com o seu sitemap anexado.

robots.txt
—
Anúncio

Como usar o Gerador de robots.txt

  1. Escolha uma predefinição ou personalize.
  2. Liste os caminhos a bloquear (um por linha).
  3. Adicione a URL do seu sitemap e copie o arquivo para a raiz do site.

O robots.txt é um pedido, não uma tranca — os rastreadores que seguem as regras o respeitam, os maliciosos o ignoram. Para privacidade de verdade, é preciso autenticação ou cabeçalhos noindex.

Mais ferramentas do Webmaster Tools

Perguntas frequentes

Permitir tudo ou arquivo vazio?

O mesmo efeito para rastreadores que seguem as regras; mesmo assim, um arquivo explícito é melhor porque também traz a diretiva Sitemap.

O Disallow esconde páginas do Google?

Não — as páginas bloqueadas ainda podem aparecer apenas pela URL, sem trecho. Use meta tags noindex para excluí-las totalmente dos resultados.

O crawl-delay é respeitado?

Por muitos rastreadores (Bing, Yandex), mas não pelo Google, que gerencia a própria taxa de rastreamento.

Gostou desta ferramenta?

Assine o Very Useful Tools Pro — uma assinatura de US$ 6/mês para todas as ferramentas: sem anúncios quando eles começarem, além de lotes maiores e limites mais altos.

Go Pro