Generador de robots.txt

Crea un robots.txt válido: permite todo, bloquea todo o ajusta las rutas no permitidas por rastreador, con tu sitemap adjunto.

robots.txt
—
Anuncio

Cómo usar el Generador de robots.txt

  1. Elige un ajuste predefinido o personaliza.
  2. Enumera las rutas que quieres bloquear (una por línea).
  3. Añade la URL de tu sitemap y copia el archivo en la raíz de tu sitio.

El archivo robots.txt es una petición, no un candado: los rastreadores que cumplen las normas lo respetan y los maliciosos lo ignoran. Para una privacidad real necesitas autenticación o cabeceras noindex.

Más herramientas de Webmaster Tools

Preguntas frecuentes

¿Permitir todo o archivo vacío?

El mismo efecto para los rastreadores que cumplen las normas; aun así, un archivo explícito es mejor porque también incluye la directiva Sitemap.

¿Disallow oculta páginas de Google?

No: las páginas bloqueadas pueden seguir apareciendo solo por su URL, sin fragmento. Usa meta etiquetas noindex para excluirlas por completo de los resultados.

¿Se respeta el crawl-delay?

Lo respetan muchos rastreadores (Bing, Yandex), pero no Google, que gestiona su propia frecuencia de rastreo.

¿Te gusta esta herramienta?

Consigue Very Useful Tools Pro: una suscripción de 6 $/mes para todas las herramientas, sin anuncios cuando se activen, con lotes más grandes y límites más altos.

Go Pro