Generador de robots.txt
Crea un robots.txt válido: permite todo, bloquea todo o ajusta las rutas no permitidas por rastreador, con tu sitemap adjunto.
robots.txt
—
Anuncio
Cómo usar el Generador de robots.txt
- Elige un ajuste predefinido o personaliza.
- Enumera las rutas que quieres bloquear (una por línea).
- Añade la URL de tu sitemap y copia el archivo en la raíz de tu sitio.
El archivo robots.txt es una petición, no un candado: los rastreadores que cumplen las normas lo respetan y los maliciosos lo ignoran. Para una privacidad real necesitas autenticación o cabeceras noindex.
Más herramientas de Webmaster Tools
Preguntas frecuentes
¿Permitir todo o archivo vacío?
El mismo efecto para los rastreadores que cumplen las normas; aun así, un archivo explícito es mejor porque también incluye la directiva Sitemap.
¿Disallow oculta páginas de Google?
No: las páginas bloqueadas pueden seguir apareciendo solo por su URL, sin fragmento. Usa meta etiquetas noindex para excluirlas por completo de los resultados.
¿Se respeta el crawl-delay?
Lo respetan muchos rastreadores (Bing, Yandex), pero no Google, que gestiona su propia frecuencia de rastreo.