Robots.txt 生成器
生成有效的 robots.txt:全部允许、全部屏蔽,或按爬虫精细设置屏蔽路径,并附上你的 sitemap。
robots.txt
—
广告
如何使用 Robots.txt 生成器
- 选择一个预设,或选择自定义。
- 列出要屏蔽的路径(每行一个)。
- 添加你的 sitemap 网址,并把文件复制到网站根目录。
robots.txt 只是一份请求而非强制锁定——合规的爬虫会遵守,恶意的爬虫会无视它。想要真正的隐私保护,需要身份验证或 noindex 响应头。
Webmaster Tools 的更多工具
常见问题
全部允许和空文件有区别吗?
对合规爬虫效果相同;但明确写出的文件仍然更好,因为它还能携带 Sitemap 指令。
Disallow 能让页面不在 Google 中出现吗?
不能——被屏蔽的页面仍可能仅以网址形式出现(无摘要)。想让它们彻底不出现在搜索结果中,请使用 noindex meta 标签。
抓取延迟会被遵守吗?
许多爬虫(如 Bing、Yandex)会遵守,但 Google 不会,它自行管理抓取频率。