Robots.txt 生成器

生成有效的 robots.txt:全部允许、全部屏蔽,或按爬虫精细设置屏蔽路径,并附上你的 sitemap。

robots.txt
—
广告

如何使用 Robots.txt 生成器

  1. 选择一个预设,或选择自定义。
  2. 列出要屏蔽的路径(每行一个)。
  3. 添加你的 sitemap 网址,并把文件复制到网站根目录。

robots.txt 只是一份请求而非强制锁定——合规的爬虫会遵守,恶意的爬虫会无视它。想要真正的隐私保护,需要身份验证或 noindex 响应头。

Webmaster Tools 的更多工具

常见问题

全部允许和空文件有区别吗?

对合规爬虫效果相同;但明确写出的文件仍然更好,因为它还能携带 Sitemap 指令。

Disallow 能让页面不在 Google 中出现吗?

不能——被屏蔽的页面仍可能仅以网址形式出现(无摘要)。想让它们彻底不出现在搜索结果中,请使用 noindex meta 标签。

抓取延迟会被遵守吗?

许多爬虫(如 Bing、Yandex)会遵守,但 Google 不会,它自行管理抓取频率。

喜欢这个工具吗?

开通 Very Useful Tools Pro——每月 $6 订阅所有工具:广告上线后无广告,还有更大的批量与更高的限额。

Go Pro