robots.txt ジェネレーター
有効なrobots.txtを作成:すべて許可、すべてブロック、またはクローラーごとに禁止パスを微調整——サイトマップ付き。
robots.txt
—
広告
robots.txt ジェネレーターの使い方
- プリセットを選ぶか、カスタムを選択します。
- 禁止するパスを列挙します(1行に1つ)。
- サイトマップURLを追加し、ファイルをサイトのルートにコピーします。
robots.txtはお願いであり、鍵ではありません——規則を守るクローラーは従いますが、悪意のあるクローラーは無視します。本当のプライバシーには認証またはnoindexヘッダーが必要です。
Webmaster Toolsのその他のツール
よくある質問
すべて許可と空ファイルの違いは?
規則を守るクローラーには同じ効果です。ただし明示的なファイルの方が、Sitemapディレクティブも含められるので優れています。
DisallowでページをGoogleから隠せますか?
いいえ——ブロックされたページもURLのみで表示されることがあります(スニペットなし)。検索結果から完全に除外するにはnoindexメタタグを使ってください。
クロール遅延は守られますか?
多くのクローラー(Bing、Yandex)は守りますが、Googleは守りません。Googleは自らクロール頻度を管理しています。