robots.txt ジェネレーター

有効なrobots.txtを作成:すべて許可、すべてブロック、またはクローラーごとに禁止パスを微調整——サイトマップ付き。

robots.txt
—
広告

robots.txt ジェネレーターの使い方

  1. プリセットを選ぶか、カスタムを選択します。
  2. 禁止するパスを列挙します(1行に1つ)。
  3. サイトマップURLを追加し、ファイルをサイトのルートにコピーします。

robots.txtはお願いであり、鍵ではありません——規則を守るクローラーは従いますが、悪意のあるクローラーは無視します。本当のプライバシーには認証またはnoindexヘッダーが必要です。

Webmaster Toolsのその他のツール

よくある質問

すべて許可と空ファイルの違いは?

規則を守るクローラーには同じ効果です。ただし明示的なファイルの方が、Sitemapディレクティブも含められるので優れています。

DisallowでページをGoogleから隠せますか?

いいえ——ブロックされたページもURLのみで表示されることがあります(スニペットなし)。検索結果から完全に除外するにはnoindexメタタグを使ってください。

クロール遅延は守られますか?

多くのクローラー(Bing、Yandex)は守りますが、Googleは守りません。Googleは自らクロール頻度を管理しています。

このツールは気に入りましたか?

Very Useful Tools Proに登録——月額6ドルで全ツール使い放題。広告開始後は広告なし、バッチも上限もさらに大きく。

Go Pro