robots.txt 生成

robots.txtとSEO：クローラー制御の完全ガイド

ウェブサイトを公開する際、Googleなどの検索エンジンに「どのページを見てほしいか」「どのページは無視してほしいか」を伝える最初の手段がrobots.txtです。仕様はシンプルですが、たった1行の記述ミスでサイト全体が検索結果から消え去るような大事故に繋がることもあります。このガイドでは、正しい構文、SEOへの影響、そして「Noindex」との決定的な違いについて解説します。

robots.txtとは何か？

robots.txtは、ウェブサイトのルートディレクトリ（例：https://example.com/robots.txt）に配置されるプレーンテキストファイルです。Googlebotなどのウェブクローラー（ロボット）がサイトに訪れた際、彼らは一番最初にこのファイルを読み込み、サイト内のクロール（巡回）ルールを確認します。

基本的な構文と書き方

robots.txtは主に2つの要素、User-agentとDisallow（またはAllow）のセットで構成されます。

1. すべてのクローラーを許可する（デフォルト）

ファイルが存在しない場合と同じ挙動です。すべてのボットがサイト全体をクロールできます。

User-agent: *
Disallow:

2. サイト全体のクロールを拒否する（危険）

開発環境や非公開サイトでのみ使用します。本番環境でこれを設定すると、Google検索から完全に姿を消します。

User-agent: *
Disallow: /

3. 特定のディレクトリ（管理画面など）をブロックする

WordPressのダッシュボードや、ユーザーのマイページなどをブロックする一般的な設定です。

User-agent: *
Disallow: /wp-admin/
Disallow: /private/
Disallow: /api/

4. 悪質な特定のボットだけを弾く

例えば、AIの学習データを収集するクローラー（GPTBotなど）だけをブロックしたい場合に指定します。

User-agent: GPTBot
Disallow: /

5. サイトマップの場所を伝える

クローラーにXMLサイトマップのURLを伝えることで、効率的な巡回を促せます。

Sitemap: https://example.com/sitemap.xml

【重要】DisallowとNoindexの決定的な違い

SEO担当者やエンジニアが最も混同しやすいのが、robots.txtによる「ブロック（Disallow）」と、HTMLのメタタグ（またはHTTPヘッダー）による「インデックス拒否（Noindex）」の違いです。

よくある失敗： 「このページを検索に出したくない」と考え、急いでrobots.txtでDisallowしてしまうことがあります。しかし、Googleはすでにそのページを認知している場合、ページの中身を見に行けない（クロールできない）ため、ページ内に設定された「Noindex」タグを読み取ることができず、結果としてタイトルやスニペットが不明な状態で検索結果に残り続けてしまうという悲劇が起こります。

検索結果から確実に消したい場合は、まずrobots.txtでのブロックを解除（クロールを許可）し、ページ側に<meta name="robots" content="noindex">を設置して再クロールさせるのが正解です。