Article
Webサイト運用で押さえたいレスポンス設計とクローラー対策
Webサイトを運用するときに見落としやすいHTTPレスポンスの扱いと、検索エンジン向けクローラー対策の基本を整理する。
目次
CodexやClaude Codeを使うことで、自作のWebサイトを公開するハードルは大きく下がった。WordPressなどを使わなくても、好みのデザインでサイトを作りやすくなっている。 ただ、Webサイトは公開して終わりではなく、公開してからの運用の方が長い。業務でも同様に新規開発期間より運用期間の方が長いことが多い。 そして、運用を始めると表示崩れやフォーム不具合よりも先に、レスポンスの返し方やクローラーへの見せ方に、徐々に問題が出ることがある。
たとえば次のような状態は、見た目では気づきにくいが、運用上はかなり危ない。
- 存在しないURLで200を返している
- メンテナンス中なのに通常ページ扱いでクロールされる
- ステージング環境が検索結果に出る
- 不要なパラメータ付きURLが大量にクロールされる
- エラーページなのにキャッシュされ続ける
この記事では、Webサイト運用で先に見ておきたいポイントを、HTTPレスポンスとクローラー対策の2つに分けて整理する。
アプリケーション開発というより、公開後の事故を減らすための運用観点に寄せている。
まず最初に押さえたいこと
最初に意識したいのは次の4点である。
- ページ内容とHTTPステータスコードを一致させる
- クロールさせるURLとさせないURLを明確に分ける
- インデックスさせたくないページは複数の層で制御する
- エラー系レスポンスとキャッシュの組み合わせを雑にしない
サイト運用では、ブラウザで正しく見えることと、検索エンジンや監視基盤に正しく伝わることは別問題である。 見た目が正常でも、レスポンス設計に問題があると、あとからSEO、監視、キャッシュ、セキュリティに影響する。Googleアドセンスの申請などにも、こうした設定が大きく関わっているようだ。
1. 404と410を正しく返す
まず、存在しないページで200を返す構成は避けたい。
いわゆるsoft404の状態で、ユーザーにもクローラーにも誤解を与えやすい。
典型的な問題は次の通りである。
- 削除済み記事のURLで「記事がありません」と表示しつつ200を返す
- ルーティングの都合で全URLをトップページ扱いにしてしまう
- カスタム404画面を出しているが、実際のHTTPステータスは200のまま
基本方針は次である。
- 存在しないページは404を返す
- 今後も戻さない削除済みコンテンツは410も検討する
- 代替ページが明確にある場合だけ301や308で転送する
削除した記事を全部トップページへリダイレクトするような実装は、ユーザーにも検索エンジンにも不親切である。
近い移転先がないなら、素直に404か410を返した方がよい。
2. 301と302を使い分ける
次に、リダイレクトは単に飛ばせばよいわけではない。
恒久移転なのか一時的な退避なのかで、選ぶステータスが変わる。
恒久的なURL変更には301または308、一時的な移動には302または307を使う。
気を付けたいのは、CMS移行やURL設計変更のときに302のまま放置するケースである。
これを続けると、検索エンジン側で評価の引き継ぎが不安定になったり、古いURLが残り続けたりする。
また、リダイレクトチェーンも避けたい。
A -> B -> Cのような多段転送- HTTPからHTTPSへ飛ばしたあと、さらに末尾スラッシュ調整で転送
- 大文字URLや末尾index.htmlの吸収がバラバラ
運用時は、最終URLに一回で到達する構成へ寄せた方がよい。
3. メンテナンスや障害時のレスポンスを誤らない
また、メンテナンス画面を出していても200を返しているケースは意外と多い。
しかし実際には、通常配信できていない状態なら503を使うべき場面がある。
特に次のようなケースは503が候補になる。
- 計画メンテナンスで一時的に停止している
- バックエンド障害で正常応答できない
- アクセス集中で意図的に退避画面を返している
このときはRetry-Afterヘッダも合わせて検討したい。
クローラーやクライアントに「一時的な停止」であることを伝えやすくなる。
逆に、障害ページやメンテナンスページを長時間200で返すと、正常ページとして評価されたりキャッシュされたりして面倒になる。
4. キャッシュ系ヘッダをページ種別で分ける
レスポンス設計では、ステータスコードだけでなくキャッシュ制御も重要である。
全ページ一律のキャッシュ設定だと、公開後の修正反映やエラー時の挙動で困りやすい。
静的アセットは長めにキャッシュし、ファイル名の変更で更新を伝える。通常のHTMLは、短めのキャッシュや再検証を前提にすると整理しやすい。
ログイン後のページや個別ユーザー向けの画面では、共有キャッシュを避ける。エラーページやメンテナンスページも、不必要に長くキャッシュしないようにする。
特に注意したいのは、CDNやリバースプロキシがエラーレスポンスを想定以上に保持するパターンである。
アプリ側では復旧していても、利用者には古い503画面が見え続けることがある。
5. robots.txtは万能ではない
クローラー対策というと、まずrobots.txtを置く話が出る。
もちろん重要だが、これだけで安心するのは危ない。
robots.txtでできるのは主に次のことだ。
- クロールしてほしくないパスを伝える
- サイトマップの場所を示す
一方で、次のことは保証しない。
- URLを完全に秘匿すること
- インデックスを絶対に防ぐこと
- 悪意あるボットのアクセスを止めること
つまり、robots.txtは「行儀のよいクローラーへのお願い」であって、アクセス制御そのものではない。
管理画面、会員ページ、検証環境の防御をrobots.txtに任せるべきではない。
robots.txtに記載するだけで、自作イラスト等をAIに学習させないと謳っているサイトもまれにあるため注意が必要である。
6. noindexを使う場所を整理する
検索結果に出したくないページは、meta robotsやX-Robots-Tagによるnoindexを使う。
対象になりやすいのは次のようなページである。
- サイト内検索結果
- 重複しやすい一覧URL
- フィルタやソートで量産されるパラメータURL
- サンクスページ
- ステージングや一時公開ページ
Disallowはクロールを抑制する指示、noindexはインデックスを抑制する指示で、役割が違う。
単にrobots.txtでブロックしただけでは、外部リンクなどを起点にURLだけが検索結果へ出る余地がある。
検索結果に載せたくないなら、noindex側の制御も考える必要がある。
7. パラメータ付きURLの増殖を放置しない
運用では、不要なURLの種類が増えすぎると、かなり影響が出る。
たとえば次のようなURLが無制限に生成されると、クロール予算や評価分散の面で不利になりやすい。
?page=?sort=?utm_source=?ref=- 組み合わせ自由な絞り込み条件
ここで見たいのは次の点である。
- 正規URLを
canonicalで示せているか - 不要なパラメータURLに内部リンクを張っていないか
- 検索結果に出したくない一覧を
noindexにしているか - サーバーやCDNのキャッシュキーが無駄に分岐していないか
分析用パラメータを付けること自体は珍しくないが、そのURLをそのまま共有導線や内部リンクへ混ぜると後で散らかりやすい。
8. ステージング環境を公開状態のまま放置しない
ステージングや検証環境が外部公開され、検索エンジンからも見える状態は、運用上かなり危険である。
起こりやすい問題は次の通りである。
- 本番とほぼ同じ内容が重複ページとして見える
- 開発中UIや未公開記事が露出する
- ベーシック認証なしで管理画面やAPIが見える
- テスト用のメール送信や外部連携が誤発火する
対策はnoindexだけでは弱い。
少なくとも次のいずれか、できれば複数を組み合わせたい。
- ベーシック認証
- IP制限
- VPN配下への配置
- 本番と分離した認証基盤
「検索に出さない」と「アクセスできない」は別である。
検証環境は、そもそも第三者が触れない状態を先に作るべきである。
9. クローラー向けにサイトマップと内部リンクを整える
対策というと遮断ばかりに意識が向きやすいが、正しくクロールしてほしいページへ迷わず来てもらう設計も重要である。
最低限、次は見ておきたい。
- XMLサイトマップを用意する
- 重要ページへ内部リンクで到達できるようにする
- 孤立ページを作らない
- canonicalを自己参照で安定させる
- 一覧と詳細の導線を崩さない
特に新規公開記事や深い階層のページは、サイトマップだけでなく内部リンク側でも到達性を確保した方がよい。
クローラーは存在するURLを全部自動で見つけてくれるわけではない。
10. 監視ではHTML本文だけでなくステータスも見る
最後に運用面として、監視や動作確認をブラウザ表示だけで済ませない方がよい。
レスポンス異常は、見た目よりHTTPレベルに先に出ることがある。
少なくとも次の項目は、定期的に確認できると心強い。
- 主要ページのHTTPステータス
Locationヘッダの向き先Cache-Controlなど主要ヘッダX-Robots-Tagやmeta robotsrobots.txtとサイトマップの配信状態
「ページは開けるから大丈夫」ではなく、「何を返しているか」を見ないと、SEOや配信の問題は見落としやすい。
まとめ
Webサイト運用で気を付けたいのは、デザインや本文だけではない。
実際には、次のようなHTTPレスポンスとクローラー制御の基本がかなり重要である。
- 404、410、301、302、503を用途に応じて正しく返す
- エラーページやメンテナンスページのキャッシュを雑にしない
robots.txtを過信せず、noindexや認証と役割を分ける- パラメータURL、canonical、サイトマップ、内部リンクを整理する
- ステージング環境は検索除外ではなくアクセス制限で守る
公開後の運用では、ページが見えるかどうかより、どのようなレスポンスを返しているかが重要になる。
レスポンス設計とクローラー対策を最初に整えておくと、後からの修正コストをかなり減らせる。
Webサイトやブログを公開するときは、一息ついて、この記事などを参考に最終確認すると良いと思う。