検索エンジンの仕組みとは？クロール・インデックス・検索表示を解説
目次
検索エンジンの仕組みを理解すると、ECサイトのページが検索結果に出ないとき、どこを調べればよいか分かります。Google検索では、大きくクロール、インデックス、検索結果の表示という段階があり、ページを公開しただけで各段階が自動的に保証されるわけではありません。
SEOの施策を考える前に、検索エンジンがURLを見つけられるか、内容を取得できるか、検索対象として整理できるか、検索内容に合うページになっているかを順番に確認することが大切です。
検索エンジンが行う三つの段階
クロールは、検索エンジンのプログラムがウェブ上のURLを発見し、ページの内容を取得する段階です。インデックスは、取得したテキストや画像などを分析し、検索用の情報として整理する段階です。最後に、利用者の検索内容に応じて関連する結果が表示されます。
この三段階は、一つの商品が検索で見つかるまでを追うと理解しやすくなります。ここでは、新しい陶器のマグカップを販売する架空のECサイトを例にします。実際の導入事例や検索実績ではありません。
新商品を公開してから検索で見つかるまで
まず店舗が商品ページを公開し、食器カテゴリから商品へのリンクを置きます。検索エンジンがカテゴリを確認した際、そのリンクから新商品のURLを発見できる状態になります。XMLサイトマップも発見の手掛かりになりますが、記載した直後に取得されるとは限りません。
次に商品URLがクロールされ、商品名・容量・素材・画像などが確認されます。JavaScriptで情報を追加するページでは、その処理も関わります。その後、内容や他のURLとの関係が分析され、検索用の情報として扱うか、どのURLを代表にするかが判断されます。
最後に利用者が「陶器 マグカップ 300ml」などと検索すると、検索内容との関連性などに応じて結果が選ばれます。登録されていても、その検索で表示されるとは限りません。公開、発見、取得、登録、検索表示は、それぞれ同じ意味ではないのです。
クロールとは
検索エンジンは、すでに知っているページからリンクをたどったり、XMLサイトマップに記載されたURLを参考にしたりして、新しいページや更新されたページを見つけます。Googleでは、この取得を行うプログラムがGooglebotと呼ばれます。
新商品を公開しても、カテゴリ一覧や新着ページからリンクされていなければ、URLを見つけてもらいにくくなります。ログインしなければ表示できないページ、robots.txtで取得を禁止したページ、サーバーエラーが続くページなどは、内容を確認できません。
ECサイトでURLが増える理由
ECサイトでは、一つの商品に色、サイズ、並び替え、絞り込み、計測用パラメータなどが加わり、複数のURLが生成されることがあります。サイト内検索の結果やカート、会員ページなど、検索結果へ出す必要のないURLも存在します。
URLが多いこと自体が問題ではありません。どのページを検索対象にしたいかが決まっておらず、重要でないURLばかりを検索エンジンが取得する状態が問題です。商品、カテゴリ、操作用ページの役割を整理し、通常のリンクやサイトマップを設計します。
インデックスとは
クロールされたページは、内容や主要なタグ、画像などが分析されます。似た内容のURLが複数ある場合は、検索結果に代表として表示するURLが選ばれることがあります。この代表URLはcanonicalと呼ばれます。
クロールされたからといって、必ずインデックスされるわけではありません。ページの内容が十分に伝わらない、別ページとほぼ同じ、noindexが設定されている、技術的な問題があるといった理由で、検索対象にならないことがあります。
検索結果が表示される仕組み
利用者が検索すると、検索エンジンはインデックスされた情報から、検索内容に関連し、役立つと判断した結果を返します。関連性や品質を判断する要素は一つではなく、検索する場所、言語、端末などによっても結果は変わります。
そのため、担当者が自分のパソコンで一度検索した画面だけを、サイト全体の順位として扱うことはできません。Search Consoleの平均掲載順位も、さまざまな検索条件での表示位置を平均した値です。
商品ページが検索結果に出ないとき
まず、その商品ページへ通常のリンクでたどれるかを確認します。次にURLを開いたときのHTTPステータス、robots.txt、robots meta、canonical、ページ内容を見ます。Search ConsoleのURL検査を使える場合は、Googleが把握している状態を確認します。
たとえば在庫切れ時に自動でnoindexを付ける仕組みがあり、再入荷後も残っていれば、商品が公開されていても検索対象になりません。反対に販売終了ページをすべて削除すると、代替商品を探す利用者を案内できない場合があります。商品状態ごとのルールが必要です。
URL検査で「検出・未登録」なら、まずGoogleがURLを知っていることと、まだ取得していないことを分けて考えます。「クロール済み・未登録」なら、取得そのものより、内容・重複・正規URLなども調べる段階です。どちらの表示も、それだけで原因を一つに特定する診断結果ではありません。
「登録済みなのに検索で見つからない」場合は、未登録の問題と混同せず、検索語句や掲載状況を調べます。本記事では仕組みの理解を中心にしています。個別URLを調査するときは、インデックス状況の確認と改善方法を参照してください。
カテゴリページが見つからないとき
カテゴリページは、メニュー、パンくずリスト、上位カテゴリなどからリンクされているかを確認します。商品が0件のカテゴリ、絞り込み結果、並び替えURLが大量にある場合は、検索対象にするURLと操作だけに使うURLを分けます。
XMLサイトマップにURLを記載することは発見の助けになりますが、インデックスや順位を保証するものではありません。サイトマップには、検索結果へ出したい正規のURLを一貫して含めます。
検索エンジンへ内容を伝える要素
titleタグ、見出し、本文、画像の代替テキスト、内部リンクの文言などは、ページの内容を理解する手掛かりになります。商品ページなら、正式な商品名だけでなく、用途、素材、サイズ、対象者など購入判断に必要な情報を自然に記載します。
ただし、同じキーワードを何度も入れれば理解が深まるわけではありません。ページが何について説明し、誰のどの疑問に答えているかが一貫していることが大切です。
検索結果のタイトルと説明文
検索結果では、ページのタイトルリンクや説明文にあたるスニペットが表示されます。titleタグやmeta descriptionは重要な手掛かりですが、検索内容やページの記述に応じてGoogleが別の文章を表示することがあります。
meta descriptionを直接的なランキング要因と断定することはできません。それでも、ページの要点を短く正確に伝える説明は、検索した人が自分に合うページか判断する助けになります。
クロールとインデックスを混同しない
robots.txtは主にクロールを制御するための仕組みで、検索結果から確実に除外するための設定とは役割が異なります。noindexはインデックスを制御し、canonicalは似たページの中で代表として扱ってほしいURLを示します。
目的の違う設定を重ねると、検索エンジンがnoindexを確認できなかったり、意図しないURLが選ばれたりすることがあります。何を止めたいのかを明確にしてから使い分けます。
Search Consoleで確認できること
Search Consoleでは、ページのインデックス登録状況、サイトマップの処理状況、検索パフォーマンスなどを確認できます。URL検査は、特定のページを詳しく調べるときに役立ちます。
レポートに除外されたURLがあることだけで、すべてをエラーと考えないでください。カートや会員ページなど、意図して検索対象から外しているURLもあります。重要な商品やカテゴリが含まれていないか、URL例を見て判断します。
確認メモには「対象URL／検索に出したい理由／URL検査の状態／最終クロール日時／次に調べる段階」を残します。たとえば、商品ページへ通常リンクがあり、公開URLのテストでは取得できるのに未登録なら、「今もアクセスできない」と決め付けず、Googleが保持する過去の状態と現在のテストを区別して読みます。
よくある間違い
- 公開ボタンを押せば必ず検索結果に出ると考える
- クロール済みとインデックス済みを同じ意味で使う
- サイトマップへ載せれば上位表示されると考える
- 除外URLの件数だけを見て問題と判断する
- 自分の検索画面だけで順位を判断する
最初の確認手順
- 重要ページが通常のリンクからたどれるか
- URLが200で表示され、内容を確認できるか
- robots.txtやnoindexで誤って制限していないか
- canonicalが意図したURLを指しているか
- titleタグ、見出し、本文がページの内容を表しているか
- Search ConsoleのURL検査で把握状況を確認したか
まとめ
検索エンジンは、ページをクロールして内容を分析し、インデックスされた情報から検索内容に合う結果を表示します。SEOでは、この三段階のどこに課題があるかを分けて考えることが基本です。
ECサイトでは、重要な商品やカテゴリが見つかる導線を整える一方で、操作用URLを無制限に増やさない設計が求められます。まず主要な商品とカテゴリを数ページずつ選び、発見、取得、インデックス、検索表示の順で状態を確認してください。
Google検索の基本的な処理は、Google公式の検索の仕組みでも説明されています。取得・登録・表示が保証されない点も含めて理解し、どの段階を改善するのかを決めましょう。
