Google Search Consoleを利用していると、「『インデックス カバレッジ』の問題が新たに検出されました」というメールが届くことがあります。また、そのメールが届いてどういうことだろう?と思われてこの記事にたどり着いた方もいらっしゃるのではないでしょうか?
このページに書いてあること
インデックスカバレッジレポートとは?
Googleはクローラーが発見したウェブページをクロール・インデックスし、検索結果に表示させます。ページの情報をGoogleのデータベースに格納することをインデックスと呼び、サイト内のどれだけのページがインデックスされたか、もしくはインデックスをしなかった(できなかった)原因を確認できるのがインデックスカバレッジレポートになります。
インデックスカバレッジレポートはサーチコンソール内の機能の1つで、ツール内左メニューの「カバレッジ」から確認できます
インデックスカバレッジのエラーは、Googleがそのページを正しくインデックスしていないことを意味しており、エラーを解消しない限り、そのページはGoogleにインデックスされず、検索結果に表示されることもありません。SEO的にも、インデックスされていないページは、ページそのものが無いのと同じですので、どのような検索クエリで検索をかけても結果として表示されることはありませんので、改善すべきものです。
インデックスカバレッジのステータスや対処法
主に、表示されるステータスとしては、
- エラー
- 除外
- 有効(警告あり)
- 有効
の4つになります。
この中でも特に改善対象とすべきは「エラー」と「除外」の2つです。
「エラー」が1件以上ある場合、Webサイトに問題が発生している可能性があります。「除外」についても、意図せずページがインデックス対象外になっているケースや、膨大な除外ページ数がクローラーの回遊性を妨げているケースがあるので、注意が必要です。
また、「有効」についても、対処しなくても大きな問題にはならないとされていますが、この部分に関しても対応しておく方が理想的です。
Googleのヘルプページもありますので、こちらも参照ください。
まず改善したい 『エラー』の内容・対応法
『エラー』にて表示されたページは、インデックスされません。
最も改善すべき内容ですので、エラーの内容・対応法について解説します。
リダイレクトエラー
このエラーはリダイレクトの回数が多すぎることにより発生する可能性があります。Googleのクローラーは5回以上のリダイレクトの繰り返しを追わないと言われています。
このような繰り返しはリダイレクトチェーンと呼ばれ、サイト運営上好ましいものではありません。
また、より悪いケースでは、最終的な行き先が決まらずにループしてしまっているリダイレクトループも起こりえます。
SSL化(httpからhttpsへの変更)やサイト移転などに際して行ったリダイレクト設定が間違っていないかどうかを確認し、複数回のリダイレクトはできれば1回にまとめるようにしましょう。
具体的な改善方法については、こちらを参照ください。
サーバーエラー
ステータスコードにおける500番~511番でエラーが発生することをサーバーエラーといいます。
5xx系のステータスコードは、サーバーにおいて何らかの不具合が発生している時のステータスコードですので、サーバーの状態を確認しましょう。
ステータスコードについてやその他の番号についてはこちらでも説明しています。
頻繁に起こるサーバーエラーについて簡単にまとめておきます。
500 Internal Server Error
「500 Internal Server Error」はサーバーに何らかの問題が発生してリクエストを実行できない場合に表示されるステータスコードです。これだけだと、どこで問題が発生しているのかわかりませんが、IIS 7.0(WindowsのWebサーバーソフト)以降のバージョンでは、「500.19」(ページに関連する構成データが無効)という具合に詳細が表示されるようになりました。いずれにしても、500エラーが発生したらホスティング会社に連絡するなどして早期に対処しなければなりません。
502 Bad Gateway
「502 Bad Gateway」はゲートウェイとして動作するサーバーに何らかの問題が発生した場合に表示されるステータスコードです。
ゲートウェイとは、通信プロトコルを変換してネットワーク同士をつなげる機器のことで、例えばスマートフォンからインターネットに接続できるのもゲートウェイを経由しているからだといえます。
原因としてはサーバー側の設定ミス、PHP(Webサーバーの開発によく利用されているプログラミング言語の一種)のバージョン変更などが考えられるとはいえ、
詳細が特定できないため、なかなか対処しづらいエラーのひとつです。
503 Service Unavailable
「503 Service Unavailable」はリクエスト先にアクセスが集中、またはメンテナンスなどでサーバーが一時的に利用できない状態になった場合に表示されるステータスコードです。
ほとんどのレンタルサーバーでは過剰な負荷を防ぐため、データの転送量と同時アクセス数に上限を設けており、この上限数を超過すると503エラーが発生します。
例えば、Twitterのフォロワー数が数十万人というインフルエンサーなどがURLをシェアしただけでアクセス数が急増、503エラーが発生して通信制限がかかるということも珍しくないです。
送信された URL が見つかりませんでした(404)
当該URLが404エラー(404 not found)だった際に表示されます。
404であることが問題ないかを確認のうえ、問題なければ、サイトマップから当該URLを削除しましょう。
送信された URL はソフト 404 エラーのようです
サイトマップによって送信されたURLであるにもかかわらず、対象ページが404ページだと考えられる場合に表示されるエラーです。
ソフト404とは、ステータスコードが200を返している(正常)にもかかわらず、404エラーページのような見た目であるとGoogleから判断されたページのことです。
コンテンツがないと判断されていますので、このようなページはインデックスされていません。
対応法ですが、コンテンツが存在しないのであればステータスコードを404に変更しましょう。
もしくはインデックスさせるつもりでページを作成したにもかかわらずこのエラーが出ている場合は、ページオリジナルの情報が足りていない可能性があります。
「除外」の項目でも説明しますが、コンテンツの追加やオリジナリティを向上させることでインデックスさせる必要があります。
送信されたURLにnoindexタグが追加されています
サイトマップに送信したWEBページ、または、Googleがインデックスを行ったページに「noindexタグ」があった時、表示されます。
「noindexタグ」が入力されているかを確認し、意図しないページに「noindexタグ」がある場合は、解除が必須となるでしょう。
自社のWEBサイトを長く運用していると「noindexタグ」の入力を忘れる場合があるため、注意しておきたいエラー項目の1つです。
送信された URL が robots.txt によってブロックされました
このエラーの場合は、URLがrobots.txtに含まれていることが原因です。
robots.txtの内容が意図したものになっているかどうかを確認し、サイトマップもしくはrobots.txtを修正して矛盾を解消しましょう。
目立たないけど確認が必要な 『除外』の内容・対応法
「除外」のページは、前述のエラー以外の要因でインデックスに登録されていません。
例えば、明示的にnoindexタグが付いているページや、すでにインデックス登録済みの正規ページと重複しているページなどです。
「有効」のページ数と比較して少なければ対処する必要性は低いでしょう。
しかし、「除外」のページが膨大な場合は、クロールバジェットの枯渇によってクローラーの回遊性(クローラビリティ)に悪影響を及ぼす可能性があるため、あらかじめ対策を講じておくことをおすすめします。
(クロールバジェットとは、クローラーが設けている1つのWebサイトで巡回できるページ数の上限値です。)
noindex タグによって除外されました
noindexタグを付けているページです。意図してnoindexタグを付けているのであれば問題ありませんので、対応不要です。
しかし、意図せずnoindexタグがついてしまっている場合は、すぐにnoindexタグを削除し、クロール申請を行いましょう。
robots.txt によりブロックされました
robots.txtに含まれているページが該当します。意図してブロックしているのであれば問題ありません。対処不要です。
ただし、ブロックしていてもインデックスされることはありえます。
インデックスさせたくないのであれば、noindexタグを使用する方が確実です。
検出 – インデックス未登録
サイトマップ(sitemap.xml)や内部リンクによってクローラーはページを検出したものの、インデックスが未登録の状態であるページが該当します。
通常はURL検出後ほどなくインデックスに登録されますが、しばらく時間が経過してもステータスが変わらない場合は、コンテンツの品質に問題があるかもしれません。
念のため該当のURLをURL検査ツールでインデックスステータスを確認してみてください。
※(Googleサーチコンソール上部のテキストボックスにURL(https://から始まるURL)を入力してEnterキーを押すと、検査した結果が表示されます。)
クロール済み – インデックス未登録
URLを発見後ページがクロールされたが、インデックスされなかったページが該当します。
「コンテンツが薄い」「重複ページ」「サイトマップ(sitemap.xml)で通知されているのに、サイト内のどこからもリンクされていない状態」などの理由により、Googleが「さほど重要なページでない」と判断したためと考えられます。
ページにリダイレクトがあります
リダイレクト設定しているページが該当します。特段対処の必要はありませんが、リダイレクトチェーンが長い場合は、リダイレクトのステップの数だけクロール対象のURLが増えるため、クロールバジェットを浪費する要因となりえます。
先述した通り、極力1ステップで目的のURLにリダイレクトするように設定することが望ましいです。
見つかりませんでした(404)
意図して削除済みのページであれば特に対処不要ですが、ページが別URLに移動した場合にはリダイレクト設定を確認しておきましょう。
重複しています。ユーザーにより、正規ページとして選択されていません
「rel=”canonical”」タグが自身のページに向けて設定されておらず、Googleもインデックスする必要がないと判断したページです。
このページをインデックスさせたいのであればcanonical設定を確認してみましょう。
サーチコンソールのURL検査ツールを使うと、Googleが正規として認識しているページを確認することができます。
重複しています。送信された URL が正規 URL として選択されていません
サイトマップ(sitemap.xml)に含まれているものの、Googleが重複コンテンツと判断し、別URLを正規ページとしてインデックスしているページが該当します。
このページの代わりに、Googleが正規ページとみなしているページがインデックスされています。
このページのcanonical設定が間違っていないか、もしくはサイトマップ(sitemap.xml)に記載しているURLが誤っていないか、確認しましょう。
重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました
このページに向けて別のページから「rel=”canonical”」タグで正規ページとして設定されているものの、Googleが別のページのほうが正規ページとして適切と判断したために、このページはインデックスされていない状態です。
正規ページとしてほかのページをインデックスしてもらいたい場合は、「重要なページだ」と判断してもらえるように、コンテンツの質とオリジナル性を高める必要があります。
出来れば対処したい 『有効(警告あり)』の内容・対応法
『有効(警告あり)』のページは、インデックスに登録された一方で、Webサイト運営者として注意すべき問題があることを示しています。
主なメッセージに「robots.txt によりブロックされましたが、インデックスに登録しました」があります。
これは、当該URLはrobots.txtでインデックスをブロックしているものの、ほかのAというページからページから当該URLリンクが貼られているためにインデックスされたことを示しています。
おそらく、この場合のAというページは外部のサイトですので、リンク設置または削除はコントロールできないケースも多いと思います。
このようなページは検索結果では、画像のように「このページの情報はありません」とのスニペットとともに表示されます。
robots.txtでブロックされたページは、Googlebotがクロールできませんので、リンクのアンカーテキストなどの周辺情報からタイトル部分を生成して、
ディスクリプションのないままインデックスが作成されるためです。
対処法としては、どのようなページがリストアップされているかにもよりますが、以下のようなものが挙げられます。
- このままにしておく
- クロールさせても問題ないのであれば、robots.txtによるブロックを解消する
- インデックスさせたくない場合は、robots.txtによるブロックを解消し、noindexを挿入しておく
- 予期せず閲覧されることを防ぎたい場合は、ベーシック認証やIPなどによりアクセス制限を行う
基本的に問題がない 『有効』の内容
『有効』は、ページがインデックスに登録されていることを示しています。
送信して登録されました
サイトマップから送信してインデックスに登録されたURLです。
サイトマップに記載されたURLがすべてインデックスされているのが理想です。
サイトマップファイルに記載されたURLのインデックス状況については、左メニューの「サイトマップ」から該当のサイトマップファイルを選択し、「インデックスカバレッジを表示」から確認してみましょう。
インデックス登録されましたが、サイトマップに送信していません
サイトマップに記載されていないのにもかかわらずインデックスされたページです。
有効と表示されていますのであまり気に留めない方も多いかもしれませんが、理想としてはこの項目は0になり、全て「送信して登録されました」になることです。
クリックして該当するURLリストを表示し、1つ1つどのようなページなのかを確認してみましょう。
該当するページが重要なページである場合は、サイトマップに記載することをおすすめします。
一方で、インデックスしたくないページなのに意図せずインデックスされている場合もあります。このようなページは重複ページと紙一重である場合がほとんどで、このようなページが多数あるとサイトのクロールやインデックスに負荷を与えるおそれがあります。
対処としては、
- canonicalやnoindexを見直す
- robots.txtや、robots.txt内のnofollowなどのクロール制御を行う
- そもそもページを生成しないよう調整する
などが考えられます。
エラーを解決した後は「修正を検証」を忘れずに
「有効」と「除外」については検証できませんが、「エラー」と「有効(警告あり)」については修正を行うとサーチコンソール上からGoogleに検証依頼を出すことができます。
注意しなければいけないのが、同じエラーが出ている対象URL全て(上記のキャプチャでは6URL)を修正しないと、検証開始できない、もしくは開始できたとしても不合格となってしまうので注意が必要です。
数日でメールやサーチコンソール上で「合格」または「不合格」と結果がレポートされます。
不合格の場合は、該当項目すべてのURLについて確認を行ったか、もしくは別のエラーが出ていないか、などの観点からあらためてページを見直す必要があります。
まとめ
今回は、インデックスカバレッジとは何か?エラーや除外が出た時の解決法について解説しました。
Google Search Consoleを活用することで、Google検索においての情報や自社のサイト状況においての情報を取得することができ、その情報の中には、自社サイトの改善につながる情報も多く隠れています。
サイトがどのようなエラーが発生し、どのような対応を行えば良いのか迷ってしまうWEB担当者の方は、今回紹介したステータス内容と対応法を参考に一つ一つ対応してください。
突然の警告メールで不安に思った方もいらっしゃると思います。
この記事が多少なりとも、お役に立てばと思います。
記事を読んで不明な点等がありましたらお気軽にTwitter(@kaznak_com)などでご質問ください。
ではまた。