ここ数日、Googleはソフト404の検出方法を変更したとの話が入ってきました。
多くの海外SEOメディアでも、取り上げられている話題ですが、具体的にはどのような部分が変更されたのでしょうか?
このページに書いてあること
そもそも、ソフト404エラーとは?
ソフト404エラーとは、本来存在しないページなのに、ステータスコードが200を返してしまう現象を言います。
詳細は、過去の記事でもご紹介しております。
今回の変更内容は?
今回の、変更内容ですが、モバイル向けのサイトと、PC向けのサイトで別々にソフト404エラーを検出するようになりました。
Sometimes either the mobile or the desktop page just doesn't work, and we want to avoid sending users to something which we know won't work. Some sites just don't have all content for all device types, which is fine if that's something they want to do.
— John Mueller (official) · #StaplerLife (@JohnMu) July 11, 2021
利用しているデバイスが原因で、機能しないページにユーザーが送られてしまうことを避けるために今回のアップデートが行われたそうです。
デスクトップとモバイルで別々にソフト404を認識しようとするシステムがあることがわかりました。基本的に何が起こるかというと、特にデスクトップで404ページのように見えるページが表示されることがあるため、これはデスクトップ上のソフト404であり、インデックスを作成する必要はありません。また、モバイルでは通常のページのように見えるので、実際にそこでインデックスを作成します。
ここで、デスクトップまたはモバイルで検索し、URLコロンのサイトクエリを実行すると、インデックス作成側の違いがわかります。サイトは、一方のデバイスタイプと、サイトを実行するもう一方のデバイスタイプで正常に表示されます。クエリを実行してもまったく表示されない場合は、システムが何らかの方法で取得したそのデバイスタイプの兆候であり、これはソフト404ページであることがわかります。
そして、ここでトリッキーなこと…一方で、これはかなり新しいものであり、私たちがこれを行うことに少し驚いていました。一方、検索コンソールではソフト404が表示されますが、モバイルバージョンでは表示されます。したがって、モバイルバージョンですべてが問題ない場合、検索コンソールでは通常のインデックスが作成されているように見えます。ただし、デスクトップの場合、検索コンソールで直接表示することはできません。
ですから、それはおそらく1か月ほど前に起こり始めた新しいことのようなものであり、正確な時間枠はありません。
Googleがソフト404分類を改善できるように、これが表示されている場所の例をGoogleに送信してください。
https://youtu.be/P_XYLwDTBKo
大前提として、Googleは機械学習によってソフト404エラーを検出しています。今回のロールアウトはその精度を上げるための施策ということです。
そして上記の話ですが、例えば、あるAというページが存在するとしましょう。
『PCサイトをクロールした段階では、そのAページは存在していないページとみなされ、インデックスを作成ませんでした』しかし、『モバイルページをクロールしたところ、ページとしてAページを確認できたので、この段階でインデックスを作成します。』
といった感じです。そもそもあまりこのケースが頻繁に発生することはないと思うので、例えが難しいのですが…
Google Search Consoleで検出されるのはモバイル向けページ
さらに複雑なのですが、サーチコンソールによるカバレッジとして検出される「送信されたURLはソフト404エラーのようです」というお馴染みのエラーは、モバイル向けのページが該当しているようです。
PC向けのページで発生しているソフト404エラーはカバレッジレポートでは知ることができません。
PC向けのソフト404エラーを知るにはどうする?
モバイル向けのページがわかっても、PC版は平気かな?どうやって調べたら良い?となりますよね。
そこでこちらの『HTTP Web-Sniffer』というサイトを使用しましょう。

使い方はシンプルで、サイトには存在しないURLをあらかじめピックアップしておきましょう。
そのURLを画像の通りに入力して、『Submit』ボタンを押します。
すると、結果が返ってくるので確認します。
ステータスコードが404になっていれば問題ありませんが、ここで200のステータスコードが返ってきている場合は、ソフト404エラーになっています。
まとめ
すこし内容がテクニカルと言うか、よくある事象ではないので難しい話でした。
ソフト404自体、必ずしもサイト側が悪いわけではないこともあり、以前からGoogleにはソフト404に関するレポートや報告が寄せられているようです。
今後、よりクリティカルにカバレッジのエラー検出をしてくれ、シンプルな修正指示がもらえることに期待したいです。
この記事が多少なりとも、お役に立てばと思います。
記事を読んで不明な点等がありましたらお気軽にTwitter(@kaznak_com)などでご質問ください。
ではまた。