知識ノート

スクレイピングとは、Webサイトをクロールした上でデータを抽出/加工することです
。今回はScreaming frog spiderを使用したスクレイピングの方法を簡潔に解説します。

Google Search Consoleを登録する際にあたって、はじめにどちらかを選択するように言われます。 「ドメイン」と「URLプレフィックス」と出ています。過去に左側「ドメイン」の登録方法は解説しましたので、今回

コアウェブバイタル (Core Web Vitals)とは Core Web Vitalsは最近広っている概念のことで、特にページ読み込み時のページ体験に大きな影響を与える指標です。 2021年の5月より、モバイルのみ（

インデックスカバレッジのエラーは、Googleがそのページを正しくインデックスできていないことを意味しており、エラーを解消しない限り、そのページはGoogleにインデックスされず、検索結果に表示されることもありません。

インターネットを利用してWebサイトをチェックしていると、「404 Not Found」など3桁の数字と英文が表示されることがあります。
これは「HTTPステータスコード」と呼ばれるものです。サーバーからのレスポンス（返事）になります。

Google Search Consoleを利用していると、「１つのプロパティで全データを表示できます」というメールが届くことがあります。「www」のあり・なしの違いやサブドメインなどに関係なく該当ドメインの全データが表示できるようになりました。

リダイレクトエラーとは、リダイレクト処理でエラーが発生している場合に表示されます。リダイレクトは、指定のWebサイトに来訪したユーザーを自動的に指定した別ページに転送する処理のことを指します。ページのURLが変更された時などに使われます。

ソフト 404 とは、ページが存在しないことをユーザーに伝えるページを表示するだけでなく、200 レベル（成功）のコードも返す URL です。場合によっては、コンテンツがほとんどまたはまったくないページ（コンテンツがまばらに表示されるページや空白のページ）もこれに該当します。

このエラーは、URLがrobots.txtに含まれていることが原因であることが多いです。robots.txtとは、収集されたくないコンテンツをGoogleといった検索エンジンによってクロールされないよう制御するファイルを指します。

Google Search Consoleを利用していると、「『インデックス カバレッジ』の問題が新たに検出されました」というメールが届くことがあります。今回は、その「エラー」に関する内容と対処法、また対処しないとどうなってしまうのか？といった部分について解説していきたいと思います。