Google bot(クローラー)とは何か?その役割と対処法

      2017/10/19

 以前FC2ブログ使っていた時に、突然googleのクローラーが巡回に来てくれなくなった事がありました。クローラーが来てくれないとインデックスもしてくれない為、これはまずいと思い何か間違っているのかと不安になりいろいろ調べてみました。まず細かく説明していきたいと思います。

Sponsored Link

Googlebotとは何か?クローラーとは?

googlebot-functions
 クローラー【crawler)】はソフトウェアの一種でリンクを追い、新しい情報を集め一カ所に集める。ウェブの情報収集用ソフトです。
ボット【bot】、ロボット【robot】、スパイダー【spider】とも呼ばれます。
 
GooglebotはGoogleのウェブクローラー。グーグルクローラーとも呼ばれます。
Googleの開発したソフトウェアの一種で、新しく更新したウェブページを見つけ、リンクをたどり情報を収集してgoogleに持ち帰かえります。
 

GooglebotとGoogleindexの違いは?

Googlebot

新しいコンテンツを関連づける。良いコンテンツかどうかの判断はしない。
考える事は、このコンテンツにアクセスできるのか?これ以上アクセス出来る場所はないか?のみです。
 

Googleindex

Googlebotから受け取った情報をランク付けしデータベースに格納する。
 

何故Googlebotは重要なのか?

 既に述べたようにGooglebotは情報を収集します。そこから重要度や優先度を決めインデックスするため、検索結果に自分のサイトを上位表示してたくさんの人に見てもらう為にはグーグルボットに来てもらわなければならないのです。
 
現在はソーシャルメディア等の発達により集客方法ははより多岐にわたりますが、アフィリエイターにとって検索からの人の流れは未だに大きな部分を占めています。
 

インデックスされているか調べるには

 まずはインデックスされているかどうか調べる必要があります。

Googleの検索で

こちらを入力してみてください。site: の後ろはスペースを入れないようにしてください。
こちらのサイトの場合だと

このようになります。
出てきたものがインデックスされたページなので自分がアップデートしたものがインデックスされてるか確認してみてください。クローラーが来ているにも関わらずインデックスされていないものはないか、もしあった場合は何かしらの理由でブロックされてはいないか調べてみてください。
 

 FC2ブログ時代の私のページは全くインデックスされていないことに気付きました。

やっぱりかという結果ではありましたが、何が原因でどうすればいいのかが問題になってきます。それでは次を見ていきましょう。

 

インデックスされない原因は何か?

 googlebot-blocked

 Googlebotが情報を収集できない理由はいくつか考えられます。代表的なものをいくつか紹介します。

  • robots.textによってブロックされている
  • メタタグなどによりブロックされている
  • ページリンクが信用性に欠ける、または間違っている
  • HTMLなどのコードが間違っている
  • あまりにも複雑なリンク構造になっている

もしGoogleアカウントをお持ちの場合は、Google Search Console を使う事で問題が起きている箇所や対処法等のヘルプが見れるので参考にしてみてください。

初心者でも分かる!Google search console(サーチコンソール)使い方ガイド
今ではインターネット界を牛耳る程のGoogleさん。あなたはGoogleさんと良い関係を築けています

以上の他に、問題がなかった場合でもクローラーには「バジェット」があり、サイトのランクなどにより情報を収集する容量が決まっているため、クローリングされないページが出てくることもあります。また前途で述べたようにクローラーはリンクを追うため、内部リンクの構造によってもクローリングされにくいページが出てくることがあります。

以下のグーグルのヘルプで詳しく参照ください。 

Googlebotに巡回してもらう為には

 まずは良質なコンテンツと内部リンク等向上、被リンク獲得は言うまでもありませんが、他の方法として考えて行きます。

Googlebot はGoogle独自のアルゴリズム( robots.txt standards) によってクローリングするサイト、頻度、ページ数を決めます。なのでクローリングされない場合はいくつかの手段があります。

  • robots.txt file を使う
  • metaタグを使う
  • サイトマップを使う
  • Google search consoleを使う
クローラーが待てない、即インデックス!Fetch as Googleの使い方
 新しいウェブサイトやブログページを作った時やページの内容を更新した際、最初に思う事は「少しでも早く

今のところ一番一般的な手法としてはrobots.txt fileを使う方法です。

ですがいろいろ調べた結果、FC2ブログでは個人的にrobots.textを設置するのは出来ない、という事がわかり、Wordpressへの移行を踏み切る要因の一つとなりました。

まとめ

クローリングされる方法についてはまた別記事でまとめようと思っていますが今回はGoogle bot(クローラー)の概要について大まかに説明しました。この内容を少しでも理解することし、よりよいSEO対策ができる手助けになれば幸いです。

 

 - SEO対策