アクセスアップ・SEO対策Wiki

クロール速度とは、クロール処理での Googlebot のリクエストの速度のことです。この速度が、Google によるクロールの頻度や、サイトの URL 構造のどのレベルまでクロールするかに影響を及ぼすことはありません。サイトの新規または更新されたコンテンツがクロールされるようにするには、代わりに Fetch as Googlebot を使用してください。

Google は、各サイトをどれだけクロールするかを、高度なアルゴリズムによって決定しています。Google では、サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイトのできる限り多くのページをクロールすることを目標にしています。

Google がサイトをクロールする頻度が高すぎて、サイトのサーバーの速度低下の原因となっている場合は、ルート レベルのサイト（たとえば www.example.com や subdomain.example.com）に対して、サイトのクロール速度（Googlebot がサイトをクロールするのに費やす時間）を変更することができます。クロール速度を変更すると、何らかの問題（たとえば、設定したカスタム速度以上の速度で Google がクロールすることはできないなど）の原因となることがあります。従い、Googlebot がサーバーに頻繁にアクセスすることに起因する特定の問題がない限り、この方法はおすすめしません。

ルート レベルではないサイト（たとえば www.example.com/folder）についてはクロール頻度の変更はできません。

クロール速度を変更する: 1.ウェブマスター ツールのホームページで、該当するサイトをクリックします。 2.歯車のアイコン をクリックし、[サイトの設定] をクリックします。 3.[クロール速度] セクションで、希望のオプションを選択します。 新たに設定したクロール速度は 90 日間有効です。