クロール（クローリング / クローラー）

機械的に Web ページを巡回して情報収集することを「クロール」または「クローリング」と言う。

クロールを行う専用プログラムは「クローラー」または「bot」と呼ばれる。

検索エンジンや SEO ツールは独自のクローラーを走らせて、各サイトの内部構造などを調べている。通常、クローラーの巡回は Google アナリティクスなどのアクセス解析に記録されない（記録するツールもある）。

Google のクローラーは「Googlebot」と呼ばれており、自分のブログがどのくらい巡回されているのか、Search Console で確認できる。

検索エンジンの bot がブログ内をクロールしてくれなければ、検索結果に自分のブログは表示されない。きちんと巡回してもらうために「クロール最適化」を行っておこう。

ブログ記事が Google 検索のインデックスに登録されない原因と解決策