IT・パソコンWiki

クローリングとは、ロボット型の検索エンジンで、クローラー（ロボット、スパイダー）と呼ばれるプログラムが、インターネット上のWebページのリンクをたどりながら情報を収集する行為を指す。クローラーが巡回するWebページの種類や巡回の頻度などは、検索エンジンによって異なり、その違いが各検索エンジンの性能にも影響する。クローラーが収集したWebページの情報は、検索エンジンのデータベースに蓄積され、各ページに含まれる単語やリンクの解析を通じて、Webページの重要度が順位付けされる。

---

Web制作用語集へ戻る