クローラーとは、インターネット上のあらゆるウェブサイトの情報を取得して、検索用データベース・インデックスを作成する自動巡回プログラムのことである。ウェブサイトを這う（クロールする）ことからこのような名称が付けられた。