福岡のブランディング会社 | 株式会社アンドストーリー

検索エンジンが、Webページを検索結果に掲載するために行うクロール作業について、実際に作業を行う仕組みを指す。検索エンジン以外でも、Webページの収集を行う仕組みのことをクローラーと呼ぶ。クローラーはWebページにあるリンクを辿れるため、リンクさえあればすべてのWebページをクロール可能といっても過言ではない。一方どこからもリンクがないWebページは、クローラーにそのURLを教える必要がある。