クローリング

プログラム（クローラ）を用いてWebサイトを自動的に巡回し、Webページの情報を収集する技術。検索エンジンのインデックス作成やデータ収集・分析に活用される。

クローラと呼ばれるプログラムが、Webページのリンクをたどって自動的に巡回し、ページの内容を収集すること。検索エンジンの索引の作成や、データ分析用のデータ収集に用いる。収集したページから必要な情報を抜き出す処理はスクレイピングという。

Web上のページを自動的に巡回してデータを収集する手法。収集先の利用規約や負荷への配慮、著作権の扱いに注意が必要となる。

プログラム（クローラ）がWebページのリンクを自動的にたどって巡回し、ページを収集すること。検索エンジンの索引作成やデータ収集に使われ、集めたページから必要な情報を抜き出すスクレイピングと組み合わせて使う。対象サイトへの負荷や利用規約、robots.txtの指示に配慮する必要がある。

利用者が複数の金融機関に持つ口座の残高や取引明細を、一つのサービスに集約して表示する仕組み。かつては利用者のID・パスワードを預かって画面から情報を読み取るスクレイピングが使われたが、現在は銀行が公開するAPIを利用する方式が主流で、家計簿・資産管理アプリなどに用いられる。