クローリング

プログラム（クローラ）を用いてWebサイトを自動的に巡回し、Webページの情報を収集する技術。検索エンジンのインデックス作成やデータ収集・分析に活用される。

クローラと呼ばれるプログラムが、Webページのリンクをたどって自動的に巡回し、ページの内容を収集すること。検索エンジンの索引の作成や、データ分析用のデータ収集に用いる。収集したページから必要な情報を抜き出す処理はスクレイピングという。

Web上のページを自動的に巡回してデータを収集する手法。収集先の利用規約や負荷への配慮、著作権の扱いに注意が必要となる。

プログラム（クローラ）がWebページのリンクを自動的にたどって多数のページを巡回し、収集すること。検索エンジンの索引作成やWeb上の情報の網羅的な収集に使い、ページから必要な項目を抜き出すスクレイピングと組み合わせることが多い。robots.txtの指示や利用規約を守り、アクセスの間隔を空けて相手のサーバに負荷をかけないよう配慮する。

利用者が複数の金融機関に持つ口座の残高や取引明細を、一つのサービスに集約して表示する仕組み。かつては利用者のID・パスワードを預かって画面から情報を読み取るスクレイピングが使われたが、現在は銀行が公開するAPIを利用する方式が主流で、家計簿・資産管理アプリなどに用いられる。