クローリング

プログラム（クローラ）を用いてWebサイトを自動的に巡回し、Webページの情報を収集する技術。検索エンジンのインデックス作成やデータ収集・分析に活用される。

Web上のページを自動的に巡回してデータを収集する手法。収集先の利用規約や負荷への配慮、著作権の扱いに注意が必要となる。

プログラム（クローラ）がWebページのリンクを自動的にたどって多数のページを巡回し、収集すること。検索エンジンの索引作成やWeb上の情報の網羅的な収集に使い、ページから必要な項目を抜き出すスクレイピングと組み合わせることが多い。robots.txtの指示や利用規約を守り、アクセスの間隔を空けて相手のサーバに負荷をかけないよう配慮する。

プログラム（クローラ）がWebページのリンクを自動的にたどって巡回し、ページを収集すること。検索エンジンの索引作成やデータ収集に使われ、集めたページから必要な情報を抜き出すスクレイピングと組み合わせて使う。対象サイトへの負荷や利用規約、robots.txtの指示に配慮する必要がある。

品質データを効率的に収集するために、記録項目を整理した帳票。不良項目別の発生頻度、検査結果、作業確認などを簡便に記録・集計できる。品質管理の7つ道具の一つ。

分析の目的のために、アンケート、インタビュー、実験、観測などで自ら新たに収集したデータ。目的に合った項目と精度で得られるが、収集に時間と費用がかかる。官公庁の統計や他社の調査結果など、他者が別の目的で集めた既存のデータである2次データと対比される。

相手の状態や新しいデータの有無を、一定の間隔で繰り返し問い合わせる方式。データの収集ではAPIやデータベースを定期的に照会して更新分を取り込み、CPUが入出力装置の状態を確かめる制御にも使われる。仕組みは単純だが、間隔が短いと無駄な問合せで負荷が増え、長いと反映が遅れるため、変化を相手から通知してもらうプッシュ型（Webhookなど）と使い分ける。

Webページのデータから、商品名や価格など必要な情報を抜き出し、分析に使える形式に整えて取り出すこと。APIが提供されていないサイトの情報収集に使うが、利用規約での禁止、著作権、個人情報の取扱い、相手のサーバへの負荷などに注意が要る。ページを自動で巡回して集めるクローリングと組み合わせて使うことが多い。

センサーで温度、圧力、振動などの物理量を検出し、増幅やA/D変換を経てデジタルデータとして取り込み、記録、表示、解析する仕組み。IoTでは計測したデータをネットワーク経由で収集し、設備の状態監視や予知保全に活用する。サンプリング周期や分解能は、捉えたい現象の変化の速さと大きさに合わせて決める。

利用者が複数の金融機関に持つ口座の残高や取引明細を、一つのサービスに集約して表示する仕組み。かつては利用者のID・パスワードを預かって画面から情報を読み取るスクレイピングが使われたが、現在は銀行が公開するAPIを利用する方式が主流で、家計簿・資産管理アプリなどに用いられる。