スクレイピング

Webページの内容から必要なデータを抽出して整形する処理。クローリングで集めたページから情報を取り出す際に用いるが、利用規約や著作権、サーバ負荷への配慮が必要となる。

Webページの内容を自動で取得し、必要な項目を抽出してデータ化する手法。市場調査などに使われるが、サイトの利用規約や著作権、サーバへの負荷に配慮する必要がある。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

Webページなどから、プログラムを使って必要な情報を自動的に抽出・収集すること。HTMLを解析して価格や記事などのデータを取り出す。対象サイトの利用規約や著作権、サーバへの負荷に配慮する必要があり、APIが提供されていればそちらを使うのが望ましい。

分析の目的のために、アンケート、インタビュー、実験、観測などで自ら新たに収集したデータ。目的に合った項目と精度で得られるが、収集に時間と費用がかかる。官公庁の統計や他社の調査結果など、他者が別の目的で集めた既存のデータである2次データと対比される。

相手の状態や新しいデータの有無を、一定の間隔で繰り返し問い合わせる方式。データの収集ではAPIやデータベースを定期的に照会して更新分を取り込み、CPUが入出力装置の状態を確かめる制御にも使われる。仕組みは単純だが、間隔が短いと無駄な問合せで負荷が増え、長いと反映が遅れるため、変化を相手から通知してもらうプッシュ型（Webhookなど）と使い分ける。

プログラム（クローラ）を用いてWebサイトを自動的に巡回し、Webページの情報を収集する技術。検索エンジンのインデックス作成やデータ収集・分析に活用される。

クローラと呼ばれるプログラムが、Webページのリンクをたどって自動的に巡回し、ページの内容を収集すること。検索エンジンの索引の作成や、データ分析用のデータ収集に用いる。収集したページから必要な情報を抜き出す処理はスクレイピングという。

品質データを効率的に収集するために、記録項目を整理した帳票。不良項目別の発生頻度、検査結果、作業確認などを簡便に記録・集計できる。品質管理の7つ道具の一つ。

センサーで温度、圧力、振動などの物理量を検出し、増幅やA/D変換を経てデジタルデータとして取り込み、記録、表示、解析する仕組み。IoTでは計測したデータをネットワーク経由で収集し、設備の状態監視や予知保全に活用する。サンプリング周期や分解能は、捉えたい現象の変化の速さと大きさに合わせて決める。