スクレイピング

Webページの内容から必要なデータを抽出して整形する処理。クローリングで集めたページから情報を取り出す際に用いるが、利用規約や著作権、サーバ負荷への配慮が必要となる。

Webページの内容を自動で取得し、必要な項目を抽出してデータ化する手法。市場調査などに使われるが、サイトの利用規約や著作権、サーバへの負荷に配慮する必要がある。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

Webページのデータから、商品名や価格など必要な情報を抜き出し、分析に使える形式に整えて取り出すこと。APIが提供されていないサイトの情報収集に使うが、利用規約での禁止、著作権、個人情報の取扱い、相手のサーバへの負荷などに注意が要る。ページを自動で巡回して集めるクローリングと組み合わせて使うことが多い。

センサで温度、圧力、振動などの物理量を検出し、増幅やA/D変換を経てデジタルデータとして取り込み、記録、表示、解析する仕組み。IoTでは計測したデータをネットワーク経由で収集し、設備の状態監視や予知保全に活用する。

一定期間に発生したデータや処理要求をためておき、決まった時刻にまとめて一括で処理する方式。データの収集では、業務システムから1日分の取引データを夜間に一括で取り込むといった形で使い、大量のデータを効率よく処理できるが、データの反映に遅れが生じる。発生の都度処理するリアルタイム処理やストリーム処理と対比される。

一定の間隔で相手の状態を問い合わせ、処理すべきデータや事象が発生していないかを確かめる方式。データの収集では、APIやデータベースに定期的に問い合わせて新しいデータを取得する。仕組みが単純だが、変化がなくても問合せを繰り返すため無駄な負荷が生じ、間隔が長いと変化の検知が遅れる。

HTMLで記述したWebページの文字の大きさや色、余白、レイアウトなどの見た目を指定する言語。文書の構造（HTML）と見た目（CSS）を分けて管理でき、メディアクエリを使えば端末の画面幅に応じて表示を切り替えられる。

プログラム（クローラ）を用いてWebサイトを自動的に巡回し、Webページの情報を収集する技術。検索エンジンのインデックス作成やデータ収集・分析に活用される。

クローラと呼ばれるプログラムが、Webページのリンクをたどって自動的に巡回し、ページの内容を収集すること。検索エンジンの索引の作成や、データ分析用のデータ収集に用いる。収集したページから必要な情報を抜き出す処理はスクレイピングという。