スクレイピング

Webページの内容から必要なデータを抽出して整形する処理。クローリングで集めたページから情報を取り出す際に用いるが、利用規約や著作権、サーバ負荷への配慮が必要となる。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

Webページのデータから、商品名や価格など必要な情報を抜き出し、分析に使える形式に整えて取り出すこと。APIが提供されていないサイトの情報収集に使うが、利用規約での禁止、著作権、個人情報の取扱い、相手のサーバへの負荷などに注意が要る。ページを自動で巡回して集めるクローリングと組み合わせて使うことが多い。

Webページなどから、プログラムを使って必要な情報を自動的に抽出・収集すること。HTMLを解析して価格や記事などのデータを取り出す。対象サイトの利用規約や著作権、サーバへの負荷に配慮する必要があり、APIが提供されていればそちらを使うのが望ましい。

文章として蓄積された非構造化データを解析し、有用な傾向や関係を取り出す手法。形態素解析で語に分けたうえで出現頻度や共起関係を調べ、問合せ内容やアンケートの分析に用いる。

表記の揺れや重複のあるデータから、同一の人物や企業を指すものを突き合わせて1つにまとめる処理。顧客データの統合に不可欠で、正確に行わないと集計や分析の結果が歪む。

データの特徴量や条件に基づいて分岐を木構造で表現し、分類・回帰・意思決定を行う手法。結果の解釈が容易で可視化しやすい。機械学習ではランダムフォレストの基礎となり、意思決定分析では期待値やリスクの評価に用いられる。

データを抽出していったんそのまま格納し、格納先の処理能力を使って変換する方式。変換してから格納するETLと順序が逆で、クラウドのデータ基盤やデータレイクで採られることが多い。

行と列のように、あらかじめ決められた形式に整理されたデータ。表形式のデータベースやCSVが該当し、検索や集計がしやすい。企業が扱うデータのうち割合としては少数派とされる。

厳密な表形式ではないが、タグや階層など一定の構造を持つデータ。XMLやJSONが該当する。項目の有無が案件ごとに違っても扱えるため、システム間のデータ交換に広く使われる。