スクレイピング

Webページの内容から必要なデータを抽出して整形する処理。クローリングで集めたページから情報を取り出す際に用いるが、利用規約や著作権、サーバ負荷への配慮が必要となる。

Webページの内容を自動で取得し、必要な項目を抽出してデータ化する手法。市場調査などに使われるが、サイトの利用規約や著作権、サーバへの負荷に配慮する必要がある。

取得したWebページから必要な情報を抽出して構造化する手法。クローリングと組み合わせて使われるが、対象サイトの規約に反する利用は避けなければならない。

Webページのデータから、商品名や価格など必要な情報を抜き出し、分析に使える形式に整えて取り出すこと。APIが提供されていないサイトの情報収集に使うが、利用規約での禁止、著作権、個人情報の取扱い、相手のサーバへの負荷などに注意が要る。ページを自動で巡回して集めるクローリングと組み合わせて使うことが多い。

Webページなどから、プログラムを使って必要な情報を自動的に抽出・収集すること。HTMLを解析して価格や記事などのデータを取り出す。対象サイトの利用規約や著作権、サーバへの負荷に配慮する必要があり、APIが提供されていればそちらを使うのが望ましい。

Web上のページを自動的に巡回してデータを収集する手法。収集先の利用規約や負荷への配慮、著作権の扱いに注意が必要となる。

行と列の形式で整理され、項目の意味と型が定まっているデータ。表計算やリレーショナルデータベースで扱え、集計や検索が容易である。

文書、画像、音声、動画のように、あらかじめ定まった構造を持たないデータ。そのままでは集計できず、分析にはメタデータの付与や特徴抽出が必要になる。

誰でも自由に利用・再配布できる形で公開されたデータ。国や自治体の統計などが該当し、自組織のデータと組み合わせて分析の幅を広げられる。

官民データの活用に関する施策を総合的かつ効果的に推進し、国民が安全で安心して暮らせる社会の実現に寄与することを目的とする法律。行政手続のオンライン利用の原則化などを定める。

個人情報を特定の個人を識別できないように加工し、元の個人情報を復元できないようにした情報。本人の同意なしに第三者提供が可能であり、ビッグデータの利活用促進を目的とする。