半構造化データ

JSON、XML、ログのように、表形式の固定されたスキーマは持たないが、タグやキーによってデータ自身が項目名と階層構造を表すデータ。レコードごとに項目が違ってもよく柔軟に扱えるが、分析では必要な項目を取り出して表形式に展開する処理が要ることが多い。

表形式のような固定したスキーマはもたないが、タグやキーによってデータの構造や意味が示されているデータ。XMLやJSON、ログファイルなどが該当し、項目の増減に柔軟に対応できる一方、集計にはデータの解析や変換が必要になる。

データを抽出していったんそのまま格納し、格納先の処理能力を使って変換する方式。変換してから格納するETLと順序が逆で、クラウドのデータ基盤やデータレイクで採られることが多い。

行と列のように、あらかじめ決められた形式に整理されたデータ。表形式のデータベースやCSVが該当し、検索や集計がしやすい。企業が扱うデータのうち割合としては少数派とされる。

文章、画像、音声、動画のように、あらかじめ決まった形式を持たないデータ。企業に蓄積されるデータの大半を占め、AIやテキストマイニングを使って分析することで価値を引き出す。

センサーやログのように、絶え間なく発生し続けるデータ。ためてから処理するのではなく到着した端から処理することで、異常検知や需要予測をほぼ即時に行える。

複数のサーバのディスクをまとめ、1つのファイルシステムとして扱えるようにした仕組み。データを分割・複製して保持するため大容量と耐障害性を両立でき、ビッグデータ処理基盤の土台になる。

文章として蓄積された非構造化データを解析し、有用な傾向や関係を取り出す手法。形態素解析で語に分けたうえで出現頻度や共起関係を調べ、問合せ内容やアンケートの分析に用いる。