非構造化データ

文書、画像、音声、動画のように、あらかじめ定まった構造を持たないデータ。そのままでは集計できず、分析にはメタデータの付与や特徴抽出が必要になる。

文章、画像、音声、動画のように、あらかじめ決まった形式を持たないデータ。企業に蓄積されるデータの大半を占め、AIやテキストマイニングを使って分析することで価値を引き出す。

文書、画像、音声、動画のように、あらかじめ定まった構造を持たないデータ。そのままでは集計できず、分析にはメタデータの付与や特徴抽出が必要になる。

表形式の固定的なスキーマに収まらないデータ。文書、画像、音声、動画、ログなどが該当する。全文検索やオブジェクトストレージ、NoSQLで扱い、メタデータを付与して管理・検索できるようにする。

文書、画像、音声、動画のように、あらかじめ定まった構造を持たないデータ。そのままでは集計できず、分析にはメタデータの付与や特徴抽出が必要になる。

文書、メール、画像、音声、動画のように、項目や形式が定まっておらず、そのままでは表形式で検索・集計できないデータ。企業が持つデータの大半を占めるとされ、自然言語処理や画像認識などで特徴を取り出すことで分析に使えるようになる。生成AIの普及で、検索拡張生成（RAG）の情報源としての活用も進んでいる。

ネットワークで結ばれた複数のサーバの記憶装置をまとめ、利用者からは1つのファイルシステムとして扱えるようにする仕組み。ファイルを分割・複製して複数のサーバに格納するため、大容量化と耐障害性を両立できる。ビッグデータ処理の基盤であるHDFSなどが代表例。

表形式のような固定したスキーマはもたないが、タグやキーによってデータの構造や意味が示されているデータ。XMLやJSON、ログファイルなどが該当し、項目の増減に柔軟に対応できる一方、集計にはデータの解析や変換が必要になる。

テキストデータの前処理で、「は」「の」「です」や英語の「the」「a」のように、出現頻度は高いが文の内容を区別するのにほとんど役立たない語（ストップワード）を取り除くこと。分析の対象とする語を絞って、テキストマイニングや検索の精度と処理効率を高める。

文章中で同時に現れやすい語の組合せ。テキストマイニングでは共起の強さを線の太さなどで表した共起ネットワーク図を作り、自由記述のアンケートやSNS投稿から話題の傾向を読み取る。

構造化・半構造化・非構造化データをそのままの形式で大量に蓄積するストレージ基盤。データウェアハウスと異なり、事前のスキーマ定義なしにデータを格納し、必要時に加工・分析を行う。

大量のデータを、多数の汎用サーバを並べたクラスタで分散して保存・処理するためのオープンソースのフレームワーク。分散ファイルシステムのHDFSと、処理を分割して各サーバで並列に実行するMapReduceを中核とし、ビッグデータの処理に用いる。