FE企業活動 · 業務分析・データ利活用

テキストマイニング

Text Mining

てきすとまいにんぐ

文章として蓄積された非構造化データを解析し、有用な傾向や関係を取り出す手法。形態素解析で語に分けたうえで出現頻度や共起関係を調べ、問合せ内容やアンケートの分析に用いる。

共有:

他の資格での定義

自然言語で書かれた文書データから有用な情報やパターンを抽出する技術。SNSの投稿分析、顧客の声の分析、論文の傾向把握などに活用される。

文章として蓄積された非構造化データを解析し、出現傾向や関連語を抽出する手法。問合せ履歴やアンケートの自由記述から課題を把握する用途で使われる。

Past Exams

過去問で 1 回出題（情報セキュリティマネジメント試験 1）

出典: 独立行政法人情報処理推進機構（IPA）の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

Webページの内容を自動で取得し、必要な項目を抽出してデータ化する手法。市場調査などに使われるが、サイトの利用規約や著作権、サーバへの負荷に配慮する必要がある。

表記の揺れや重複のあるデータから、同一の人物や企業を指すものを突き合わせて1つにまとめる処理。顧客データの統合に不可欠で、正確に行わないと集計や分析の結果が歪む。

データの特徴量や条件に基づいて分岐を木構造で表現し、分類・回帰・意思決定を行う手法。結果の解釈が容易で可視化しやすい。機械学習ではランダムフォレストの基礎となり、意思決定分析では期待値やリスクの評価に用いられる。

データを抽出していったんそのまま格納し、格納先の処理能力を使って変換する方式。変換してから格納するETLと順序が逆で、クラウドのデータ基盤やデータレイクで採られることが多い。

行と列のように、あらかじめ決められた形式に整理されたデータ。表形式のデータベースやCSVが該当し、検索や集計がしやすい。企業が扱うデータのうち割合としては少数派とされる。

厳密な表形式ではないが、タグや階層など一定の構造を持つデータ。XMLやJSONが該当する。項目の有無が案件ごとに違っても扱えるため、システム間のデータ交換に広く使われる。