ストップワード除去

テキスト分析の前処理で、「は」「の」「です」や英語のthe、ofのように、どの文書にも頻繁に現れて内容の判別に役立たない語（ストップワード）を取り除く処理。形態素解析で単語に分けた後、辞書や出現頻度をもとに除去して、分析の精度と効率を高める。目的によっては、否定語のように除くと意味が変わる語を残す必要がある。

本来値が入るべき項目にデータが存在しない状態、またはその項目。対処には、欠損を含むレコードや項目を分析から除外する方法と、平均値・中央値・最頻値や前後の値、回帰などによる予測値で補完する方法があり、欠損が生じた理由によって結果に偏りが生じないかに注意する。

データに含まれる誤り、欠損、重複、表記ゆれ、外れ値などを検出し、修正・補完・削除して品質を高める作業。分析や機械学習の前処理として行い、欠損値の補完・除外、異常値の修正、重複の排除、表記ゆれの統一、名寄せなどの手法を用いる。

収集したデータを分析や機械学習に使える状態に整える作業の総称。データの探索、クレンジング、形式の変換、結合、集計、特徴量の作成などを含み、専用のツールを使って業務部門の利用者自身が行うこともある。分析作業の多くの時間を占めるとされる。

データの各値から平均を引き、標準偏差で割って、平均0・標準偏差1の値（zスコア）に変換すること。単位や尺度の異なる変数を比較・統合できるようにする前処理で、主成分分析や機械学習の前によく行う。最小値を0、最大値を1にそろえる正規化（min-max正規化）と区別される。

文書、画像、音声、動画、SNSの投稿など、決まった形式（スキーマ）をもたないデータ。企業が扱うデータの大部分を占めるとされ、そのままでは検索や集計が難しいため、自然言語処理や画像認識などで特徴を取り出して分析する。

文章中で同時に現れやすい語の組合せ。テキストマイニングでは共起の強さを線の太さなどで表した共起ネットワーク図を作り、自由記述のアンケートやSNS投稿から話題の傾向を読み取る。