ストップワード除去

テキストデータの前処理で、「は」「の」「です」や英語の「the」「a」のように、出現頻度は高いが文の内容を区別するのにほとんど役立たない語（ストップワード）を取り除くこと。分析の対象とする語を絞って、テキストマイニングや検索の精度と処理効率を高める。

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

機械学習のモデルの精度を高めるために、元のデータから予測に役立つ特徴量を作成・選択・変換すること。標準化、二値化、離散化、対数変換などの変換のほか、日付から曜日を取り出す、複数の項目を組み合わせるなど、業務の知識を生かした新しい特徴量の作成も含む。予測の時点では得られない情報を特徴量に含めてしまうデータリークに注意する。

データの値をその対数に置き換える変換。所得や売上金額のように、少数の大きな値に引っ張られて右に裾の長い分布を正規分布に近い形に整え、外れ値の影響を和らげる。掛け算の関係を足し算の関係として扱える利点もあるが、0や負の値はそのままでは変換できないため、1を加えるなどの工夫が要る。

文書に含まれる単語（トークン）ごとに、その単語を含む文書の識別子と出現位置の一覧を対応付けた索引。全文検索で、キーワードから該当する文書をすばやく求めるのに使う。日本語では形態素解析やn-gramで文章を単語に分けて作成し、検索エンジンや全文検索の機能（Elasticsearchなど）の中核になっている。

機械学習で、予測の時点では本来使えない情報や評価用データの情報が、学習の過程に紛れ込んでしまうことで、リーケージともいう。目的変数の結果を反映した項目（解約後に付くフラグなど）を特徴量に含めるターゲットリークや、データを分割する前に全体で正規化したり同じデータが学習用と評価用の両方に入ったりする混入がある。評価が実際より高く出て本番で精度が出ないので、時間順の分割や、前処理を学習用データだけで行うことで防ぐ。

文章中で同時に現れやすい語の組合せ。テキストマイニングでは共起の強さを線の太さなどで表した共起ネットワーク図を作り、自由記述のアンケートやSNS投稿から話題の傾向を読み取る。