特徴量エンジニアリング

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

テキスト分析の前処理で、「は」「の」「です」や英語のthe、ofのように、どの文書にも頻繁に現れて内容の判別に役立たない語（ストップワード）を取り除く処理。形態素解析で単語に分けた後、辞書や出現頻度をもとに除去して、分析の精度と効率を高める。目的によっては、否定語のように除くと意味が変わる語を残す必要がある。

データの値をその対数に置き換える変換。所得や売上金額のように、少数の大きな値に引っ張られて右に裾の長い分布を正規分布に近い形に整え、外れ値の影響を和らげる。掛け算の関係を足し算の関係として扱える利点もあるが、0や負の値はそのままでは変換できないため、1を加えるなどの工夫が要る。

入力されたデータを分析して、分類、予測、検知、認識などの判断を行うAI。売上予測や離反予測、顧客のグルーピング、画像による不良品の検知などに使われ、仮説検証、知識発見、原因究明、計画策定、判断支援、活動代替などの目的で業務に組み込む。新しいコンテンツを作り出す生成AIと対比される。

材料の組成、構造、製造条件、物性などのデータを機械学習などで分析し、目的の性質を持つ新しい材料の候補を効率よく探索する手法。実験やシミュレーションの回数を減らし、材料開発の期間と費用を大きく縮められる。MIと略される。

機械学習で、予測の時点では本来使えない情報や評価用データの情報が、学習の過程に紛れ込んでしまうことで、リーケージともいう。目的変数の結果を反映した項目（解約後に付くフラグなど）を特徴量に含めるターゲットリークや、データを分割する前に全体で正規化したり同じデータが学習用と評価用の両方に入ったりする混入がある。評価が実際より高く出て本番で精度が出ないので、時間順の分割や、前処理を学習用データだけで行うことで防ぐ。