外れ値・異常値・欠損値の処理

収集したデータを分析や機械学習に使える状態に整える作業の総称と、それを支援するツール。欠損値や表記ゆれの処理、型の変換、結合、集約、派生項目の作成などを行う。専用のツールでは、プログラムを書かずに画面の操作で処理の手順を組み立て、繰り返し実行できる。

本来値が入るべき項目にデータが存在しない状態、またはその項目。対処には、欠損を含むレコードや項目を分析から除外する方法と、平均値・中央値・最頻値や前後の値、回帰などによる予測値で補完する方法があり、欠損が生じた理由によって結果に偏りが生じないかに注意する。

従来のデータベース技術では処理が困難な大規模・多種多様・高速に生成されるデータの総称。Volume（量）、Variety（多様性）、Velocity（速度）の3Vで特徴づけられ、AIや機械学習と組み合わせた分析活用が進む。

SoR（記録のためのシステム）や SoE（顧客などとのつながりのためのシステム）に蓄積されたデータを分析し、意思決定や新たな価値の創出に役立つ洞察を得るためのシステム。BI ツールやデータ分析基盤、AI を用いた分析システムなどが該当する。

データ分析の前処理で、各データから平均を引いて標準偏差で割り、平均0、標準偏差1のデータに変換すること。単位や大きさの異なる変数を同じ尺度で比較・分析できるようにする。変換後の値を z スコアという。

科学技術計算やデータ分析を主な用途として開発され、2012年に公開されたプログラム言語。Pythonのように簡潔に書ける一方、実行時にコンパイルするJIT方式によってC言語に近い速さで動作する。