次元の呪い
Curse of Dimensionality
じげんののろい
特徴量の次元が増えると、データが空間内でまばらになり、同じ密度でデータを集めるのに必要なデータ量が次元に対して指数的に増えるなど、学習や分析が急に難しくなる現象。点どうしの距離の差が小さくなって距離に基づく手法が効きにくくなり、過学習も起きやすい。次元削減や特徴選択で対処する。
Related
関連キーワードの用語
多数の変数が持つ情報を、互いに相関のない少数の合成変数（主成分）に要約する手法。データのばらつき（分散）が最も大きくなる方向を第1主成分とし、それと直交する方向で順に主成分を求め、各主成分が元の情報をどれだけ説明するかを寄与率で表す。次元削減、データの可視化、機械学習の前処理に使われる。
正解のラベルを与えずに、データの類似性や構造から規則性を見つけ出す機械学習の手法。似たデータをまとめるクラスタリングや、変数を要約する次元削減があり、顧客セグメンテーションや店舗のクラスタリングなどのグルーピングに使われる。得られたグループの意味は人間が解釈する必要がある。
多数の特徴量（次元）を持つデータを、元の情報をできるだけ保ったまま少ない次元で表すこと。有用な特徴量を選ぶ特徴選択と、主成分分析やオートエンコーダのように新しい少数の特徴量を作る特徴抽出がある。次元の呪いの緩和、計算量の削減、2次元・3次元への可視化（t-SNE、UMAPなど）に使う。
モデルの汎化誤差は、モデルが単純すぎて真の関係を捉えきれないことによるバイアスと、学習データの違いによって予測が大きくぶれるバリアンス、取り除けないノイズに分解でき、バイアスを下げようとモデルを複雑にするとバリアンスが上がるという関係。単純すぎれば未学習、複雑すぎれば過学習になるので、正則化やアンサンブル学習も使って適切な複雑さを選ぶ。
学習に使っていない未知のデータに対してモデルが出す予測の誤差（の期待値）。機械学習が最終的に小さくしたいのはこの誤差で、学習に使わなかったテストデータでの誤差で見積もる。訓練誤差が小さいのに汎化誤差が大きいときは過学習を疑う。
学習に使ったデータ（訓練データ）に対してモデルが出す予測の誤差。モデルを複雑にするほど小さくなるが、訓練データに過度に合わせても未知のデータでの性能（汎化誤差）は改善しないので、それだけでモデルのよさは判断できない。訓練誤差も大きい場合は未学習、訓練誤差だけが小さい場合は過学習を示す。