CRISP-ML

機械学習のアプリケーションの開発のために、CRISP-DMを拡張したプロセスモデル。ビジネスとデータの理解、データの準備、機械学習モデルの作成、モデルの評価、モデルの展開、監視と保守の6つのフェーズからなり、各フェーズで品質を保証するための作業とリスクの確認を定めている。

運用中の機械学習モデルに入力されるデータの分布が、学習に使ったデータの分布から時間とともに変化すること。利用者の行動や市場環境の変化などで起こり、モデルの予測精度が低下する原因となる。入力データの統計量を継続的に監視し、必要に応じてモデルを再学習する。

運用中の機械学習モデルの予測性能が、時間の経過とともに低下していくこと。入力データの分布の変化（データドリフト）や、入力と正解の関係そのものの変化（コンセプトドリフト）によって起こる。予測精度を継続的に監視し、低下を検知したらモデルを再学習・更新する。

大規模言語モデル（LLM）を使ったアプリケーションを開発・運用するための考え方と仕組み。MLOpsを基に、プロンプトの版管理、RAGの参照データの管理、出力の品質と安全性の評価、利用コストや応答時間の監視など、LLM特有の管理を加える。

データマイニングや分析のプロジェクトを進めるための、業界標準の工程モデル。ビジネス理解、データ理解、データ準備、モデリング、評価、展開・共有の6つのフェーズを、必要に応じて前のフェーズに戻りながら反復して進める。