CRISP-ML

機械学習アプリケーションの開発のために、CRISP-DMを拡張した工程モデル。ビジネスとデータの理解、データ準備、機械学習モデルの作成、機械学習モデルの評価、モデル展開、監視と保守の6フェーズからなり、各フェーズに品質保証の手順を組み込んだものをCRISP-ML(Q)という。運用後の監視と保守を独立したフェーズとした点がCRISP-DMとの大きな違いである。

運用中のモデルに入力されるデータの統計的な分布が、学習に使ったデータの分布から時間とともに変化することで、共変量シフトともいう。顧客層の変化、季節、センサの交換などで起き、モデルの精度低下の原因になる。入力データの分布を継続的に監視し、変化を検知したら再学習を検討する。

本番環境で運用している機械学習モデルの予測性能が、時間の経過とともに低下していくこと。入力データの分布が変わるデータドリフトや、入力と予測対象の関係そのものが変わるコンセプトドリフト（不正の手口の変化など）が原因になる。MLOpsの仕組みで精度を継続的に監視し、しきい値を下回ったら再学習やモデルの更新を行う。

大規模言語モデル（LLM）を使ったアプリケーションを開発・運用するための考え方と仕組み。MLOpsを基に、プロンプトの版管理、RAGの参照データの管理、出力の品質と安全性の評価、利用コストや応答時間の監視など、LLM特有の管理を加える。

データマイニングや分析のプロジェクトを進めるための、業界標準の工程モデル。ビジネス理解、データ理解、データ準備、モデリング、評価、展開・共有の6つのフェーズを、必要に応じて前のフェーズに戻りながら反復して進める。