モデルドリフト

本番環境で運用している機械学習モデルの予測性能が、時間の経過とともに低下していくこと。入力データの分布が変わるデータドリフトや、入力と予測対象の関係そのものが変わるコンセプトドリフト（不正の手口の変化など）が原因になる。MLOpsの仕組みで精度を継続的に監視し、しきい値を下回ったら再学習やモデルの更新を行う。

運用中の機械学習モデルに入力されるデータの分布が、学習に使ったデータの分布から時間とともに変化すること。利用者の行動や市場環境の変化などで起こり、モデルの予測精度が低下する原因となる。入力データの統計量を継続的に監視し、必要に応じてモデルを再学習する。

大規模言語モデル（LLM）を使ったアプリケーションを開発・運用するための考え方と仕組み。MLOpsを基に、プロンプトの版管理、RAGの参照データの管理、出力の品質と安全性の評価、利用コストや応答時間の監視など、LLM特有の管理を加える。

機械学習アプリケーションの開発のために、CRISP-DMを拡張した工程モデル。ビジネスとデータの理解、データ準備、機械学習モデルの作成、機械学習モデルの評価、モデル展開、監視と保守の6フェーズからなり、各フェーズに品質保証の手順を組み込んだものをCRISP-ML(Q)という。運用後の監視と保守を独立したフェーズとした点がCRISP-DMとの大きな違いである。