データドリフト

運用中のモデルに入力されるデータの統計的な分布が、学習に使ったデータの分布から時間とともに変化することで、共変量シフトともいう。顧客層の変化、季節、センサの交換などで起き、モデルの精度低下の原因になる。入力データの分布を継続的に監視し、変化を検知したら再学習を検討する。

運用中の機械学習モデルの予測性能が、時間の経過とともに低下していくこと。入力データの分布の変化（データドリフト）や、入力と正解の関係そのものの変化（コンセプトドリフト）によって起こる。予測精度を継続的に監視し、低下を検知したらモデルを再学習・更新する。

大規模言語モデル（LLM）を使ったアプリケーションを開発・運用するための考え方と仕組み。MLOpsを基に、プロンプトの版管理、RAGの参照データの管理、出力の品質と安全性の評価、利用コストや応答時間の監視など、LLM特有の管理を加える。

機械学習アプリケーションの開発のために、CRISP-DMを拡張した工程モデル。ビジネスとデータの理解、データ準備、機械学習モデルの作成、機械学習モデルの評価、モデル展開、監視と保守の6フェーズからなり、各フェーズに品質保証の手順を組み込んだものをCRISP-ML(Q)という。運用後の監視と保守を独立したフェーズとした点がCRISP-DMとの大きな違いである。