LLMOps

大規模言語モデル（LLM）を使ったアプリケーションを開発・運用するための考え方と仕組み。MLOpsを基に、プロンプトの版管理、RAGの参照データの管理、出力の品質と安全性の評価、利用コストや応答時間の監視など、LLM特有の管理を加える。

HITLとも略される。AIシステムの意思決定プロセスに人間の判断を組み込む仕組み。AIの出力を人間がレビュー・修正することで、精度向上や倫理的な問題の回避を図る。

大規模言語モデル等を用いて、テキスト・画像・音声・プログラムコードなどの新たなコンテンツを自動生成するAI技術。業務効率化に活用される一方、ハルシネーション（事実に基づかない出力）やセキュリティリスク、著作権上の課題がある。

エッジデバイス上でAI（機械学習モデル）の推論処理を行う技術。クラウドに依存せずリアルタイムの判断が可能で、プライバシー保護やネットワーク帯域の削減にも寄与する。NPU（ニューラルプロセッシングユニット）搭載のSoCが増えている。

AI技術を活用してIT運用を自動化・高度化するアプローチ。機械学習を用いたログ分析、異常検知、障害予測、自動復旧などを実現する。大量のシステム運用データからパターンを学習し、運用管理の効率化と品質向上を図る。

一連の処理をジョブとして定義し、実行順序や条件、異常時の扱いを制御する運用管理。夜間バッチなどの定型処理を確実に流すために欠かせない。

開発チーム（Dev）と運用チーム（Ops）が連携し、迅速かつ柔軟にソフトウェア開発を行う文化と実践。CALMSフレームワーク（Culture、Automation、Lean、Measurement、Sharing）で特徴づけられる。CI/CDパイプライン、テスト自動化、インフラのコード化を活用する。