インストラクションチューニング

大量の汎用的なデータでモデルをあらかじめ学習させ、さまざまな課題に共通して役立つ特徴や知識を獲得させること。大規模言語モデルでは、膨大なテキストで次のトークンを予測する自己教師あり学習で行う。事前学習済みのモデル（基盤モデル）を、少量の課題固有のデータでファインチューニングしたり、プロンプトで指示したりして利用する。

ある課題で学習したモデルの知識を、関連する別の課題の学習に流用する手法。例えば大量の画像で学習したCNNの前半の層を特徴抽出器としてそのまま使い、出力に近い層だけを手元の少量のデータで学習し直す。学習データが少ない課題でも精度を出しやすく、学習時間も短くなり、ファインチューニングは転移学習の代表的な方法である。

ニューラルネットワークに新しい課題やデータを追加で学習させると、重みが上書きされて、以前に学習した課題の性能が急激に失われる現象。継続学習やファインチューニングで問題になる。過去のデータの一部を混ぜて学習するリプレイ、重要な重みの変化を抑える正則化（EWC）、元の重みを固定して追加のパラメータだけを学習するLoRAなどで緩和する。

AIの振る舞いを、開発者や利用者の意図、人間の価値観や倫理に沿うように調整すること、またはその研究分野。大規模言語モデルでは、指示に従い、役に立ち、誠実で、有害な出力をしないことを目標に、インストラクションチューニングやRLHF、人間の選好データで直接学習するDPOなどの手法で行う。AIの能力が高まるほど、意図しない目標の追求を防ぐ安全性の課題として重視される。

人間による評価を報酬として使い、大規模言語モデルの出力を人間の好みや価値観に合わせる手法。まず指示と模範回答の組で教師ありのファインチューニングを行い、次に同じ質問への複数の回答を人間が順位付けしたデータから報酬モデルを学習し、最後にその報酬が高くなるよう強化学習（PPOなど）でモデルを調整する。有用で無害な応答をさせるアラインメントの代表的な手法である。

エージェントが環境の中で行動し、その結果として得られる報酬が長期的に最大になるような行動の選び方（方策）を、試行錯誤を通じて学習する機械学習の手法。正解は与えられず報酬だけを手がかりにする。ゲームの攻略、ロボットの制御、生成AIを人の好みに合わせるRLHFなどに使われる。