RLHF（人間のフィードバックによる強化学習）

生成AIの出力に対する人間の評価（どちらの回答が良いかの比較など）を学習した報酬モデルを作り、その報酬が高くなるように強化学習でモデルを調整する手法。大規模言語モデルの回答を、有用で安全な、人間の意図に沿ったものにするアラインメントに用いられる。

状態ごとにどの行動を選ぶかの確率である方策をパラメータで表し、得られる報酬の期待値が大きくなる方向（勾配）にパラメータを直接更新する強化学習の手法。行動の価値を経由せずに方策を学ぶので、ロボットの制御のような連続的な行動も扱いやすい。REINFORCEが基本形で、価値関数の推定を組み合わせたActor-Critic、PPOなどに発展した。

データからパターンや規則を学習し、明示的にプログラムしなくても予測や判断を行えるようにするAIの技術。正解付きのデータで学ぶ教師あり学習、正解なしで構造を見つける教師なし学習、報酬を手がかりに行動を学ぶ強化学習に大別される。学習に使っていない未知のデータに対する性能（汎化性能）が重要で、データの質と量、特徴量の設計、適切な評価が精度を左右する。

状態と行動の組の価値（行動価値Q）を、試行錯誤で得た報酬をもとに更新して学習する強化学習の手法。Q(s,a)を、得られた報酬rと次の状態で最も価値の高い行動の価値の割引値の和に近づけるよう、学習率で少しずつ更新する。環境のモデル（遷移確率）を必要とせず、Qの表をニューラルネットワークで近似したものがDQN（深層Qネットワーク）である。

環境の遷移確率と報酬が分かっている場合に、ベルマン最適方程式に基づいて各状態の価値の更新を、値が収束するまで繰り返し、最適な状態価値を求める動的計画法の手法。求めた価値が最大になる行動を各状態で選べば、最適な方策が得られる。方策の評価と改善を交互に行う方策反復法と並ぶ基本手法で、環境のモデルを要する点でQ学習と異なる。

強化学習の価値関数や方策をディープニューラルネットワークで表す手法。画面の画素のような高次元の状態をそのまま扱え、Q学習の行動価値をニューラルネットワークで近似したDQNがゲームで人間を上回る成績を収めたほか、囲碁のAlphaGo、ロボット制御、大規模言語モデルのRLHFにも使われる。学習に大量の試行を要し、学習が不安定になりやすい。

事前学習した言語モデルを、多様な課題の「指示文と望ましい応答」の組のデータでファインチューニングし、人間の指示に従って応答できるようにする手法。次のトークンを予測するだけのモデルを対話や業務に使える形に変え、学習していない課題への対応力（ゼロショット性能）も高まる。RLHFなどのアラインメントの前段として行われることが多い。