深層強化学習

状態と行動の組の価値（行動価値Q）を、試行錯誤で得た報酬をもとに更新して学習する強化学習の手法。Q(s,a)を、得られた報酬rと次の状態で最も価値の高い行動の価値の割引値の和に近づけるよう、学習率で少しずつ更新する。環境のモデル（遷移確率）を必要とせず、Qの表をニューラルネットワークで近似したものがDQN（深層Qネットワーク）である。

データからパターンや規則を学習し、明示的にプログラムしなくても予測や判断を行えるようにするAIの技術。正解付きのデータで学ぶ教師あり学習、正解なしで構造を見つける教師なし学習、報酬を手がかりに行動を学ぶ強化学習に大別される。学習に使っていない未知のデータに対する性能（汎化性能）が重要で、データの質と量、特徴量の設計、適切な評価が精度を左右する。

状態ごとにどの行動を選ぶかの確率である方策をパラメータで表し、得られる報酬の期待値が大きくなる方向（勾配）にパラメータを直接更新する強化学習の手法。行動の価値を経由せずに方策を学ぶので、ロボットの制御のような連続的な行動も扱いやすい。REINFORCEが基本形で、価値関数の推定を組み合わせたActor-Critic、PPOなどに発展した。

環境の遷移確率と報酬が分かっている場合に、ベルマン最適方程式に基づいて各状態の価値の更新を、値が収束するまで繰り返し、最適な状態価値を求める動的計画法の手法。求めた価値が最大になる行動を各状態で選べば、最適な方策が得られる。方策の評価と改善を交互に行う方策反復法と並ぶ基本手法で、環境のモデルを要する点でQ学習と異なる。

人間による評価を報酬として使い、大規模言語モデルの出力を人間の好みや価値観に合わせる手法。まず指示と模範回答の組で教師ありのファインチューニングを行い、次に同じ質問への複数の回答を人間が順位付けしたデータから報酬モデルを学習し、最後にその報酬が高くなるよう強化学習（PPOなど）でモデルを調整する。有用で無害な応答をさせるアラインメントの代表的な手法である。

AIが周囲の環境の仕組みを内部に学習したモデルで、ある状態で行動をとったときに環境がどう変わるかを予測できるもの。ロボットなどのエージェントは、現実に行動する前に世界モデルの中で結果を予測して計画を立てたり、学習したりできるので、現実の世界での試行の回数を減らせる。