アラインメント

AI、特に大規模言語モデルの振る舞いを、人間の意図や価値観、社会の規範に沿ったものにするための取組みや技術。有用で正直かつ有害な出力をしないようにすることを目指し、人間のフィードバックによる強化学習（RLHF）や、指示に従うための追加学習などの手法が使われる。

事前学習した言語モデルを、多様な課題の「指示文と望ましい応答」の組のデータでファインチューニングし、人間の指示に従って応答できるようにする手法。次のトークンを予測するだけのモデルを対話や業務に使える形に変え、学習していない課題への対応力（ゼロショット性能）も高まる。RLHFなどのアラインメントの前段として行われることが多い。

エージェントが環境の中で行動し、その結果として得られる報酬が長期的に最大になるような行動の選び方（方策）を、試行錯誤を通じて学習する機械学習の手法。正解は与えられず報酬だけを手がかりにする。ゲームの攻略、ロボットの制御、生成AIを人の好みに合わせるRLHFなどに使われる。