強化学習
Reinforcement Learning
きょうかがくしゅう
エージェントが環境の中で行動し、その結果として得られる報酬が長期的に最大になるような行動の選び方(方策)を、試行錯誤を通じて学習する機械学習の手法。正解は与えられず報酬だけを手がかりにする。ゲームの攻略、ロボットの制御、生成AIを人の好みに合わせるRLHFなどに使われる。
Related
他の資格での定義
エージェントが環境と相互作用しながら、報酬を最大化するように行動方針を学習する手法。ゲームAIやロボット制御、自動運転などに応用される。
エージェントが環境と相互作用しながら、報酬を最大化する行動方策を学習する機械学習手法。試行錯誤を通じて最適な行動を学ぶ。ゲームAIやロボット制御に応用される。
エージェントが環境と相互作用し、報酬を最大化する行動方策を学習する手法。試行錯誤を通じて最適な行動を獲得する。Q学習やSARSAが代表的なアルゴリズムで、ゲームAIやロボット制御に応用される。
試行の結果に報酬を与え、報酬が最大になる行動を学習させる方式。逐次的な意思決定を伴う制御や運用の最適化に用いられる。
エージェントが環境の中で試行錯誤しながら行動し、得られる報酬の合計が最大になる行動の選び方(方策)を学習する機械学習の手法。自動車の自動走行の制御、建築物の揺れの制御、在庫発注や配車ルートの最適化など、判断を逐次重ねる問題の支援に使われる。
エージェントが環境と相互作用し、報酬を最大化する行動方策を学習する手法。試行錯誤を通じて最適な行動を獲得する。Q学習やSARSAが代表的なアルゴリズムで、ゲームAIやロボット制御に応用される。
Past Exams
過去問での出題
過去問で 1 回出題(基本情報技術者試験 1)
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
AI、特に大規模言語モデルの振る舞いを、人間の意図や価値観、社会の規範に沿ったものにするための取組みや技術。有用で正直かつ有害な出力をしないようにすることを目指し、人間のフィードバックによる強化学習(RLHF)や、指示に従うための追加学習などの手法が使われる。
状態ごとにどの行動を選ぶかの確率である方策をパラメータで表し、得られる報酬の期待値が大きくなる方向(勾配)にパラメータを直接更新する強化学習の手法。行動の価値を経由せずに方策を学ぶので、ロボットの制御のような連続的な行動も扱いやすい。REINFORCEが基本形で、価値関数の推定を組み合わせたActor-Critic、PPOなどに発展した。
事前学習した言語モデルを、多様な課題の「指示文と望ましい応答」の組のデータでファインチューニングし、人間の指示に従って応答できるようにする手法。次のトークンを予測するだけのモデルを対話や業務に使える形に変え、学習していない課題への対応力(ゼロショット性能)も高まる。RLHFなどのアラインメントの前段として行われることが多い。
