IT用語帳
AP基礎理論 · 情報に関する理論

強化学習

Reinforcement Learning

きょうかがくしゅう

エージェントが環境と相互作用し、報酬を最大化する行動方策を学習する手法。試行錯誤を通じて最適な行動を獲得する。Q学習やSARSAが代表的なアルゴリズムで、ゲームAIやロボット制御に応用される。

共有:

Related

他の資格での定義

IP強化学習

エージェントが環境と相互作用しながら、報酬を最大化するように行動方針を学習する手法。ゲームAIやロボット制御、自動運転などに応用される。

FE強化学習

エージェントが環境と相互作用しながら、報酬を最大化する行動方策を学習する機械学習手法。試行錯誤を通じて最適な行動を学ぶ。ゲームAIやロボット制御に応用される。

DM強化学習

試行の結果に報酬を与え、報酬が最大になる行動を学習させる方式。逐次的な意思決定を伴う制御や運用の最適化に用いられる。

PD-D強化学習

エージェントが環境の中で試行錯誤しながら行動し、得られる報酬の合計が最大になる行動の選び方(方策)を学習する機械学習の手法。自動車の自動走行の制御、建築物の揺れの制御、在庫発注や配車ルートの最適化など、判断を逐次重ねる問題の支援に使われる。

PD-S強化学習

エージェントが環境と相互作用し、報酬を最大化する行動方策を学習する手法。試行錯誤を通じて最適な行動を獲得する。Q学習やSARSAが代表的なアルゴリズムで、ゲームAIやロボット制御に応用される。

A-1強化学習

エージェントが環境の中で行動し、その結果として得られる報酬が長期的に最大になるような行動の選び方(方策)を、試行錯誤を通じて学習する機械学習の手法。正解は与えられず報酬だけを手がかりにする。ゲームの攻略、ロボットの制御、生成AIを人の好みに合わせるRLHFなどに使われる。

Past Exams

過去問での出題

過去問で 1 回出題(基本情報技術者試験 1)

出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。

応用情報技術者試験の過去問によく出る用語

Related

関連キーワードの用語

AP機械学習

データからパターンや規則性を自動的に学習し、予測や分類を行う技術の総称。教師あり学習、教師なし学習、強化学習に大別される。学習データから汎化能力を獲得し、未知データに対する推論を可能にする。

AP教師あり学習

入力データと正解ラベルのペアから学習する手法。回帰(数値予測)と分類(カテゴリ分け)に大別される。線形回帰、ロジスティック回帰、決定木、サポートベクトルマシン、ニューラルネットワークなどが代表的なアルゴリズム。

AP教師なし学習

正解ラベルのないデータから構造やパターンを発見する手法。クラスタリング(k-means法など)や次元削減(主成分分析など)が代表的。データの潜在的なグループ分けや特徴抽出に用いられる。

APサポートベクトルマシン

データ間のマージン(境界からの距離)を最大化する超平面で分類を行う機械学習手法。カーネルトリックにより非線形分類にも対応でき、汎化能力が高い。少数のサポートベクトルで決定境界が定まるため、解釈性にも優れる。

AP決定木

特徴量に基づく条件分岐を木構造で表現し、分類や回帰を行う機械学習手法。情報利得やジニ不純度を基準にノードを分割する。解釈性が高く、ランダムフォレストや勾配ブースティングの基礎となる。

AP過学習

モデルが訓練データに過度に適合し、未知データに対する汎化性能が低下する現象。訓練誤差が小さくても検証誤差が大きい状態。正則化、ドロップアウト、早期打切り、データ拡張などで対策する。バイアスとバリアンスのトレードオフが背景にある。