シミュレーション学習
Simulation-based Learning
しみゅれーしょんがくしゅう
ロボットなどの制御を、物理法則を再現したシミュレーションの環境の中で学習させること。現実の機器を使うより速く、安全に、大量の試行ができ、危険な状況も再現できる。学習した結果を現実に移すときには、Sim to Real Gapへの対策が必要になる。
Related
関連キーワードの用語
機械学習、特に強化学習で、目標の性能に達するまでに必要な学習データや試行の回数の少なさを表す性質。現実のロボットでの試行は時間がかかり、機器の損傷の恐れもあるため、サンプル効率の高い学習の手法や、シミュレーションでの事前の学習が重要になる。
AIが周囲の環境の仕組みを内部に学習したモデルで、ある状態で行動をとったときに環境がどう変わるかを予測できるもの。ロボットなどのエージェントは、現実に行動する前に世界モデルの中で結果を予測して計画を立てたり、学習したりできるので、現実の世界での試行の回数を減らせる。
学習の途中や学習した後の行動が、安全上の制約(ロボットが人や物にぶつからない、機器の限界を超えないなど)を守るようにする強化学習。報酬の最大化に加えて制約の違反を抑えるよう学習したり、危険な行動を実行の前に遮断したりして、試行錯誤を伴う学習を現実の機器で安全に行えるようにする。
脳の働きの理論である自由エネルギー原理に基づき、知覚と行動を、内部のモデルによる予測と実際の感覚の差(予測誤差)を小さくする過程として統一的に説明する枠組み。エージェントは、モデルを更新して予測を合わせるか、行動して環境を予測に近づけるかで予測誤差を減らす。ロボットの行動の生成への応用が研究されている。
大量で多様なデータで事前に学習し、特定の作業に限らず多くの種類のロボットの作業に応用できるようにした基盤モデル。画像と言語を扱うVLM(vision-language model)や、さらにロボットの動作の出力までを1つのモデルで扱うVLA(vision-language-action)モデルがあり、言葉で指示した作業をロボットに実行させる研究と実用化が進んでいる。
カメラの画像と言語による指示を入力として受け取り、ロボットの関節の動きなどの行動(アクション)を直接出力するAIモデル。VLMに行動の出力を加えたもので、「机の上の赤いカップを取って」のような指示から、見えている状況に合わせた動作を生成する。ロボット基盤モデルの中心的な形態。
