ファインチューニング
Fine-tuning
ふぁいんちゅーにんぐ
大量のデータで事前学習された既存のモデルに、目的の分野のデータを追加で学習させて調整する手法。一から学習するより少ないデータと計算量で高い精度が得られる。大規模言語モデルの用途特化に広く使われる。
Related
他の資格での定義
事前学習済みモデルの重みを、特定のタスクに合わせて微調整する手法。少量のデータで効率的に高精度なモデルを構築でき、転移学習の代表的な方法である。
事前学習済みのモデルを、目的の課題のデータで追加学習して、重みをその課題に合わせて調整すること。一から学習するより少ないデータと計算で高い精度が得られる。全パラメータを更新する方法のほか、一部の層だけを更新したり、LoRAのように少数の追加パラメータだけを学習したりする方法(PEFT)があり、更新しすぎると元の知識を失う破滅的忘却に注意する。
大量のデータで事前学習済みのモデルを基に、目的の用途や分野のデータを追加で学習させて、モデルのパラメータを調整すること。少ないデータと計算量で用途に適したモデルを作れ、転移学習の代表的な方法である。大規模言語モデルでは、一部のパラメータだけを調整するLoRAなどの効率的な手法も使われる。
Past Exams
過去問での出題
過去問で 3 回出題(ITパスポート試験 1・基本情報技術者試験 1・応用情報技術者試験 1)。うち 1 回は用語そのものを問う問題です。
出典: 独立行政法人情報処理推進機構(IPA)の過去問題。問題文は IPA のサイトの PDF で確認できます。「用語を問う問題」は、この用語の説明や特徴そのものを問う問題です。「選択肢」は、問題文ではなく選択肢に出たものです。用語名で照合しているため、関係の薄い問題が含まれることがあります。
Related
関連キーワードの用語
コンピュータがデータから規則性やパターンを自動的に学習し、予測や分類を行う技術の総称。教師あり学習、教師なし学習、強化学習の3つに大別される。AIの中核技術の一つ。
入力データと正解ラベルのペアを学習データとして与え、未知のデータに対する予測モデルを構築する機械学習手法。回帰(数値予測)と分類(カテゴリ予測)に大別される。
正解ラベルのないデータからパターンや構造を自動的に発見する機械学習手法。クラスタリング(データの分類)や次元削減が代表的なタスク。顧客セグメンテーションなどに応用される。
エージェントが環境と相互作用しながら、報酬を最大化する行動方策を学習する機械学習手法。試行錯誤を通じて最適な行動を学ぶ。ゲームAIやロボット制御に応用される。
データの特徴量や条件に基づいて分岐を木構造で表現し、分類・回帰・意思決定を行う手法。結果の解釈が容易で可視化しやすい。機械学習ではランダムフォレストの基礎となり、意思決定分析では期待値やリスクの評価に用いられる。
複数の決定木を組み合わせて予測精度を向上させるアンサンブル学習手法。各決定木はデータと特徴量をランダムに抽出して構築し、多数決や平均で最終予測を行う。過学習に強い特徴を持つ。
