ゼロショット学習
Zero-Shot Learning
ぜろしょっとがくしゅう
その課題やクラスの学習例を1つも与えずに、課題を解かせること。大規模言語モデルでは、プロンプトで指示だけを与え、回答例を示さずに分類や要約などを行わせる使い方を指す。従来の機械学習では、属性の説明などの補助情報を手がかりに、学習時に見たことのないクラスを認識する手法を指す。
Related
関連キーワードの用語
大規模言語モデルが、パラメータを更新することなく、プロンプトの中に示された指示や入出力の例だけから課題のやり方を読み取って実行する能力。例を示さないゼロショット、少数の例を示すフューショットの形で使う。追加学習なしに新しい課題に対応できるが、例の選び方や並べ方で結果が変わり、コンテキストウィンドウの長さの制約も受ける。
少数（数件程度）の例だけを与えて、課題を解けるようにすること。大規模言語モデルでは、プロンプトの中に入力と望ましい出力の例を数件示して、形式や判断の基準をまねさせる使い方を指し、例が1件ならワンショットという。例を示すことでゼロショットより出力が安定しやすいが、例の偏りが結果に影響する。
大規模言語モデルが1回の処理で入力と出力を合わせて扱えるトークン数の上限。プロンプト、会話の履歴、参照させる文書などはこの範囲に収める必要があり、超えた部分はモデルが参照できない。大きいほど長い文書を扱えるが、計算量と費用が増え、長い入力の中ほどの情報を見落としやすくなることもある。
学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。
生成AIから目的に合った出力を安定して得るために、指示文（プロンプト）を設計・改善する技術。役割や前提の指定、出力形式の指定、具体例の提示（フューショット）、段階を追って考えさせる指示などを組み合わせ、出力を評価しながら改善を繰り返す。
2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。