自己教師あり学習

人手で正解ラベルを付けず、データ自身の一部を隠して当てさせるなどして正解を自動生成し学習する方法。ラベル付けの手間なく大量のデータを使えるため、大規模言語モデルの事前学習で中心的に用いられる。

人が正解ラベルを付けなくても、データ自身から学習の課題と正解を自動的に作って学習する手法。文章の一部を隠して当てさせる、次の単語を予測させるといった課題を使う。ラベル付けの手間なく大量のデータで学習できるため、大規模言語モデルなどの事前学習の中心となっている。

大量のデータで事前学習済みのモデルを基に、目的の用途や分野のデータを追加で学習させて、モデルのパラメータを調整すること。少ないデータと計算量で用途に適したモデルを作れ、転移学習の代表的な方法である。大規模言語モデルでは、一部のパラメータだけを調整するLoRAなどの効率的な手法も使われる。

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

ある課題で学習したモデルの知識を、関連する別の課題の学習に流用する手法。例えば大量の画像で学習したCNNの前半の層を特徴抽出器としてそのまま使い、出力に近い層だけを手元の少量のデータで学習し直す。学習データが少ない課題でも精度を出しやすく、学習時間も短くなり、ファインチューニングは転移学習の代表的な方法である。

大規模言語モデルが文章を処理するときの最小単位。文章はトークナイザによって、単語やその一部（サブワード）、文字、バイト列に分割され、それぞれが番号に置き換えられて入力される。日本語では1文字が1トークン以上になることも多く、モデルが一度に扱える長さ（コンテキストウィンドウ）やAPIの利用料金はトークン数で決まる。

膨大なテキストで事前学習した、数十億から数千億以上のパラメータを持つ言語モデル。主にTransformerのデコーダを使い、前の文脈から次のトークンを予測する学習によって、文章生成、要約、翻訳、質問応答、プログラム作成など多様な課題を、追加学習なしに指示（プロンプト）だけでこなせる。インストラクションチューニングやRLHFで指示に従うよう調整して使い、もっともらしい誤り（ハルシネーション）への対策が要る。