事前学習

大量のデータを使って、特定の用途に限らない汎用的な特徴や知識をモデルにあらかじめ学習させること。大規模言語モデルでは大量の文章で次の語を予測する学習を行う。事前学習したモデルをファインチューニングして個別の課題に適応させる。

大量の汎用的なデータでモデルをあらかじめ学習させ、さまざまな課題に共通して役立つ特徴や知識を獲得させること。大規模言語モデルでは、膨大なテキストで次のトークンを予測する自己教師あり学習で行う。事前学習済みのモデル（基盤モデル）を、少量の課題固有のデータでファインチューニングしたり、プロンプトで指示したりして利用する。

特定の用途向けに調整する前に、大量の汎用的なデータでモデルを学習させ、言語や画像の一般的な特徴を獲得させる工程。大規模言語モデルでは、大量のテキストで次の単語（トークン）を予測する自己教師あり学習で行う。事前学習済みのモデルを基に、ファインチューニングなどで個別の用途に適応させる。

多数の中間層（隠れ層）を持つニューラルネットワークを用いた機械学習の手法。画像認識・音声認識・自然言語処理などで高い性能を発揮し、AIの発展を牽引している。

事前学習済みモデルの重みを、特定のタスクに合わせて微調整する手法。少量のデータで効率的に高精度なモデルを構築でき、転移学習の代表的な方法である。

あるタスクで学習したモデルの知識を、別の関連するタスクに転用する手法。学習データが少ない場合でも高精度なモデルを構築でき、学習時間の短縮にもつながる。

画像認識に特化したディープラーニングのモデル。畳み込み層とプーリング層を組み合わせて画像の局所的な特徴を抽出し、画像分類・物体検出・顔認識などに高い精度を発揮する。

時系列データや文章などの順序のあるデータの処理に適したディープラーニングのモデル。出力を次の入力にフィードバックする再帰構造を持ち、文章生成や音声認識などに利用される。

生成器（Generator）と識別器（Discriminator）の2つのネットワークを競わせて学習する生成モデル。生成器がリアルなデータを生成し、識別器がそれを見分ける過程で両者の性能が向上する。