転移学習

あるタスクで学習したモデルの知識を、別の関連するタスクに転用する手法。学習データが少ない場合でも高精度なモデルを構築でき、学習時間の短縮にもつながる。

ある課題で学習済みのモデルが持つ知識を、別の関連する課題に流用する手法。画像認識モデルを医用画像の判定に転用する例などがある。ファインチューニングは転移学習の代表的な実現方法。

ある課題で学習したモデルの知識を、関連する別の課題の学習に流用する手法。例えば大量の画像で学習したCNNの前半の層を特徴抽出器としてそのまま使い、出力に近い層だけを手元の少量のデータで学習し直す。学習データが少ない課題でも精度を出しやすく、学習時間も短くなり、ファインチューニングは転移学習の代表的な方法である。

AI技術を利用したソフトウェアの開発や、データの提供・共有をめぐる契約について、当事者が留意すべき点と契約書のひな形を示した経済産業省の指針。2018年に策定され、データ編とAI編からなる。AI編では、開発を段階に分けて探索的に進める方式を提唱し、学習済みモデルの権利の帰属や、性能を保証しにくいことを踏まえた責任分担の考え方を示している。

勾配降下法などでモデルのパラメータを更新するとき、1回の更新でどれだけ大きくパラメータを動かすかを決めるハイパーパラメータ。大きすぎると誤差が最小となる点を飛び越えて学習が収束せず、小さすぎると学習に時間がかかったり局所的な解にとどまったりする。

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

特定の用途向けに調整する前に、大量の汎用的なデータでモデルを学習させ、言語や画像の一般的な特徴を獲得させる工程。大規模言語モデルでは、大量のテキストで次の単語（トークン）を予測する自己教師あり学習で行う。事前学習済みのモデルを基に、ファインチューニングなどで個別の用途に適応させる。

脳の神経細胞のつながりを模した計算モデル。入力層、中間層（隠れ層）、出力層からなり、各層のノードは前の層からの入力に重みを掛けて合計し、活性化関数を通して次の層へ出力する。重みは誤差逆伝播法などで学習し、層を深くしたものがディープラーニングである。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。