畳み込み層

CNNで、小さなフィルタ（カーネル）を入力の上でずらしながら重なった部分の値との積和を計算し、特徴マップを出力する層。フィルタは縦線や角などの局所的な模様を検出し、同じフィルタの重みを画像全体で共有するので、全結合層に比べてパラメータが大幅に少ない。フィルタの大きさ、ずらす幅（ストライド）、パディング、フィルタの数を設定する。

プーリング層で、特徴マップを2×2などの小領域に区切り、各領域の最大値だけを残して縮小する処理で、2×2の領域を2ずつずらせば縦横が半分になる。最も強く反応した特徴を残すので、対象の位置が少しずれても出力が変わりにくい。領域内の平均をとる平均プーリングと対比される。

隠れ層を多数重ねたニューラルネットワーク（ディープニューラルネットワーク）を使う機械学習の手法で、深層学習ともいう。画像の画素や文章のトークンのような生に近いデータから、予測に有効な特徴を層ごとに段階的に自動で学習できるため、画像認識、音声認識、自然言語処理で従来の手法を大きく上回る精度を出した。大量の学習データとGPUなどの計算資源を必要とし、判断の根拠が分かりにくい。

CNNで、特徴マップを小さな領域ごとに代表値（最大値や平均値）でまとめて縮小する層。データ量と計算量を減らし、対象の位置が少しずれても同じ特徴を捉えやすくする（位置ずれに対する頑健性）。学習するパラメータは持たず、最大値をとるマックスプーリングと平均をとる平均プーリングがある。

前の層のすべてのユニットが、次の層のすべてのユニットと重み付きで結合している層。多層パーセプトロンは全結合層を重ねたものであり、CNNでは畳み込み層とプーリング層で抽出した特徴を1列に並べ直してから全結合層に入れ、最終的な分類を行う。結合の数が多いのでパラメータが多く、過学習しやすい。

ある課題で学習したモデルの知識を、関連する別の課題の学習に流用する手法。例えば大量の画像で学習したCNNの前半の層を特徴抽出器としてそのまま使い、出力に近い層だけを手元の少量のデータで学習し直す。学習データが少ない課題でも精度を出しやすく、学習時間も短くなり、ファインチューニングは転移学習の代表的な方法である。

畳み込み層とプーリング層を交互に重ねて特徴を抽出し、最後に全結合層で分類などを行うニューラルネットワーク。局所的な結合と重みの共有により、少ないパラメータで画像の位置がずれても同じ特徴を捉えられる。画像認識、物体検出、医用画像の診断支援などで高い性能を示し、音声や時系列データにも応用される。