全結合層

前の層のすべてのユニットが、次の層のすべてのユニットと重み付きで結合している層。多層パーセプトロンは全結合層を重ねたものであり、CNNでは畳み込み層とプーリング層で抽出した特徴を1列に並べ直してから全結合層に入れ、最終的な分類を行う。結合の数が多いのでパラメータが多く、過学習しやすい。

隠れ層を多数重ねたニューラルネットワーク（ディープニューラルネットワーク）を使う機械学習の手法で、深層学習ともいう。画像の画素や文章のトークンのような生に近いデータから、予測に有効な特徴を層ごとに段階的に自動で学習できるため、画像認識、音声認識、自然言語処理で従来の手法を大きく上回る精度を出した。大量の学習データとGPUなどの計算資源を必要とし、判断の根拠が分かりにくい。

CNNの畳み込み層で、入力に1つのフィルタを適用して得られる出力。フィルタが検出する特徴（縦の輪郭など）が、入力のどの位置にどれだけ強く現れているかを2次元の配列で表す。フィルタの数だけ特徴マップ（チャネル）ができ、層を重ねるほど単純な輪郭から物体の部分のような抽象的な特徴を表すようになる。

CNNの畳み込みの前に、入力の周囲に値（通常は0）を詰めて大きさを広げる処理。何もしないと畳み込みのたびに出力が縮むが、パディングで出力を入力と同じ大きさに保てる（sameパディング）。端の画素もフィルタの中心として使われるので、画像の周辺部の情報が失われにくくなる。

中間層（隠れ層）を何層も重ねたニューラルネットワークを使う機械学習の手法。判断に必要な特徴量を人が設計しなくてもデータから自動で学習でき、画像認識、音声認識、自然言語処理などで高い精度を出す。学習には大量のデータと計算資源が要り、GPUなどで並列に計算する。

CNNで、小さなフィルタ（カーネル）を入力の上でずらしながら重なった部分の値との積和を計算し、特徴マップを出力する層。フィルタは縦線や角などの局所的な模様を検出し、同じフィルタの重みを画像全体で共有するので、全結合層に比べてパラメータが大幅に少ない。フィルタの大きさ、ずらす幅（ストライド）、パディング、フィルタの数を設定する。

CNNで、特徴マップを小さな領域ごとに代表値（最大値や平均値）でまとめて縮小する層。データ量と計算量を減らし、対象の位置が少しずれても同じ特徴を捉えやすくする（位置ずれに対する頑健性）。学習するパラメータは持たず、最大値をとるマックスプーリングと平均をとる平均プーリングがある。