全結合層

隠れ層を多数重ねたニューラルネットワーク（ディープニューラルネットワーク）を使う機械学習の手法で、深層学習ともいう。画像の画素や文章のトークンのような生に近いデータから、予測に有効な特徴を層ごとに段階的に自動で学習できるため、画像認識、音声認識、自然言語処理で従来の手法を大きく上回る精度を出した。大量の学習データとGPUなどの計算資源を必要とし、判断の根拠が分かりにくい。

CNNで、小さなフィルタ（カーネル）を入力の上でずらしながら重なった部分の値との積和を計算し、特徴マップを出力する層。フィルタは縦線や角などの局所的な模様を検出し、同じフィルタの重みを画像全体で共有するので、全結合層に比べてパラメータが大幅に少ない。フィルタの大きさ、ずらす幅（ストライド）、パディング、フィルタの数を設定する。

CNNで、特徴マップを小さな領域ごとに代表値（最大値や平均値）でまとめて縮小する層。データ量と計算量を減らし、対象の位置が少しずれても同じ特徴を捉えやすくする（位置ずれに対する頑健性）。学習するパラメータは持たず、最大値をとるマックスプーリングと平均をとる平均プーリングがある。

ニューラルネットワークの学習中に、隠れ層などのユニットを一定の確率でランダムに無効にして学習する正則化の手法。特定のユニットに頼った学習を防ぎ、毎回異なる小さなネットワークを学習して平均するアンサンブルに近い効果で過学習を抑える。推論時はすべてのユニットを使い、出力の大きさを無効化の割合に合わせて補正する。

ニューラルネットワークで、データを最初に受け取る層。特徴量の個数（画像なら画素数×チャネル数）だけユニットを持ち、受け取った値を重みを掛けて次の隠れ層へ渡す。入力層自体は活性化関数による変換を行わないのが一般的で、入力の値は正規化などの前処理で尺度をそろえておく。

ニューラルネットワークで、入力層と出力層の間にある層で、中間層ともいう。前の層の出力に重みを掛けて足し合わせ、活性化関数で変換して次の層に渡すことで、データの特徴を段階的に抽象化する。隠れ層を何層も重ねたネットワークがディープニューラルネットワークで、層の数とユニット数はハイパーパラメータになる。