PD-DAI技術 · ディープラーニング

勾配消失問題

Vanishing Gradient Problem

こうばいしょうしつもんだい

誤差逆伝播法で、出力層から入力層に向かって勾配を伝えるうちに、層ごとに掛け合わされる微分値が小さいために勾配が指数的に小さくなり、入力に近い層の重みがほとんど更新されなくなる問題。微分の最大値が0.25のシグモイド関数を多層で使う場合や、長い系列を扱うRNNで起きやすい。ReLU関数、重みの初期化の工夫、バッチ正規化、層を飛び越す残差接続、LSTMなどで緩和する。

#誤差逆伝播法 #ReLU関数 #残差接続 #LSTM

共有:

他の資格での定義

FE勾配消失問題

層の多いニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層に向かって誤差の勾配を伝えるうちに勾配が0に近づき、入力に近い層の重みがほとんど更新されなくなる問題。活性化関数にReLUを使う、LSTMを使うなどの対策がある。

A-1勾配消失問題

多層のニューラルネットワークを誤差逆伝播法で学習させるとき、出力層から入力層へ誤差を伝えるにつれて勾配が小さくなり、入力層に近い層の重みがほとんど更新されなくなる問題。シグモイド関数を活性化関数に使うと起こりやすく、ReLU関数の採用、残差接続、LSTMなどで緩和される。

関連キーワードの用語

PD-Dニューラルネットワーク

脳の神経細胞のつながりを模して、入力層・隠れ層・出力層のユニット（ノード）を重み付きの結合でつないだ数理モデル。各ユニットは入力の重み付き和に活性化関数を適用して出力し、誤差逆伝播法と勾配降下法で重みを学習する。隠れ層を多数重ねたものを使う手法がディープラーニングである。

PD-D活性化関数

ニューラルネットワークの各ユニットで、入力の重み付き和を変換して出力を決める関数。非線形の関数を使うことで、層を重ねたネットワークが複雑な関係を表現できる（線形のままでは何層重ねても1層と同じ）。隠れ層ではReLU関数、出力層では2クラス分類にシグモイド関数、多クラス分類にソフトマックス関数、回帰に恒等関数が使われる。

PD-Dリカレントニューラルネットワーク（RNN）

隠れ層の出力を次の時刻の入力に戻す再帰的な結合を持ち、過去の情報を内部状態として保持しながら系列データを順に処理するニューラルネットワーク。文章、音声、時系列データの扱いに使われる。長い系列では勾配消失問題で遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われ、自然言語処理では並列に計算できるTransformerに置き換わった。

PD-D多層パーセプトロン

入力層、1つ以上の隠れ層、出力層を全結合でつなぎ、信号が入力から出力へ一方向に流れる順伝播型のニューラルネットワークで、MLPと略す。隠れ層を持たない単純パーセプトロンは線形に分離できる問題しか解けない（XORが解けない）が、非線形の活性化関数を持つ隠れ層を加えることで非線形な問題を学習でき、誤差逆伝播法で学習する。

PD-Dバックプロパゲーション（誤差逆伝播法）

ニューラルネットワークの出力と正解の誤差（損失）を、出力層から入力層に向かって逆向きに伝え、微分の連鎖律を使って各層の重みに対する損失の勾配を効率よく求める方法。求めた勾配を使い、勾配降下法で重みを更新する。層が深いと勾配が極端に小さくなる勾配消失問題が起きることがある。

PD-DGRU（Gated Recurrent Unit）

LSTMを簡略化した、ゲート付きのRNNの構造。過去の情報をどれだけ残すかを決める更新ゲートと、どれだけ忘れるかを決めるリセットゲートの2つを持ち、LSTMの記憶セルと3つのゲートより少ないパラメータで長期の依存関係を学習できる。計算が軽く、多くの課題でLSTMと同程度の性能を示す。