LSTM（Long Short Term Memory）

RNNの勾配消失問題を解決するために設計されたセルアーキテクチャ。入力ゲート、忘却ゲート、出力ゲートにより長期的な依存関係を学習できる。自然言語処理、音声認識、時系列予測で広く使用される。

LSTMを簡略化した、ゲート付きのRNNの構造。過去の情報をどれだけ残すかを決める更新ゲートと、どれだけ忘れるかを決めるリセットゲートの2つを持ち、LSTMの記憶セルと3つのゲートより少ないパラメータで長期の依存関係を学習できる。計算が軽く、多くの課題でLSTMと同程度の性能を示す。

双曲線正接関数で、入力を-1から1の範囲の値に変換する活性化関数。原点を中心に対称な出力になるため、0から1の値をとるシグモイド関数より学習が進みやすいが、入力の絶対値が大きいと勾配が0に近づき、勾配消失が起こる。RNNの中間層などで使われる。

隠れ層の出力を次の時刻の入力に戻す再帰的な結合を持ち、過去の情報を内部状態として保持しながら系列データを順に処理するニューラルネットワーク。文章、音声、時系列データの扱いに使われる。長い系列では勾配消失問題で遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われ、自然言語処理では並列に計算できるTransformerに置き換わった。

ニューラルネットワークの出力と正解の誤差（損失）を、出力層から入力層に向かって逆向きに伝え、微分の連鎖律を使って各層の重みに対する損失の勾配を効率よく求める方法。求めた勾配を使い、勾配降下法で重みを更新する。層が深いと勾配が極端に小さくなる勾配消失問題が起きることがある。

入力が0以下なら0を、0より大きければ入力の値をそのまま出力する活性化関数（Rectified Linear Unit）。計算が簡単で、正の領域では勾配が常に1になるため勾配消失が起こりにくく、ディープラーニングの中間層で広く使われる。入力が負の間は学習が進まなくなる問題がある。

ReLU関数を改良した活性化関数で、入力が0より大きいときはそのまま出力し、0以下のときは0ではなく入力に0.01などの小さな係数を掛けた値を出力する。負の入力に対しても小さな勾配が残るため、ReLU関数で入力が負のノードの学習が止まってしまう問題を緩和できる。