LSTM（Long Short Term Memory）

RNNの勾配消失問題を解決するために設計されたセルアーキテクチャ。入力ゲート、忘却ゲート、出力ゲートにより長期的な依存関係を学習できる。自然言語処理、音声認識、時系列予測で広く使用される。

RNNで長い系列の依存関係を学習できるようにしたネットワークの構造。情報を保持する記憶セルと、新しい情報をどれだけ取り込むかの入力ゲート、古い情報をどれだけ捨てるかの忘却ゲート、どれだけ出力するかの出力ゲートを持ち、勾配消失問題を緩和する。機械翻訳、音声認識、時系列の予測に広く使われたが、自然言語処理の主役はTransformerに移った。

双曲線正接関数で、入力を-1から1の範囲の値に変換する活性化関数。原点を中心に対称な出力になるため、0から1の値をとるシグモイド関数より学習が進みやすいが、入力の絶対値が大きいと勾配が0に近づき、勾配消失が起こる。RNNの中間層などで使われる。

ある1時点において、複数の個人、企業、地域などを横断的に観測したデータ。ある年の都道府県別の人口のように、対象間の違いを比較・分析するのに使う。同じ対象を時間に沿って追う時系列データと対比され、両者を組み合わせたものをパネルデータという。

時系列データにおいて、一定の間隔で似たパターンが繰り返し現れる性質。曜日や季節による売上の変動、時間帯による電力需要の変化などがあり、季節によるものは季節性とも呼ぶ。周期的な変動を把握して取り除く（季節調整）ことで、長期的な傾向や本来の変化を読み取りやすくなる。

同じ個人や企業などの複数の対象を、時間を追って繰り返し観測したデータで、クロスセクションデータと時系列データの両方の性質を持つ。対象ごとの観測されない固有の特性の影響を取り除いた分析ができ、政策や施策の効果の推定に使われる。途中で調査対象が抜ける脱落に注意が要る。

ニューラルネットワークの出力と正解の誤差（損失）を、出力層から入力層に向かって逆向きに伝え、微分の連鎖律を使って各層の重みに対する損失の勾配を効率よく求める方法。求めた勾配を使い、勾配降下法で重みを更新する。層が深いと勾配が極端に小さくなる勾配消失問題が起きることがある。

LSTMを簡略化した、ゲート付きのRNNの構造。過去の情報をどれだけ残すかを決める更新ゲートと、どれだけ忘れるかを決めるリセットゲートの2つを持ち、LSTMの記憶セルと3つのゲートより少ないパラメータで長期の依存関係を学習できる。計算が軽く、多くの課題でLSTMと同程度の性能を示す。