リカレントニューラルネットワーク(RNN)
Recurrent Neural Network
りかれんとにゅーらるねっとわーく
中間層の出力を次の時刻の入力として再び使う循環構造を持ち、過去の情報を保持しながら時系列データや文章などの系列データを処理するニューラルネットワーク。長い系列では勾配消失により遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われてきた。現在の言語処理ではTransformerが主流である。
Related
他の資格での定義
時系列データや文章などの順序のあるデータの処理に適したディープラーニングのモデル。出力を次の入力にフィードバックする再帰構造を持ち、文章生成や音声認識などに利用される。
時系列データや自然言語など順序性のあるデータを扱うニューラルネットワーク。前の時点の出力を次の時点の入力にフィードバックする再帰的な構造を持つ。RNNと略される。
時系列データを処理するための深層学習モデル。隠れ状態を次の時刻に引き継ぐ再帰的構造を持ち、可変長の系列データを扱える。長期依存性の学習が困難な勾配消失問題があり、LSTMやGRUで改善される。
隠れ層の出力を次の時刻の入力に戻す再帰的な結合を持ち、過去の情報を内部状態として保持しながら系列データを順に処理するニューラルネットワーク。文章、音声、時系列データの扱いに使われる。長い系列では勾配消失問題で遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われ、自然言語処理では並列に計算できるTransformerに置き換わった。
Related
関連キーワードの用語
LSTMを簡略化した、ゲート付きのRNNの構造。過去の情報をどれだけ残すかを決める更新ゲートと、どれだけ忘れるかを決めるリセットゲートの2つを持ち、LSTMの記憶セルと3つのゲートより少ないパラメータで長期の依存関係を学習できる。計算が軽く、多くの課題でLSTMと同程度の性能を示す。
大量のテキストで事前学習した、膨大な数のパラメータを持つ言語モデル。主にTransformerを基盤とし、与えられた文脈に続くトークンを予測することで、文章の生成、要約、翻訳、質問応答、プログラムの作成など多様な処理を行える。事実と異なる内容を生成するハルシネーションに注意が必要である。
ある一時点において、複数の対象(個人、企業、地域など)について同じ項目を観測したデータ。ある年の都道府県別の人口や所得などが該当し、対象間の違いや関係を比較するのに使う。時間の経過に沿って観測する時系列データと対比され、両者を組み合わせたものをパネルデータという。
時系列データに、一定の間隔で同じような変動が繰り返し現れる性質。曜日による売上の変動や年単位の季節変動などがあり、傾向変動や不規則変動と分けて捉えることで需要予測の精度を高められる。周期の有無や長さは、自己相関やグラフの形から調べる。
時系列データについて、一定の期間の平均を、期間を1つずつずらしながら計算する方法。短期的な変動や不規則な変動をならして基調となる傾向を読み取り、直近の一定期間の平均を次期の予測値とする需要予測にも使う。新しいデータほど大きな重みを置く加重移動平均もある。
同じ個人や企業などの複数の対象を、時間を追って繰り返し観測したデータで、クロスセクションデータと時系列データの両方の性質を持つ。対象ごとの観測されない固有の特性の影響を取り除いた分析ができ、政策や施策の効果の推定に使われる。途中で調査対象が抜ける脱落に注意が要る。
