IT用語帳
A-1AI技術 · ディープラーニング

リカレントニューラルネットワーク(RNN)

Recurrent Neural Network

りかれんとにゅーらるねっとわーく

中間層の出力を次の時刻の入力として再び使う循環構造を持ち、過去の情報を保持しながら時系列データや文章などの系列データを処理するニューラルネットワーク。長い系列では勾配消失により遠い過去の情報を学習しにくく、これを改善したLSTMやGRUが使われてきた。現在の言語処理ではTransformerが主流である。

共有:

Related

他の資格での定義

Related

関連キーワードの用語

PD-DGRU(Gated Recurrent Unit)

LSTMを簡略化した、ゲート付きのRNNの構造。過去の情報をどれだけ残すかを決める更新ゲートと、どれだけ忘れるかを決めるリセットゲートの2つを持ち、LSTMの記憶セルと3つのゲートより少ないパラメータで長期の依存関係を学習できる。計算が軽く、多くの課題でLSTMと同程度の性能を示す。

A-1LLM(大規模言語モデル)

大量のテキストで事前学習した、膨大な数のパラメータを持つ言語モデル。主にTransformerを基盤とし、与えられた文脈に続くトークンを予測することで、文章の生成、要約、翻訳、質問応答、プログラムの作成など多様な処理を行える。事実と異なる内容を生成するハルシネーションに注意が必要である。

A-1クロスセクションデータ

ある一時点において、複数の対象(個人、企業、地域など)について同じ項目を観測したデータ。ある年の都道府県別の人口や所得などが該当し、対象間の違いや関係を比較するのに使う。時間の経過に沿って観測する時系列データと対比され、両者を組み合わせたものをパネルデータという。

A-1周期性

時系列データに、一定の間隔で同じような変動が繰り返し現れる性質。曜日による売上の変動や年単位の季節変動などがあり、傾向変動や不規則変動と分けて捉えることで需要予測の精度を高められる。周期の有無や長さは、自己相関やグラフの形から調べる。

A-1移動平均法

時系列データについて、一定の期間の平均を、期間を1つずつずらしながら計算する方法。短期的な変動や不規則な変動をならして基調となる傾向を読み取り、直近の一定期間の平均を次期の予測値とする需要予測にも使う。新しいデータほど大きな重みを置く加重移動平均もある。

PD-Dパネルデータ

同じ個人や企業などの複数の対象を、時間を追って繰り返し観測したデータで、クロスセクションデータと時系列データの両方の性質を持つ。対象ごとの観測されない固有の特性の影響を取り除いた分析ができ、政策や施策の効果の推定に使われる。途中で調査対象が抜ける脱落に注意が要る。