自然言語処理モデル

大規模言語モデルの性能が、モデルのパラメータ数、学習データの量、学習に使う計算量を増やすほど、べき乗則に従って予測できる形で向上するという経験則。2020年に OpenAI の研究者らが示し、モデルの大規模化を進める根拠となった。

学習したデータの特徴をもとに、文章、画像、音声、動画、プログラムなどのコンテンツを新たに作り出すAI。大規模言語モデルを使った対話、要約、文書作成などに広く使われる。もっともらしい誤り（ハルシネーション）を出力することがあるため、RAGによる根拠の付与や人間による確認と組み合わせて使う。

隠れ層を多数重ねたニューラルネットワーク（ディープニューラルネットワーク）を使う機械学習の手法で、深層学習ともいう。画像の画素や文章のトークンのような生に近いデータから、予測に有効な特徴を層ごとに段階的に自動で学習できるため、画像認識、音声認識、自然言語処理で従来の手法を大きく上回る精度を出した。大量の学習データとGPUなどの計算資源を必要とし、判断の根拠が分かりにくい。

RNNで長い系列の依存関係を学習できるようにしたネットワークの構造。情報を保持する記憶セルと、新しい情報をどれだけ取り込むかの入力ゲート、古い情報をどれだけ捨てるかの忘却ゲート、どれだけ出力するかの出力ゲートを持ち、勾配消失問題を緩和する。機械翻訳、音声認識、時系列の予測に広く使われたが、自然言語処理の主役はTransformerに移った。

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

LSTMを簡略化した、ゲート付きのRNNの構造。過去の情報をどれだけ残すかを決める更新ゲートと、どれだけ忘れるかを決めるリセットゲートの2つを持ち、LSTMの記憶セルと3つのゲートより少ないパラメータで長期の依存関係を学習できる。計算が軽く、多くの課題でLSTMと同程度の性能を示す。