PD-DNewAI技術 · ディープラーニング

Seq2Seq（Sequence-to-Sequence）

Sequence-to-Sequence

しーくつーしーく

入力の系列を別の系列に変換するモデルの枠組み。エンコーダが入力の系列（例えば日本語の文）を読み込んで内部表現に変換し、デコーダがその内部表現から出力の系列（英語の文）を1要素ずつ生成する。機械翻訳、要約、対話に使われ、当初はRNNやLSTMで構成されたが、入力の長い系列を1つのベクトルに詰め込む弱点を注意機構が補い、それがTransformerへつながった。

#エンコーダ #デコーダ #機械翻訳 #注意機構

共有:

関連キーワードの用語

PD-DTransformer

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

PD-Dオートエンコーダ

入力を低次元の潜在表現に圧縮するエンコーダと、そこから入力を復元するデコーダを組み合わせ、出力が入力と同じになるよう学習するニューラルネットワークで、自己符号化器ともいう。正解ラベルが要らず、次元削減や特徴抽出のほか、正常データだけで学習して復元誤差が大きいものを異常とみなす異常検知、ノイズの除去に使う。潜在表現を確率分布として学習する変分オートエンコーダ（VAE）は生成モデルとして使える。

A-1DCサーボモーター

直流モーターに回転角や速度を検出するセンサ（エンコーダなど）を組み合わせ、指令値との差をなくすようにフィードバック制御するモーター。目標とする位置や速度に正確に追従させられるため、ロボットの関節や工作機械などに使われる。