自己注意（Self-Attention）機構
Self-Attention
じこちゅういきこう
系列の各要素（トークン）が、同じ系列の他のすべての要素とどれだけ関係するかを計算し、その重みで情報を集めて自分の表現を更新する仕組み。各トークンからクエリ、キー、バリューのベクトルを作り、クエリとキーの内積をソフトマックス関数で正規化した重みでバリューを足し合わせる。離れた位置の関係も一度に捉えられるTransformerの中核で、計算量は系列の長さの2乗に比例する。
Related
関連キーワードの用語
隠れ層を多数重ねたニューラルネットワーク（ディープニューラルネットワーク）を使う機械学習の手法で、深層学習ともいう。画像の画素や文章のトークンのような生に近いデータから、予測に有効な特徴を層ごとに段階的に自動で学習できるため、画像認識、音声認識、自然言語処理で従来の手法を大きく上回る精度を出した。大量の学習データとGPUなどの計算資源を必要とし、判断の根拠が分かりにくい。
膨大なテキストで事前学習した、数十億から数千億以上のパラメータを持つ言語モデル。主にTransformerのデコーダを使い、前の文脈から次のトークンを予測する学習によって、文章生成、要約、翻訳、質問応答、プログラム作成など多様な課題を、追加学習なしに指示（プロンプト）だけでこなせる。インストラクションチューニングやRLHFで指示に従うよう調整して使い、もっともらしい誤り（ハルシネーション）への対策が要る。
テーブル内の各レコードを一意に識別するためのフィールドまたはフィールドの組み合わせ。重複やNULL値は許されず、データの整合性を保証する。
あるテーブルのフィールドが他のテーブルの主キーを参照する関係を持つキー。テーブル間の関連付けを行い、参照整合性を維持するために使用する。
リレーションにおいて、タプルを一意に識別でき、かつその真部分集合では一意性を保てない属性の組。1つのリレーションに複数存在しうる。候補キーの中から主キーが選ばれる。
リレーションにおいて、タプルを一意に識別できる属性の組。候補キーに余分な属性を加えたものもスーパーキーとなる。候補キーは極小のスーパーキーである。