Transformer

自己注意（Self-Attention）機構を中心としたニューラルネットワークアーキテクチャ。RNNと異なり並列処理が可能で、長距離の依存関係を効率的に捉えられる。GPT、BERTなどの大規模言語モデルの基盤技術。

2017年の論文「Attention Is All You Need」で提案された、自己注意機構を中心とするニューラルネットワークの構造。RNNのように系列を順に処理せず、系列中のすべての位置の関係を同時に計算するので、並列に学習でき長距離の依存関係も捉えやすい（語順の情報は位置エンコーディングで与える）。GPTやBERTなどの大規模言語モデルの基盤であり、画像や音声のモデルにも使われている。

系列の各要素が他のすべての要素との関連の強さを計算して情報を集める自己注意機構（Self-Attention）を中心とした、ニューラルネットワークの構造。RNNのように順番に処理する必要がなく並列に計算できるため、大量のデータでの学習に向き、長い文脈の関係も捉えやすい。GPTなど大規模言語モデルの基盤である。

与えられた指示や文脈に続く文章を生成するAIモデル。現在の主流はTransformerを使った大規模言語モデルで、前の文脈から次のトークンの確率を計算して1つずつ選ぶことを繰り返して文章を作る。どのトークンを選ぶかは温度（Temperature）やTop-pなどで調整し、要約、翻訳、文書作成、対話、プログラムの生成に使われる。

データにノイズを少しずつ加えていく過程を逆にたどり、ノイズから元のデータを復元するように学習する生成モデル。高品質な画像生成AIの主流方式で、テキストから画像を作るサービスの中核技術。

生成AIが作成したコンテンツに関する著作権上の論点。著作権法第30条の4により、AI学習目的の著作物利用は原則として許容される。AI生成物が既存著作物に類似する場合、依拠性と類似性が認められれば著作権侵害となり得る。AI自体は著作者にはなれない。

大規模言語モデルの性能が、モデルのパラメータ数、学習データの量、学習に使う計算量を増やすほど、べき乗則に従って予測できる形で向上するという経験則。2020年に OpenAI の研究者らが示し、モデルの大規模化を進める根拠となった。

テキスト、画像、音声、動画など、種類の異なる複数のデータ（モダリティ）を組み合わせて入力・処理・出力できる AI。画像を見て内容を文章で説明する、音声で質問して画像付きで回答を得る、といった使い方ができる。

生成 AI が出力する文章の多様さと安定性を、パラメータで調整すること。Temperature を高くすると多様で意外性のある出力に、低くすると安定した出力になる。Top-p や Top-k で次の語の候補を絞ることでも調整できる。