ローカルLLM

クラウドのAPIを経由せず、自組織のサーバやPCなどの環境で動かす大規模言語モデル。公開された重み（オープンウェイト）のモデルを使うことが多い。機密データを外部に送らずに済み、利用料の変動や外部サービスの停止の影響を受けないが、計算資源の確保と運用の負担があり、性能は大規模なクラウドのモデルに劣ることが多い。

特定の1組織が専用で利用するクラウド環境。自社の施設内に構築するオンプレミス型と、事業者の設備の一部を専有するホスティング型がある。セキュリティ要件や独自の設定に対応しやすいが、パブリッククラウドに比べて構築と運用の費用が高くなる。

パブリッククラウドと、プライベートクラウドやオンプレミスの環境とを連携させて利用する形態。機密性の高いデータは自社の環境で扱い、変動の大きい処理はパブリッククラウドで受け持つなど、要件に応じて使い分けられる。環境間の接続、運用管理、データの移動が課題となる。

大量のデータで事前学習済みのモデルを基に、目的の用途や分野のデータを追加で学習させて、モデルのパラメータを調整すること。少ないデータと計算量で用途に適したモデルを作れ、転移学習の代表的な方法である。大規模言語モデルでは、一部のパラメータだけを調整するLoRAなどの効率的な手法も使われる。

系列の各要素が他のすべての要素との関連の強さを計算して情報を集める自己注意機構（Self-Attention）を中心とした、ニューラルネットワークの構造。RNNのように順番に処理する必要がなく並列に計算できるため、大量のデータでの学習に向き、長い文脈の関係も捉えやすい。GPTなど大規模言語モデルの基盤である。

AI、特に大規模言語モデルの振る舞いを、人間の意図や価値観、社会の規範に沿ったものにするための取組みや技術。有用で正直かつ有害な出力をしないようにすることを目指し、人間のフィードバックによる強化学習（RLHF）や、指示に従うための追加学習などの手法が使われる。

大規模言語モデルが文章を処理するときの最小の単位。単語や、単語をさらに分けた部分（サブワード）、文字などで、テキストはトークナイザによってトークンの列に分割され、それぞれが数値に変換される。モデルが一度に扱える量や、生成AIの利用料金はトークン数で表されることが多い。