マルチモーダルAI
Multimodal AI
まるちもーだるえーあい
テキスト、画像、音声、動画など複数の種類(モダリティ)の情報を組み合わせて入力・出力できるAI。図表を含む文書の読み取り、画像を見せて質問に答える、会議の音声と資料から議事録を作るなど、単一の形式のAIでは扱えない業務に適用できる。
Related
他の資格での定義
テキスト、画像、音声、動画など複数種類(モーダル)の情報をまとめて扱えるAI。画像を見て内容を説明する、音声と表情から状況を判断するなど、単一形式のAIより広い場面に対応できる。
テキスト、画像、音声、動画など、種類の異なる複数のデータ(モダリティ)を組み合わせて入力・処理・出力できる AI。画像を見て内容を文章で説明する、音声で質問して画像付きで回答を得る、といった使い方ができる。
テキスト、画像、音声など複数の種類の情報を組み合わせて扱えるAI。図表を含む資料の読み取りなど、単一の形式では扱えない業務に適用できる。
テキスト、画像、音声、動画など、種類の異なる複数のデータ(モダリティ)を入力や出力として統合的に扱えるAI。画像を見せて内容を説明させる、音声で質問して図表を含む回答を得るといった使い方ができ、1種類のデータだけを扱うAIより人間に近い形で状況を理解できる。
Related
関連キーワードの用語
入力されたデータを分析して、分類、予測、検知、認識などの判断を行うAI。売上予測や離反予測、顧客のグルーピング、画像による不良品の検知などに使われ、仮説検証、知識発見、原因究明、計画策定、判断支援、活動代替などの目的で業務に組み込む。新しいコンテンツを作り出す生成AIと対比される。
膨大なテキストで事前学習した、数十億から数千億以上のパラメータを持つ言語モデル。主にTransformerのデコーダを使い、前の文脈から次のトークンを予測する学習によって、文章生成、要約、翻訳、質問応答、プログラム作成など多様な課題を、追加学習なしに指示(プロンプト)だけでこなせる。インストラクションチューニングやRLHFで指示に従うよう調整して使い、もっともらしい誤り(ハルシネーション)への対策が要る。
与えられた指示や文脈に続く文章を生成するAIモデル。現在の主流はTransformerを使った大規模言語モデルで、前の文脈から次のトークンの確率を計算して1つずつ選ぶことを繰り返して文章を作る。どのトークンを選ぶかは温度(Temperature)やTop-pなどで調整し、要約、翻訳、文書作成、対話、プログラムの生成に使われる。
文章による指示や静止画をもとに、動画を生成するAIモデル。各コマの画質に加えて、コマ間で物体や人物の見た目と動きの一貫性を保つ必要があり、拡散モデルとTransformerを組み合わせた方式が使われ、画像の生成より大きな計算資源を要する。広告や映像制作の試作に使われる一方、実在の人物の偽動画による偽情報の拡散が懸念される。
生成AIが作成したコンテンツに関する著作権上の論点。著作権法第30条の4により、AI学習目的の著作物利用は原則として許容されるが、享受目的が併存する場合は適用されない。AI生成物が既存の著作物に類似している場合、依拠性と類似性が認められれば著作権侵害となり得る。AI自体は著作者にはなれない。
大規模言語モデル(LLM)などの生成AIに対して、悪意のある指示や入力を与えることで、本来の制約やガードレールを回避させ、意図しない動作や情報漏えいを引き起こす攻撃手法。直接的な入力によるものと、外部データに攻撃文を埋め込む間接的なものがある。
