マルチモーダルAI
Multimodal AI
まるちもーだるえーあい
テキスト、画像、音声、動画など、種類の異なる複数のデータ(モダリティ)を入力や出力として統合的に扱えるAI。画像を見せて内容を説明させる、音声で質問して図表を含む回答を得るといった使い方ができ、1種類のデータだけを扱うAIより人間に近い形で状況を理解できる。
Related
他の資格での定義
テキスト、画像、音声、動画など複数種類(モーダル)の情報をまとめて扱えるAI。画像を見て内容を説明する、音声と表情から状況を判断するなど、単一形式のAIより広い場面に対応できる。
テキスト、画像、音声、動画など、種類の異なる複数のデータ(モダリティ)を組み合わせて入力・処理・出力できる AI。画像を見て内容を文章で説明する、音声で質問して画像付きで回答を得る、といった使い方ができる。
テキスト、画像、音声など複数の種類の情報を組み合わせて扱えるAI。図表を含む資料の読み取りなど、単一の形式では扱えない業務に適用できる。
テキスト、画像、音声、動画など複数の種類(モダリティ)の情報を組み合わせて入力・出力できるAI。図表を含む文書の読み取り、画像を見せて質問に答える、会議の音声と資料から議事録を作るなど、単一の形式のAIでは扱えない業務に適用できる。
Related
関連キーワードの用語
生成AIなどのAIサービスで、利用者が入力したデータをモデルの学習や改善に利用することについて、利用者が拒否(オプトアウト)できる条件や手段を定めた方針。既定で学習に使うか、設定や申請で除外できるか、法人向けの契約では使わないかなどはサービスによって異なるため、業務で使う前に確認し、機密情報や個人情報を入力しない運用と組み合わせる。
組織の従業員が生成AIなどのAIを業務で使うときのルールを定めた方針。利用してよいサービス、入力してはならない情報(機密情報や個人情報)、出力内容の確認と責任、著作権への配慮、利用目的の範囲などを定める。AIガバナンスの一部として整備し、許可されていないAIの利用(シャドーAI)を防ぐ役割もある。
組織が把握・許可していない生成AIなどのAIサービスを、従業員が業務で使うこと。シャドーITのAI版で、外部の無料サービスに機密情報や個人情報を入力して漏えいさせる、出力の誤りや権利侵害に気付けないといったリスクがある。一律に禁止するより、許可するサービスと使い方をAI利用ポリシーで示し、安全な代替手段を用意することが有効とされる。
生成AIがコードを生成する際に実在しないパッケージ名を提案してしまう現象(パッケージハルシネーション)を悪用する攻撃。攻撃者は、AIが提案しがちな架空のパッケージ名でマルウェアを仕込んだパッケージを公開リポジトリに登録し、AIの提案をそのまま使った開発者にインストールさせる。タイポスクワッティングになぞらえた造語で、依存パッケージの実在と信頼性を確認することが対策となる。
生成AIが、事実に基づかない内容や存在しない情報を、もっともらしい文章として出力する現象。大規模言語モデルは学習データからもっともらしい単語の並びを生成するため、架空の文献や誤った数値をそれらしく示すことがある。RAGで根拠となる文書を参照させる、出典を確認する、人間が内容を検証するといった対策をとる。
深層学習などのAI技術を用いて実在の人物の顔や声を合成し、本物と見分けにくい偽の画像・動画・音声を作る技術、またはそれによって作られたコンテンツ。偽情報の拡散、経営者の声をまねた送金指示のようななりすまし詐欺、名誉毀損などに悪用される。電子透かしや来歴情報による真正性の確認、検知技術などの対策が進められている。
