説明可能性

AIシステムが出した結果について、なぜその結果になったのかを、利用者や影響を受ける人が理解できる形で説明できる度合い。内部の構造が複雑なモデルでも、判断に効いた特徴量を示すなどの手法で事後に根拠を示して確保する。モデルの仕組みそのものを人間が理解できるかを表す解釈可能性と区別して使われることがある。

機械学習モデルの用途、学習データ、評価の方法と結果、性能の限界、想定していない使い方、倫理面の配慮事項などを記載した文書。モデルを使う人が適切な使い方とリスクを判断できるようにするもので、2019年にGoogleの研究者らが提唱した。AIの透明性と説明責任を確保する手段として、モデルを公開・提供するときに添付される。

AI社会原則の1つで、AIの利用によって人々が人種、性別、国籍、年齢、宗教などの背景を理由に不当な差別を受けないよう、公平で透明な意思決定と、その結果に対する説明責任（アカウンタビリティ）の確保を求める原則。AIを利用している事実やデータの取得・使用方法などについて適切な説明が得られ、AIとそれを支えるデータやアルゴリズムの信頼性が担保される必要があるとする。

AIが出した予測や判断について、その根拠や過程を人間が理解できる形で示せるようにしたAI、またはそのための技術。深層学習のように内部がブラックボックスになりやすいモデルに対し、どの特徴量が結果に効いたかを示すLIMEやSHAPなどの手法がある。医療、金融、採用のように判断の説明責任が求められる分野で重要となる。

AIモデルの内部の仕組みや、入力から出力が得られる過程を、人間がどの程度理解できるかの度合い。決定木や線形回帰のように構造が単純なモデルは解釈可能性が高く、深層学習のモデルは低い。精度と解釈可能性はトレードオフになりやすく、用途によっては精度をある程度犠牲にしても解釈しやすいモデルを選ぶ。

AIモデルが全体としてどのような傾向で判断しているかを説明する方法。どの特徴量が予測全体に強く影響しているかを示す特徴量の重要度や、複雑なモデルを近似した単純なモデルを示すといった手法がある。個々の予測の根拠を示す局所説明と対になる。

AIモデルが特定の1件の入力に対して出した予測について、その根拠を説明する方法。「この融資申込みが否決されたのは、年収と勤続年数の影響が大きい」のように、個々の判断に効いた特徴量を示す。LIMEやSHAPが代表的な手法で、モデル全体の傾向を示す大局説明と対になる。