局所説明

AIモデルが特定の1件の入力に対して出した予測について、その根拠を説明する方法。「この融資申込みが否決されたのは、年収と勤続年数の影響が大きい」のように、個々の判断に効いた特徴量を示す。LIMEやSHAPが代表的な手法で、モデル全体の傾向を示す大局説明と対になる。

AIが出した予測や判断について、その根拠や過程を人間が理解できる形で示せるようにしたAI、またはそのための技術。深層学習のように内部がブラックボックスになりやすいモデルに対し、どの特徴量が結果に効いたかを示すLIMEやSHAPなどの手法がある。医療、金融、採用のように判断の説明責任が求められる分野で重要となる。

AIモデルの個々の予測について、その入力の周辺でのモデルの振る舞いを線形モデルなどの単純なモデルで近似し、どの特徴量が予測に効いたかを示す局所説明の手法。説明したい入力を少しずつ変えたデータをモデルに与えて出力の変化を調べるため、モデルの種類を問わずに適用できる（モデル非依存）。

AIモデルの内部の仕組みや、入力から出力が得られる過程を、人間がどの程度理解できるかの度合い。決定木や線形回帰のように構造が単純なモデルは解釈可能性が高く、深層学習のモデルは低い。精度と解釈可能性はトレードオフになりやすく、融資の審査のように判断の理由が求められる用途では、解釈しやすいモデルを選ぶことがある。

AIモデルが全体としてどのような傾向で判断しているかを説明する方法。予測全体に強く影響している特徴量を示す特徴量の重要度や、複雑なモデルの振る舞いを決定木などの単純なモデルで近似して示す手法がある。個々の予測の根拠を示す局所説明と対になる。

AIシステムが出した結果について、なぜその結果になったのかを、利用者や影響を受ける人が理解できる形で説明できる度合い。内部の構造が複雑なモデルでも、判断に効いた特徴量を示すなどの手法で事後に根拠を示して確保する。モデルの仕組みそのものを人間が理解できるかを表す解釈可能性と区別して使われることがある。

説明可能なAI。AIの判断根拠や推論過程を人間が理解できる形で説明する技術や手法。AIのブラックボックス問題に対処し、AIの透明性と信頼性を高めることを目的とする。