LIME（Local Interpretable Model-agnostic Explanations）

AIが出した予測や判断について、その根拠や過程を人間が理解できる形で示せるようにしたAI、またはそのための技術。深層学習のように内部がブラックボックスになりやすいモデルに対し、どの特徴量が結果に効いたかを示すLIMEやSHAPなどの手法がある。医療、金融、採用のように判断の説明責任が求められる分野で重要となる。

AIモデルが全体としてどのような傾向で判断しているかを説明する方法。どの特徴量が予測全体に強く影響しているかを示す特徴量の重要度や、複雑なモデルを近似した単純なモデルを示すといった手法がある。個々の予測の根拠を示す局所説明と対になる。

AIモデルが特定の1件の入力に対して出した予測について、その根拠を説明する方法。「この融資申込みが否決されたのは、年収と勤続年数の影響が大きい」のように、個々の判断に効いた特徴量を示す。LIMEやSHAPが代表的な手法で、モデル全体の傾向を示す大局説明と対になる。

AIモデルの内部の仕組みや、入力から出力が得られる過程を、人間がどの程度理解できるかの度合い。決定木や線形回帰のように構造が単純なモデルは解釈可能性が高く、深層学習のモデルは低い。精度と解釈可能性はトレードオフになりやすく、用途によっては精度をある程度犠牲にしても解釈しやすいモデルを選ぶ。

協力ゲーム理論のシャープレイ値を用いて、AIモデルの予測値に対する各特徴量の貢献度を算出する説明手法。各特徴量の貢献度を合計すると、予測値と基準となる値との差に一致するように配分する。個々の予測の根拠を示す局所説明に使えるほか、多数の予測について集計すれば、モデル全体の傾向を示す大局説明にも使える。

AIシステムが出した結果について、なぜその結果になったのかを、利用者や影響を受ける人が理解できる形で説明できる度合い。モデルの内部構造が複雑でも、事後に判断の根拠を示す手法を用いて確保する。AIの透明性や説明責任を支える要素で、モデルの仕組みそのものを人間が理解できるかを表す解釈可能性と区別されることがある。