説明可能性

AIシステムが出した結果について、なぜその結果になったのかを、利用者や影響を受ける人が理解できる形で説明できる度合い。モデルの内部構造が複雑でも、事後に判断の根拠を示す手法を用いて確保する。AIの透明性や説明責任を支える要素で、モデルの仕組みそのものを人間が理解できるかを表す解釈可能性と区別されることがある。

説明可能なAI。AIの判断根拠や推論過程を人間が理解できるように説明する技術。ブラックボックス化しやすい深層学習の判断理由を可視化し、AIの信頼性と透明性を確保する。

AIシステムを安全かつ倫理的に開発・運用するためのアプローチおよび原則の総称。公平性、信頼性と安全性、プライバシーとセキュリティ、包括性、透明性、アカウンタビリティを主要な柱とし、AIによる偏見や差別の排除、説明可能性の確保、人間による監視・制御の維持を重視する考え方である。

AIモデルの内部の仕組みや、入力から出力が得られる過程を、人間がどの程度理解できるかの度合い。決定木や線形回帰のように構造が単純なモデルは解釈可能性が高く、深層学習のモデルは低い。精度と解釈可能性はトレードオフになりやすく、融資の審査のように判断の理由が求められる用途では、解釈しやすいモデルを選ぶことがある。

AIモデルが全体としてどのような傾向で判断しているかを説明する方法。予測全体に強く影響している特徴量を示す特徴量の重要度や、複雑なモデルの振る舞いを決定木などの単純なモデルで近似して示す手法がある。個々の予測の根拠を示す局所説明と対になる。

AIモデルが特定の1件の入力に対して出した予測について、その根拠を説明する方法。「この融資申込みが否決されたのは、年収と勤続年数の影響が大きい」のように、個々の判断に効いた特徴量を示す。LIMEやSHAPが代表的な手法で、モデル全体の傾向を示す大局説明と対になる。

特徴量に関する条件で、データを木の形に繰り返し分岐させて予測を行う機械学習のモデル。各分岐では、ジニ不純度やエントロピー（情報利得）が最もよく減る特徴量と分割点を選び、分類にも回帰にも使える。判断の根拠を人が読み取りやすい一方、深く育てると過学習しやすいので深さの制限や枝刈りを行い、ランダムフォレストや勾配ブースティングの基本の部品になる。