自動化バイアス
Automation Bias
じどうかばいあす
AIや自動化されたシステムの出力を過度に信頼し、誤りや矛盾があっても見過ごしたり、自分の判断よりシステムの判断を優先したりする人間の傾向。システムが警告を出さなかったために異常を見落とす、誤った提案をそのまま採用するといった形で現れる。人間による監視や最終判断を形だけのものにしないため、判断の根拠の確認を手順に組み込むなどの対策が必要となる。
Related
関連キーワードの用語
AIを組み込んだシステムの処理の流れの中に、人間による確認・判断・修正の工程を組み込む設計。AIの出力を人間が承認してから実行する、確信度の低い判定だけを人間に回す、人間が修正した結果を学習に戻すといった形がある。誤判定による重大な影響を防ぎ、責任の所在を明確にするために用いられる。
AIエージェントにどこまで自律的に判断・実行させ、どの場面で人間が確認・承認・介入するかの度合いの設計。自律性を高めると効率は上がるが、誤った操作や想定外の行動の影響も大きくなるため、重要な操作の前に人間の承認を求めるヒューマンインザループ、操作履歴の監視、停止の手段などを用意し、リスクに応じて関与の度合いを決める。
人やものを評価するとき、目立つ一部の特徴に引きずられて、他の特徴の評価まで歪められる認知バイアス。有名大学の出身者を仕事全般でも優秀だと思い込む、デザインの良い製品を品質も高いと評価するなどが例である。人事評価やアンケートの回答、データの解釈を偏らせる原因となる。
多くの人が支持している、流行しているという情報によって、その選択肢をさらに選ぶ人が増える認知バイアス。売れ筋ランキングの上位の商品がさらに売れる、優勢と報じられた候補に票が集まるといった現象が例である。口コミの件数や評価の数値が、商品自体の品質とは別に需要を押し上げることがある点に注意して分析する。
異常な事態や危険の兆候に直面しても、「たいしたことはない」「自分は大丈夫」と過小評価し、日常の延長として捉えてしまう認知バイアス。災害時の避難の遅れや、システムの警告やデータの異常値の見過ごしの原因となる。異常と判断する基準をあらかじめ定めておくことで影響を抑える。
自分の仮説や先入観を支持する情報ばかりを集めたり重視したりし、反する情報を無視・軽視してしまう認知バイアス。データ分析では、期待した結論に合う集計の切り口や期間だけを選ぶ原因となる。反証となるデータを意図的に探す、分析計画を事前に決める、第三者のレビューを受けるといった方法で抑える。
