第2種の誤りとは
第2種の誤りとは、統計的仮説検定において、実際には真である帰無仮説を誤って棄却しないという誤りのことである
読み: ダイニシュノアヤマリ
統計的仮説検定において、実際には真である帰無仮説を誤って棄却しないという誤りのことである。これは、本来棄却されるべきでない帰無仮説を受容してしまう場合に発生する。検出力不足が原因となることが多い。
かんたんに言うと
簡単に言うと、本当は正しいことを、間違いだと判断しないことである。
第2種の誤りの具体例
ある新薬の効果を検証する臨床試験を例に考える。帰無仮説は「新薬に効果はない」となる。もし実際には新薬に効果があるにもかかわらず、試験の結果、効果がないと判断してしまった場合、これは第2種の誤りとなる。つまり、効果がある薬を見逃してしまうことになる。
第1種の誤りとの違い
第2種の誤りと対になる概念として、第1種の誤りがある。第1種の誤りは、実際には偽である帰無仮説を誤って棄却してしまう誤りのことである。先ほどの例で言うと、実際には新薬に効果がないにもかかわらず、試験の結果、効果があると判断してしまう場合が第1種の誤りとなる。両者は区別して理解する必要がある。
第2種の誤りを減らすには
第2種の誤りを減らすためには、検出力を高めることが重要である。検出力を高めるためには、サンプルサイズを大きくしたり、効果量を大きくしたり、有意水準を高く設定したりするなどの方法がある。ただし、有意水準を高くすると、第1種の誤りのリスクも高まるため、注意が必要である。
第2種の誤りと第1種の誤りの比較
| 比較項目 | 第1種の誤り | 第2種の誤り |
|---|---|---|
| 偽陽性と偽陰性の違い | 安全なのに危険と過剰反応する誤警報(偽陽性)によるシステム対応工数・コスト負担増 | 本当に危険なものを見逃す(偽陰性)によるビジネス上の致命的な被害やシステム損害 |
| 現実世界でのリスク | 正常を異常と弾いてシステムから除外する等ユーザビリティ低下のトレードオフが発生 | 重大なインシデントを見逃すことでシステム崩壊やセキュリティ事故のトレードオフが発生 |
| 統計的有意水準(α)との関係 | 第1種の誤りが提供する標準的な機能・インターフェース | 第2種の誤りが得意とする高度な対応機能やインターフェース |
| 検出力(β)との関係 | 初期導入から実運用までの学習・運用コスト | 複雑なカスタマイズに応じた拡張的な運用コスト確保 |
| 対策の優先度 | シンプルなユースケースに適合し利用シナリオが限定的 | エンタープライズや複雑なビジネス要件等に適合する |
誤検知と見逃しのトレードオフです。安全なのに危険と過剰反応する不純要素(偽陽性)のコスト負担を抑えたいなら第1種の誤りを、本当に危険なものを見逃す(偽陰性)による致命的損害を防ぎたいなら第2種の誤りを警戒すべきです。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。