Hallucination Rateとは
Hallucination Rateとは、多モーダルAIが生成した回答のうち、事実に基づかない誤った情報が含まれる割合を指す
読み: Hallucination Rate
かんたんに言うと
新人スタッフが自信満々に嘘の報告をする確率のようなもので、この数値が高いほどAIの回答を鵜呑みにすることは危険である。
指標が意味するもの
LLMは確率に基づいて文章を生成するため、事実と異なるもっともらしい嘘をつくことがある。この現象をハルシネーションと呼び、その発生頻度を定量化したものがHallucination Rateである。精度の低いモデルや複雑な質問においては、この数値が上昇する傾向にある。業務で活用する際は、この指標を参考にAIの出力に対する許容範囲を設定する必要がある。
実務での計測と活用
実際の業務環境では、正解データと比較することでこの割合を算出する。例えば、社内規定に関する質問に対して、AIが参照先を誤ったり存在しない条文を作ったりした回数を数える。この数値が高止まりしている場合は、RAGの検索精度を見直すか、回答の根拠を明示させるプロンプトへの修正が有効となる。数値の変化を継続的に監視することで、システムの品質管理が可能となる。
導入判断における考え方
Hallucination Rateはゼロにすることが難しいため、業務の性質に応じたリスク許容度が鍵となる。顧客対応や法的文書の作成など高い正確性が求められる場面では、人間による確認工程を組み込むことが前提となる。一方で、アイデア出しや要約のような創造的なタスクでは、多少の誤りがあっても効率化のメリットが上回ることがある。技術的な対策だけでなく、運用体制も含めた総合的な判断が求められる。
当社の見解
当社はAI記憶システムの品質を「29の未解決問題」として定義し、各問題の解決率を定量計測するAI Health Indexを運用している（2026年4月現在、総合スコア70.9%）。計測はインシデント発生率（タイプA）、検索精度（タイプB）、機能健全性（タイプC）の3軸で行い、週次でCSVに記録して推移を追跡している。「実装済み/未実装」の2値ではなく、%で解決率を可視化することで、どの問題にリソースを集中すべきかが数値で判断できるようになった。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。