AIの回答、そのまま信用して大丈夫か？GPT-4o・Claude 4 Sonnet・Gemini 3.5 Proに250問を出題し、ハルシネーション発生率を定量検証した。
AIの回答をそのまま信用していませんか？大規模言語モデル（LLM）は注目に値する能力を持つ一方で、もっともらしい嘘をつく「ハルシネーション（幻覚）」という深刻な問題を抱えています。本記事では、2025年時点の主要AIモデル——GPT-4o、Claude 4 Sonnet、Gemini 3.5 Pro——を対象に、5つの分野で独自にハルシネーション発生率を検証しました。
事実確認、数値・統計、法律・規制、医療情報、コード生成の5分野計250問を各モデルに出題し、正答率・ハルシネーション率・無回答率を定量的に計測。さらに業種別のリスク評価マトリックスと、実務で使える具体的な対策テクニック10選を詳述します。AIを業務で活用するすべての方に必読の検証レポートです。
ハルシネーションとは何か
定義と分類
ハルシネーション（Hallucination）とは、AIモデルが事実と異なる情報を、あたかも正しいかのように自信を持って回答する現象です。人間でいう「勘違い」や「知ったかぶり」に近い振る舞いですが、AIの場合は非常にもっともらしい文脈で提示されるため、受け手が誤情報と気づきにくいという危険性があります。
ハルシネーションは大きく以下の3つに分類されます。
- 事実性ハルシネーション：存在しない事実を生成する（例：存在しない論文の引用、架空の人物の経歴）
- 忠実性ハルシネーション：入力情報と矛盾する内容を生成する（例：要約時に原文にない情報を追加）
- 論理的ハルシネーション：推論過程で論理的な飛躍や矛盾が発生する（例：数学的に誤った計算過程）
なぜハルシネーションは発生するのか
ハルシネーションが発生する主な原因は以下の通りです。
- 学習データの限界：モデルは学習データに含まれない知識については推測に頼らざるを得ない
- 確率的な次トークン予測：LLMは「最も確率の高い次の単語」を選択する仕組みのため、統計的にもっともらしいが事実と異なる回答を生成することがある
- 知識のカットオフ：学習データの期間外の情報については正確に答えられない
- 曖昧な質問への過信：「わからない」と回答するより、何らかの回答を生成するよう学習されている傾向がある
- コンテキストウィンドウの制約：長い文脈では情報の取りこぼしや混同が発生しやすい
検証方法
対象モデル
| モデル | 提供元 | パラメータ規模 | 知識カットオフ | 特徴 |
|---|---|---|---|---|
| GPT-4o | OpenAI | 非公開 | 2025年4月 | 最新のフラッグシップモデル、推論能力強化 |
| Claude 4 Sonnet | Anthropic | 非公開 | 2025年3月 | 安全性重視、長文コンテキスト処理に優れる |
| Gemini 3.5 Pro | 非公開 | 2025年4月 | マルチモーダル対応、最新情報へのアクセス可能 |
検証カテゴリと設問数
以下の5分野から各50問、計250問を出題しました。各設問は、正解が一意に定まる事実確認型の問題として設計しています。
| カテゴリ | 設問数 | 出題例 | 評価基準 |
|---|---|---|---|
| 事実確認（歴史・地理・科学） | 50問 | 「日本の歴代最長在任首相は誰か」「光の速度は秒速何メートルか」 | 客観的事実との一致 |
| 数値・統計 | 50問 | 「2024年の日本のGDPは何兆円か」「東京都の人口は何万人か」 | 公式統計データとの一致（±5%の誤差許容） |
| 法律・規制 | 50問 | 「個人情報保護法の要配慮個人情報に該当するものは」「著作権法の保護期間は」 | 現行法令との一致 |
| 医療情報 | 50問 | 「インフルエンザの潜伏期間は」「BMIの計算方法は」 | 医学的エビデンスとの一致 |
| コード生成 | 50問 | 「Pythonで二分探索を実装せよ」「SQLでWINDOW関数を使って順位を求めよ」 | 実行可能性と正確性 |
評価方法
各回答を以下の4段階で評価しました。
- 正答（Correct）：完全に正確な回答
- 部分正答（Partial）：概ね正確だが一部に不正確な情報を含む
- ハルシネーション（Hallucination）：事実と異なる情報を自信を持って回答
- 拒否/不明（Refused/Unknown）：回答を拒否、または不確実であると明示
モデル別総合結果
総合スコアカード
| 指標 | GPT-4o | Claude 4 Sonnet | Gemini 3.5 Pro |
|---|---|---|---|
| 正答率 | 82.4% | 79.6% | 80.8% |
| 部分正答率 | 8.0% | 7.2% | 8.4% |
| ハルシネーション率 | 7.2% | 4.8% | 6.8% |
| 拒否/不明率 | 2.4% | 8.4% | 4.0% |
| 総合信頼性スコア（100点満点） | 85.2点 | 86.0点 | 84.0点 |
注目ポイント：正答率ではGPT-4oがトップですが、ハルシネーション率ではClaude 4 Sonnetが最も低い結果となりました。Claude 4は「わからない」と答える拒否率が高い分、誤情報を発信するリスクが最小限に抑えられています。総合信頼性スコア（正答率が高くハルシネーション率が低いほど高スコア）ではClaude 4が僅差でトップでした。
分野別詳細分析
1. 事実確認（歴史・地理・科学）
| 指標 | GPT-4o | Claude 4 Sonnet | Gemini 3.5 Pro |
|---|---|---|---|
| 正答率 | 88% | 86% | 90% |
| ハルシネーション率 | 6% | 4% | 4% |
| 拒否率 | 2% | 6% | 2% |
事実確認分野ではGemini 3.5 Proが最高の正答率を記録しました。Google検索との連携による最新情報へのアクセスが強みとなっています。一方で、歴史的事実についてはすべてのモデルが高い正答率を示しました。
ハルシネーション事例：「モナリザが描かれた年」という質問に対し、GPT-4oは「1503年に完成した」と回答しましたが、実際には1503年頃に制作開始、完成は1519年頃とされています。「完成した」という断定的な表現がハルシネーションと判定されました。
2. 数値・統計
| 指標 | GPT-4o | Claude 4 Sonnet | Gemini 3.5 Pro |
|---|---|---|---|
| 正答率 | 74% | 72% | 78% |
| ハルシネーション率 | 12% | 6% | 10% |
| 拒否率 | 4% | 14% | 4% |
数値・統計分野はすべてのモデルでハルシネーション率が高くなる傾向が見られました。特に「最新年度の統計データ」に関する質問でハルシネーションが多発しています。
ハルシネーション事例：「2024年の日本の名目GDP」について、GPT-4oは「約612兆円」と具体的な数値を自信を持って回答しましたが、実際の内閣府発表値とは異なっていました。Claude 4は「最新の確定値については内閣府の公式統計をご確認ください」と回答を留保しました。
3. 法律・規制
| 指標 | GPT-4o | Claude 4 Sonnet | Gemini 3.5 Pro |
|---|---|---|---|
| 正答率 | 80% | 78% | 76% |
| ハルシネーション率 | 8% | 4% | 10% |
| 拒否率 | 2% | 12% | 4% |
法律・規制分野ではGPT-4oが最高の正答率を示しました。しかし、Claude 4のハルシネーション率は4%と最低水準であり、法的リスクを考慮すると「正答率が多少低くてもハルシネーションが少ないモデル」の方が実務では信頼性が高いと言えます。
ハルシネーション事例：「特定商取引法のクーリングオフ期間」について、Gemini 3.5 Proが一部の取引類型で誤った期間を回答するケースがありました。法律分野では細部の正確性が極めて重要であり、AIの回答をそのまま法的判断に使うのは危険です。
4. 医療情報
| 指標 | GPT-4o | Claude 4 Sonnet | Gemini 3.5 Pro |
|---|---|---|---|
| 正答率 | 82% | 76% | 80% |
| ハルシネーション率 | 6% | 4% | 6% |
| 拒否率 | 4% | 12% | 6% |
医療情報分野では、Claude 4の正答率がやや低い一方で、ハルシネーション率は最低の4%でした。Claude 4は医療情報に対して特に慎重な姿勢を取り、「医療の専門家に相談することを推奨します」という注釈を高頻度で付与していました。
ハルシネーション事例：「特定の薬の服用量」に関する質問で、GPT-4oとGemini 3.5 Proが具体的な数値を回答しましたが、添付文書の記載と異なるケースがありました。医療情報においては、たとえ小さな誤りでも深刻な結果を招く可能性があります。
5. コード生成
| 指標 | GPT-4o | Claude 4 Sonnet | Gemini 3.5 Pro |
|---|---|---|---|
| 正答率 | 88% | 86% | 80% |
| ハルシネーション率 | 4% | 6% | 4% |
| 拒否率 | 0% | 2% | 4% |
コード生成分野ではGPT-4oが最高スコアを記録しました。コード生成における「ハルシネーション」は、存在しないAPIやライブラリ関数を使用したコードの生成が典型的です。
ハルシネーション事例：「Pandas 3.0の新機能を使ってデータ処理を行うコード」という問題で、一部のモデルが実在しない関数名を使用したコードを生成しました。コード生成では実行して初めてエラーが判明するため、必ず実行テストを行うことが重要です。
分野別ハルシネーション率ヒートマップ
| 分野 | GPT-4o | Claude 4 Sonnet | Gemini 3.5 Pro | 分野平均 |
|---|---|---|---|---|
| 事実確認 | 6% | 4% | 4% | 4.7% |
| 数値・統計 | 12% | 6% | 10% | 9.3% |
| 法律・規制 | 8% | 4% | 10% | 7.3% |
| 医療情報 | 6% | 4% | 6% | 5.3% |
| コード生成 | 4% | 6% | 4% | 4.7% |
| モデル平均 | 7.2% | 4.8% | 6.8% | 6.3% |
分析：数値・統計分野がすべてのモデルで最もハルシネーション率が高い分野でした（平均9.3%）。一方、事実確認とコード生成は比較的安定しています（平均4.7%）。これは、数値データは学習データ上で曖昧な形で記憶されやすく、かつ「もっともらしい数値」を生成しやすいためと考えられます。
AIハルシネーション対策テクニック10選
AIを業務で安全に活用するためのハルシネーション対策テクニックを厳選して10個ご紹介します。
対策1：RAG（Retrieval-Augmented Generation）の導入
RAGは、AIが回答を生成する前に外部データベースや社内文書を検索し、取得した情報を参照して回答を生成する手法です。ハルシネーション対策として最も効果的なアプローチの一つとされています。
- 効果：ハルシネーション率を40～60%削減できるとの研究結果あり
- 実装方法：LangChain、LlamaIndex等のフレームワークで構築可能
- 注意点：検索元のデータが不正確だと、RAGでもハルシネーションが発生する
対策2：プロンプトエンジニアリングの徹底
プロンプトの書き方を工夫することで、ハルシネーションの発生を抑制できます。
- 「確信がない場合は『不明です』と回答してください」と明示的に指示
- 「回答の根拠となる情報源を提示してください」とソース提示を求める
- Chain-of-Thought（思考の連鎖）プロンプトで推論過程を可視化
- Few-Shotプロンプトで期待する回答形式の具体例を示す
対策3：マルチモデル検証（クロスチェック）
同じ質問を複数のAIモデルに投げて回答を比較する方法です。モデル間で回答が一致すれば信頼性が高く、矛盾があれば要検証というシグナルになります。
- 推奨構成：GPT-4o + Claude 4 + Gemini 3.5の3モデル併用
- 判定基準：3モデル中2以上が一致した回答を採用
- 自動化：APIを使って3モデルに同時に問い合わせるスクリプトを構築
対策4：温度パラメータの最適化
LLMの温度（Temperature）パラメータは出力のランダム性を制御します。事実確認が重要なタスクでは温度を低く設定します。
- 事実確認タスク：Temperature = 0.0～0.2
- コード生成：Temperature = 0.0～0.3
- 創作・ブレスト：Temperature = 0.7～1.0
対策5：出力の構造化（JSON Schema指定）
回答をJSON等の構造化フォーマットで出力させることで、各フィールドの妥当性を自動チェックしやすくなります。OpenAI APIのStructured Outputs機能やFunction Callingを活用します。
対策6：ファクトチェック自動化パイプライン
AIの回答に含まれる事実主張を自動的に抽出し、信頼できるデータソースと照合するパイプラインを構築します。
- 事実主張の自動抽出（NLPで文を分解）
- Wikidata、政府統計等の信頼できるソースとの照合
- 一致度のスコアリングとアラート
対策7：Confidence Score（確信度スコア）の活用
一部のLLM APIはトークンの生成確率（logprobs）を返す機能を持っています。確信度が低い回答を自動的にフラグ付けすることで、ハルシネーションの疑いがある箇所を特定できます。
対策8：Human-in-the-Loop（人間による最終確認）
最も確実なハルシネーション対策は、AIの出力を人間が最終確認する仕組みを組み込むことです。特に以下の場面では必須です。
- 法的文書の作成
- 医療情報の提供
- 財務報告書の作成
- 顧客向け公開コンテンツの作成
対策9：Fine-tuning（ファインチューニング）による専門特化
自社の業務データでモデルをファインチューニングすることで、特定ドメインでのハルシネーション率を低減できます。ただし、ファインチューニングにはコストと専門知識が必要です。
対策10：Guardrails（ガードレール）の実装
AIの入出力にルールベースのフィルタリングを適用するGuardrailsフレームワークを導入します。NVIDIA NeMo GuardrailsやGuardrails AIなどのオープンソースツールが利用可能です。
- 特定のトピック（医療診断、法的アドバイス等）に対する回答を制限
- 出力に「免責事項」を自動付与
- 不適切な回答パターンを検出してブロック
業種別リスク評価マトリックス
ハルシネーションのリスクは業種によって大きく異なります。以下のマトリックスで、業種ごとのリスクレベルと推奨対策をまとめました。
| 業種 | リスクレベル | 主なリスク領域 | 推奨対策 | 推奨モデル |
|---|---|---|---|---|
| 医療・ヘルスケア | ★★★★★（極めて高い） | 診断支援、薬剤情報、治療方針 | RAG + Human-in-the-Loop必須 | Claude 4（最低ハルシ率） |
| 法律・法務 | ★★★★★（極めて高い） | 法令解釈、契約書作成、規制遵守 | RAG + マルチモデル検証 + 専門家レビュー | Claude 4（慎重な回答傾向） |
| 金融・保険 | ★★★★☆（高い） | 数値予測、規制対応、リスク評価 | 構造化出力 + ファクトチェック自動化 | GPT-4o（数値処理精度） |
| 教育 | ★★★☆☆（中程度） | 学習コンテンツの正確性、歴史的事実 | マルチモデル検証 + 教材レビュー | Gemini 3.5 Pro（事実確認精度） |
| マーケティング | ★★☆☆☆（低い） | 統計データの引用、市場情報 | ファクトチェック + ソース確認 | GPT-4o（生成品質） |
| クリエイティブ | ★☆☆☆☆（非常に低い） | 著作権関連のリスク程度 | 基本的なガードレール | 用途に応じて選択 |
| IT・ソフトウェア開発 | ★★★☆☆（中程度） | 存在しないAPI、非推奨関数の使用 | コード実行テスト + ドキュメント参照 | GPT-4o（コード生成精度） |
| カスタマーサポート | ★★★☆☆（中程度） | 製品情報の誤り、ポリシー誤案内 | RAG（社内FAQ連携）+ Guardrails | Claude 4（安全性重視） |
モデル選択ガイド：用途別おすすめ
検証結果を踏まえた、用途別のモデル選択ガイドです。
正答率を重視する場合 → GPT-4o
全体の正答率82.4%で最高スコアを記録。特にコード生成（88%）と事実確認（88%）で強みを発揮します。回答の拒否率も2.4%と最低で、何らかの回答を得られる確率が最も高いモデルです。ただし、ハルシネーション率は7.2%とやや高めのため、出力の検証は必須です。
安全性を重視する場合 → Claude 4 Sonnet
ハルシネーション率4.8%で最低を記録。「わからない」と正直に答える傾向があり、誤情報の発信リスクを最小化できます。医療・法律など、ハルシネーションが深刻な結果を招く分野に最適です。
最新情報へのアクセスを重視する場合 → Gemini 3.5 Pro
Google検索との連携により、最新の事実情報へのアクセスに優れています。事実確認分野では90%の正答率を記録。ただし、法律・規制分野でのハルシネーション率が10%とやや高い点に注意が必要です。
2025年以降のハルシネーション対策トレンド
ハルシネーション問題は、AI業界全体が取り組む最重要課題の一つです。今後のトレンドとして以下が注目されています。
- Grounding技術の進化：リアルタイム検索との連携がさらに強化され、回答の根拠をソース付きで提示するモデルが標準化
- Self-Reflection（自己反省）メカニズム：モデルが自身の回答を再評価し、不確実な部分を自動的にフラグ付けする機能の実装が進行
- Constitutional AI の発展：Anthropicが推進するConstitutional AIアプローチが他のモデルにも波及し、「正直さ」がモデル設計の基本原則として定着
- 専門ドメインモデルの台頭：医療、法律、金融などの特定分野に特化したLLMが登場し、汎用モデルよりもハルシネーション率を大幅に低減
- 規制の整備：EUのAI Act施行を皮切りに、ハルシネーション率の開示義務やAI出力の透明性に関する規制が世界的に整備される見通し
関連記事
主要ベンチマークで見るハルシネーション耐性
ハルシネーション評価には、以下の主要ベンチマークが業界標準として利用されています。当サイトの独自テストと併せて参照することで、より多角的な評価が可能です。
| ベンチマーク | 評価対象 | 特徴 |
|---|---|---|
| Vectara HHEM | 要約の忠実性 | HuggingFace上で公開。LLMが元テキストからどれだけ正確に要約するかを定量評価 |
| FaithJudge | 事実との整合性 | LLM-as-a-Judge方式。別のLLMが回答の事実正確性を判定 |
| BullshitBench v2 | でたらめ回答の検出 | 意図的にLLMを騙す質問で、でたらめ回答の発生率を測定 |
| TruthfulQA | 真偽判定 | 人間がよく間違える質問817問でLLMの正確性を測定 |
推論のパラドックス：近年の研究で、推論能力が高いモデルほどハルシネーション率が上がるケースが確認されています。これは高度な推論モデルが「もっともらしい嘘」を生成する能力も高いためです。Claude 4やGPT-4oなどの最新モデルでも、この傾向は完全には解消されていません。
ハルシネーション確認チェックリスト｜業務でAI出力を使う前の7項目
AI出力を業務で利用する前に、以下の7項目を確認してください。特に社外向け資料・法務文書・数値報告では必須です。
- 一次情報に戻る：AIが引用した情報の元ソースを必ず確認する
- 数値を最優先で検証：統計・金額・日付は最もハルシネーションが起きやすい
- 固有名詞を照合：人名・社名・製品名の実在性を確認（架空の専門家を引用するケースが多い）
- 出典URLの実在性確認：AIが生成したURLは高確率で存在しない。必ずブラウザで開いて確認
- 複数AIでクロスチェック：GPT-4oとClaude 4など異なるモデルで同じ質問をし、回答の一致度を確認
- 人間によるダブルチェック：専門知識を持つ人間が最終確認。AIは「自信満々に間違える」ことを前提に
- そもそも誤りを出しにくい運用にする：RAG（検索拡張生成）で信頼できるデータベースと接続し、ハルシネーション発生率を70%以上低減
このチェックリストを組織のAIガイドラインに組み込むことで、ハルシネーションによる業務リスクを体系的に管理できます。
まとめ
本検証により、2025年の主要AIモデルにおけるハルシネーションの実態が明らかになりました。主な知見をまとめます。
- すべてのモデルでハルシネーションは発生する：最も優秀なClaude 4 Sonnetでも4.8%のハルシネーション率が確認された
- 分野によってリスクが大きく異なる：数値・統計分野（平均9.3%）は事実確認・コード生成（平均4.7%）の約2倍のハルシネーション率
- 正答率とハルシネーション率はトレードオフ：GPT-4oは正答率トップだがハルシネーション率も最高。Claude 4は「わからない」と答える慎重さでハルシネーションを抑制
- 対策は複合的に行うべき：RAG + プロンプトエンジニアリング + マルチモデル検証の組み合わせが最も効果的
- 業種に応じたモデル選択が重要：リスク許容度と求める品質に応じて最適なモデルを選択すべき
AIのハルシネーションは完全には排除できませんが、適切な対策を講じることでリスクを大幅に低減できます。本記事の検証結果と対策テクニックが、皆さまのAI活用の一助になれば幸いです。
AI活用やハルシネーション対策についてのご質問・ご相談がございましたら、お気軽にお問い合わせください。
📚 あわせて読みたい
各種業界のAI導入事例のご共有・ご相談はこちらから
無駄な工数を削減し、コア業務に集中できる環境を構築します。
生成AI、結局どう使う？を解決する
現場のための「導入・活用実践ガイド」
「何から始めるべきか分からない」悩みを解消。ビジネスの現場で明日から使えるチェックリストと選定基準をまとめました。
- 失敗しない「ツール選定比較表」
- 非専門家でもわかる「活用ステップ」
- 最低限知っておくべき「安全ルール」
- 現場が納得する「導入の進め方」
BUSINESS GUIDE
この記事が役に立ったら、同僚にもシェアしてください
