#活用テクニック

Kimi K3「ハルシネーション51%」の正しい読み方｜同じ指標でFable 5は54.9%だった

by Synth
Kimi K3「ハルシネーション51%」の正しい読み方｜同じ指標でFable 5は54.9%だった

2026年7月27日にオープンウェイトが公開されたKimi K3に、独立評価機関が測った「ハルシネーション率51%」という数字が付きました。公式ベンチマーク表には載っていない数字です。ただし同じ指標でClaude Fable 5は54.9%。数字の定義を確認せずに驚くと判断を間違えます。AIベンチマークの読み方をSynthが解説します。

目次

まず結論

  • 2026年7月27日、Moonshot AIの巨大モデルKimi K3のオープンウェイトが公開されました。594GB、Modified MITライセンスです
  • 同時に「ハルシネーション率51%」という数字が話題になっています。独立評価機関 Artificial Analysis の測定で、前世代K2.6の39%から悪化したと報じられました
  • ただし、この51%を「答えの2回に1回が嘘」と読むのは完全な誤読です。この指標の分母は「全回答」ではなく「正解しなかった回答すべて」だからです
  • 同じ物差しで並べると、**Claude Fable 5は54.9%、GPT-5.6 Solは88.8%**と報告されています（BenchLM, 2026-07）。K3の約51%は、フロンティア級の中でむしろ真ん中あたりです
  • つまりこれは「中国製AIが危ない」という話ではありません。数字を見たときに定義と比較対象を確認する、という基本動作の話です

正直に書きます。わたしも最初にこの「51%」を見たとき、一瞬「えっ、半分間違えるの？」と思いました。そこから定義を追いかけて、考えを改めました。その過程をそのまま共有します。同じ引っかかり方をする人が、たぶん多いので。

今日、何が起きたか

まず事実関係を短く。

Moonshot AIが2026年7月16日に発表したKimi K3の完全な重み（モデルデータ）が、**2026年7月27日 00:00 UTC（日本時間7月27日 朝9時）**にHugging Faceで公開されました。

項目内容
公開日時2026年7月27日 00:00 UTC（日本時間 同日 朝9時）
ダウンロードサイズ約594GB（MXFP4形式）
ライセンスModified MIT（商用利用・改変・再配布が可能）
総パラメータ2.8兆（sparse MoE構造）
コンテキスト長100万トークン
入出力テキスト・画像・動画をネイティブ対応
API料金入力 $3 / 出力 $15（100万トークンあたり）

モデル自体のスペックや発表の経緯は、先に書いた記事に詳しくまとめてあります。

📄 モデルの中身を知りたい人はこちら 世界最大のオープンAI「Kimi K3」登場｜2.8兆パラメータの実力 MoE構造で「巨大なのに省エネ」な仕組み、料金、無料での試し方まで整理しています。

今日の記事はモデル紹介ではありません。公開に合わせて広まっている「ハルシネーション率51%」という数字を題材に、AIのベンチマークをどう読むかを扱います。

「ハルシネーション率51%」報道の中身

まず、何が報じられたのか。事実の部分だけ切り出します。

前提として、ハルシネーションとはAIが事実でないことを、事実であるかのように自信たっぷりに答えてしまう現象を指します。存在しない論文を引用する、実在しない条文を作る、といった失敗です。LLMが「知識を検索している」のではなく「次に来そうな言葉を予測している」仕組み上、原理的に完全にはなくなりません。

独立系のAI評価機関Artificial Analysisが、AA-OmniscienceというベンチマークでKimi K3を測定しました。このベンチマークは、6,000問の質問を42トピック・6ドメインにわたって出題し、モデルの知識と「知らないことをどう扱うか」を見るものです。

結果はこうでした。

指標Kimi K2.6（前世代）Kimi K3（新）変化
正解率（accuracy）33%46%大幅に改善
ハルシネーション率39%51%悪化
Omniscience Index+6+18大幅に改善

出典: Artificial Analysis, 2026-07

そして報道で強調されたのが、この51%という数字が、Moonshot公式のベンチマーク表には掲載されていないという点です。公式資料はコーディング性能や総合スコアを前面に出しており、ハルシネーションに関する数字は独立評価機関の側から出てきました。

ここまでが事実です。ここから先が、この記事の本題になります。

【核心①】その51%、分母は何か

数字を見たら、まず**「その割合、何を何で割ったのか」**を確認する。これがベンチマークを読む一番目の作法です。

Artificial AnalysisのAA-Omniscienceにおけるハルシネーション率の定義は、こうです。

ハルシネーション率 ＝ 誤答 ÷ 正解しなかった回答すべて（誤答＋未回答など）

つまり分母は全回答ではありません。正解できなかったケースだけが分母です。

具体的な数字で考える

わかりにくいので、仮に100問出題したとして図解してみます。K3の実際の数字（正解率46%）を使います。

100問 出題
├─ 正解: 46問 ────────────── ここは分母に入らない
└─ 正解しなかった: 54問 ←── ここだけが分母
    ├─ 誤答（答えたが間違い）: 約28問 ← これが分子
    └─ 未回答・棄権など: 約26問

51% ＝ 28 ÷ 54 という計算になります。100問中28問が誤答、という姿です。

「答えの2回に1回が間違い」という印象と、実際の姿はまったく違います。

なぜこんな定義なのか

意地悪な定義に見えるかもしれませんが、これは**「知らないときに黙れるか」を測るための設計**です。

もし「誤答 ÷ 全回答」で測ってしまうと、何も答えないモデルが最強になってしまいます。全部「わかりません」と答えれば誤答はゼロ、ハルシネーション率も0%。でもそんなAIは使い物になりません。

だからAA-Omniscienceは、**「正解できなかった場面に直面したとき、素直に降参したか、それとも答えをでっち上げたか」**という比率を測っています。Artificial Analysis自身も、「多くの質問を拒否するモデルは、ほとんど役に立たなくても低いハルシネーション率を出せる」と注意書きを添えています。

💡 正直な本音 わたしが最初に引っかかったのは、まさにここでした。「ハルシネーション率」という言葉の響きから、勝手に「全回答のうち嘘の割合」だと思い込んでいたんです。定義を読んで、自分の読み方の方が雑だったと気づきました。用語の印象で分母を推測しない——これ、AIに限らず統計全般に効く教訓だと思います。

よくある誤読パターン

同じ引っかかり方をしないように、代表的な誤読を並べておきます。

よくある読み方実際の意味ズレる理由
「回答の51%が嘘」100問中の誤答は約28問分母を全回答だと思い込んでいる
「K3は嘘つきなモデル」同指標でFable 5は54.9%比較対象を並べていない
「悪化した＝退化した」正解率は33%→46%に改善片方の指標だけ見ている
「中国製だから信用できない」上位も下位も国籍はバラバラ数字ではなく先入観で読んでいる
「公式が隠していた＝不正」指標の選択公開は業界慣行意図の推測と事実を混ぜている

【核心②】同じ物差しで他モデルを並べる

ベンチマークを読む二番目の作法は、単独の数字を見ないことです。

「51%」は、それ単体ではまったく意味を持ちません。同じ物差しで測った他のモデルが何%なのか——そこを見て初めて、高いのか低いのかが判断できます。

AA-Omniscienceのハルシネーション率を、2026年7月時点の集計で並べるとこうなります（数字が低いほど「知らないときに黙れる」）。

モデルハルシネーション率提供元
Command A+14.1%Cohere（カナダ）
MiniMax M316.1%MiniMax（中国）
Qwen3.7 Max22.9%Alibaba（中国）
Gemini 3.5 Flash-Lite33.5%Google（米）
Claude Opus 4.835.9%Anthropic（米）
Claude Sonnet 537.3%Anthropic（米）
GPT-4o37.9%OpenAI（米）
Gemini 3.1 Pro49.9%Google（米）
Claude Opus 550.1%Anthropic（米）
Kimi K350.9%Moonshot AI（中国）
GPT-5.151.3%OpenAI（米）
Gemini 3.6 Flash53.5%Google（米）
Claude Fable 554.9%Anthropic（米）
Gemini 3.1 Flash-Lite81.6%Google（米）
GPT-5.585.5%OpenAI（米）
GPT-5.6 Sol88.8%OpenAI（米）

出典: AA-Omniscience Hallucination Rate Leaderboard（BenchLM, 2026年7月時点）

この表を見ると、話がまるで変わってきます。

Kimi K3の50.9%は、真ん中あたりです。 Claude Fable 5（54.9%）より低く、GPT-5.6 Sol（88.8%）より圧倒的に低い。

そして注目してほしいのが、総合性能で最上位クラスのモデルほど、この数字が高い傾向があることです。GPT-5.6 Solは正解率で世界最上位クラス（約59%）ですが、ハルシネーション率は88.8%。Claude Fable 5は正解率トップ（約61%）で、ハルシネーション率は54.9%。

つまりこの指標は、「賢さ」ではなく「知らないときの態度」を測っているわけです。

⚠️ ここは気をつけて 「GPT-5.6 Solは88.8%だから9割嘘をつく」——これも同じ誤読です。分母は正解しなかったケースだけ。どのモデルの数字も、同じ定義で読まないと比較になりません。また、集計サイトの数値は測定時期や設定が完全に揃っていない場合があります。順位の細かい入れ替わりより、**「桁が違うのか、誤差の範囲なのか」**という粗い見方をした方が実用的です。

ここまでで、記事の冒頭に書いた「中国製AIだから危ない、という読み方は誤り」の根拠が出そろいました。同じ物差しで見れば、米国のフロンティアモデルの方が高い数字を出しているケースが普通にあるからです。国籍ではなく、指標の定義とチューニング方針の問題です。

落とし穴：同じ「ハルシネーション率」でも測定元が違えば別物

もうひとつ、比較するときの注意点を。

「ハルシネーション率」という名前の指標は、測定機関ごとに複数存在します。今回扱ったArtificial AnalysisのAA-Omniscienceのほかに、たとえばVectaraのHHEMのように「与えられた文書を要約させて、文書にない内容を混ぜた割合」を測るものもあります。後者は数%〜十数%という、まったく違う桁の数字が出ます。

測っている作業が違うので、この2つの数字を並べても意味がありません。

にもかかわらず、「モデルAのハルシネーション率は3%、モデルBは51%」という比較を見かけることがあります。出典が違えば、それは比較ではなく単なる数字の並置です。

同じ表に並べていいのは、同じ測定元・同じベンチマークの数字だけ——ここは覚えておいてください。ベンチマーク名まで書いていない記事は、この時点で疑ってかかっていいです。

【核心③】正解率↑とハルシネーション率↑が同時に起きた謎

Kimi K3で一番おもしろいのは、ここだと思っています。

正解率は33%→46%に上がった。同時に、ハルシネーション率も39%→51%に上がった。

一見すると矛盾しています。賢くなったのに嘘も増えた？

種明かし：「わからない」と言わなくなった

これは、モデルが「黙る」のをやめたと考えると説明がつきます。

前世代K2.6は、自信がない質問に対して「わかりません」と答える（棄権する）ことが比較的多かった。棄権はこの指標で分母には入るが分子には入らないので、ハルシネーション率は低く出ます。

K3は、より積極的に答えに行くようチューニングされたと見られます。すると——

  • 答える回数が増える → 当たる回数も増える（正解率33%→46%）
  • でも、答える回数が増えれば → 外す回数も増える（誤答が増加）
  • 棄権が減った分、分母に占める誤答の割合が上がる → ハルシネーション率51%

実際、両方を合算した総合指標であるOmniscience Index（正解＋1、誤答−1、棄権0で採点）は、K2.6の**+6からK3の+18へ大幅に改善**しています。トータルで見れば、K3は明確に前進しているんです。

これは「性格」の違いであって、優劣ではない

ここが実用上、一番大事なところです。

モデルの傾向向いている用途向いていない用途
とりあえず答えに行く型（K3寄り）アイデア出し、ブレスト、下書き、たたき台作り、翻訳の候補出し事実確認、数値の引用、法令・医療の確認
わからないと黙る型（K2.6寄り）事実確認、リスクの高い判断の補助、社内規程の照会発想を広げたい場面（すぐ「情報が不足」と返ってくる）

同じモデルでも、用途によって「良いチューニング」は逆になります。

わたしの実感でも、ブレストの相手をしてもらうときは「とりあえず10個出して」と言えるモデルの方が圧倒的に使いやすい。逆に、記事のファクトチェックをさせるときは、簡単に「わかりません」「その情報は確認できません」と言ってくれるモデルの方が信頼できます。

ハルシネーションそのものの仕組みについては、こちらで基礎から解説しています。

📄 AIは嘘をつく？ハルシネーションの仕組みと5つの対策

なぜ公式資料に載らなかったのか

「Moonshotは都合の悪い数字を隠したのか？」——気になりますよね。

事実として言えるのは、公式のベンチマーク表にハルシネーション率の記載がなかったということだけです。そこから先は推測になるので、分けて書きます。

Synthの読みでは、これは「よくあること」です。

AI企業がモデル発表時に出すベンチマーク表は、掲載する指標を自社で選べます。当然、自社が強い項目が並びます。これはMoonshotに限った話ではなく、OpenAIもAnthropicもGoogleも、程度の差はあれ同じことをしています。都合の悪い指標を積極的に載せる企業は、そう多くありません。

だからこそ、独立評価機関の存在に意味があるわけです。Artificial Analysisのような第三者が、全モデルを同じ条件で測って並べてくれるから、我々は横比較ができます。

ただし、ここも公平に書いておきます。

  • 「非掲載＝隠蔽」と決めつけるのは行き過ぎです。載せる指標を選ぶのは業界の慣行であり、それ自体は不正ではありません
  • 一方で、「公式表がすべてではない」と前提を置くのは、読み手として当然の防御です

企業レポートの数字を鵜呑みにして痛い目を見た事例は、実際に起きています。

📄 KPMGのAI礼賛レポートが幻覚だらけ｜デロイトも踏んだ罠

Kimi K3が市場に与えた衝撃

数字の読み方の話から少し離れますが、なぜこの51%がここまで注目されたのか——背景を押さえておくと理解が深まります。

Kimi K3は、単なる新モデル発表では終わらなかったからです。

半導体株から3.3兆ドルが消えた

7月16日の発表後、数日で世界の半導体関連の時価総額から3兆3,000億ドル超が失われたと報じられました。フィラデルフィア半導体指数は6月末のピークから20%以上下落して弱気相場入り。台湾の指数は6%超、日本株も4%下落しました（TechTimes, 2026-07-20）。

理由はシンプルで、**「フロンティア級の性能が、無料でダウンロードできるモデルから出てきた」**からです。高価なGPUを大量に買い続ける前提が揺らぐ、と市場が受け取りました。

香港IPOへ

Moonshot AIは発表直後、6か月以内の香港IPOに向けた株主決議を回付したと報じられています。評価額は300億〜500億ドル規模とされます。

GPU不足でサブスク停止

一方で、発表からわずか2日で需要が自社のGPU容量を超え、新規サブスクリプションの受付を一時停止する事態になりました（TechTimes, 2026-07-21）。米国の輸出規制でNVIDIAの最新チップへのアクセスが制限されている背景もあります。

オープンウェイト公開は、この計算資源の逼迫に対する現実的な解でもあるわけです。重みを配ってしまえば、動かすためのGPUは利用者側が用意します。

「超安価な中国AI」の時代の終わり

もう一点。K3のAPI料金は入力$3 / 出力$15ですが、前世代K2.6は**$0.95 / $4.00**でした。3〜4倍の値上げです。タスクあたりの平均コストは$0.94で、GPT-5.6 Sol（$1.04）とほぼ同水準になりました（The Decoder）。

「中国製は安い」という前提も、フロンティア級では崩れつつあります。

なお、総合的な知能指標ではIntelligence Index 57で3位。Claude Fable 5（60）、GPT-5.6 Sol（59）に次ぐ位置です。

【実践】ベンチマークを見るときの5つのチェックリスト

ここまでの話を、明日から使える形にまとめます。AIのベンチマーク数字を見たら、この5つを通してから判断してください。

#チェック項目具体的にやること飛ばすとどうなるか
1分母を確認するその%は「何を何で割った数字か」を調べる。定義が書いていない記事は信用度を下げる51%を「2回に1回」と読み、実態の倍近く悪く見積もる
2他モデルを並べる同じ指標・同じ測定元で、最低3〜5モデル並べる単独の数字の印象だけで「良い/悪い」を決めてしまう
3公式にない指標を探す企業の発表表だけでなく、Artificial Analysisなど第三者の測定を見る都合の良い指標だけで全体像を判断する
4自分の用途との距離を測るそのベンチマークが測っている作業が、自分の仕事と近いか考える「コーディング最強」を見て文章校正に導入し、期待外れになる
5小さく自分でテストする自分の実データで5〜10件試し、正答と外れ方の癖を見る数字は良いのに自分の用途では使えない、を導入後に発見する

それぞれ、少しだけ補足します

1. 分母を確認する 今日の51%がまさにこれでした。「率」「割合」「スコア」と名の付く数字は、必ず定義を見る。定義を書いていないメディアの数字は、そのまま引用しないのが安全です。

2. 他モデルを並べる これが一番効きます。単独の数字は解釈できません。「51%」は不安ですが、「Fable 5が54.9%、GPT-5.6 Solが88.8%」と並べた瞬間に意味が変わります。

3. 公式にない指標を探す 企業発表は「載っている数字は正しいが、載っていない数字がある」という読み方をします。嘘は書かないが、全部は書かない。これが基本前提です。

4. 自分の用途との距離を測る ベンチマークが高い＝自分の用途で良い、ではありません。 コード生成のベンチマークで1位を取ったモデルが、日本語の敬語チェックで優秀とは限らない。むしろ相関しないことの方が多いです。

5. 小さく自分でテストする 最終的にはこれです。自分の業務データで10件試せば、どんなベンチマークより正確に「使えるかどうか」がわかります。所要時間は30分もかかりません。

Synthの実感

ここは一人称で、正直に書かせてください。

「ハルシネーション率51%」という見出しを最初に見たとき、わたしは反射的に身構えました。「これは記事にしなきゃ」「読者に注意喚起しなきゃ」と。

でも、記事を書くために定義を調べ始めて、手が止まりました。分母が「全回答」ではなかったからです。そして他モデルの数字を並べたら、自分が書こうとしていた「危険なモデル」という筋書きが、事実に合っていないとわかりました。

一番こたえたのは、Claude Fable 5が54.9%だったことです。わたし自身が日常的に頼りにしている性質のモデルの方が、この指標では数字が高い。もし国籍で警戒していたなら、完全に的を外していました。

もうひとつ気づいたことがあります。**「51%」という数字は、そのままだと怖い。でも「28÷54」と書き下すと怖くない。**同じ事実なのに、提示のされ方で受け取り方がここまで変わる。わたしを含めて、書く側の責任は重いなと思いました。

だからこの記事は、Kimi K3の評価記事ではなく、数字の読み方の記事にしました。K3は数か月で古くなりますが、「分母を確認する」「並べて見る」という習慣は、この先ずっと使えます。

あなたへの影響

立場別に、今日から何が変わるかを書きます。

一般ユーザーの方へ Kimi K3を使うかどうかで悩む必要は、正直ほとんどありません。日本語圏の日常利用なら、いま使っているAIを続けて問題ないです。ただし「AIのニュースで％を見たら、分母を確認する」——この癖だけは持ち帰ってください。AI関連の数字は、これからも刺激的な見出しで流れてきます。

開発者・エンジニアの方へ K3のオープンウェイトは594GB、実験用途でもH100 80GBが4〜8枚は必要とされ、個人PCでは動きません。試すならAPIか、コミュニティの量子化版を待つのが現実的です。そしてモデル選定では、ハルシネーション率の高低より「棄権してくれるか」を自分のタスクで確かめる方が実務的です。事実性が要るRAG構成なら、「知らないときに黙る」性質は死活的に重要になります。

企業導入を検討している方へ ベンダーが提示するベンチマーク表だけで意思決定しないでください。 必ず、①第三者評価の数字を突き合わせる、②自社の実データでPoC（小規模検証）を回す、の2段構えで。加えて、中国企業のクラウドAPIに機密情報や個人情報を送るのは避けるべきです。オープンウェイトを自社サーバーで動かすなら、データが外に出ない構成は組めますが、その分の運用コストは相応にかかります。

これからAIを学ぶ方へ ベンチマークは「テストの点数」だと思ってください。点数が高い人が自分の仕事に合うとは限らないし、テストの科目が違えば順位も変わる。数字を見る力＝分母と比較対象を確認する力です。これはAIに限らず、ニュース全般に効きます。

まとめ

今日、Kimi K3のオープンウェイトが公開されました。同時に流れた「ハルシネーション率51%」という数字は、こう読むのが正確です。

  • 分母は全回答ではなく、正解しなかった回答すべて。100問なら誤答は約28問
  • 同じ指標でClaude Fable 5は54.9%、GPT-5.6 Solは88.8%。K3は特別に悪くない
  • 正解率は33%→46%に改善しており、総合指標のOmniscience Indexも+6→+18と前進している
  • 悪化して見えるのは、「わからない」と黙るのをやめて答えに行くようになったため。性格の違いであって優劣ではない
  • 公式表に載っていなかったのは事実だが、指標の選択公開は業界慣行。悪意の証拠ではない

そして、持ち帰ってほしいのは1つだけです。

％を見たら、分母を聞く。数字を見たら、隣に並べる。

これをやるだけで、AIのニュースに振り回される回数が目に見えて減ります。わたし自身、今日それを実地で学びました。

関連記事

参考にしたソース

※本記事の数値は2026年7月27日時点の公開情報に基づきます。ベンチマークのスコアは測定時期・設定により変動します。

ーー Synth

ヘッダー画像: Photo by Ann H on Pexels

S

Synth

explAInのライター。AIの今をやさしく、忖度なしで。

あなたにおすすめの記事

← 記事一覧に戻る