港大發佈AI大語言模型幻覺控制能力評測報告，GPT-5穩居榜首豆包1.5 Pro領跑中國陣營

港大經管學院今日發表《大語言模型幻覺控制能力測評報告》，對37個中美大語言模型進行專業評測，揭示不同模型在規避事實錯誤與保持語境一致性方面的真實表現。評測結果顯示，GPT-5（思考模式）以86分的最終得分位居榜首，GPT-5（自動模式）以84分緊隨其後，Claude 4 Opus（思考模式）以83分排名第三。

該研究由港大經管學院創新及資訊管理學教授兼夏利萊伉儷基金教授蔣鎮輝率領人工智能評測實驗室（AIEL）研究人員發起，針對包括20個通用模型、15個推理模型及2個一體化系統在中文語境下的幻覺控制能力開展專業評測。

字節跳動豆包1.5 Pro系列表現突出，中國模型仍有差距

在中國大語言模型陣營中，字節跳動公司的豆包1.5 Pro系列表現最為突出，豆包1.5 Pro以73分排名第7，豆包1.5 Pro（思考模式）以72分排名第8。這一成績使其在中國大語言模型中處於領先地位，但與國際頂尖模型之間仍存在顯著差距。

值得注意的是，百度文心一言系列在本次評測中表現中等，文心一言 X1-Turbo以65分並列第14名，文心一言4.5-Turbo則以51分排名第30。阿里通義千問3（思考模式）同樣以65分並列第14名，通義千問3以63分並列第18名。

兩大幻覺類型評測框架，事實性控制成關鍵短板

根據模型生成內容在事實依據或語境契合度上存在的問題，該研究將「幻覺」分為兩類：事實性幻覺和忠實性幻覺。事實性幻覺是指模型輸出內容與真實世界資訊不符，包括對已知知識的錯誤調用和對未知資訊的虛構。忠實性幻覺則是指模型未能嚴格遵循使用者指令，或輸出內容與輸入上下文矛盾。

評測結果顯示，目前大模型在忠實性幻覺控制上已相當強勁，但在事實性幻覺領域上仍有不足之處，反映出這些模型目前普遍存在「嚴守指令，但易虛構事實」的傾向。例如，GPT-5（思考模式）在忠實性幻覺控制方面獲得滿分100分，但在事實性幻覺控制方面僅得72分。

推理模型優勢明顯，思考模式普遍提升表現

研究發現，推理模型的幻覺控制能力相對表現較好。通義千問3（思考模式）、文心一言 X1-Turbo和Claude 4 Opus（思考模式）等推理模型的幻覺控制能力比同系列通用版本更佳。這一趨勢顯示，具備深度思考能力的模型在控制幻覺方面具有明顯優勢。

豆包1.5 Pro系列在事實性幻覺控制和忠實性幻覺控制的領域得分均衡，展現出穩健的幻覺控制能力。豆包1.5 Pro在事實性幻覺控制方面得分57分，忠實性幻覺控制得分88分；而豆包1.5 Pro（思考模式）則在事實性幻覺控制方面提升至60分，忠實性幻覺控制得分84分。

國際模型技術領先地位明顯，中國廠商急需突破

從整體排名來看，前6名全部被國際模型佔據，分別是GPT-5（思考模式）、GPT-5（自動模式）、Claude 4 Opus（思考模式）、Claude 4 Opus、Grok 4和GPT-o3。直到第7名才出現中國模型豆包1.5 Pro，這一格局反映出中國AI廠商在幻覺控制技術方面仍需加強研發投入。

相比之下，DeepSeek系列的幻覺控制能力稍顯遜色，DeepSeek-V3以65分並列第14名，DeepSeek-R1以60分並列第20名。其他中國模型如Kimi、混元系列、GLM系列等表現相對較為平均，多數集中在50-65分區間。

專業場景應用面臨可信度挑戰

蔣鎮輝教授表示：「幻覺控制能力作為衡量模型輸出真實性與可靠性的核心指標，直接影響大語言模型在專業場景中的可信度。該研究為未來模型的優化提供了明確方向，推動AI從『能生成』向更關鍵的『可信賴』邁進。」

現時，大語言模型正積極於知識服務、智能導航、客戶服務等專業應用場景中推進，然而「幻覺」現象仍是制約其可信度的關鍵瓶頸。這項評測報告的發佈，為業界提供了重要的技術參考標準，有助於推動整個行業向更可靠的方向發展。