幻覺捕手：這更像是一門“玄學”

2025年5月15日，玄學中國信息通信研究院人工智能研究所公布了大模型幻覺測試的幻覺第一期結果：包括DeepSeek R1在內的15個主流模型，無一例外都存在不同程度的捕手“幻覺”。

“幻覺”一詞源于生物學，更像運用在人工智能領域，玄學始于谷歌2017年的幻覺一項研究。當時研究員們模仿人類的捕手神經網絡，設計了一個機器翻譯系統。更像

結果發現這個網絡翻譯系統哪怕“不會”，玄學仍能輸出一段流暢的幻覺內容。過去，捕手谷歌傳統的更像翻譯系統遇到不會的單詞，很多時候會保留原文。玄學于是幻覺，研究人員把神經翻譯系統這種更有“迷惑性”的捕手錯誤命名為“幻覺”。

一個著名的幻覺案例是，2024年7月，Scale AI的高級提示工程師萊利·古德賽德向當時世界最強三大模型（GPT-4o、Gemini Advanced、Claude 3.5 Sonnet）詢問，“9.11和9.9哪個更大？”它們異口同聲回答：“9.11更大。”

ChatGPT并非全球首個大模型，Meta和谷歌此前也推出過類似產品。其中，Meta的Galactica AI因幻覺嚴重，上線僅三天便被撤回。

ChatGPT之所以被視為劃時代產品，正是因其首次將幻覺率壓低到可接受范圍。從ChatGPT-3.5到o3，兩年來模型性能持續提升，人們逐漸形成一種假設：模型越聰明，越不會出錯。

直到2025年4月，OpenAI在一篇論文中潑了冷水：在其內部測試中，最新的推理模型o3比前一代推理模型o1的幻覺率更高。

這一反直覺的發現令整個行業都神經緊張，如果智能提升的同時，也增強了“偽裝錯誤”的能力，那更聰明的推理大模型帶來的不是更高的可靠性，而是更難察覺的風險。

不過，中國信息通信研究院剛剛出爐的這份測評結果，讓業界可以稍感安慰。他們的結果顯示，推理模型相對于通用模型，幻覺問題更輕。這說明推理過程一定程度上有助于緩解幻覺。

那么，這些測評結果究竟能說明什么？更聰明的模型，真的更會“說謊”嗎？人類能不能徹底消滅“幻覺”？

一次次測試中，黑一鳴偶爾會陷入一個哲學思考，“子非魚，焉知魚之樂也？”視覺中國 圖

幻覺捕手

2025年春節，中國信息通信研究院人工智能研究所的研究員黑一鳴整個假期都泡在論文堆里，為了尋找捕捉這種“大模型幻覺”的方法。

黑一鳴身高接近1.9米，2023年博士畢業。那是他讀博的最后一年，大模型時代突如其來，打亂了所有人的節奏，“我這一屆還好，下一屆的學弟學妹，如果畢業論文里沒大模型，會被認為沒有跟進最新研究，被質疑創新性。”

原本專攻網絡內容安全的黑一鳴，也在畢業后轉向大模型研究，加入中國信息通信研究院人工智能研究所，成為一名研究員。當時，國內大模型紛紛要進行安全備案，研究所為各大模型企業提供安全測評，重點評估輸出內容的合規性與越獄攻擊等風險。黑一鳴最初負責的，正是這項安全測評工作。

隨著行業從“百模大戰”走向大模型在真實業務中的落地，關注的焦點也悄然轉移。黑一鳴感覺到，過去一年，來自金融、醫療、法律等高風險行業的咨詢明顯增加。

這些領域容錯率極低，對潛在風險格外敏感。“比如銀行的客戶服務機器人，跟客戶交流時，它輸出的內容會不會違背既有政策，大家特別擔心。”

一個最新的例子來自全球知名的人工智能編程軟件公司 Cursor。作為目前最成功的大模型應用之一，它已將客服業務完全交由AI處