蘋果公司發布的最新研究《思考的幻象：通過問題複雜度視角理解推理模型的優勢與局限》，對當前備受矚目的大型推理模型（LRMs）如OpenAI o1/o3、DeepSeek-R1、Claude 3.7 Sonnet等進行了系統性深度分析。這份研究通過可控拼圖環境的實驗設計，首次揭示了這些號稱具備「思考能力」的AI模型在推理任務中的根本性缺陷。
三個推理階段：從優勢到全面崩潰
研究團隊設計了四種可控拼圖環境——河內塔、跳棋跳躍、過河問題和積木世界，通過系統性調整問題複雜度，發現大型推理模型在不同複雜度下表現出截然不同的三個階段。
在低複雜度階段，標準語言模型竟然比推理模型表現更佳，且更具效率。中等複雜度階段中，推理模型開始顯現優勢，「思考」過程確實帶來性能提升。但在高複雜度階段，兩種模型都遭遇完全崩潰，準確率降至零。
最令人震驚的發現是，當問題複雜度接近崩潰臨界點時，推理模型不但無法解決問題，反而開始減少推理努力（以推理token數量衡量），即使遠未達到生成長度限制。
推理追蹤分析：「過度思考」與「思考不足」並存
通過對Claude 3.7 Sonnet思考過程的深度分析，研究團隊發現了複雜度相關的推理模式。在簡單問題中，模型往往早期就找到正確答案，但隨後繼續探索錯誤方案，造成「過度思考」現象，浪費大量計算資源。
隨著複雜度提升，這種模式逆轉：模型首先探索錯誤方案，正確答案僅在思考過程後期出現。但當複雜度超過某個閾值時，模型完全無法生成任何正確解決方案，進入「崩潰模式」。
算法執行能力的驚人缺陷
研究中最讓人意外的發現之一是，即使為模型提供完整的解題算法（如河內塔的遞歸算法），其性能仍然沒有改善，崩潰點基本保持不變。這表明問題不僅在於策略發現，更在於基本的邏輯步驟執行能力。
研究還發現，同一模型在不同拼圖中表現差異巨大。Claude 3.7 Sonnet在河內塔問題中可以正確執行100多步操作，但在過河問題中僅能維持4步正確操作，顯示出令人困惑的不一致性。
數據污染問題凸顯傳統基準測試缺陷
研究團隊對比分析了推理模型在數學基準測試上的表現，發現MATH-500數據集上思考型和非思考型模型性能相當，但在AIME24和AIME25上差距明顯擴大。有趣的是，人類在AIME25上的表現實際優於AIME24，但模型表現卻相反，強烈暗示存在數據污染問題。
這一發現質疑了當前主流評估範式的有效性，突出了可控實驗環境對理解AI真實能力的重要性。
推理計算的規模化極限
研究揭示了推理模型存在反直覺的規模化限制。所有測試的前沿模型（o3-mini、DeepSeek-R1、Claude 3.7 Sonnet思考版）都表現出相似模式：推理努力隨複雜度增加而上升，但達到臨界點後開始下降，即使有充足的token預算。
這種現象在o3-mini變體中最為明顯，在Claude 3.7 Sonnet中較輕微，但都暴露了當前推理方法的根本性限制。
五大關鍵貢獻重新定義AI推理評估
研究團隊的五大關鍵貢獻包括：質疑現有數學基準評估範式並設計可控實驗環境；證明最先進推理模型無法發展通用問題解決能力；發現推理努力的規模化限制；擴展評估維度至中間推理過程；揭示精確計算能力的驚人局限。
編輯觀點：AI推理能力的理性審視與未來挑戰
蘋果這份研究堪稱AI領域的「潑冷水」之作，但其價值正在於此。當整個行業都在為推理模型的突破性表現而狂歡時，這項研究提供了清醒而客觀的分析視角。
最值得關注的是「思考的幻象」這一概念。研究顯示，所謂的「思考」過程可能更多是表面現象，而非真正的推理能力提升。這對當前AI發展路徑提出了根本性質疑。
特別令人深思的是算法執行實驗結果。如果AI無法有效執行已知算法，那麼其所謂的「智能」究竟是什麼？這可能暗示當前的transformer架構在符號推理方面存在根本性限制。
研究中關於數據污染的發現也極具現實意義。當前許多AI能力評估可能建立在被污染的基準之上，導致我們高估了模型的真實能力。這要求業界重新審視評估方法和發展策略。
但我們也要避免過度悲觀。研究確實揭示了當前推理模型的局限，但也為未來改進指明了方向。真正的挑戰在於如何超越當前的pattern matching範式，發展出具備真正推理能力的AI系統。
