近年來，大型語言模型（LLMs）的發展日新月異，其中一種名為「大型推理模型」（Large Reasoning Models, LRMs）的專門變體尤其引人注目，例如OpenAI的o1/o3、DeepSeek-R1、Claude 3.7 Sonnet Thinking和Gemini Thinking。這些模型在提供答案前會生成詳細的「思考過程」，在許多推理基準測試中展現出顯著的性能提升。然而，這些模型的核心能力、擴展特性及其局限性，在學術界仍未被充分理解。
為此，蘋果公司的研究人員深入探討了這些問題，透過一個名為「思考的幻象：透過問題複雜性視角理解推理模型的優勢與局限性」的研究。這項研究跳脫了傳統以數學和編碼基準測試為主的評估範式，因為這些傳統測試往往存在數據污染問題，且無法深入揭示推理過程的結構和質量。相反，研究團隊設計了可控的謎題環境，能夠精確操控問題的組合複雜性，同時保持邏輯結構的一致性。這種設置不僅能分析最終答案，還能深入洞察模型內部的推理軌跡，從而揭示LRMs「思考」的方式。
研究方法與環境設計
該研究選用了四種可控的謎題環境：河內塔 (Tower of Hanoi)、跳棋 (Checker Jumping)、渡河問題 (River Crossing) 和積木世界 (Blocks World)。這些謎題的共同特點是：
- 精細控制複雜度： 可以透過調整謎題元素（例如河內塔中的圓盤數量）來系統地改變複雜性。
- 避免數據污染： 這些是新穎的謎題環境，避免了既有基準測試中常見的訓練數據污染問題。
- 強調演算法推理： 解決這些謎題僅需明確提供的規則，突出演算法推理能力。
- 支持嚴格評估： 能夠進行基於模擬器的精確解決方案檢查和詳細的失敗分析，不僅評估最終答案，還分析中間的思考過程。
研究人員主要測試了Claude 3.7 Sonnet（有思考與無思考版本）和DeepSeek-R1/V3等模型，因為這些模型允許獲取其內部「思考代幣」的資訊。
核心發現：三大複雜度區間與意外的擴展限制
這項研究揭示了當前LRMs的幾個關鍵發現：
- 複雜度下的三種性能區間：
- 低複雜度任務： 在簡單問題上，標準LLM模型（無思考功能）的表現令人驚訝地優於LRMs，且更具代幣效率。
- 中等複雜度任務： LRMs透過額外的「思考」展現出優勢，性能差距開始拉大。
- 高複雜度任務： 兩種類型的模型都會遭遇完全的性能崩潰，準確度降至零。
- 準確度崩潰與推理努力的反常下降：
- 研究發現，最先進的LRMs在高於特定複雜度閾值後，準確度會完全崩潰至零，這表明它們未能發展出可推廣的規劃任務解決能力。
- 更令人費解的是，在接近崩潰點時，LRMs的推理努力（以推斷時間使用的代幣量衡量）反而會減少，儘管它們仍有充足的代幣預算。這暗示了當前LRMs的思考能力在面對問題複雜性時存在根本性的擴展限制。
- 思考過程中的模式：「過度思考」與不一致的失敗：
- 低複雜度時的「過度思考」： 在較簡單的問題中，LRMs往往在思考過程的早期就找到了正確的解決方案，但卻繼續探索不正確的替代方案，造成計算資源的浪費。
- 中等複雜度時的探索： 隨著問題複雜度的適度增加，模型會先探索不正確的解決方案，通常在思考過程的後期才能找到正確的。
- 高複雜度時的完全失敗： 超過某個複雜度閾值後，模型會完全無法在思考中找到任何正確的解決方案。
- 研究還發現，模型的錯誤行為是不穩定的。例如，在河內塔問題中，模型可能會在第100步左右才出現第一個錯誤，但在渡河問題中，模型可能在第4步之後就無法產生有效解。這種跨謎題表現的巨大差異，可能表明模型依賴於在訓練期間記憶的模式，而非普遍的泛化推理能力。
- 執行精確計算的局限性：
- 研究中一個令人驚訝的發現是，即使將解決河內塔問題的演算法明確提供給模型，它們的性能也並未顯著提高，崩潰點仍然大致相同。這指出LRMs的局限性不僅僅在於發現和設計解決方案，還在於邏輯步驟的執行和驗證能力，這對其真正的符號操作能力提出了質疑。
結論與展望
這項研究系統地揭示了當前大型推理模型的根本性局限性：儘管它們擁有複雜的自我反思機制，但仍無法在超越特定複雜度閾值後發展出可推廣的推理能力。推理努力的反常減少，進一步表明了LRMs固有的計算擴展限制。
這些發現對當前LRM能力的普遍假設提出了挑戰，並暗示現有方法可能遭遇了實現通用化推理的根本性障礙。研究結果強調了在設計和部署這些系統時，需要重新思考其推理能力，並為未來深入研究LRMs的推理特性奠定了基礎。
論文：