Copyright 2016-2024 樂趣幫 版權(quán)所有 京ICP備18049689號-34
6 月 8 日消息，蘋果機器學(xué)習(xí)研究中心于當(dāng)?shù)貢r間 6 月 6 日發(fā)表了一篇研究論文，稱現(xiàn)有 AI 模型并不具備真正的思維能力或推理能力，而是依賴于模式匹配與記憶，尤其是對于復(fù)雜的任務(wù)而言。
蘋果研究人員對現(xiàn)有的前沿“大型推理模型”—— 如 OpenAI o3-mini、DeepSeek-R1、Anthropic 的 Claude 3.7 Sonnet Thinking 和谷歌 Gemini Thinking—— 進行了系統(tǒng)評估。
研究發(fā)現(xiàn)，盡管這些模型具備生成詳細“思考鏈”的能力，并在中等復(fù)雜度任務(wù)上表現(xiàn)出優(yōu)勢，但其推理能力存在根本性局限：當(dāng)問題復(fù)雜度超過特定臨界點時，模型性能會完全崩潰至“零準(zhǔn)確率”。
此外，在模型推理過程中，即使仍有充足的推理算力，它們用于“思考”的 token 數(shù)量反而隨難度上升而減少，這種現(xiàn)象意味著現(xiàn)有推理方法存在根本局限性。
這篇《思考的幻象：通過問題復(fù)雜性的視角理解推理模型的優(yōu)勢與局限》由 Parshin Shojaee 等人撰寫。研究表明，當(dāng)前業(yè)界對這些模型的評估主要集中在數(shù)學(xué)和編程基準(zhǔn)測試上，關(guān)注最終答案的準(zhǔn)確性，但這往往忽略了數(shù)據(jù)污染問題，也無法提供有關(guān)內(nèi)部推理軌跡結(jié)構(gòu)和質(zhì)量的洞見。
廣告
研究人員采用了一系列可控的解謎環(huán)境，允許精確操縱組成復(fù)雜性，同時保持邏輯結(jié)構(gòu)的一致性。這使得不僅可以分析最終答案，還可以探究內(nèi)部推理軌跡，從而更深入地了解這些模型是如何“思考”的。
研究團隊提出，模型表現(xiàn)可分為三個階段：
低復(fù)雜度任務(wù)：傳統(tǒng)大模型（IT之家注：如 Claude-3.7 無思維版本）表現(xiàn)更佳；
中等復(fù)雜度任務(wù)：具備思維機制的大型推理模型（LRMs）更占優(yōu)勢；
高復(fù)雜度任務(wù)：兩類模型均陷入完全失效狀態(tài)。
特別是，研究發(fā)現(xiàn) LRMs 在執(zhí)行精確計算方面存在局限性，無法使用顯式算法且跨不同謎題進行推理時表現(xiàn)出不一致性。
總的來說，這項研究不僅質(zhì)疑了當(dāng)前基于已建立數(shù)學(xué)基準(zhǔn)的 LRMs 評估范式，還強調(diào)了需要更加細致的實驗設(shè)置來探索這些問題。通過使用可控制的謎題環(huán)境，本研究提供了對語言推理模型能力和局限性的深刻見解，并為未來的研究指明了方向。
研究人員表示，“這些發(fā)現(xiàn)突出了現(xiàn)有 LRMs 的優(yōu)點和局限性，引發(fā)了關(guān)于這些系統(tǒng)推理本質(zhì)的問題，這對它們的設(shè)計和部署具有重要意義。”