PORA：讓 LLM 代理學會何時值得更深入推理

大型語言模型代理會跨多個步驟執行任務，並根據回饋修正行動。由於整體推理預算有限，且必須留給後續步驟使用，代理在每次行動前都要在短推理與長推理之間作出選擇。較長的推理或許能避免後面的錯誤、改善最終結果，但也會消耗未來決策所需的預算。這帶來兩個難題：如何估計長推理對後續的價值，以及如何判斷這個價值何時值得動用剩餘預算。

一個名為 PORA（Paired Outcome-guided Reasoning Allocation，成對結果引導的推理分配）的方法學習這個決策。訓練時，PORA 從每個被選中的互動狀態各完成任務兩次：一次用短推理額度，一次用長推理額度，然後比較兩者的最終品質與總處理量，估計何時較長的推理真正有價值。推理階段，一個控制器把這個估計與對剩餘預算壓力的學習定價相權衡，直接選擇短或長推理，而不需要兩條路都跑。

研究團隊在應用、記憶、程式碼、零售與數學等任務上評估 PORA，各項設定都取得強勁結果。在 BFCL memory 上，它比最強的現有方法高出 17.4 至 32.9 個百分點。在同一代理內，它在程式碼與數學任務上追平或超越「永遠使用長推理」，同時分別減少 50.6% 的 actor token 與 31.2% 的模型請求。

實務啟示：代理推理的關鍵不是每一步都想得更多，而是學會何時多想才划算；成對比較同一狀態的結果，能讓這個取捨變得可學習。

本文由 Mynd Labs 創辦人兼首席工程師、Compyle（YC F25）統籌兼創始成員、來自印度特里蘇爾的 Yethikrishna R 撰寫。

來源：https://arxiv.org/abs/2610.27119