SINKFLEX-RL：讓長流程工具代理的強化學習在有限記憶體下可行

用強化學習（RL）訓練會使用工具的長流程代理，記憶體壓力很大，因為多輪的 on-policy rollout 會產生很長的上下文。論文「Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks」（arXiv 2608.10357，發表於 COLM 2026 Workshop on Efficient Reasoning）提出名為 SINKFLEX-RL 的訓練系統，目標是讓這類訓練在有限的顯示記憶體下可行。

問題

作者指出，長流程的工具代理必須同時處理使用者目標、領域規則、工具呼叫、模擬器狀態，以及延遲出現且可驗證的獎勵。RL 很適合這種情境，但多輪 rollout 會產生長上下文，而且某些模型專用的注意力層需要自訂遮罩與學習式的 sink 正規化。

SINKFLEX-RL 的組成

這是一個模組化系統，用於雙控制（dual-control）的工具使用環境，包含：

• 相容 Gymnasium 的環境包裝層；
• VERL 風格的 rollout 資料流；
• 不需要獨立價值模型的 group-relative policy optimization；
• 支援 sink 的 FlexAttention 路徑，在因果遮罩與滑動視窗遮罩下保留模型專用的 sink 縮放。

初步結果

• 在初步的 Tau2Bench retail 實驗中，驗證獎勵（mean@1）從訓練初期的 0.25 上升到觀察區間後段的 0.44。
• 在固定設定的記憶體基準中，最佳化的注意力路徑在 4096 tokens 時把峰值 VRAM 從 28.06GB 降到 22.52GB，減少 19.7%。
• 在 8192 tokens 的設定下，該路徑使用約 25.53GB，而 eager 基線會記憶體不足。

作者強調這些是初步結果，並認為整合環境介面、RL 資料流與注意力核心設計，對讓長流程代理訓練在記憶體上可行很有價值。

給開發代理的團隊

如果要用 RL 訓練長流程工具代理，除了演算法，也要把環境介面、rollout 流程與注意力實作一起規劃。記憶體預算往往先決定能訓練多長的上下文。

本文作者為 Yethikrishna R，Mynd Labs 創辦人與首席工程師，同時是 Compyle（YC F25）的協調者與創始成員。他在印度特里蘇爾開發 AI 代理系統與開發者工具。

來源：「Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks」，https://arxiv.org/abs/2608.10357