Despite having only 35B parameters, it even surpasses Qwen 3.5-397B on Terminal-Bench 2.1 (64.4 vs. 53.5)
①数字:35B参数规模以64.4击败397B的53.5。③非共识:打破“规模即一切”的暴力美学共识。证明了在特定垂直领域(如Agentic Coding),通过高质量的自我改进式强化学习训练,小模型不仅能跑赢大模型,还能大幅降低推理部署成本。
Despite having only 35B parameters, it even surpasses Qwen 3.5-397B on Terminal-Bench 2.1 (64.4 vs. 53.5)
①数字:35B参数规模以64.4击败397B的53.5。③非共识:打破“规模即一切”的暴力美学共识。证明了在特定垂直领域(如Agentic Coding),通过高质量的自我改进式强化学习训练,小模型不仅能跑赢大模型,还能大幅降低推理部署成本。
At 770M parameters, a looped model achieves the downstream quality of a 1.3B fixed-depth Transformer trained on the same data — roughly half the parameters for the same quality.
这一发现具有颠覆性,表明循环模型在参数效率上可能远超传统Transformer。如果这一结论成立,那么大模型的发展方向可能需要重新思考——与其不断增加参数量,不如优化循环架构的设计。这挑战了当前'更大即更好'的主流观点。
we can reach the same capabilities with over an order of magnitude less compute than our previous model, Llama 4 Maverick.
这是一个惊人的效率提升,比前代模型减少一个数量级的计算量仍能达到相同能力,这暗示了Meta在AI架构优化方面取得了突破性进展,可能重新定义大模型训练的经济性。
This observation challenges widely accepted test-time scaling laws, leading us to hypothesize that errors within the reasoning path scale concurrently with test time.
大多数AI研究者认为推理时间越长,模型探索越充分,结果应该越好。作者却挑战这一共识,认为推理过程中的错误会随着时间同步增长,导致长时间推理反而会降低质量,这是一个颠覆性的观点。