existing benchmarks often overlook these non-functional requirements, rewarding functionally correct but structurally arbitrary solutions.
大多数人认为现有的LLM代码生成评估已经足够全面，但作者指出当前基准测试忽略了非功能性需求，只奖励功能正确但结构随意的解决方案，这挑战了当前评估方法的充分性。
2 Matching Annotations
- Last 7 days
-
arxiv.org arxiv.org
-
- Apr 2026
-
arxiv.org arxiv.org
-
However, existing evaluations fall short: they lack flexible tool integration, test visual and search tools separately, and evaluate primarily by final answers.
大多数人认为现有的多模态评估方法已经足够全面，能够有效衡量AI代理的能力。但作者指出这些评估方法存在根本性缺陷：缺乏工具集成能力、单独测试不同工具、仅关注最终答案而非过程。这一观点挑战了当前AI评估领域的共识，暗示我们需要重新思考如何真正衡量AI代理的能力。
-