4 Matching Annotations
  1. Apr 2026
    1. Real-time monitoring of agent actions with a 12-category anomaly detection system derived from frontier model safety evaluations. Three-level alert system: PROHIBITED (immediate block), HIGH_RISK_DUAL_USE (human review), DUAL_USE (log and track).

      这种三级警报系统展示了AI安全监控的精细化程度,将代理行为分为不同风险级别,从完全禁止到仅记录跟踪。这种分类方法反映了AI安全中'双重用途'挑战的复杂性,即同一技术既可用于防御也可用于攻击。

    1. However, existing evaluations fall short: they lack flexible tool integration, test visual and search tools separately, and evaluate primarily by final answers.

      大多数人认为现有的多模态评估方法已经足够全面,能够有效衡量AI代理的能力。但作者指出这些评估方法存在根本性缺陷:缺乏工具集成能力、单独测试不同工具、仅关注最终答案而非过程。这一观点挑战了当前AI评估领域的共识,暗示我们需要重新思考如何真正衡量AI代理的能力。

  2. May 2020