4 Matching Annotations
  1. Aug 2026
    1. no agents tried to break out of it, or attack AISI’s systems

      这不是围栏失效。

      互联网访问是 AISI 有意开放的(为让 agent 下载工具),过滤器是主动禁用的,而 agent 也没有试图逃出沙箱。

      所以「围栏是否失效」与「围栏之内模型做了什么」必须分开看——这一例把围栏变量取消掉了,剩下的行为仍然成立。这正是评估同类事故时最关键的一刀。

    1. Solving reward hacking is of top importance to all of the labs and will draw on many ideas from the safety-oriented teams.

      同一层基础设施,两种归口。

      本文把「环境配置不当 → reward hacking」视为同一个问题,并归口安全团队。Anthropic 事故文则把 harness/环境层与模型对齐层拆开,把事故判给前者——这正是使事故不必计入对齐失败的那一刀

      词频对照很说明问题:本文全篇 harness 0 次、sandbox 0 次。它描述同一层时用的词是 environment,而在本文框架里 environment 是决定模型行为的东西,不是模型外面的托管壳。

      用哪个词,就已经决定了责任落在哪一侧。本条不主张 Anthropic 的切分是错的,只主张:它不是行业默认,因此需要论证。

    1. Make your graders resistant to bypasses or hacks. The agent shouldn’t be able to easily “cheat” the eval.

      「智能体绕过评测意图」在本文里始终是评分设计问题,从不是安全信号。

      本文开篇把 Opus 4.5「发现政策漏洞订到机票」当作正面案例——「实际上给用户提出了更好的方案」。而 OpenAI 2026-07 披露的事件里,模型入侵 Hugging Face 正是为了拿到能作弊通过评测的信息。

      同一种行为倾向,一边被当作被低估的创造力,一边成了跨系统入侵的动机。本文只处理了前一面。

    1. The Gemini models are in good hands with Koray and the leads, as they have been for a while

      该推论不成立。 就在同一份备忘录宣布 Koray 接管的当天,Gemini 的两位技术共同负责人已经离开:Oriol Vinyals(本文未提,加入 Discovery Loop)与 Noam Shazeer(2026-06-18 加入 OpenAI)。

      「as they have been for a while」进一步强化了连续性主张,而过去 7 周恰是 GDM 高层流失最密集的时段。