5 Matching Annotations
  1. Last 7 days
    1. we ran a scaled-down version of our post-training pipeline that focuses on alignment data on a Haiku-class (that is, smaller) model

      证据等级提示:本文的核心对照实验跑在 Haiku 级小模型和 Sonnet 4 基座上,属于缩小版流水线,不是前沿模型的完整训练。把「22%→15%→3%」当作对前沿模型成立的定律,是一次跨规模外推。提纲用它去裁决「教育学一百年的争论」,跨度就更大了——上场时最好主动交代这层限定,否则容易被一句「样本是小模型」打回。

    2. The results on more recent models may be confounded by the presence of information about the evaluation in the pre-training corpus.

      🔴 提纲完全没有引用的一条脚注,却是全文最重要的自我限定:近期模型在 agentic misalignment 上拿满分,可能是因为这套评测本身已经进了预训练语料——模型见过考题。用提纲第8题的语言说:Anthropic 自己承认,它无法排除自家最新模型是在「刷题」。任何拿「Claude 已满分」论证「教原理有效」的说法,都被这条脚注卡住。

  2. May 2026
    1. compute requirements scale quadratically with context length

      文章指出Transformer架构的计算需求与上下文长度呈二次方关系,这是AI领域的一个基本限制。这个数据点虽然没有具体数值,但代表了当前AI模型架构的核心瓶颈,直接影响模型处理长文本的能力和成本。

  3. Apr 2026
    1. AI coding agents operate in a paradox: they possess vast parametric knowledge yet cannot remember a conversation from an hour ago.

      这个陈述揭示了当前AI系统的一个根本性矛盾——拥有大量静态知识却缺乏动态记忆能力,这挑战了我们对AI'智能'的传统理解。如果AI真正智能,它应该能够记住并利用过去的交互经验,而这正是当前大型语言模型架构的明显缺陷。

    1. Because these benchmarks are human-authored, they can only test for risks we have already conceptualized and learned to measure.

      这句话揭示了当前 AI 安全评测体系的致命盲区:所有 benchmark 都是人类提前想好的问题,而真正危险的「未知的未知」(unknown unknowns)根本无法被预设题目捕捉。这意味着我们现有的模型安全认证,本质上是一场对已知风险的自我测试。