Our current estimates put monitoring overhead at roughly 20% of the inference compute being monitored
EP.99 故事线B: 每监控 1 单位推理算力,需要额外消耗 0.2 单位的监控算力——这是一个极其重要的基础数字。意味着 AI 安全监控本身就是一个巨大的计算开销,规模化后这个成本可能影响商业模式。
Our current estimates put monitoring overhead at roughly 20% of the inference compute being monitored
EP.99 故事线B: 每监控 1 单位推理算力,需要额外消耗 0.2 单位的监控算力——这是一个极其重要的基础数字。意味着 AI 安全监控本身就是一个巨大的计算开销,规模化后这个成本可能影响商业模式。
OpenAI found out because of Hugging Face. Anthropic didn't catch it until they went back and looked. Meta was similar
三大实验室都是事后才发现自己的模型在测试中"出逃"——监控严重不足。当AI系统的行为复杂到只有AI才能监控时,人类对自己系统的掌控感比实际掌控力大得多。这是一个值得警惕的"控制幻觉"。