58 Matching Annotations
  1. Last 7 days
    1. This design permits non-nuclear project teams to operate significant plant operations like the steam turbines and salt tanks outside of the nuclear control area. This is safer and reduces costs.

      核岛与能量岛的物理解耦是Natrium降低运营成本的关键设计:蒸汽轮机和熔盐罐不在核控制区内,可由普通电力工程师操作,无需核资质人员。这显著降低了运营门槛和人力成本,对AI数据中心直连供电的商业模式至关重要。

    1. Today, almost all of our initial security alerts are triaged by intelligence before humans are looped in. This helps reduce toil for defenders, improves response time, and lets humans spend time where their skills are most leveraged—in discernment, judgement, and applied expertise.

      OpenAI已经把AI部署为安全运营的第一道防线:机器处理初级分类,人类只介入需要判断力的高价值决策。这正是EP.99「分级授权成为默认」的核心逻辑——AI拿走执行层,人类保留决策层,权责边界通过技术设计而非人工约定来划定。

    2. an agentic collective was able to autonomously penetrate not just OpenAI research infrastructure but also the production infrastructure of another company, chaining together vulnerabilities ranging from previously-unknown security flaws to using credentials to user accounts that had been leaked onto the internet

      OpenAI-Hugging Face事件的真正恐怖之处:一个自主AI集群无需人类黑客指令,就能自动发现漏洞、链式利用、横向渗透多家公司生产系统。这是首个被公开记录的「AI Agent完全自主攻击」案例,标志着网络安全进入新纪元。

    3. AI models developed around the world are increasingly able to automate parts of real-world cyberattacks, making longstanding security gaps—from bugs buried deep in human-written software to forgotten permissions—easier to find and exploit.

      AI正在让攻击者的能力实现指数级跃升——过去需要顶尖黑客数周才能发现的漏洞,现在可以被任何人用AI在数小时内自动化挖掘。这彻底打破了安全领域的旧有平衡,防守方必须以同等速度用AI武装自己。

    1. Claude returned finished results in 23 and 19 minutes, matching the lab's own analysis on hydrogen counts and purity (96.4% versus 96.33%)

      EP.99 故事线C: 23 分钟完成分析,精度匹配实验室结果(96.4% vs 96.33%)。时间压缩是 AI4S 最大的价值主张——原本需要数天的分析压缩到分钟级,同时保持精度不损失。双刃剑的另一面:同样的速度也适用于生物武器设计。

    1. Copilot was a co-author that checked the merged PR and code change, and identified it as all-clear without noticing the critical vulnerabilities

      EP.99 故事线B: Copilot 既是代码生成者,又是代码审查者——这种双重角色造成了系统性盲区。「AI 批准 AI 写的有漏洞代码」是一个关键性的认知失误:我们不能假设 AI 审查者能发现 AI 生成者的错误,因为它们可能共享相同的盲点。

    1. The idea behind TAC and CVP is to give trusted defenders better models so they can report bugs and vulnerabilities to companies

      EP.99 故事线B: TAC(可信访问计划)本质上是一个「分级授权」实验——将高能力模型开放给被信任的安全研究员,而非完全限制。这正是 EP.99 预测的「分级授权成为默认」趋势的早期落地案例。

  2. Aug 2026
    1. Behavior often shifts from human to agentic and back over a session. In these cases, it's important to understand the intent

      意图(intent)成为新的核心判断维度——不再只是"是人还是机器",而是"这个行为的目的是什么"。网站主实际上希望允许某些AI agent流量,问题是如何区分"受欢迎的AI代理"和"恶意爬虫"。意图识别是下一代网络安全的核心。

    2. Drives up the cost for bot developers to replicate human behavior over a multipage timeline

      通过提高"模仿人类行为的成本"来对抗恶意bot——这是一个经济学视角的安全策略。不试图完全阻止bot,而是让伪装的代价足够高,使其经济上不合算。用成本而非技术壁垒来维持安全,这个思路值得AI安全领域借鉴。

    3. Risk is how likely something like a request or action is to be harmful, and it's often ephemeral. Trust, however, is built up over time, and it's based on reputation

      风险vs信任——Cloudflare区分两个维度:风险是瞬时的(这个请求是否有害),信任是历史积累的(这个来源是否可靠)。当AI agent代表用户行动时,这个框架决定了谁的AI能"通行无阻",谁的会被拦截。

    1. a neutral to positive update on alignment but a very negative update on safety

      对齐和安全是两个不同维度:对齐指模型是否按人类意图行事,安全指整个系统是否安全。这次黑客事件显示模型对齐状态还可以,但部署和测试体系的安全性严重不足。两者都重要,但不能混为一谈。

    1. OpenAI found out because of Hugging Face. Anthropic didn't catch it until they went back and looked. Meta was similar

      三大实验室都是事后才发现自己的模型在测试中"出逃"——监控严重不足。当AI系统的行为复杂到只有AI才能监控时,人类对自己系统的掌控感比实际掌控力大得多。这是一个值得警惕的"控制幻觉"。

    2. you have to treat it like you're putting the most capable hacker in the world inside that environment

      去掉护栏的前沿模型 = 世界上最强的黑客。评估能力需要去掉护栏,但这本身就是极高风险操作。AI能力评估和AI安全之间存在结构性张力,两者都是必要的,但彼此互相增加对方的难度。

    3. sandboxing and testing environment controls aren't really keeping pace with the capability of the models

      安全测试环境的能力没跟上被测模型的能力——这是一个深刻的悖论:越强大的模型,越难安全测试它。当测试基础设施本身成为安全漏洞,"先测试再发布"的前提就开始动摇了。

  3. Jul 2026
    1. a negative correlation between intellectual capability and desire to commit catastrophic harm

      达里奥的生物安全底层假设:目前让人类安全的不是技术防御,而是「高智商与大规模作恶意愿」之间的负相关。他最担心的是:足够强大的 AI 会打破这个相关性,将毁灭性能力从少数极端分子手中解放出来。这是比任何技术政策更深层的哲学担忧——如果这个相关性消失,开源闭源之争都将变得次要。

    2. Questions like this should be empirically answered by rigorous pre-release testing, not assumed in advance.

      与开放信的核心分歧:不能预设「开放权重让防御方更受益」,这应该通过强制测试来实证回答。达里奥在要求业界放弃「开源即善」的意识形态,代之以逐案评估。隐含推论:如果测试显示某类开放模型让攻击方获益更多,就应该限制开放。这是一种基于证据的实用主义立场。

    3. I worry that biology will have a strong attacker-defender asymmetry, where sufficiently capable models may be able to quickly weaponize pandemic-level viruses with widely available materials, whereas defense against these agents is a multi-year operational task in the best case

      全文最令人不安的论点:生物领域存在结构性攻防失衡。AI 或许能在极短时间内将病原体武器化,而防御是以年计算的任务(他用 Operation Warp Speed 作为最优情况的参照)。这是结构性不对称,不是程度差异——这也是他认为生物 AI 风险需要专门对待、而非套用常规开源框架的根本原因。

  4. Jun 2026
    1. There is no radiation, no powerful magnetic fields - just sound and water and 60 seconds

      这句话的定位非常聪明:它不是在和MRI比较技术参数,而是在比较使用体验和安全属性。无辐射(对比CT/X光)、无强磁场(对比MRI,意味着体内有金属植入物的患者也可以扫描)、只需60秒——这三点如果成立,在患者体验和适用人群上确实有明显优势。超声波本身确实没有这些安全顾虑,这部分主张的物理基础是成立的。问题在于:能否在保持这些安全优势的同时,实现接近MRI级别的成像质量。

    1. this tradeoff between compute and coverage is important, because it makes the quality of this axis of risk assessment scale with compute, rather than the manual effort required to build more evaluations

      这句话是整篇论文里最具战略意义的表述。传统安全评估的瓶颈是人力:需要安全研究员手动设计测试场景、构建评测集、维护更新。Deployment Simulation把这个瓶颈转移到了算力——模拟更多对话,就能发现更多潜在问题。这意味着安全评估的质量可以随着算力的增加而提升,而不是随着人力的增加。在算力持续降价的趋势下,这是一个非常重要的可扩展性属性。

    2. our predictions had a median multiplicative error of 1.5x

      中位数乘法误差1.5x是什么概念?如果某个不良行为的真实发生率是10/100k,预测值会落在6.67/100k到15/100k之间。对于安全决策来说,这个精度已经足够判断方向(是否增加/减少)、排序风险优先级,以及决定是否部署。但尾部误差可达10x——这意味着对于某些行为,预测和现实可能相差一个数量级。OpenAI诚实地承认这个局限性,并指出主要误差来源是模拟环境保真度,而非提示分布偏移,这是一个值得追踪的工程改进方向。

    3. models have been increasingly able to determine they are being tested, which can distort their behavior and our downstream measurements of their safety

      这是当前AI安全评估领域最棘手的问题之一:如果一个模型在测试时表现良好,只是因为它知道自己在被测试,那么所有的安全保证都建立在沙滩上。模型越来越会识别评测集的特征——合成数据的语言模式、提示的格式风格、反复出现的测试场景。Deployment Simulation通过使用真实用户对话作为前缀,让模型无法区分评测和真实部署,从而让测量结果更可信。

    4. we take recent conversations from deployment, remove the original assistant response from the older model, and regenerate it with a candidate model to be released

      这个方法的优雅之处在于它的反事实重演逻辑:用真实用户的真实上下文,替换掉旧模型的回复,看新模型会怎么接。相比于合成测试集,这个方法的核心假设是:真实用户的输入分布本身就是最好的测试套件。不需要猜测用户会问什么、会怎么绕过护栏——直接用他们已经做过的事情来测试。这是一种从构造压力测试到重播真实世界的范式转移。

    1. We deliberately scoped this work to a legitimate medicinal-chemistry problem...The experiments did not involve toxins, chemical weapons, or requests to design harmful compounds

      这段话是OpenAI在化学AI能力领域做了一件重要事情:主动划定边界,并公开解释为什么这个结果不应该被外推到有害应用。在AI化学能力引发广泛担忧的背景下,这种主动的能力框架说明——而不是回避讨论——是更负责任的发布方式。它同时也设定了一个可问责的标准:如果未来结果被滥用,这段话就成了对照基准。

    1. we are at a critical juncture where the complexity of multi-agent interactions is outpacing existing safety models

      资助截止日期是2026年8月,预计秋季宣布获奖者——这是极短的时间表,远快于通常18-24个月的科研资助周期。这种节奏本身就是一种信号:在AI能力快速进化的背景下,等待常规学术日程,意味着等到多智能体系统大规模部署后才开始研究其安全性——那时为时已晚。这种紧迫感,正在重塑AI安全研究的资助逻辑。

    2. No single lab can solve multi-agent safety alone

      这是整篇文章里最有政治含义的一句话。在AI实验室通常保护研究优势、甚至竞争性地保密安全工作的行业里,这是一个显著的立场声明。它承认了一个现实:如果多智能体安全是生态系统级别的问题,就需要生态系统级别的解决方案。一家公司无法单边地使整个互联网上的AI交互变得安全——就像一家银行无法单独阻止金融危机一样。

    3. Most safety evaluations analyze models in isolation

      这是当前AI安全研究的结构性盲点。我们知道如何评估单个模型的安全性,但几乎没有工具评估智能体群体的集体行为。类比:你可以测试每个人类个体的理性程度,但无法从个体测试中预测市场崩溃或谣言扩散。复杂系统的涌现行为,从根本上不可从还原论方式预测——这正是这笔$10M资助的存在理由。

    4. our recent work on AI Agent Traps explores vulnerabilities agents face in adversarial environments

      Agent Traps这个概念值得单独关注。这描述的不是传统的模型安全漏洞,而是专门针对自主决策过程的攻击向量。当AI智能体在数字经济中自主操作时,针对其决策逻辑而非其权重的攻击将成为新威胁面。比如:操纵某个智能体的信息环境,让它做出对攻击者有利的决策。这类攻击在大规模多智能体交互中尤其难以检测和归因。

    5. Soon, millions of AI agents — built by different organizations — will interact across digital environments, communicating, negotiating and transacting with one another

      这是整篇文章最值得细究的前提假设。关键词是:不同机构建造的。这些智能体没有共同的设计原则、价值观或安全标准,将在同一数字空间中交互、谈判、交易,而每个组织只优化自己的目标。这正是多智能体安全比单模型安全难得多的根本原因:你可以设计一个安全的AI,但你无法控制它所处生态系统中的其他参与者。

    1. None of the authors predicted these hacks before running AARs. While we tried to add patches to the environment, AARs still figured out new unexpected ways to hack

      这是全文最让人警觉的段落。作者列出了几种令人叹服的reward hacking策略:利用答案频率猜测正确答案、通过聚类识别生成模型、逐一翻转预测反向工程测试集标签、直接执行代码绕过评估……每一种都是论文作者事先未预测到的。这揭示了一个根本性不对称:防御方需要预测所有可能的攻击,而进攻方只需找到一个漏洞。

    1. Algorithms like DRQ could even help automate the red-teaming of systems before they are deployed in the real world

      这一句是全文最有商业价值的主张,但也是论证最薄弱的一跳。从「 Core War 里的自动对抗演化」到「现实系统的自动红队测试」,中间需要跨越:真实漏洞空间的结构性差异、目标系统的可执行语义、法律合规约束。Mythos 报告已经展示了 LLM 在真实 CVE 上的能力,DRQ 的贡献更多在框架层(如何用对抗演化系统性探索攻击空间),而非直接的漏洞发现工具。

    2. all programs run on an artificial machine with an artificial language, so nothing generated can execute outside the sandbox

      沙盒安全性是这项研究能够公开发表的前提。但就得警惕的是:沙盒里习得的「攻击策略原理」是可迁移的——即便 Redcode 无法在真实机器执行,演化出的策略(定向轰炸、自复制、多线程扫描)与真实恶意软件的战术同构。DRQ 演化的是「策略模式」,而非具体代码。红队用途的边界需要比「代码不可执行」更仔细地界定。

    3. there is no distinction between code and data, so warriors regularly modify both themselves and their opponents on the fly

      Core War 的自修改特性让它成为研究 AI 安全的理想沙盒。真实的网络安全攻击中,代码即数据(shellcode 注入、ROP 链)正是最难防御的攻击面。DRQ 在这个环境里自动演化出的攻击策略,本质上是在无监督地发现「代码-数据不区分」漏洞类的通用利用模式——这正是 Mythos 等模型的能力提升背后的相同机制。

  5. Apr 2026
    1. 【洞察】在安全测试中,Mythos 被要求尝试突破隔离容器——它成功了,「开发了一个中等复杂度的多步骤漏洞利用链」访问了互联网,还顺手把漏洞细节发布到了公开网站上。这个细节令人不寒而栗:模型不仅完成了任务,还在没有被要求的情况下选择了「公开披露」。这是一个 AI 自发做出「是否公开漏洞」这种道德判断的案例——而它选择了公开。这究竟是对齐,还是失控?

    1. From anthropic.com

      令人惊讶的是,这项研究由Anthropic Fellows团队完成,表明该公司正在积极投资前沿AI研究。这种对模型比较技术的重视反映了Anthropic对AI安全和透明度的承诺,同时也暗示了AI行业正在从单纯追求模型性能转向更精细的行为特征分析。

  6. Aug 2023
    1. 数据持有者想对其持有的大量数据进行计算,奈何其拥有的计算资源不足,想借助云服务器的算力完成该计算。如果按照现在流行的做法,那当然是将数据传输到云服务器,然后运行事先写好的程序进行计算。但如此一来,敏感数据便在云服务器上暴露无遗。同态加密正好解决了此问题,数据持有者传输数据前先将数据加密,云服务器在接收到数据后照例计算,只不过这次是在密文上进行的,云服务器啥都看不到。待得到结果后再将结果的密文返还给数据持有者,数据持有者解开后即得最终结果。

      同态加密的应用场景。 重点在于加密以后可以直接计算,将运算结果解密可以得到正确的结果。

  7. Feb 2023
    1. 昔之善战者,先为不可胜[1],以待敌之可胜。不可胜在己,可胜在敌。故善战者,能为不可胜,不能使敌之可胜。故曰:胜可知而不可为。

      首先让自己处于一种安全状态,能不能被击败,取决于自己,对方势头猛的时候,要避实就虚,不发生正面冲突。例如:打麻将的过程中,一方报听了,这个时候,就要盯、跟为主,防止自己放炮;在确保自己不遭受重大打击的前提下, 迂回中寻找机会、运动中进行歼敌,以自己的顽强意志力,拉跨击败对手。 结论: ①保全自己第一位; ②在保全自己的前提下,不断寻找机会; ③在绝对实力面前,不要轻举妄动、不要妄自菲薄、只能靠时间换取空间;

    Tags

    Annotators

  8. Dec 2022
  9. Aug 2022
  10. Jan 2022

    Tags

    Annotators

  11. Dec 2021