6 Matching Annotations
  1. Jun 2026
    1. our predictions had a median multiplicative error of 1.5x

      中位数乘法误差1.5x是什么概念?如果某个不良行为的真实发生率是10/100k,预测值会落在6.67/100k到15/100k之间。对于安全决策来说,这个精度已经足够判断方向(是否增加/减少)、排序风险优先级,以及决定是否部署。但尾部误差可达10x——这意味着对于某些行为,预测和现实可能相差一个数量级。OpenAI诚实地承认这个局限性,并指出主要误差来源是模拟环境保真度,而非提示分布偏移,这是一个值得追踪的工程改进方向。

    1. when we did media interviews when the store opened, we raised concerns around Luna's procurement judgement as way too many scented candles were ordered, but it turns out they were flipped

      128支蜡烛卖出,成为最畅销品类之一。这是整篇文章里最有趣的反转:人类团队在媒体采访中公开批评Luna的采购判断太差,结果证明Luna是对的。这个细节很重要:它提示我们,对AI决策的直觉性批评可能反映的是人类的偏见,而不是AI的错误。在AI和人类判断分歧时,谁的直觉更可靠没有先验答案,需要数据来验证。

    1. our recent work on AI Agent Traps explores vulnerabilities agents face in adversarial environments

      Agent Traps这个概念值得单独关注。这描述的不是传统的模型安全漏洞,而是专门针对自主决策过程的攻击向量。当AI智能体在数字经济中自主操作时,针对其决策逻辑而非其权重的攻击将成为新威胁面。比如:操纵某个智能体的信息环境,让它做出对攻击者有利的决策。这类攻击在大规模多智能体交互中尤其难以检测和归因。

  2. Feb 2023
    1. 兵者,诡道也。故能而示之不能,用而示之不用,近而示之远,远而示之近,利而诱之,乱而取之,实而备之,强而避之,怒而挠之,卑而骄之,佚而劳之,亲而离之。攻其无备,出其不意。此兵家之胜,不可先传也。

      用利益诱惑的关键是让对方心浮气躁、心乱而发现机会,攻其不备; 如果对方是一个情绪化的人,那么就想办法激怒他,让他情绪浮动,在情绪的作用下,做决策,行动,那么就会暴露出马脚和破绽; 让自卑的人感到骄傲,在骄傲的情绪中,丧失判断。 结论: 感性和理性之所以能够成为一对矛盾,是因为,理性的思维方式,具有逻辑的合理性,因此,在理性思维作用下,做出的决策,采取的行动,往往能够最终达成最终的目标和结果; 与此相反,在感性的情绪下,做出的决策和实施的行动,往往是感性、直观的,没有数据、理论、逻辑的支撑,而是凭借感受、直觉进行判断。因此,判断的结果往往随意性更大、更不稳定,普适性更差。 综上,在需要对方做出战略性决策、关键性判断的时候,就是让对方丧失理性、使用感性来做出决策,那么最终的结果背离对方的预期的概率就会更大。 情绪的波动是我们采取行动的目标和关键。

    Tags

    Annotators

  3. Apr 2021
    1. 成为一家冷静的公司,关键就在于想清楚你是谁、你想服务谁、你想对谁说“不”,并由此做出决策。关键就在于你得知道,要对哪个部分做出优化。这并不是说任何一个选择都是正确的,但是,不做选择或犹豫不决必定是最错误的。