8 Matching Annotations
  1. Jun 2026
    1. Most safety evaluations analyze models in isolation

      这是当前AI安全研究的结构性盲点。我们知道如何评估单个模型的安全性,但几乎没有工具评估智能体群体的集体行为。类比:你可以测试每个人类个体的理性程度,但无法从个体测试中预测市场崩溃或谣言扩散。复杂系统的涌现行为,从根本上不可从还原论方式预测——这正是这笔$10M资助的存在理由。

    1. idea complexity plateaus while PGR keeps rising

      这是微妙但极重要的区分:PGR上升不等于想法更新颖,而是执行更精准。训练800小时后,AI没有提出更复杂的算法,而是在打磨同一批想法的细节——更好的超参数、更鲁棒的实现。这揭示AAR的当前能力边界:它是出色的执行精炼者,但在真正意义上的概念跳跃上,仍然依赖人类或上游语料给定的方向空间。

  2. Dec 2022
  3. Sep 2022
    1. 诺拉·劳森还说了一个观点。大家通常认为,复杂系统往往会在经济繁荣的时候崩溃,因为业务太多,支撑不过来,但他认为不是这样的,系统崩溃往往发生在经济收缩期。 经济繁荣时期,软件公司会大量雇佣新员工,投入更多的财力和人力,支撑复杂系统。等到经济收缩期,公司开始减少投入、冻结招聘或裁员,复杂系统可能就会在这个时候出问题,变得难以维护。 现在就是经济收缩期,那么接下来,会不会就是软件故障的高发期,我们将看到很多复杂系统的崩溃?

      The collapse of complex software | Read the Tea Leaves

      产品沉思录精选:对少即是多的误解 说过一个相似的观点

      ![[20220617022101_Id-ILu3kEeySMK_1nuBKzQ]]

  4. Aug 2022
  5. Jun 2022
  6. Feb 2022
    1. 一个项目有太多的工程师是一个严重的问题。产品经理可能想增加更多的工程师,并行完成工作任务。但是实际上,任何一个项目的并行任务的数量都是有限的。 一旦项目工程师过多时,工程师的时间将从开发转向计划、同步和协调。

      Nicholas C.Zakas

      当并行超过一定数量后, 系统进入复杂状态, 系统产生自组织, 这个系统将不可控.