Most safety evaluations analyze models in isolation
这是当前AI安全研究的结构性盲点。我们知道如何评估单个模型的安全性,但几乎没有工具评估智能体群体的集体行为。类比:你可以测试每个人类个体的理性程度,但无法从个体测试中预测市场崩溃或谣言扩散。复杂系统的涌现行为,从根本上不可从还原论方式预测——这正是这笔$10M资助的存在理由。
Most safety evaluations analyze models in isolation
这是当前AI安全研究的结构性盲点。我们知道如何评估单个模型的安全性,但几乎没有工具评估智能体群体的集体行为。类比:你可以测试每个人类个体的理性程度,但无法从个体测试中预测市场崩溃或谣言扩散。复杂系统的涌现行为,从根本上不可从还原论方式预测——这正是这笔$10M资助的存在理由。
idea complexity plateaus while PGR keeps rising
这是微妙但极重要的区分:PGR上升不等于想法更新颖,而是执行更精准。训练800小时后,AI没有提出更复杂的算法,而是在打磨同一批想法的细节——更好的超参数、更鲁棒的实现。这揭示AAR的当前能力边界:它是出色的执行精炼者,但在真正意义上的概念跳跃上,仍然依赖人类或上游语料给定的方向空间。
如何理解算法时间复杂度的表示法,例如 O(n²)、O(n)、O(1)、O(nlogn) 等?
图灵机与λ演算是等价的,为什么前者成为了普遍接受的计算机或计算理论的模型?
诺拉·劳森还说了一个观点。大家通常认为,复杂系统往往会在经济繁荣的时候崩溃,因为业务太多,支撑不过来,但他认为不是这样的,系统崩溃往往发生在经济收缩期。 经济繁荣时期,软件公司会大量雇佣新员工,投入更多的财力和人力,支撑复杂系统。等到经济收缩期,公司开始减少投入、冻结招聘或裁员,复杂系统可能就会在这个时候出问题,变得难以维护。 现在就是经济收缩期,那么接下来,会不会就是软件故障的高发期,我们将看到很多复杂系统的崩溃?
The collapse of complex software | Read the Tea Leaves
在 产品沉思录精选:对少即是多的误解 说过一个相似的观点
![[20220617022101_Id-ILu3kEeySMK_1nuBKzQ]]
16 个元素中找到目标元素
一次就要除以2
阿波罗8号宇宙飞船有560万个零件,以及150万个系统和组件。即使它们每一个都有99.9%的可靠性,预期也会产生560个故障。
![[murphys_law_sods_law|墨菲定律]]
一个项目有太多的工程师是一个严重的问题。产品经理可能想增加更多的工程师,并行完成工作任务。但是实际上,任何一个项目的并行任务的数量都是有限的。 一旦项目工程师过多时,工程师的时间将从开发转向计划、同步和协调。
当并行超过一定数量后, 系统进入复杂状态, 系统产生自组织, 这个系统将不可控.