We replace persistent autograd graphs with stateless layer templates, binding weights dynamically as they stream in, eliminating persistent graph metadata while providing flexibility in scheduling.
令人惊讶的是：研究团队摒弃了传统的持久化自动微分图，采用无状态层模板和动态权重绑定的创新方法，这不仅消除了图元数据开销，还提供了调度灵活性。这种架构层面的创新可能是实现单GPU训练百亿参数模型的关键突破。