Residual ISD (R-ISD) adds a gated LoRA adapter for bit-for-bit lossless acceleration: LoRA active only at MASK positions; verify positions use base-only weights Output is identical to the base AR model by construction
这是一个巧妙的工程创新,通过门控LoRA实现了无损加速。仅在MASK位置激活LoRA,验证位置使用基础权重,确保输出与基础AR模型完全一致。这种方法解决了扩散模型在保持质量的同时实现并行加速的关键挑战,为实际部署提供了可能。