leading baselines achieve only about half the accuracy at the same efficiency
作者暗示当前主流的KV缓存压缩方法在相同效率水平下只能达到约一半的准确率，这表明现有方法存在根本性缺陷。这一尖锐的批评挑战了当前领域内的技术路线，暗示大多数同行可能一直在错误的方向上优化KV压缩。
1 Matching Annotations
- Last 7 days
-
huggingface.co huggingface.co
-