the design of the retrieval and cache policy, especially how they decide what to keep, reuse, or drop across scenes, seems to be what actually drives the latency and throughput gains
大多数研究者可能关注模型架构或算法创新来提升性能，但评论者指出检索和缓存策略的设计才是延迟和吞吐量提升的关键。这一观点挑战了AI研究中过度关注模型本身的倾向，暗示系统优化和资源管理策略可能比模型架构创新对性能影响更大，这是一个反直觉的系统设计见解。