We introduce GateSWA, an efficient hybrid attention variant that replaces learnable sink mechanisms in hybrid SWA models with an element-wise gate.
GateSWA的设计代表了一个令人惊讶的见解:通过简单的元素级门控机制,可以消除滑动窗口注意力中的注意力汇点问题,而不需要引入额外的可学习汇点标记。这种设计不仅简化了模型架构,还提高了长上下文建模的稳定性和效率,为高效注意力机制的设计提供了新思路。