分享 Transformer、大语言模型、位置编码 等前沿技术研究
Dynamic Frequency RoPE: 长序列Transformer的积分频率调制 摘要 本文提出了 Dynamic Frequency RoPE (DF-RoPE) ，这是一种针对长序列Transformer的改进位置编码方法。传统的RoPE（Rotary Position Embedding）在超长序列外推时会遇到两个主要问题： 1. 周期性混叠 （Perio...