rope

辅助模式

PI 方法将基于 RoPE（旋转位置编码）的预训练 LLM（如 LLaMA）的上下文窗口大小扩展到最多 32768，只需进行最小的微调（在 1000 个步骤内），这一研究在需要长上下文的各种任务上性能较...