#位置编码

收录标记为「位置编码」的文章。

当前筛选已生效清除筛选
找到 1 篇文章 · 第 1 / 1 页
  1. 旋转的坐标:RoPE 位置编码如何成为大模型的"时间轴"

    为什么几乎每个现代大模型都在用旋转位置编码(RoPE)?它如何用一组旋转矩阵把"绝对位置"编码成"相对距离"?从 RoFormer 的二维旋转、远程衰减的数学直觉,到位置插值、NTK-aware、YaRN 和 LongRoPE 的长度外推演进,再到 Selective RoPE、LeRoPE 等 2026 年的新方向,本文拆解这条贯穿 Transformer 的主线。