1. 项目概述为什么RoPE是位置编码的“范式转移”如果你在过去几年里折腾过Transformer模型无论是做文本生成、机器翻译还是代码补全肯定绕不开一个看似基础却至关重要的组件位置编码。Transformer模型本身没有循环或卷积结构它处理序列数据时本质上是在“看”一个无序的词袋。为了让模型理解“我吃饭”和“饭吃我”的区别我们必须显式地告诉模型每个词在序列中的位置信息。这就是位置编码的使命。早期的绝对位置编码比如Transformer原论文中的正弦余弦函数简单直接但存在一个致命问题它训练时见过的序列长度是固定的比如512一旦在推理时遇到更长的文本比如2048模型就“懵”了性能会显著下降。后来出现的相对位置编码如T5的 bias、ALiBi部分解决了长度外推问题但它们在实现上往往需要修改注意力矩阵的计算逻辑不够优雅有时还会引入额外的计算开销。直到RoPERotary Position Embedding旋转位置编码的出现。我第一次在论文里看到它的数学推导时感觉就像有人把一团乱麻理成了清晰的线团。它没有选择在词向量上“加”一个位置向量而是选择“旋转”词向量。这个巧妙的几何变换让模型不仅能知道词的绝对位置还能以一种非常自然的方式建模词与词之间的相对位置关系。更重要的是RoPE在理论上具备良好的长度外推性这意味着用短文本训练的模型有可能直接处理更长的文本而无需微调。这在实际应用中价值巨大想想看你训练了一个客服对话模型突然需要处理一篇长文档如果模型能直接“理解”更长的上下文能省去多少重新训练和部署的麻烦。现在RoPE已经成为LLaMA、GPT-NeoX、ChatGLM等众多主流开源大模型的事实标准。理解RoPE不仅是理解一个技术点更是理解现代NLP模型如何“看见”序列秩序的核心钥匙。无论你是想深入大模型原理还是打算自己动手修改或实现一个Transformer变体RoPE都是你必须跨过去的一道坎。接下来我会带你从直觉到公式从原理到代码彻底拆解这个现代NLP的位置编码范式。2. 核心思路拆解从“相加”到“旋转”的思维跃迁要理解RoPE的精髓我们需要先回顾一下位置编码问题的本质。假设我们有一个词嵌入向量x_m代表第m个位置的词和x_n代表第n个位置的词。在自注意力机制中我们需要计算它们之间的关联度即q_m和k_n的点积q_m, k_n其中q_m W_q * x_m,k_n W_k * x_n。传统绝对位置编码如正弦编码的做法是q_m W_q * (x_m p_m)k_n W_k * (x_n p_n)。这里p_m和p_n是位置m和n对应的位置向量。这样注意力分数里就会包含W_q * p_m, W_k * p_n这样的项它只依赖于绝对位置m和n与词内容x无关。这种编码方式在训练长度内有效但无法泛化到更长的位置。RoPE的核心洞察在于我们能否设计一种位置编码方式使得计算出的注意力分数只依赖于词嵌入内容和它们的相对位置 (m-n)而不是绝对位置m和n本身这样模型在学习“相邻词关系”时学到的模式就能自然地应用到更长的序列上因为“相邻”这个相对关系是不变的。RoPE给出的答案是通过旋转矩阵对查询和键向量进行变换。它的目标函数非常漂亮寻找一个依赖于位置的线性变换函数f使得变换后的查询向量f(q, m)和键向量f(k, n)满足f(q, m), f(k, n) g(q, k, m-n)也就是说点积的结果只依赖于原始查询/键向量q, k和它们的相对位置m-n。数学上可以证明在二维情况下这个函数f就是旋转矩阵。对于一个二维向量[x, y]将其旋转角度θ新的坐标是[x cosθ - y sinθ, x sinθ y cosθ]。如果我们让旋转角度θ与位置m成正比即θ_m m * θθ是一个预设的基础角度那么对于位置m和n旋转后的向量点积就只与旋转角度差(m-n)*θ有关完美满足了上述目标。注意这里的“旋转”是一个几何类比。在高维空间中词向量维度通常是768、1024甚至更高RoPE将向量分组为许多个二维子空间例如维度0和1为一组2和3为一组依此类推然后在每一组二维子空间上独立进行旋转。旋转角度由位置索引和一个与维度相关的频率因子共同决定。这种设计带来了几个立竿见影的优势相对性内蕴注意力分数天然包含了相对位置信息模型更容易学习到序列中元素的相对关系模式。长度外推潜力因为核心是旋转角度m*θ只要旋转函数正弦、余弦定义良好理论上可以接受任意大的m。虽然实践中由于高频维度后面会讲的混叠问题直接外推仍有挑战但其理论基础远比绝对加性编码坚实。实现优雅RoPE可以无缝集成到现有的注意力计算中通常只需要在计算Q和K矩阵点积前对它们进行旋转操作即可不需要修改注意力机制的其他部分。远程衰减性随着相对距离|m-n|增大旋转后的向量点积幅度在期望上会衰减这符合自然语言中距离越远的词关联性越弱的直觉。3. RoPE的数学形式与实现细节理解了旋转的思想我们来看具体的数学公式和代码实现。这是将理论落地的关键一步。3.1 公式推导与多维扩展假设我们的词向量是d维。我们将其视为d/2个二维向量的拼接。对于第i个二维子空间i从0到d/2 - 1我们为其分配一个基础旋转角速度θ_i。通常θ_i按以下方式设置θ_i base^{-2i/d}这里base是一个超参数通常是一个很大的数比如10000。这种设置使得不同维度子空间的旋转速度不同低维i小旋转慢频率低捕捉长周期模式高维i大旋转快频率高捕捉细粒度模式。这借鉴了原始Transformer正弦位置编码的思想。对于位置为m的向量x我们将其第i个二维子分量[x_{2i}, x_{2i1}]旋转m * θ_i角度。用复数形式表示更为简洁。令复数c_i x_{2i} j * x_{2i1}j是虚数单位旋转操作就是乘以e^{j * m * θ_i}。因此RoPE变换函数f可以定义为f([x_{2i}, x_{2i1}], m) [x_{2i} * cos(mθ_i) - x_{2i1} * sin(mθ_i), x_{2i} * sin(mθ_i) x_{2i1} * cos(mθ_i)]对于整个d维向量xRoPE变换就是对所有d/2个二维子分量并行进行上述旋转操作。在自注意力中我们分别对查询向量q和键向量k应用此变换q_m_rotated f(q, m)k_n_rotated f(k, n)然后计算注意力分数score q_m_rotated, k_n_rotated可以推导出最终的注意力分数为score Re[ Σ_i (q_{2i} j*q_{2i1}) * (k_{2i} - j*k_{2i1}) * e^{j*(m-n)*θ_i} ]这个结果明确显示分数只依赖于原始q, k和相对位置(m-n)。3.2 高效计算与代码实现在实际实现中我们不会真的去构造无数个旋转矩阵。利用三角恒等式我们可以非常高效地在现有深度学习框架中实现RoPE。核心是预先计算好所有位置和所有维度对应的cos(mθ_i)和sin(mθ_i)值。以下是PyTorch风格的核心实现步骤预计算旋转矩阵实为cos/sin缓存def precompute_freqs_cis(dim: int, end: int, theta: float 10000.0): 预计算频率和复数形式的旋转因子。 dim: 词向量的维度必须是偶数 end: 最大序列长度 theta: 基础频率默认为10000 返回: 形状为 (end, dim//2) 的复数张量 freqs 1.0 / (theta ** (torch.arange(0, dim, 2)[: (dim // 2)].float() / dim)) t torch.arange(end, devicefreqs.device) freqs torch.outer(t, freqs) # 外积得到 (end, dim//2) 的矩阵每个元素是 m * θ_i freqs_cis torch.polar(torch.ones_like(freqs), freqs) # 计算 e^(j * freqs) return freqs_cis这里torch.polar用幅度和角度构造复数幅度为1角度为freqs结果就是e^{j * freqs}。应用旋转位置编码def apply_rotary_emb(xq: torch.Tensor, xk: torch.Tensor, freqs_cis: torch.Tensor): 将旋转位置编码应用于查询和键向量。 xq, xk: 形状为 (batch_size, seq_len, num_heads, head_dim) freqs_cis: 形状为 (seq_len, head_dim//2) 的复数张量由 precompute_freqs_cis 生成 返回: 旋转后的 xq_out, xk_out形状与输入相同 # 将xq和xk的最后一维head_dim视为复数即每两个连续标量为一个复数 # 重塑为复数形式: (..., seq_len, num_heads, head_dim) - (..., seq_len, num_heads, head_dim//2, 2) xq_ xq.float().reshape(*xq.shape[:-1], -1, 2) xk_ xk.float().reshape(*xk.shape[:-1], -1, 2) # 转换为复数张量 xq_complex torch.view_as_complex(xq_) xk_complex torch.view_as_complex(xk_) # 调整freqs_cis形状以支持广播 (seq_len, head_dim//2) - (1, seq_len, 1, head_dim//2) freqs_cis freqs_cis.unsqueeze(0).unsqueeze(2) # 复数乘法实现旋转: xq_complex * freqs_cis.conj()? 注意这里有个细节。 # 对于查询q我们应用旋转 e^{j * mθ}。对于键k为了计算内积时得到 e^{j*(m-n)θ}我们需要应用旋转 e^{j * nθ} 的共轭即 e^{-j * nθ}。 # 但更常见的实现是对q和k都乘以 e^{j * pos * θ}然后在计算注意力分数时利用复数乘法的性质自动得到相对位置差。 # 实际上令 q q * e^{j*mθ}, k k * e^{j*nθ}则 q, k 的实部 Re[ Σ (q * conj(k)) * e^{j*(m-n)θ} ]。 # 所以标准的做法是对q和k都乘以相同的旋转因子 e^{j*pos*θ}。 xq_out torch.view_as_real(xq_complex * freqs_cis).flatten(3) xk_out torch.view_as_real(xk_complex * freqs_cis).flatten(3) return xq_out.type_as(xq), xk_out.type_as(xk)实操心得很多开源实现如LLaMA的原始代码为了极致效率会避免使用复数数据类型而是直接展开实数计算。它们会预先计算好cos和sin值然后通过以下公式进行变换def rotate_half(x): 将输入张量x的后半部分取反以实现旋转效果。 x1, x2 x.chunk(2, dim-1) return torch.cat((-x2, x1), dim-1) def apply_rotary_pos_emb(tensor, cos, sin): 应用旋转位置编码的实数形式。 return (tensor * cos) (rotate_half(tensor) * sin)这个rotate_half操作等价于乘以e^{j * π/2}即旋转90度后再与cos和sin线性组合其数学结果与复数乘法一致。这种实现更节省内存且在某些硬件上更快但理解起来不如复数形式直观。建议先理解复数版本再研究这种优化实现。4. RoPE在训练与推理中的关键考量将RoPE集成到你的Transformer模型中并非只是简单插入一个模块。在训练和推理的各个环节都有一些细节需要仔细处理否则容易掉进坑里。4.1 长度外推性与NTK-aware ScalingRoPE虽然理论上支持长度外推但直接外推效果往往不佳。原因在于高频维度i较大θ_i较大的旋转速度太快。当序列长度远超训练长度时高频维度对应的旋转角度m*θ_i可能远超2π导致正弦余弦函数值出现混叠即不同的位置映射到相同的三角函数值模型无法区分它们。为了解决这个问题社区提出了多种改进方案其中NTK-aware Scaling神经切线核感知缩放是一种简单有效的方法。它的核心思想不是直接外推而是在训练阶段就“拉伸”位置编码的频率谱让模型在训练长度内就能“见识”到更长的周期。具体做法是修改基础频率θ_i的计算公式。原始的θ_i base^{-2i/d}。NTK-aware Scaling将其改为θ_i (base * α^{d/(d-2)})^{-2i/d}或者更常见的一种实现是在计算旋转角度时对位置索引m进行缩放m m / scale_factor其中scale_factor是一个大于1的数例如scale_factor (target_len / train_len)的某个比例。这相当于降低了所有维度的旋转速度让模型用更短的训练长度模拟更长的上下文窗口。另一种流行的方案是YaRNYet another RoPE extensioN它结合了NTK-aware scaling和“注意力温度”调整在实践中取得了非常好的长度外推效果。对于大多数应用如果你需要处理比训练长度更长的文本建议直接使用集成了YaRN或类似改进的模型版本如一些微调过的LLaMA模型而不是自己从头实现。4.2 因果注意力与KV Cache优化在自回归生成任务如文本生成中Transformer使用因果注意力掩码确保当前位置只能看到之前的位置。RoPE需要与此兼容。好消息是RoPE的旋转操作是逐位置独立的因此可以完美融入因果注意力计算。在生成每个新token时我们只需要计算该新token位置的旋转因子并应用到其对应的查询向量上即可。更重要的是KV Cache键值缓存优化。在生成式推理中为了加速我们会缓存之前所有时间步计算好的键K和值V状态。对于RoPE键向量k在缓存之前就必须已经应用了旋转位置编码。因为旋转依赖于绝对位置n。当我们计算第t个新token与第j个历史tokenj t的注意力时历史token的键k_j必须是用位置j的旋转因子处理过的结果。因此在推理实现中流程如下对于输入序列预先计算好所有位置的旋转因子freqs_cis。在计算第一个token的注意力时对Q和K应用旋转然后计算注意力并缓存旋转后的K和V。在计算后续token时只计算当前token的Q并应用当前步的旋转。从缓存中读取之前所有步已经旋转好的K直接计算点积。踩坑记录一个常见的错误是在缓存K时缓存了未旋转的原始K然后在每次计算注意力时试图重新旋转。这不仅是重复计算更重要的是对于历史token你无法在不知道当前生成步数的情况下正确旋转它因为旋转需要绝对位置索引。务必确保缓存的是“成品”K_rotated。4.3 与其他模块的协同LayerNorm、残差连接等RoPE通常被应用在计算注意力分数之前即对Q和K进行变换。它应该放在哪里标准的Transformer块顺序是输入 - LayerNorm - 注意力 - 残差连接 - LayerNorm - FFN - 残差连接。RoPE的应用点是在注意力计算内部。具体来说经过第一个LayerNorm后得到归一化的隐藏状态h。通过线性投影得到Q,K,V。对Q和K应用RoPE。计算注意力分数softmax((Q_rotated K_rotated.T) / sqrt(d_k) mask)再与V相乘。这里有一个细节LayerNorm是否会影响RoPE的效果理论上RoPE是一种线性变换旋转而LayerNorm是仿射变换缩放和平移。LayerNorm在RoPE之前意味着旋转操作是在归一化后的数据上进行的。这通常是合理的因为归一化使数据分布稳定旋转的几何意义更清晰。并且RoPE的旋转操作是保范数的不改变向量长度这与注意力机制中点积对尺度敏感的特性是兼容的。5. 实战在自定义Transformer中集成RoPE理论说了这么多我们来点实际的。假设我们要在一个简化的Transformer编码器层中集成RoPE。以下是一个完整的、可运行的PyTorch示例包含了之前讨论的优化实数实现。import torch import torch.nn as nn import math class RotaryPositionEmbedding(nn.Module): 旋转位置编码层实数高效实现。 def __init__(self, dim, max_seq_len2048, base10000.0): super().__init__() self.dim dim self.base base self.max_seq_len max_seq_len # 预计算频率倒数形式方便计算角度 inv_freq 1.0 / (base ** (torch.arange(0, dim, 2).float() / dim)) self.register_buffer(inv_freq, inv_freq, persistentFalse) # persistentFalse不保存到state_dict # 预计算cos和sin缓存延迟构建 self._cos_cached None self._sin_cached None self._seq_len_cached None def _update_cos_sin_cache(self, x, seq_len): 按需更新cos/sin缓存。 if self._seq_len_cached is None or seq_len self._seq_len_cached: self._seq_len_cached seq_len t torch.arange(seq_len, devicex.device, dtypeself.inv_freq.dtype) # 计算角度freqs t * inv_freq形状为 (seq_len, dim//2) freqs torch.einsum(i,j-ij, t, self.inv_freq) emb torch.cat((freqs, freqs), dim-1) # 在最后一个维度复制一遍以便与x的维度对齐 self._cos_cached emb.cos()[None, None, :, :] # 增加batch和head维度 self._sin_cached emb.sin()[None, None, :, :] def forward(self, q, k): 应用旋转位置编码。 q, k: 形状为 (batch, seq_len, num_heads, head_dim) 返回: 旋转后的q, k形状不变。 batch, seq_len, num_heads, head_dim q.shape assert head_dim self.dim, fhead_dim {head_dim} must match RoPE dim {self.dim} self._update_cos_sin_cache(q, seq_len) # 取缓存的cos和sin并截取到当前seq_len cos self._cos_cached[:, :, :seq_len, ...] sin self._sin_cached[:, :, :seq_len, ...] # 旋转操作的高效实数实现 def rotate_half(x): x1, x2 x[..., : head_dim // 2], x[..., head_dim // 2 :] return torch.cat((-x2, x1), dim-1) q_rotated (q * cos) (rotate_half(q) * sin) k_rotated (k * cos) (rotate_half(k) * sin) return q_rotated, k_rotated class MultiHeadAttentionWithRoPE(nn.Module): 集成RoPE的多头注意力机制。 def __init__(self, d_model, num_heads, dropout0.1): super().__init__() assert d_model % num_heads 0 self.d_model d_model self.num_heads num_heads self.head_dim d_model // num_heads self.wq nn.Linear(d_model, d_model) self.wk nn.Linear(d_model, d_model) self.wv nn.Linear(d_model, d_model) self.wo nn.Linear(d_model, d_model) self.dropout nn.Dropout(dropout) # 初始化RoPE每个头的维度是head_dim self.rope RotaryPositionEmbedding(dimself.head_dim) def forward(self, x, maskNone): batch_size, seq_len, _ x.shape # 1. 线性投影得到Q, K, V Q self.wq(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) K self.wk(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) V self.wv(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) # 2. 应用旋转位置编码 (仅对Q和K) Q, K self.rope(Q, K) # 3. 计算缩放点积注意力 scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.head_dim) if mask is not None: scores scores.masked_fill(mask 0, -1e9) attn_weights torch.softmax(scores, dim-1) attn_weights self.dropout(attn_weights) context torch.matmul(attn_weights, V) # 4. 合并多头输出投影 context context.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) output self.wo(context) return output # 简单的测试 if __name__ __main__: d_model 512 num_heads 8 batch_size 2 seq_len 10 attn_layer MultiHeadAttentionWithRoPE(d_model, num_heads) x torch.randn(batch_size, seq_len, d_model) mask torch.tril(torch.ones(seq_len, seq_len)).unsqueeze(0).unsqueeze(0) # 因果掩码 output attn_layer(x, mask) print(f输入形状: {x.shape}) print(f输出形状: {output.shape}) print(RoPE注意力层运行成功)这个实现包含了几个关键点延迟计算缓存RotaryPositionEmbedding类只在需要时当遇到更长的序列时才计算cos和sin缓存节省内存。广播优化预计算的cos和sin张量增加了[None, None, :, :]维度使其形状为(1, 1, seq_len, head_dim)这样可以直接与形状为(batch, num_heads, seq_len, head_dim)的Q、K进行广播相乘无需循环。与标准注意力无缝集成MultiHeadAttentionWithRoPE的接口与普通多头注意力完全一致只需在计算点积前插入self.rope(Q, K)即可。6. 进阶话题与常见问题排查即使理解了原理和基础实现在实际应用RoPE时你仍可能会遇到一些棘手的问题。下面是我在项目和阅读源码中总结的一些经验。6.1 长度外推失败怎么办现象用2048长度训练的模型在4096长度的文本上生成质量骤降出现胡言乱语或重复。排查思路检查基础频率basebase值太小如1000会导致高频维度旋转过快在训练长度内就可能发生混叠。通常使用10000或更大的值如50000是安全的起点。确认是否使用了改进方案如果你直接使用原始RoPE公式外推能力有限是正常的。尝试集成NTK-aware Scaling或YaRN。对于微调可以寻找已经用这些方法扩展了上下文窗口的预训练模型底座。评估外推的“温和”程度从1.5倍、2倍长度开始测试而不是直接跳到4倍。观察困惑度Perplexity随长度增长的变化曲线如果曲线在训练长度后急剧上升说明外推性差。考虑动态NTK在推理时根据实际输入序列长度动态调整scale_factor。一些推理框架如vLLM、HuggingFace Transformers的某些分支已经支持这种动态缩放。6.2 训练不稳定或收敛慢现象损失震荡或者模型收敛速度明显慢于使用其他位置编码的基线。排查思路初始化检查确保RoPE层的参数其实它没有可训练参数不影响梯度流。检查inv_freq缓冲区的设备device是否与模型其他部分一致。混合精度训练AMPRoPE涉及大量的三角函数计算。在混合精度训练如PyTorch的Autocast下确保cos/sin计算在足够的精度下进行。一个常见策略是将inv_freq和位置索引t保持在float32下计算freqs然后再转换为bfloat16或float16。# 在_update_cos_sin_cache函数中 t torch.arange(seq_len, devicex.device, dtypetorch.float32) # 保持float32 freqs torch.einsum(i,j-ij, t, self.inv_freq.float()) # inv_freq也转float32 # ... 计算cos/sin self._cos_cached emb.cos().to(x.dtype) # 缓存为目标精度学习率预热如果是从头开始训练集成RoPE的模型适当增加学习率预热Warmup的步数。位置编码方式的改变可能使优化初期更敏感。6.3 与Flash Attention等优化内核的兼容性现象为了提升训练速度你使用了Flash Attention、xFormers等高度优化的注意力内核但集成RoPE后速度没有提升甚至出错。排查思路API支持Flash Attention v2 及更高版本已经原生支持传入外部的旋转位置编码如RoPE。你需要使用其提供的、支持rotary参数的接口。自定义内核如果优化内核不支持外部RoPE你可能需要修改RoPE的实现使其能够融合到注意力计算图中。一种方法是将旋转操作表示为对Q和K的线性变换并尝试用torch.compilePyTorch 2.0进行编译优化也能获得显著的加速。顺序问题确保RoPE在正确的时机应用。通常流程是线性投影得到Q, K- 应用RoPE - 将Q, K, V传递给优化注意力内核。务必查阅你所使用的优化内核的文档。6.4 不同框架和模型中的细微差异现象你将一个使用RoPE的模型从PyTorch转换到其他框架如ONNX、TensorRT或者尝试复现其他论文的模型时效果有差异。排查思路维度分组顺序RoPE将d维向量视为d/2个复数。但向量中哪两个维度为一组常见的有两种连续分组(0,1), (2,3), (4,5), ...如LLaMA、原始RoPE论文交错分组(0, d/2), (1, d/21), ...一些早期实现 绝大多数现代实现包括本文采用连续分组。务必与你参考的代码或模型保持一致。旋转方向旋转矩阵有两种形式顺时针和逆时针。这体现在sin项的符号上。公式[x cosθ - y sinθ, x sinθ y cosθ]是逆时针旋转。确保你的实现与模型权重训练时使用的方向一致。基础频率计算θ_i base^{-2i/d}中的i是从0开始还是从1开始除数是d还是d-2这些细微差别会导致频率分布不同。同样需要与预训练模型严格对齐。通常使用torch.arange(0, dim, 2)和/ dim是安全的选择。为了帮助你快速定位问题这里有一个常见问题速查表问题现象可能原因检查点/解决方案长文本生成质量差长度外推失败1. 检查base参数建议≥100002. 集成NTK-aware Scaling或YaRN3. 测试时使用动态NTK缩放训练Loss NaN数值不稳定混合精度问题1. 确保cos/sin计算在float32下进行2. 检查是否有除零或极端值3. 减小初始学习率增加warmup推理速度慢RoPE计算成为瓶颈1. 使用本文的缓存机制避免重复计算2. 检查是否在每次生成步都错误地重新计算了所有历史位置的旋转3. 考虑与Flash Attention等融合与预训练模型效果不符实现细节不匹配1. 对比维度分组方式连续/交错2. 对比base值和频率计算公式3. 对比旋转方向sin项符号KV Cache下生成错误缓存了未旋转的K确保缓存的是apply_rotary_emb之后的K_rotated而不是原始KRoPE以其优雅的数学形式和强大的实践效果确立了其在现代NLP尤其是大语言模型中的核心地位。从理解其“相对位置编码”的初衷到掌握其复数旋转的数学本质再到在代码中高效、正确地实现它并处理好训练推理中的各种坑这个过程本身就是一个深度学习从业者能力进阶的缩影。它不再是一个黑盒子般的嵌入层而是一个你可以精确调控、用以塑造模型时空感知能力的有力工具。下次当你使用LLaMA或ChatGLM生成文本时不妨想想正是这一个个精妙的旋转让模型理解了字里行间的顺序与关联。
