定义Layer normalization stabilizes training by normalizing activations across the feature dimension. Its placement relative to the attention/FFN sublayers significantly affects training dynamics.层归一化通过在特征维度上对激活值进行归一化稳定模型训练其相对于注意力/前馈网络子层的位置对训练动态具有显著影响层归一化通过在特征维度上对激活值做归一化稳定模型训练LayerNorm 放置在注意力子层、前馈网络FFN子层的前后位置会极大影响训练动态与收敛效果training dynamics 训练动态指 loss 下降速度、梯度大小、收敛稳定性、是否出现震荡 / 发散LayerNorm 摆放位置直接改变梯度传播路径是大模型调参核心要点核心作用 - 稳定训练对单个 Token 整条特征向量做标准化把激活值分布约束在稳定区间避免深度 Transformer 出现梯度爆炸 / 梯度消失让深层大模型可训练placement 位置 LLM 两大主流范式Transformer 每个 Block 包含 Attention FFN 两个子层LayerNorm 有两种放置方案效果差异巨大Pre-LN主流Llama/Qwen/GPT先做 LayerNorm再送入 Attention/FFN梯度流更平稳大规模模型训练稳定工业标准Post-LN原始 Transformer先跑 Attention/FFN最后做 LayerNorm深层训练易梯度爆炸仅早期小模型使用公式实现示例σ sigma小写 σsigma大写 Σϵ epsilonγ gamma、β beta属于 d 维实数向量是可学习的缩放参数与偏移参数每一特征维度都拥有独立一组参数与BatchNorm的主要区别LayerNorm是在单个样本的特征维度上进行归一化而不是在批次维度上进行。这使其不受批次大小的影响并且在训练和推理阶段表现一致Batch NormalizationBN批量归一化跨样本维度做归一化多用于图像 CNN几乎不用在大语言模型计算逻辑取一个批次batch里所有样本的同一个特征通道计算均值、方差把该通道全部样本标准化再用可学习 γ、β 缩放平移BatchNormCV 图像专用归一化维度同一特征通道、跨整个 batch 所有样本操作对象一批图片的同一个通道像素适用CNN 图像分类、检测高度依赖 batch 尺寸batch 太小均值方差不准推理时还要单独保存滑动均值方差BN 示例一批 4 张图片通道 0红色通道取 4 张图全部红色像素统一算均值 μ、方差 σ²使得全部像素标准化γ、β 缩放偏移训练时更新滑动均值推理时固定滑动均值不能实时算批次统计量RMS Norm - 现代简化版归一化方案优势计算量更低单 Token 减少一次规约运算GPU 提速 5%~10%参数更少无 β beta 向量显存占用轻微降低训练收敛、最终效果和 LayerNorm 几乎无差距工业大模型通用标准Llama 系列、Mistral、Qwen 全部使用短板无法通过 β 做整体偏移失去一层特征调节自由度对分布极度偏移的极端样本校准能力略弱于完整 LayerNorm规约把一组多个数字聚合计算成单个标量数值的运算Transformer 归一化里最常见求和、求均值、求方差、求最大 / 最小值规约是跨特征维度数据同步聚合需要多 GPU / 多线程同步读写显存通信开销大减少规约次数能直接降低延迟、提升吞吐这是 RMSNorm 提速的核心原因FFN 前馈网络Transformer 两层全连接子层负责编码局部语义特征和注意力层共同构成基础 Block总结LayerNorm 本质是稳定激活分布但放在子层前还是后会彻底改变训练收敛特性是 LLM 架构设计的关键实操点当前 LLM 工业底座主流全部采用 RMSNorm原生 LayerNorm 基本淘汰Llama 2/3、Mistral、Qwen、MiniCPM、GLM、DeepSeek 全系默认 RMSNormGPT 系列GPT-3/4早期用 Post-LN后续迭代模型也改用 RMSNorm 变体仅老旧小模型、早期学术复现项目还在用原版 LayerNorm商用底座不再使用