前言本文介绍了内容感知Token聚合网络CATANet中的局部区域自注意力LRSA模块在YOLO26中的结合。基于Transformer的图像超分辨率方法存在计算复杂度高、捕捉长距离依赖能力受限等问题。LRSA作为CATANet的核心辅助模块通过重叠补丁策略强化局部特征交互补充局部细节。我们将相关代码加入指定目录在ultralytics/nn/tasks.py中注册配置YOLO26 - LRSA.yaml文件最后通过实验脚本和结果验证了方法的有效性。文章目录 YOLO26改进大全卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总专栏链接: YOLO26改进专栏介绍摘要基于 Transformer 的方法在图像超分辨率SR等底层视觉任务中展现出了卓越的性能。然而其计算复杂度随着空间分辨率的增加呈二次方级增长。一系列研究工作试图通过将低分辨率图像划分为局部窗口local windows、轴向条纹axial stripes或空洞窗口dilated windows来缓解这一问题。SR 通常利用图像的冗余性进行重建而这种冗余不仅存在于局部区域也存在于长距离区域中。然而上述方法将注意力计算局限在与内容无关的局部区域内直接限制了注意力机制捕捉长距离依赖关系的能力。为了解决这些问题我们提出了一种轻量级的内容感知 Token 聚合网络CATANet。具体而言我们提出了一种高效的内容感知 Token 聚合模块用于聚合长距离且内容相似的 Token该模块在所有图像 Token 间共享 Token 中心且仅在训练阶段对其进行更新。随后我们利用组内自注意力intra-group self-attention来实现长距离的信息交互。此外我们还设计了一种组间交叉注意力inter-group cross-attention以进一步增强全局信息的交互。实验结果表明与最先进的SOTA基于聚类的方法 SPIN 相比我们的方法取得了更优越的性能PSNR 最大提升了 0.33dB且推理速度几乎翻倍。文章链接论文地址论文地址代码地址代码地址基本原理Local-Region Self-AttentionLRSA局部区域自注意力是CATANet中负责细化图像局部细节的核心辅助模块与捕捉长距离依赖的Token-Aggregation BlockTAB形成功能互补共同支撑轻量级图像超分辨率任务的高效性能。其设计核心是在低计算复杂度前提下强化局部范围内像素/特征块的信息交互弥补长距离注意力在细节还原上的不足。一、核心定位与设计目标1. 核心定位作为CATANet深度特征提取阶段的关键组件每个残差组RG包含TAB、LRSA和3×3卷积LRSA专注于局部特征交互——在长距离依赖已被TAB捕捉后进一步优化图像边缘、纹理等细粒度细节避免因过度关注全局信息导致的局部模糊或 artifacts。2. 设计目标补充局部细节与TAB的长距离信息捕捉形成“全局局部”双重保障提升超分辨率图像的细节还原度保持轻量化采用高效结构设计避免局部注意力计算引入过多冗余适配手机等资源受限设备兼容并行计算通过重叠补丁Overlapping Patches设计兼顾局部交互效果与计算效率。二、核心设计与工作原理1. 结构来源与基础设计LRSA参考了HPINetHierarchical Pixel Integration Network的局部注意力结构核心采用重叠补丁Overlapping Patches策略将输入特征图划分为多个相互重叠的局部补丁而非无重叠的独立窗口确保相邻区域的特征能自然交互避免窗口边界处的细节断裂所有补丁共享查询Q、键K、值V的权重矩阵减少参数数量降低计算复杂度。2. 具体工作流程设LRSA的输入为经过TAB处理后的特征图 ( X_o \in \mathbb{R}^{N \times d} )其中 ( N ) 为特征token数量( d ) 为特征维度其工作流程可概括为3步补丁划分与特征投影将输入特征图按固定尺寸如8×8划分为重叠补丁每个补丁通过共享权重矩阵 ( W^Q、W^K、W^V \in \mathbb{R}^{d \times d} ) 分别投影为查询向量 ( Q )、键向量 ( K ) 和值向量 ( V )局部自注意力计算在每个补丁内部执行多头自注意力MSA运算捕捉补丁内特征的局部依赖关系如相邻像素的纹理关联、边缘连续性特征融合与输出将所有补丁的注意力输出按原位置拼接得到细化后的局部特征图 ( X_{out} \in \mathbb{R}^{N \times d} )传递给后续的ConvFFN卷积前馈网络进一步优化。3. 关键特性重叠补丁设计区别于SwinIR的非重叠固定窗口重叠设计让局部注意力更平滑避免“窗口效应”导致的图像边缘生硬权重共享所有补丁共用一套Q/K/V投影权重相比为每个补丁单独设计权重参数数量减少约10%-20%根据补丁数量调整符合轻量化需求低计算复杂度注意力计算仅局限于局部补丁内复杂度与补丁尺寸呈线性关系而非全局自注意力的二次复杂度确保推理效率。三、与其他注意力机制的区别与互补1. 与CATANet内部核心注意力的互补注意力机制关注范围核心功能计算复杂度LRSA局部补丁如8×8细化边缘、纹理等局部细节线性复杂度与补丁尺寸相关IASA组内自注意力跨图像的内容相似组捕捉长距离依赖线性复杂度与组内token数量相关IRCA组间交叉注意力组与全局token中心强化全局信息交互低复杂度( M \ll N )( M ) 为token中心数量LRSA的核心价值的是“补位”——IASA和IRCA解决了“长距离相似信息交互”问题但可能忽略局部像素的精细关联而LRSA专注于局部细节修复三者形成“全局依赖局部细节”的完整覆盖。2. 与传统局部注意力的区别相比SwinIR的“固定窗口注意力”LRSA的重叠补丁设计避免了窗口边界的信息割裂细节还原更自然相比NLSA非局部稀疏注意力LRSA不依赖哈希分组无需处理哈希冲突分组更稳定且计算更高效相比CNN的局部卷积LRSA通过自注意力机制能自适应捕捉局部特征的关联强度如强边缘与弱纹理的差异化关注而卷积的局部交互是固定权重的灵活性更弱。核心代码class LRSA(nn.Module): Attention module. Args: dim (int): Base channels. num (int): Number of blocks. qk_dim (int): Channels of query and key in Attention. mlp_dim (int): Channels of hidden mlp in Mlp. heads (int): Head numbers of Attention. def __init__(self, dim, qk_dim, mlp_dim,heads1): super().__init__() self.layer nn.ModuleList([ PreNorm(dim, Attention(dim, heads, qk_dim)), PreNorm(dim, ConvFFN(dim, mlp_dim))]) def forward(self, x, ps): step ps - 2 crop_x, nh, nw patch_divide(x, step, ps) # (b, n, c, ps, ps) b, n, c, ph, pw crop_x.shape crop_x rearrange(crop_x, b n c h w - (b n) (h w) c) attn, ff self.layer crop_x attn(crop_x) crop_x crop_x rearrange(crop_x, (b n) (h w) c - b n c h w, nn, wpw) x patch_reverse(crop_x, x, step, ps) _, _, h, w x.shape x rearrange(x, b c h w- b (h w) c) x ff(x, x_size(h, w)) x x rearrange(x, b (h w) c-b c h w, hh) return x实验脚本import warnings warnings.filterwarnings(ignore) from ultralytics import YOLO if __name__ __main__: # 修改为自己的配置文件地址 model YOLO(./ultralytics/cfg/models/26/yolo26-LRSA.yaml) # 修改为自己的数据集地址 model.train(data./ultralytics/cfg/datasets/coco8.yaml, cacheFalse, imgsz640, epochs10, single_clsFalse, # 是否是单类别检测 batch8, close_mosaic10, workers0, optimizerMuSGD, ampTrue, projectruns/train, nameyolo26-LRSA, )结果
