189、高效超分:DRRN的递归残差网络与参数共享机制深度剖析 189、高效超分:DRRN的递归残差网络与参数共享机制深度剖析去年有个项目,甲方要求把监控视频里的车牌从48x48放大到192x192,还要能看清数字。我一开始上了个20层的残差网络,参数量直接飙到3M,训练一次要跑两天,结果在边缘设备上推理速度惨不忍睹。后来翻到DRRN这篇论文,发现人家用递归结构把参数量压到了297K,效果还比我那个笨重网络好。今天就把这个“小模型大能力”的机制掰开揉碎讲清楚。从VDSR到DRRN:参数爆炸的困境先说说VDSR。VDSR用了20个卷积层,每个层64个通道,参数量大约在0.6M左右。看起来不多?但你要知道,超分网络里每个卷积层后面都跟着ReLU,梯度在20层里来回传,训练时经常出现梯度消失——我调了三天学习率才稳住。更致命的是,VDSR每个卷积层都是独立的权重,20层就是20组3x3x64x64的卷积核,这还没算bias。DRRN的聪明之处在于:它只保留一组卷积核,然后反复用这组核去处理特征图。就像你只有一把螺丝刀,但可以反复拧不同位置的螺丝。这种参数共享机制直接把参数量砍到了VDSR的一半以下。递归残差单元:一个被重复调用的“函数”DRRN的核心是递归残差单元(Recursive Residual Unit,RRU)。别被名字吓到,本质上就是个带残差连接的卷积块。我习惯把它理解成一个可微分的函数f(x),这个函数内部包含两个卷积层和两个ReLU,外加一个跳跃连接。