论文题目LET FEATURES DECIDE THEIR OWN SOLVERS: HYBRID FEATURE CACHING FOR DIFFUSION TRANSFORMERS让特征决定自己的求解器扩散转换器的混合特征缓存会议ICLR 2026摘要扩散变压器在图像和视频合成中提供最先进的保真度但其迭代采样过程仍然是一个主要瓶颈因为每个时间步的变压器正向传递成本很高。为了缓解这一问题特征缓存已经成为一种无需训练的加速技术可以重复使用或预测隐藏的表示。然而现有的方法往往在所有特征维度上应用统一的缓存策略而忽略了它们的异质动态行为。因此我们采用了一种新的视角将隐藏特征演化建模为跨维度的ODE的混合并引入了HyCa一个受混合ODE解算器启发的缓存框架它应用了按维度缓存的策略。Hyca在不同的域和模型上实现了近无损的加速其中流量加速比为5.55倍浑源视频加速比为5.56倍Qwen-Image和Qwen-Image-编辑无需重新训练的加速比为6.24倍。让特征自己选择求解器HyCa 如何以 6× 加速扩散模型推理一、背景扩散模型推理的效率瓶颈近年来以 FLUX、HunyuanVideo、Qwen-Image 为代表的扩散 TransformerDiffusion TransformerDiT在图像和视频生成领域取得了令人印象深刻的成果。然而这类模型的推理过程天然存在一个显著缺陷——迭代采样。每生成一张图像或一段视频模型需要完成数十次甚至上百次 Transformer 前向计算单次推理就可能消耗数分钟乃至更长的 GPU 时间严重制约了其在延迟敏感场景下的部署。针对这一问题学界主要从两个方向努力减少采样步数如 DDIM、DPM-Solver、蒸馏方法等通过算法改进缩短生成所需步数降低每步计算开销如模型剪枝、量化、Token 压缩以及本文关注的特征缓存Feature Caching。特征缓存的核心思路十分直观扩散模型在相邻时间步之间隐层特征的变化幅度往往很小。若能复用或预测这些特征便可跳过高昂的前向计算从而实现无需重新训练的免费加速。DeepCache 最早在 U-Net 骨干上验证了这一思路之后 FORA、ToCa、TaylorSeer 等方法将其扩展到 Transformer 架构并取得了不错的加速效果。然而现有的特征缓存方法存在一个共同的隐含假设所有特征维度遵循同一套动力学规律因此可以用同一种策略统一处理。这篇论文的作者质疑了这一假设并给出了令人信服的反证。二、关键发现特征空间并非铁板一块2.1 两类截然不同的特征维度论文作者对 DiT 隐层特征的每个维度随时间步的演化轨迹进行了细致分析并通过无监督聚类将其分为两大类Cluster 1振荡型轨迹剧烈波动呈现出多峰或刚性特征对求解器的稳定性要求很高Cluster 2平滑型轨迹平缓连续适合用高阶多项式或线性外推方法预测。论文 Figure 2(a)(b)特征轨迹的两类聚类结果——(a) 振荡型轨迹(b) 平滑型轨迹这一发现直接揭示了现有方法的局限用同一个求解器如统一的线性外推或 Taylor 展开处理两类行为迥异的维度必然对其中一类效果不佳进而导致预测误差积累、图像质量下降。2.2 聚类结果的惊人稳定性更重要的是论文发现这种聚类分布具有跨 Prompt、跨分辨率、跨时间步的高度一致性。作者用调整兰德指数Adjusted Rand IndexARI来量化聚类结果的稳定性——ARI 大于 0.8 意味着两次聚类结果高度吻合。在 HunyuanVideo 和 Qwen-Image 上的实验表明绝大多数情况下 ARI 均超过 0.8。论文 Figure 2(c)(d)ARI 分布直方图——在 HunyuanVideo 和 Qwen-Image 上跨 Prompt 和跨时间步的 ARI 绝大多数超过 0.8聚类高度稳定这一稳定性具有极其重要的工程意义只需在部署前对单个 Prompt 的少数几个时间步做一次离线分析就能确定整个模型的最优缓存策略并在此后所有推理中复用。三、方法HyCa 框架基于上述发现论文提出了HyCaHybrid Caching一个将特征缓存建模为混合 ODE 求解的统一框架。3.1 理论基础特征演化即 ODE 求解扩散模型的反向去噪过程可以用概率流 ODE 描述。论文指出DiT 的隐层特征随时间步 t 的演化满足虽然没有解析表达式但我们可以在离散时间步网格上采样特征轨迹进而用数值积分方法近似求解下一时间步的特征值不同特征维度对应不同的局部动力学特性因此需要为它们匹配不同的数值求解器这正是混合 ODE 求解的核心思想。3.2 离线预处理阶段HyCa 的离线阶段只需对单条 Prompt 的少数时间步运行一次探针推理具体包含以下步骤第一步提取动力学指标。对每个特征维度 d计算刻画其时间演化行为的描述向量涵盖一阶差分、二阶差分、能量、抖动比Jerk ratio、曲率比Curvature ratio、谱平坦度Spectral flatness等多种指标。第二步K-Means 聚类。基于上述指标对所有维度进行聚类将动力学行为相似的维度划入同一簇。第三步为每个簇选最优求解器。HyCa 维护一个多元求解器池包含Runge-KuttaRK适合平滑曲线的高阶显式方法Adams-BashforthAB多步显式线性方法Taylor FormulaTF基于泰勒展开的多项式外推Backward Differentiation FormulaBDF适合刚性问题的隐式方法Adams-MoultonAM多步隐式预测-校正方法。对每个簇分别运行各候选求解器比较其预测值与真实计算值之间的误差选择误差最小的求解器由于聚类结果跨 Prompt 稳定这一步骤只需执行一次其结果便适用于后续所有推理请求。论文 Figure 3(a)HyCa 离线预处理流程——从特征空间提取动力学指标聚类后为每个簇匹配误差最小的求解器3.3 推理阶段在实际推理中HyCa 根据离线阶段确定的维度→簇→求解器映射对每个时间步直接用对应求解器预测跳过步的特征值而无需执行实际的 Transformer 前向计算从而实现大幅加速。论文 Figure 3(b)HyCa 推理流程——三个簇分别使用 RK、AM、TF 预测器对应维度跳过实际计算整个范式可以概括为One-Time Choosing, All-Time Solving一次选择永续求解——离线开销极低推理阶段零额外成本。论文 Figure 6FLUX.1-dev 和 HunyuanVideo 上跨不同 Prompt、分辨率、时间步的聚类结果可视化——Silhouette Score 稳定在 0.72~0.73聚类高度一致四、实验结果4.1 实验设置论文在四款代表性模型上进行评测文生图FLUX.1-dev、Qwen-Image文生视频HunyuanVideo图像编辑Qwen-Image-Edit同时在蒸馏版本FLUX.1-schnell4步和Qwen-Image-Lightning8步上验证兼容性。评测指标涵盖文生图ImageReward感知真实性、CLIP Score文本对齐、PSNR / SSIM / LPIPS保真度采用 DrawBench 的 200 条固定 Prompt文生视频VBench 多维度人类对齐评分图像编辑GEdit-Bench 的 SC语义一致性、PQ感知质量、OS综合得分。4.2 文生图Qwen-Image论文 Table 1Qwen-Image 上各方法的加速与质量对比在三个压缩级别下HyCa 均取得最优速度-质量平衡N32.78× FLOPsImageReward 达 1.2363比 TaylorSeer 的 1.0685 高出约 15.7%PSNR 达 30.42N65.00× FLOPsImageReward 1.1939远超 FORA0.7767和 TaylorSeer0.9483N86.25× FLOPs6.24× 延迟加速ImageReward 仍维持 1.0811而 FORA 已跌至 0.4781ToCa 仅有 0.6326。这充分体现了 HyCa 在激进加速设定下对图像质量的稳健保持能力。4.3 文生图FLUX.1-dev论文 Table 2FLUX.1-dev 上各方法的加速与质量对比FLUX 上的结果同样亮眼。以最具竞争力的几个对比点为例N54.16× FLOPsImageReward 1.0066超过原始模型0.9898同时优于 TaylorSeer0.9857 3.84×和 DuCa0.9955 3.80×N65.00× FLOPsImageReward 1.0014仍与原始模型持平而 TeaCache 已降至 0.8683N75.55× FLOPsImageReward 0.9895几乎与原始模型相同0.9898而 ToCa 此时仅为 0.7155。论文 Figure 45.5× 加速下各方法在 FLUX 上的视觉对比——HyCa 的颜色、纹理和细节保持最为出色4.4 文生视频HunyuanVideo论文 Table 3HunyuanVideo 上各方法的加速与 VBench 得分对比文生视频场景下HyCaN6实现5.56× FLOPs 加速VBench 得分达80.25与原始模型80.66仅相差 0.5%。而 TaylorSeer 只达到 4.16× 加速且得分 79.93TeaCache 得分降至 79.36DuCa/ToCa 下滑更明显。在所有方法中HyCa 是唯一同时达到最高加速比和最高质量得分的方法。4.5 图像编辑Qwen-Image-Edit论文 Table 4Qwen-Image-Edit 上各方法的加速与 GEdit-Bench 得分对比图像编辑任务上N65.00× FLOPs中文 Overall Score 7.50英文 7.45不仅超越所有竞争方法甚至优于原始模型7.41 CNN86.24× FLOPs5.57× 延迟加速仍保持领先7.44 CN / 7.42 EN而 TaylorSeer 已跌至 6.31。论文 Figure 5Qwen-Image-Edit 上不同缓存方法的视觉对比风格转换、天气变化、抽象色块三类编辑任务4.6 蒸馏模型兼容性论文 Table 5蒸馏模型 FLUX.1-schnell 和 Qwen-Image-Lightning 上的对比结果特征缓存方法在蒸馏模型上往往大幅失效原因在于蒸馏将采样步数从 50 步压缩到 4~8 步特征轨迹变得更加离散和振荡依赖平滑演化假设的方法无从下手。HyCa 的求解器池中包含专为振荡/刚性场景设计的隐式方法BDF、AM因此能够有效适配。实测结果FLUX.1-schnell4步HyCa 将延迟从 2.34s 压缩至 1.16s相对原始 50 步模型达到24.4× 加速ImageReward 提升至 0.9592PSNR 高达 34.37SSIM 0.928LPIPS 仅 0.056Qwen-Image-Lightning8步延迟从 13.35s 降至 6.68s12.2× 加速ImageReward 1.2201各感知指标基本与蒸馏基线持平。五、消融分析5.1 为什么是维度级分配而非 Token 级HyCa 选择在特征维度层面而非 Token 层面进行聚类和求解器分配核心原因在于稳定性维度级聚类结果跨 Prompt、分辨率、时间步几乎不变一旦确定即可永久复用Token 级分配随 Prompt 和分辨率变化需要在推理中频繁重新选择引入额外开销。论文 Figure 7(a)(b)不同加速比下 HyCa 与 ToCaToken 级、TaylorSeer统一策略的 ImageReward 对比——HyCa 在 Qwen-Image 和 FLUX 上均稳定领先5.2 混合求解器的必要性消融实验表明单独使用求解器池中的任何一种求解器RK、AB、TF、BDF、AM其 ImageReward 和预测误差均劣于 HyCa。混合策略使不同维度能够匹配最适合自身动力学特性的求解器从而在整体上取得更优的速度-质量平衡。论文 Figure 7(c)(d)消融结果——HyCa 的 ImageReward 始终高于所有单一求解器基线c预测误差也更低d且优势随跳步间隔增大而扩大约 2×六、总结HyCa 的核心贡献可以用一句话概括用正确的求解器处理正确的特征维度并且只需确定一次。具体而言问题洞察首次系统揭示 DiT 特征空间的维度异构性并证明聚类结构的输入不变性方法设计将特征缓存建模为混合 ODE 求解构建多元求解器池通过一次性离线优化完成维度→求解器的全局分配实践价值在无需重新训练的前提下跨文生图、文生视频、图像编辑任务实现 5.5~6.2× 加速配合蒸馏可达 24.4×且质量损失极小甚至有所提升。HyCa 提供了一个原则性强、可扩展的高效扩散推理基础框架其混合策略 输入不变性的思路也为后续工作提供了重要启示。