论文基本信息项目内容标题ST-ReP: Learning Predictive Representations Efficiently for Spatial-Temporal Forecasting中文标题时空预测的高效学习预测表示发表会议AAAI 2025 (Association for the Advancement of Artificial Intelligence)arXivarXiv:2412.14537v1 [cs.LG], 2024年12月19日作者单位同济大学嵌入式系统与服务计算教育部重点实验室基金支持国家重点研发计划 (2022YFB4501704)、国家自然科学基金 (72342026)代码https://github.com/zhuoshu/ST-ReP一、研究背景与核心挑战1.1 时空预测的重要性时空预测 (Spatial-Temporal Forecasting) 广泛应用于交通领域— 道路流量预测 (PEMS系列)能源领域— 风电功率预测 (SDWPF)气候领域— 温度/湿度预测 (WeatherBench)1.2 自监督学习在时空数据上的三大挑战论文指出了现有自监督方法应用于时空数据 (STS) 时的关键问题挑战具体描述根源① 对比学习的负样本选择困难时空数据的变量具有同质性如交通网络中多个传感器测同一类数据将不同变量视为负样本会产生大量假阴性变量同质性导致难以区分正负样本② 忽视空间相关性现有重建方法主要关注单变量时序特征忽略了变量间的空间拓扑关系重建目标仅针对个体时间序列③ 效率与可扩展性不足时空模型需同时处理所有变量序列作为单个样本计算成本随节点数急剧增长高复杂度编码结构 多视图增强图1 直观对比了三种表示学习范式(c.1) 对比学习: 需要构造正/负样本对 → 易受同质性误导 (c.2) 掩码重建: 仅重建当前值 → 忽略空间关系 (c.3) ST-ReP (本文): 重建当前值 预测未来值 → 显式建模空间关系二、核心贡献贡献创新点① 重建预测联合预训练框架将当前值重建与未来值预测整合到统一框架强制表示具有预测能力② C-E-D 时空编码器压缩-提取-解压三明治结构用线性复杂度捕获时空关系③ 多尺度时间分析损失在损失层面引入多时间尺度不增加编码计算开销④ 轻量化高语义密度表示维度仅64对比方法320下游仅需线性回归即可达到SOTA三、方法详解3.1 整体框架 (图2)┌─────────────────────────────────────────────────────────┐ │ 预训练阶段 (Pre-training) │ ├─────────────────────────────────────────────────────────┤ │ 输入: X^curr (当前时空序列, 带掩码) │ │ ↓ │ │ ST-Embedding (投影 时空嵌入) │ │ ↓ │ │ ST-Encoder (C-E-D结构) │ │ ↓ │ │ 表示 Z ∈ R^{N×T×d} │ │ ↙ ↘ │ │ Decoder_recon Decoder_pred │ │ (重建器) (预测器) │ │ ↓ ↓ │ │ X̂^curr X̂^tgt │ │ (重建当前值) (预测未来值) │ │ ↘ ↙ │ │ 多尺度损失 L_MS L_recon L_pred │ ├─────────────────────────────────────────────────────────┤ │ 下游任务阶段 (Downstream) │ ├─────────────────────────────────────────────────────────┤ │ 输入: X (完整历史序列) │ │ ST-Embedding → ST-Encoder → 表示 r_{:,t} │ │ ↓ │ │ 线性回归 (Ridge Regression) → 预测 Ŷ │ └─────────────────────────────────────────────────────────┘3.2 ST-Embedding 模块两步投影策略Projector₁(两层MLP ReLU): 将原始数据映射到隐藏空间添加时空嵌入:EtodE^{tod}Etod— 时间-of-day 嵌入 (周期为T的可学习参数)EdowE^{dow}Edow— 星期几嵌入 (周期为7的可学习参数)EsptE^{spt}Espt— 空间索引嵌入 (变量身份标识)Projector₂(一层等宽卷积): 增强语义密度关键设计即使掩码部分时空嵌入仍然存在模拟真实数据缺失场景。3.3 C-E-D 时空编码器 (核心创新)这是论文最核心的架构设计如图3和图4所示┌─────────────────────────────────────────────────────────┐ │ Compression-Extraction-Decompression │ │ (压缩-提取-解压) │ ├─────────────────────────────────────────────────────────┤ │ │ │ E ∈ R^{N×T×d} │ │ ↓ │ │ ┌─────────────┐ Temporal Compression (时序压缩) │ │ │ Comp_tpr │ MLP: T → p (p为小常数, 如3) │ │ │ R^{N×T×d} → R^{N×p×d} │ │ └──────┬──────┘ │ │ ↓ │ │ ┌─────────────┐ Spatial Extraction (空间提取) │ │ │ 线性注意力 │ 基于Proxy Tensor的MHA │ │ │ R^{N×p×d} → R^{N×p×d} │ │ └──────┬──────┘ │ │ ↓ │ │ ┌─────────────┐ Temporal Decompression (时序解压) │ │ │ Decomp_tpr │ MLP: p → T │ │ │ R^{N×p×d} → R^{N×T×d} │ │ └──────┬──────┘ │ │ ↓ │ │ Z ∈ R^{N×T×d} (残差连接: Z Output E) │ │ │ └─────────────────────────────────────────────────────────┘空间提取的线性注意力机制 (图4):HpMHA1(Pw,Ecomp,Ecomp)∈Rm×dH^p \text{MHA}_1(P_w, E^{comp}, E^{comp}) \in \mathbb{R}^{m \times d}HpMHA1(Pw,Ecomp,Ecomp)∈Rm×dH′MHA2(Ecomp,Hp,Hp)Ecomp∈RN×dH \text{MHA}_2(E^{comp}, H^p, H^p) E^{comp} \in \mathbb{R}^{N \times d}H′MHA2(Ecomp,Hp,Hp)Ecomp∈RN×dHFFN(H′)H′∈RN×dH \text{FFN}(H) H \in \mathbb{R}^{N \times d}HFFN(H′)H′∈RN×d其中Pw∈Rm×dP_w \in \mathbb{R}^{m \times d}Pw∈Rm×d是可学习的Proxy Tensor代理张量作为查询向量MHA₁: Proxy 作为Query压缩特征作为Key/Value → 提取全局语义摘要MHA₂: 压缩特征作为QueryProxy输出作为Key/Value → 还原到原始token数复杂度分析标准自注意力:O(N2)O(N^2)O(N2)Proxy注意力:O(N⋅m)O(N \cdot m)O(N⋅m)其中m8m8m8为常数 →线性复杂度3.4 重建与预测联合损失三个损失函数损失目标作用重建损失Lrecon\mathcal{L}_{recon}Lrecong(X^curr,Xcurr)g(\hat{X}^{curr}, X^{curr})g(X^curr,Xcurr)理解当前数据的内在模式预测损失Lpred\mathcal{L}_{pred}Lpredg(X^tgt,Xtgt)g(\hat{X}^{tgt}, X^{tgt})g(X^tgt,Xtgt)强制表示具有预测未来能力多尺度损失LMS\mathcal{L}_{MS}LMS∑k∈Ωg(AvgPoolk(X^full),AvgPoolk(Xfull))\sum_{k \in \Omega} g(\text{AvgPool}_k(\hat{X}^{full}), \text{AvgPool}_k(X^{full}))∑k∈Ωg(AvgPoolk(X^full),AvgPoolk(Xfull))捕获多粒度时间信息总损失LtotalαLreconβLpredγLMS\mathcal{L}_{total} \alpha \mathcal{L}_{recon} \beta \mathcal{L}_{pred} \gamma \mathcal{L}_{MS}LtotalαLreconβLpredγLMS关键洞察多尺度分析仅在损失计算中引入不增加编码器复杂度。使用不同大小的平均池化核Ω{2,4,8,16}\Omega \{2, 4, 8, 16\}Ω{2,4,8,16}提取粗粒度时间信息。四、实验验证4.1 数据集数据集领域节点数样本数时间间隔CV*难度PEMS04交通30716,9925min58.82中高PEMS08交通17017,8565min46.75中等CA交通8,60035,04015min60.10大规模SDWPF能源13435,28010min121.97最高Humidity气候2,0488,7841hour17.19中等Temperature气候2,0488,7841hour2.19低(趋势强)*CV 变异系数反映数据波动性越高越难预测4.2 对比方法 (12个基线)类别方法特点朴素方法HL, Ridge Reg.基准对照端到端DLinear, iTransformer直接预测需为每个horizon重新训练自监督MTSTS2Vec, CoST, T-Rep, TimesURL, PatchTST仅时序无空间建模自监督STSST-SSL, STEP, GPT-ST时空联合建模4.3 核心结果 (Horizon12, 表2)方法PEMS04 MSE/MAEPEMS08 MSE/MAESDWPF MSE/MAETemp MSE/MAEHumidity MSE/MAEHL0.095/0.2000.070/0.1730.416/0.3780.013/0.0620.350/0.384iTransformer0.061/0.1550.044/0.1320.160/0.2250.006/0.0460.237/0.325T-Rep0.058/0.1560.042/0.1310.179/0.2790.005/0.0430.217/0.326STEP0.054/0.1590.047/0.1560.171/0.279OOMOOMST-ReP (本文)0.044/0.1340.033/0.1200.167/0.2670.005/0.0460.226/0.335关键发现PEMS04/08: ST-ReP 比次优自监督方法平均提升19.97% (MSE) / 11.25% (MAE)SDWPF: 提升0.60% / 1.87%CV最高数据集提升空间有限但仍是最佳气候数据集: T-Rep略优趋势主导T-Rep的时间模块更强CA数据集:所有基线OOM仅ST-ReP可运行→ 证明可扩展性4.4 效率分析 (表3)模型PEMS04 (Fp/Ttrn)Humidity (Fp/Ttrn)CA (Fp/Ttrn)ST-SSL2.87 GB / 28.6s9.76 GB / 87.4sOOMGPT-ST4.79 GB / 34.2s23.58 GB / 50.7sOOMST-ReP1.57 GB / 24.6s6.12 GB / 25.5s23.58 GB / 458.5s内存最小: 比ST-SSL节省45%比GPT-ST节省67%速度最快: PEMS04上比ST-SSL快14%Humidity上快50%唯一可扩展至8600节点: 线性复杂度设计的关键价值4.5 消融实验 (图5)变体修改结论w/o ST-Encoder去掉C-E-D编码器仅用静态嵌入性能仍具竞争力说明损失设计本身很强w/o Prediction去掉预测分支性能下降证明预测目标的重要性w/o Reconstruction去掉重建分支性能下降证明重建目标的基础作用w/o Multi-scale Loss去掉多尺度损失长horizon性能下降明显关键洞察即使去掉ST-Encoder模型仍能与最佳基线竞争 →损失函数设计本身提供了强监督信号4.6 超参数敏感性 (图6-7)时序压缩空间大小 p (图6):p3 时性能最优p 过小 → 信息丢失p 过大 → 引入冗余p为常数即可不随数据规模变化空间代理张量大小 m (图7):m 从1到64变化性能几乎无显著波动说明模型对 m 不敏感固定 m8 即可增加 m 仅增加计算成本不提升性能五、与第一篇论文 (TII-CFB) 的对比分析维度TII-CFB (工业应用导向)AAAI-ST-ReP (方法创新导向)问题设定特定工业过程 (CFB床温)通用时空预测任务数据特点15个操作变量强物理耦合数百至数千节点大规模图方法类型端到端监督学习自监督预训练 线性下游空间建模GCN (基于Pearson相关)线性Proxy Attention (可学习)时间建模LSTM时序压缩-解压 (MLP)核心创新动态边权重 多目标损失C-E-D结构 重建预测联合可扩展性小规模工业系统大规模时空网络 (8600节点)工程价值高 (直接部署)中 (需预训练下游两阶段)学术价值中 (应用创新)高 (范式创新)两篇论文的互补性TII-CFB 展示了工业场景中时空建模的必要性和有效性ST-ReP 展示了大规模场景中高效时空表示学习的可能性两者都强调了空间关系在时空预测中的核心地位六、结论与展望主要结论重建预测联合预训练优于纯重建或纯对比学习C-E-D结构在保持线性复杂度的同时有效捕获时空关系轻量化表示(d64) 即可达到SOTA语义密度高多尺度损失在不增加编码开销的前提下提升长程预测能力未来工作探索不同时空挖掘模型与自监督学习的融合策略研究预训练输入/输出长度对下游任务的影响提升表示在多样化下游任务上的泛化能力技术启示“在资源受限场景下学习紧凑且语义密集的表示比追求复杂模型更有价值”ST-ReP 的核心哲学与当前大模型趋势形成有趣对比在特定领域如时空预测通过精巧的架构设计和损失函数小模型好表示可以超越大模型端到端训练。
