Kairos-23M架构深度解析混合大小编码器与DRoPE技术原理解析【免费下载链接】Kairos_23m项目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_23mKairos-23M是一款拥有2300万参数的时间序列基础模型专为跨领域零样本预测设计。它创新性地融合了动态补丁 tokenizer、混合大小编码Mixture-of-Size Encoder和动态旋转位置嵌入DRoPE技术能够高效处理信息密度各异的异构时间序列数据。核心架构概览Kairos-23M 基于 Transformer 架构构建通过三大核心组件实现对时间序列数据的自适应建模动态补丁 tokenizer根据局部信息密度动态调整序列分割粒度混合大小编码器智能选择最优编码尺度以平衡细节捕捉与计算效率DRoPE 位置嵌入将频谱特征与动态补丁策略融合的位置编码机制模型总参数量约2300万在包含3000多亿时间点的 PreSTS 语料库上训练实现了参数效率与预测性能的双重突破。混合大小编码器自适应粒度的序列处理技术原理混合大小编码器Mixture-of-Size Encoder是 Kairos-23M 的核心创新之一。传统时间序列模型通常采用固定长度的滑动窗口处理序列数据这种方式难以适应不同领域数据的信息密度差异高频数据如传感器信号需要细粒度窗口保留细节低频数据如经济指标需要粗粒度窗口捕捉长期趋势Kairos-23M 通过以下机制实现自适应处理多尺度窗口并行提取特征注意力机制动态加权不同尺度特征基于信息熵的粒度选择策略优势表现这种设计带来两大显著优势计算效率对简单序列自动采用大窗口减少 token 数量预测精度对复杂序列自动切换小窗口保留关键细节DRoPE技术动态旋转位置嵌入技术突破动态旋转位置嵌入DRoPE解决了传统位置编码在处理动态补丁序列时的适配问题。其核心改进在于频谱感知根据序列的傅里叶频谱特征调整旋转频率补丁对齐位置编码与动态补丁边界同步变化实例自适应每个序列样本获得专属位置编码参数实现方式DRoPE 通过以下公式动态计算位置嵌入PE(pos, freq) [cos(freq·pos), sin(freq·pos)]其中频率参数freq由序列的频谱特征和补丁划分结果共同决定使模型能更好地捕捉时间序列的周期性和局部相关性。零样本预测能力Kairos-23M 最引人注目的特性是其强大的零样本预测能力无需针对特定领域进行微调即可实现高精度预测。这得益于跨域预训练在 PreSTS 多领域语料库上的广泛学习自适应架构混合大小编码器和 DRoPE 技术对新数据的快速适配知识迁移从高资源领域到低资源领域的知识迁移机制快速开始使用要体验 Kairos-23M 的预测能力可通过以下步骤快速上手克隆项目仓库git clone https://gitcode.com/hf_mirrors/mldi-lab/Kairos_23m基础预测代码示例import torch from tsfm.model.kairos import AutoModel # 加载模型 model AutoModel.from_pretrained( mldi-lab/Kairos_23m, trust_remote_codeTrue ) # 准备输入数据 batch_size, context_length 1, 2048 seqs torch.randn(batch_size, context_length) # 执行预测 forecast model( past_targetseqs.float(), prediction_length96, generationTrue ) # 获取预测结果 print(forecast[prediction_outputs].shape) # (1, 96)更多详细用法请参考项目官方代码库。模型家族与未来发展Kairos 系列目前包含三个型号Kairos-10M轻量级版本适合边缘设备部署Kairos-23M平衡性能与效率的主力型号Kairos-50M高精度版本针对复杂预测任务随着时间序列基础模型的快速发展Kairos 架构将继续优化自适应能力和参数效率为更多领域提供开箱即用的预测解决方案。引用与致谢如果使用 Kairos-23M 进行研究请引用原论文article{feng2025kairos, title{Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models}, author{Feng, Kun and Lan, Shaocheng and Fang, Yuchen and He, Wenchao and Ma, Lintao and Lu, Xingyu and Ren, Kan}, journal{arXiv preprint arXiv:2509.25826v2}, year{2025} }本项目采用 Apache License 2.0 开源协议欢迎社区贡献与反馈。【免费下载链接】Kairos_23m项目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_23m创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
