Apache Fluss 成功孵化毕业开启实时数据新篇今年 7 月Apache Fluss 的毕业提案在 Apache 孵化器项目管理委员会IPMC投票中全票通过随后获 Apache 软件基金会董事会批准。如今Apache 软件基金会正式宣布 Apache Fluss 孵化毕业成为 Apache 顶级项目TLP。这一里程碑标志着 Fluss 迈入新发展阶段也将推动流式存储、实时湖仓与 AI 数据基础加速融合为实时数据基础设施发展开启新的篇章。Apache Fluss 成长历程回顾Fluss 最早由阿里云 Flink 团队开发旨在解决流存储在分析场景中长期存在的流批一体存储、Flink 计算成本以及链路复杂等问题为实时分析构建面向湖仓时代的统一流式存储。其名字取自 Flink Unified Streaming Storage在德语中意为 河流寓意数据像河流一样持续流动并最终汇入开放的 Lakehouse。经过一年多的阿里巴巴内部打磨和大规模生产实践Fluss 于 2024 年 11 月在 Flink Forward Asia 2024 上海站正式宣布开源。2025 年 6 月Fluss 进入 Apache 软件基金会孵化器从阿里巴巴的技术探索成长为全球开发者共同建设的开源项目。孵化期间Fluss 社区的贡献者规模和项目关注度持续增长。目前社区已汇聚 157 位贡献者GitHub 收获 2,000 Stars合并的 Pull Request 数达 1700 多个形成了活跃的开源社区。与此同时Fluss 已在阿里巴巴、小红书、京东、蚂蚁集团、Fresha、爱奇艺等公司的生产环境中部署落地广泛应用于日志采集与分析、实时数仓、搜索推荐、索引链路和实时特征服务等场景帮助企业减少跨系统的数据复制降低实时数据处理与存储成本提升湖仓数据新鲜度和分析效率。从 Lakehouse 到 Lakestream湖流一体支撑 Agentic 时代在 Agentic 时代AI 从 Chatbot 走向 Agent数据成为 Agent 判断与行动依赖的实时上下文。传统 Lakehouse 擅长沉淀和治理海量历史数据但难以满足秒级乃至毫秒级的数据新鲜度要求。作为 Lakestream 湖流一体架构的开源先驱Apache Fluss 在数据湖之上构建湖仓原生的实时流存储层将最新数据与长周期历史统一起来为 AI Agent 提供新鲜而完整的上下文支撑生产级的实时决策与行动。Apache Fluss 通过以下核心能力为传统 Lakehouse 增加实时流存储层构建 Lakestream 湖流一体底座Lakestream 湖流一体长期历史数据保存在 Paimon、Iceberg、Hudi、Lance 等开放数据湖中最新数据由 Fluss 实时承载通过 Union ReadAgent 可以从统一表视图中访问从历史到最新的数据避免上下文割裂。高效列式流存储流存储底层基于 Apache Arrow 列存实现支持服务端列裁剪、条件下推、分区下推能力以更少的数据读取和传输支撑高效流式分析与实时分析。实时更新与低延迟查询主键表原生支持流式更新、部分更新、Changelog、KV 查询和 Delta Join让同一份实时数据同时服务流式计算与点查。面向 Agent 的实时上下文统一承载持续更新的实时状态与长周期历史数据为 AI Agent 提供新鲜、完整、低延迟且可信的上下文支撑实时决策与行动。开放生态与多语言访问可与 Apache Flink、Apache Spark、StarRocks 等计算引擎协同并提供 Java、Rust、Python 和 C 客户端方便实时分析与 AI 应用接入。毕业寄语多方期待与展望在进入 Apache 软件基金会一年时间里Fluss 建立了活跃的全球贡献者社区获得众多领先企业和开源生态伙伴的广泛关注与支持。众多业内人士纷纷送上祝贺阿里云开源大数据负责人王峰表示祝贺 Apache Fluss 正式毕业。其湖流一体架构打通数据流与数据湖为 Lakehouse 注入实时数据能力已在阿里巴巴核心电商场景大规模生产落地。期待 Fluss 携手全球社区成为实时 Lakehouse 的开放数据底座。ASF Member、Apache Fluss 孵化 Champion 及导师李钰称衷心祝贺 Apache Fluss 社区毕业。孵化期间Fluss 发布多个高质量版本完善流式存储能力营造开放社区氛围。祝愿其成长为世界级开源项目推动相关技术发展。Apache Fluss PMC Chair、项目发起人伍翀提到Fluss 项目发展速度和影响力超出预期。毕业是新开始相信它会成为 Lakehouse 架构的实时数据底座。Ververica CTO Igor Kersic 表示很高兴看到 Fluss 毕业成为顶级项目它将开启流式领域的新进化解锁更多商业价值有望成为实时 AI 时代的标准。LinkedIn Principal Staff Software Engineer Jiangjie Qin 祝贺 Fluss 毕业认为其在数据基础设施生态中价值独特成为顶级项目是水到渠成祝愿其成为标杆项目。Apache Paimon PMC Chair 李劲松称Apache Fluss 为湖上带来秒级流动能力做到了实时又统一恭喜毕业。小红书 Fluss Kafka 负责人刘焓表示小红书作为早期使用者和贡献者见证了社区成长。Fluss 的能力在小红书核心场景发挥重要价值期待社区持续繁荣。Fresha VP of Architecture and Data Engineering Emiliano Mancuso 提到Apache Fluss 在 Fresha 生产环境部署其能力帮助简化数据移动期待参与其后续发展。淘宝闪购资深大数据专家王沛斌称Fluss 重新定义实时数据基础设施范式淘宝闪购通过它解决痛点期待其在 AI ✖️ Data 时代释放更大价值。京东零售实时数据平台负责人韩飞表示京东积极参与 Fluss 技术实践与社区共建期待其坚持开放创新帮助企业释放数据价值。Apache Member、蚂蚁集团实时智能负责人王鑫多佛提到Fluss 成长为重要开源力量蚂蚁积极推进其落地期待它成为更坚实可信的基础设施。毕业开启新旅程持续深耕湖仓原生流式存储成为 Apache 顶级项目后Fluss 将继续深耕湖仓原生流式存储为流处理提供高效、可复用的存储基础让 Lakehouse 具备实时能力为 AI 应用提供开放的数据底座。感谢每一位贡献者、用户与伙伴也感谢 Apache Fluss 孵化器导师的指导与支持。无论想将 Fluss 应用于实时分析与 AI 场景还是了解更多信息、参与项目贡献现在都是加入社区的好时机。项目官网为 https://fluss.apache.org/ GitHub 代码仓库为 https://github.com/apache/fluss 贡献指南为 https://fluss.apache.org/community/how-to-contribute/overview/ 。阿里云湖流一体解决方案助力基于 OpenLake 理念阿里云提供全托管的流存储 Fluss DLFPaimon EMR StarRocks 的全模态、多引擎的湖流一体解决方案打通实时数据流动、湖仓存储与高性能分析。DLFPaimon提供开放的全模态湖仓数据底座流存储 Fluss 负责数据的实时流动将湖仓数据新鲜度提升至秒级EMR StarRocks 则提供低延迟的实时分析能力。三者协同帮助企业构建开放、低延迟、高性能的 Agentic Lake。实训与试用活动推荐面对海量电商评论Flink 实训教你实时对评论进行话题分类自动打标评论中的关注点实现高性能实时数据分析与处理。使用 Flink AI 参照教程完成实操根据任务完成进度有机会获得 Flink 定制洗漱包、阿里云保温杯等奖品。复制链接或扫描二维码即可免费试用阿里云 Serverless Flink体验新一代实时计算平台的强大能力。
)
