Open-KNEAD基于智能体拆解的知识驱动膳食营养估算框架arXiv:2607.12911v1 [cs.CV] 2026年7月14日摘要多模态大语言模型MLLM已广泛用于膳食图像营养评估领域以往研究认为检索增强知识库可显著提升营养估算精度。但本文发现2026年新一代原生MLLM直接输出的全局营养结果已达到甚至超越完整检索增强流水线的效果。由此引出核心问题既然检索不再提升整体热量估算精度那它能否提供临床营养师真正需要的两大核心价值——精准食材分量、可溯源逐条食材审计记录本文在单张无标注餐食图像、本地离线推理、模型零微调三大硬性约束下提出Open-KNEAD知识驱动智能体框架通过营养感知选择性检索将图像拆解出的每一类食材映射至美国FNDDS标准营养数据库编码生成完整可审计食材明细记录。实验覆盖美、澳、中三大菜系、两类开源多模态大模型在绝大多数数据集模型组合下Open-KNEAD食材分量估算精度优于直接预测与传统检索基线。内置食谱先验模块可还原图像不可见烹饪油脂、酱料等隐藏热量解决非美式菜系系统性低估问题。在营养师标注ACETADA数据集上本地开源Open-KNEAD的分量估算误差分别比GPT-5.5、Gemini两大闭源前沿模型低约30%、53%且全程餐食图像保存在本地硬件不对外上传。本文完整开源Open-KNEAD框架与适配智能体的FNDDS营养知识库。关键词多模态大模型膳食营养估算智能体拆解检索增强本地离线推理FNDDS数据库食谱先验1 引言膳食评估与饮食追踪依赖精准食物营养、分量估算当前主流方案依托多模态大模型解析餐食照片。该任务两大核心难点① 单目图像估算食材重量② 还原图像不可见烹饪辅料食用油、炼乳等带来的额外热量。1.1 现有检索增强方案失效2023年的经典DietAI24方案证明检索营养数据库可大幅提升估算精度但本文验证2026年新一代MLLM直接全局预测仅输入图像无拆解、无检索效果持平甚至优于传统RAG流水线。但直接预测存在致命缺陷输出仅一串热量、宏量营养素数字无逐条食材溯源记录无法给营养师提供可审计明细也无法补充图像看不见的烹饪添加成分。1.2 临床落地三大硬性约束本文将以下三点作为系统不可妥协设计要求极低用户操作成本仅需拍摄单张餐食照片无需尺寸参照物、多角度拍摄、深度传感器、人工标注可解释可审计输出食材-数据库编码-重量-营养逐条明细营养师可逐条核验数据隐私安全采用开源权重模型本地离线推理餐食图像不发送第三方商业API。1.3 Open-KNEAD整体思路将图像拆解为全部可见食材食谱先验模块推理菜品常规隐藏烹饪辅料油、糖、酱汁对每类食材做营养感知选择性检索匹配FNDDS标准编码仅在候选食材营养差异显著时才调用模型筛选节约推理Token按菜系路由融合全局直接预测、智能体拆解两套结果兼顾热量精度与可溯源明细。1.4 核心创新贡献Open-KNEAD零训练本地智能体框架首个兼顾本地离线部署、食材可审计溯源的膳食估算智能体在营养师验证数据集分量误差超越闭源商用大模型智能体专用FNDDS知识库扩充稀疏稠密双检索索引、品类营养离散度统计指标全部开源无泄露食谱先验模块推理图像不可见烹饪辅料修正跨菜系热量系统性低估。图1 Open-KNEAD总流程输入单张本地餐食图像双推理路径并行最终融合输出全局营养逐条可审计食材记录路径A直接预测单次模型调用输出整餐热量、蛋白质/脂肪/碳水、总重量路径B智能体拆解检索拆解可见食材→食谱先验补隐藏辅料→检索匹配FNDDS编码→逐条汇总营养路由融合按菜系选择最优热量来源分量、审计记录固定取自路径B。图2 中式菜品完整推理链路示例Gemma-MoE模型图像拆解可见食材苦苣、花生、炒肉、芋头总可见热量378kcal食谱先验补充菜籽油、香油、大蒜、酱油等隐藏烹饪配料新增328kcal合并后总估算706kcal贴近真实标注727kcal。2 相关工作膳食图像营养估算分为三大技术路线Open-KNEM属于多模态大模型智能体检索分支监督回归方案直接图像映射营养数值Nutrition5k、OmniFood8K基线缺陷需要任务专属微调无逐条食材解释几何体积估算双目/单目3D重建估算食物体积缺陷依赖特殊拍摄设备单张手机照片无法落地MLLM检索智能体DietAI24为代表拆解食材数据库检索本文改进点营养感知选择性检索、菜系适配食谱先验、本地离线隐私设计。同类工作对比DietAI24依赖云端闭源GPT-4V无本地部署无隐藏烹饪辅料补偿自提问交互智能体需要用户多轮反馈交互提升用户操作成本纯结构化拆解无知识库可输出食材但无标准营养编码无法标准化审计。3 方法Open-KNEAD完整框架3.1 任务定义与设计约束输入单张餐食图像xxx系统输出结果向量y^(e^,y^pro,y^fat,y^carb,m^,C^)\hat{y}(\hat{e},\hat{y}_{pro},\hat{y}_{fat},\hat{y}_{carb},\hat{m},\widehat{\mathcal{C}})y^(e^,y^pro,y^fat,y^carb,m^,C)e^\hat{e}e^总热量千卡y^pro/y^fat/y^carb\hat{y}_{pro}/\hat{y}_{fat}/\hat{y}_{carb}y^pro/y^fat/y^carb蛋白质/脂肪/碳水总克数m^\hat{m}m^全部可见食材总重量克C^\widehat{\mathcal{C}}C可审计明细集合{(itemi,ci,mi,ni)}\{(item_i,c_i,m_i,\mathbf{n}_i)\}{(itemi,ci,mi,ni)}每条对应食材名称、FNDDS编码、重量、每百克营养向量。约束仅单张无标注图像、开源模型本地推理、全程不微调。两条推理路径并行运行最终路由融合输出。算法1 Open-KNEAD端到端推理流程输入餐食图像x、冻结MLLM模型M、FNDDS知识库K、单轮筛选预算B、歧义阈值τ 1. 路径A直接预测ŷᴬ ← M(x) 2. 图像拆解可见食材集合ℐᵥᵢₛ ← M(x) 3. 食谱先验补充隐藏食材ℐ ℐᵥᵢₛ ∪ Φ·ℛ(食材名称列表) Φ0/1门控无烹饪菜时关闭先验模块 4. 遍历每一个食材i ∈ ℐ 4.1 BM25稀疏稠密检索RRF融合得到Top-K候选编码集合ᵢ 4.2 计算食材营养歧义值Vᵢ 4.3 若Vᵢτ 或筛选预算耗尽直接使用候选加权平均营养 否则调用模型筛选最优编码cᵢ预算B-1 5. 汇总全部食材营养得到路径B结果Ůᴮ、可见食材总重量m̂ 6. 按菜系路由融合ŷᴬ、Ůᴮ输出最终全套估算与审计记录3.2 营养知识库FNDDS扩充版底层数据源为美国农业部FNDDS数据库共约5400条食品条目每条包含编码cjc_jcj、文字描述、每百克营养向量nj\mathbf{n}_jnj。额外扩充三大配套资源全部开源WWEIA品类分组同类食物划分大类预计算每组营养离散度σg\boldsymbol{\sigma}_gσg用于判断候选食材是否存在显著营养差异BM25稀疏检索索引基于食材文本描述词法匹配BGE-M3稠密嵌入索引语义匹配双索引采用 reciprocal rank fusionRRF融合打分。RRF融合打分公式si(c)∑r∈{lex,dense}1κrankr(c),κ60s_{i}(c)\sum_{r\in\{lex,dense\}}\frac{1}{\kappa\mathrm{rank}_{r}(c)},\quad \kappa60si(c)r∈{lex,dense}∑κrankr(c)1,κ60rankr\mathrm{rank}_rrankr为编码在对应检索列表中的排序名次。食材营养歧义指标ViV_iVi核心选择性检索判断依据Vi∑c∈Ciwc ∥(nc−nˉi)⊘σg(i)∥22V_{i}\sum_{c\in\mathcal{C}_{i}}w_{c}\,\big\|(\mathbf{n}_{c}-\bar{\mathbf{n}}_{i})\oslash\boldsymbol{\sigma}_{g(i)}\big\|_{2}^{2}Vic∈Ci∑wc(nc−nˉi)⊘σg(i)22ViV_iVi越高代表候选食材热量、宏量营养素差异越大必须调用模型精准筛选低于阈值则直接加权平均节约大模型调用次数。3.3 路径A全局直接预测单次MLLM调用仅输入图像一次性输出整餐全部营养、总重量无拆解、无检索作为热量预测基线。路径A完整Prompt附录原文你是膳食营养估算助手。观察餐食图片输出整餐全部营养仅返回JSON禁止额外文字 { kcal: 总热量浮点数, protein_g: 总蛋白质克数, fat_g: 总脂肪克数, carb_g: 总碳水克数, portion_g: 总重量, confidence: 0~1置信度, rationale: 简短理由 }3.4 路径B知识驱动智能体拆解核心模块分四步可见食材拆解 → 食谱先验补隐藏辅料 → 选择性检索匹配编码 → 汇总营养1可见食材拆解Prompt你是餐食图像解析工具列出所有可见食材给出预估克重仅输出JSON {items: [{name:食材名,query:检索关键词,portion_estimate_g:重量}]}2食谱先验模块ℛ解决隐形热量低估仅根据拆解出的食材名称推理常规烹饪添加物食用油、酱油、黄油等不使用图像视觉信息杜绝数据泄露纯水果、凉拌生菜等无烹饪菜品自动门控Φ0不额外增加热量。先验模块Prompt见附录。3选择性检索编码匹配对每条食材双索引检索计算歧义值ViV_iVi达到阈值才消耗筛选预算调用模型匹配FNDDS编码单张图片最大筛选轮次B5控制推理成本。筛选Prompt见附录。4营养汇总公式y^B∑i∈Imi100 nci,m^∑i∈Ivismi\hat{\mathbf{y}}^{B}\sum_{i\in\mathcal{I}}\frac{m_{i}}{100}\,\mathbf{n}_{c_{i}},\quad \hat{m}\sum_{i\in\mathcal{I}_{\mathrm{vis}}}m_{i}y^Bi∈I∑100minci,m^i∈Ivis∑mi总重量仅统计可见食材烹饪辅料不计入实物重量仅叠加热量、宏量营养素。3.5 双路径路由融合规则分量m^\hat{m}m^、逐条审计记录C^\widehat{\mathcal{C}}C固定取自路径B直接预测无明细热量/宏量营养素按菜系选择最优路径美式数据集Nutrition5k知识库匹配度高使用路径B食谱先验结果澳大利亚ACETADA数据集FNDDS覆盖度低直接采用路径A全局预测规避品类密度偏差食谱先验仅对中式等高油菜系开启美式生食菜品自动关闭。4 实验设置与结果4.1 实验基础配置1三大评测数据集全部同时具备图像、实测热量、单食材真实标注数据集菜系特点Nutrition5k美国西式餐食FNDDS匹配度高ACETADA澳大利亚营养师人工实测标注跨菜系偏差大OmniFood8K中国大量爆炒、油炸菜品隐藏油脂热量极高其余Food-101、FoodSeg等数据集仅支持分类无精准营养真值无法用于智能体拆解评测。2大模型骨干开源本地模型GemmaE4B/31B/MoE、Qwen9B/35B MoE闭源对比基准GPT-5.5、Gemini仅用于直接预测对比不本地部署。3对比基线Direct单次图像全局直接预测Self-consistency5次自一致性直接预测无知识库结构化拆解仅输出食材不检索标准营养库传统加权RAGDietAI24复现版原始检索筛选流水线4硬件与推理环境vLLM本地推理单张NVIDIA H100所有图像保存在本地不上传任何第三方接口检索索引本地加载无外部数据库调用。评价指标MAE平均绝对误差、pMAE百分比平均误差、严重误差率误差100千卡样本占比。4.2 主实验整体性能Gemma-MoE骨干表1 全数据集主指标越低越好加粗最优| 方法 | Nutrition5k(美)热量MAE | Nutrition5k分量MAE | ACETADA(澳)热量MAE | ACETADA分量MAE | OmniFood(中)热量MAE | OmniFood分量MAE || ---- | ---- | ---- | ---- | ---- | ---- || Direct | 121.9 | 80.2 | 163.5 | 254.1 | 155.2 | 62.4 || Self-consistency | 121.6 | 80.1 | 163.8 | 255.1 | 155.4 | 61.9 || 无知识库拆解 | 111.6 | 71.2 | 162.9 | 174.4 | 165.2 | 45.5 || 传统RAG | 126.3 | 67.7 | 222.7 | 175.4 | 181.6 | 44.6 || DietAI24复现 | 164.9 | 123.7 | 250.6 | 368.7 | 224.6 | 102.0 || Open-KNEAD(本文) | 109.7 | 66.7 | 163.5 | 167.3 | 139.1 | 43.5 |核心结论分量估算15组模型×数据集组合中12组优于直接预测ACETADA营养师数据集本地Gemma-31B Open-KNEAD分量MAE147g比GPT-5.5低30%、比Gemini低53%全程本地隐私推理中式数据集OmniFood食谱先验模块大幅修正油脂低估热量MAE从168.6降至139.1传统DietAI24全基线各项误差全面高于本文框架。图3 所有骨干模型分量误差对比圆点为直接预测横线连接同模型Open-KNEAD结果虚线为两大闭源模型误差线本地开源Open-KNEAD普遍更优。4.3 食谱先验消融实验中式数据集关键增益表2 食谱先验模块消融Gemma-MoE热量MAE| 数据集 | 仅直接预测 | 智能体无先验 | 智能体食谱先验 || ---- | ---- | ---- || Nutrition5k西式无大量隐藏油 | 121.9 | 109.7 | 209.7 || ACETADA | 163.5 | 198.5 | 309.4 || OmniFood中式高油 | 155.2 | 168.6 | 139.1 |结论仅中式菜系开启先验有正向收益西式生食菜品开启反而高估热量因此框架按菜系自动门控开关。4.4 单食材粒度精度图4 横轴无知识库拆解单食材MAE纵轴Open-KNEAD检索后MAE12/15组合落在yx对角线下方证明知识库检索降低单食材估算误差。优势不仅是精度更提供营养师可逐条核验FNDDS标准编码纯拆解方案无法实现临床审计。4.5 模块消融实验Qwen-35B表3 框架组件消融Δ为热量MAE涨幅数字越大效果越差| 变体 | Nutrition5k热量涨幅 | OmniFood热量涨幅 | 单餐平均模型调用次数 || ---- | ---- | ---- || 完整Open-KNEAD | 0 | 0 | 2.8 || 移除歧义筛选永不调用模型 | 26.7 | 6.9 | 1.0 || 移除歧义筛选全部强制筛选 | 1.2 | 0.7 | 3.3 || 仅BM25检索无稠密索引 | 9.9 | -1.3 | 2.9 || 仅稠密检索无BM25 | 6.8 | 4.5 | 2.8 |结论歧义选择性筛选是核心高效组件在极小推理开销下控制估算误差双索引融合缺一不可。5 结论本文提出Open-KNEAD零训练本地膳食营养智能体框架解决当前MLLM直接预测无可审计记录、传统RAG冗余开销大、跨菜系烹饪油脂低估三大痛点。创新智能体分层拆解营养感知选择性检索输出标准化FNDDS食材明细满足临床可解释需求食谱先验模块还原图像不可见烹饪辅料显著提升中式等高油菜系热量估算精度本地开源模型离线运行隐私安全在营养师标注数据集分量误差大幅领先GPT、Gemini闭源大模型配套开源扩充版FNDDS知识库包含双检索索引、品类营养离散度统计工具。未来工作方向适配多视角、带尺寸参照物图像融合3D几何信息进一步降低分量误差动态自适应歧义阈值按菜品类型调整筛选预算扩充非欧美菜系FNDDS补充食材库将Open-KNEAD与单步自适应算力路由结合进一步降低推理Token消耗。附录A 补充材料A.1 全数据集统计总表完整收录食品数据集对比仅Nutrition5k/ACETADA/OmniFood8K同时具备餐食实拍图、实测热量、单食材真值其余数据集仅用于图像分类无法开展智能体拆解评测。A.2 全套Prompt完整原文包含4类模型调用指令路径A直接预测、可见食材拆解、食谱先验生成、候选编码筛选可直接复现实验。A.3 DietAI24完整复现流程原始DietAI24基于GPT-4V本文将其检索筛选逻辑迁移至开源Gemma/Qwen保证公平对照复现代码随开源仓库同步发布。A.4 全模型完整指标表包含Gemma、Qwen全部5个骨干在3数据集下热量、分量、宏量营养素MAE/pMAE以及符号偏差高估/低估统计。A.5 局限性与失效场景知识库以美式食物为主澳洲菜系全局密度存在系统偏差依靠路由切换直接预测补偿遮挡、分层混合菜品单目图像分量误差天然偏高视觉高度相似但营养差异巨大食材易匹配错误食谱先验为统计先验无法识别特殊少油烹饪做法。A.6 开源资源获取完整Open-KNEAD推理代码、扩充FNDDS知识库、评测脚本、数据集处理工具随论文开源包含vLLM本地推理启动脚本BM25BGE-M3双检索索引构建代码三大数据集评测自动化脚本全套Prompt配置文件消融实验一键复现工程。
