作者拾光团队 · 智能体工程实践适用平台蚂蚁集团 GPass百宝箱 Tbox 低代码工作流关键词AI 眼镜 · 多模态 Agent · 工作流编排 · 视觉语言模型 · 提示词工程 · 真机调试摘要本文以一个真实落地的 AI 眼镜智能体「拾光」为例完整拆解如何基于蚂蚁GPass百宝箱 Tbox低代码工作流平台从 0 到 1 构建一个拍照即灵感的多模态 Agent。文章覆盖工作流架构设计、十大节点配置、深度提示词工程、真机调试排障、性能优化五大板块并提供可直接复用的提示词模板与踩坑清单。无论你是产品经理、设计师还是算法工程师都能照着把这套方法论迁移到自己的硬件场景。目录背景与产品定义平台认知GPass 与百宝箱整体工作流架构设计十大节点配置详解完整提示词模板可直接复制真机调试排障手册性能优化策略结语一、背景与产品定义我们想做一件很轻的事用户戴着 AI 眼镜说一句给我灵感眼镜拍下眼前画面几秒后返回一个有深度的设计方向。把需求收敛成三个核心能力能力触发方式行为灵感给我灵感 / 给我灵感做个海报拍照 → 视觉分析 → 知识库检索 → 生成设计方向记录记录……写入备忘录退出退出 / 再见结束本轮对话产品的交互闭环是语音唤醒 → 意图识别 → 硬件拍照 → 多模态理解 → 知识检索 → 文案生成 → 语音播报。本文聚焦灵感这条主链路。二、平台认知GPass 与百宝箱GPass是蚂蚁集团面向AI 眼镜与 Rokid 乐奇等硬件厂商合作推出的智能体开发平台底层跑在蚂蚁「百宝箱」Tbox上。它把眼镜的语音、拍照、镜腿触控等硬件能力封装成可视化工作流节点用拖拽连线的 DAG 方式即可编排出一个 Agent无需写代码。理解三个关键概念工作流DAG每说一句话整张图就跑一遍。节点开始、意图识别、分支、硬件插件、大模型、知识库、直接回复、结束……变量引用节点间通过{{上游节点.输出变量}}传递数据这是整个平台的血管。⚠️ 一个常被误解的点「开始」节点 ≠ 开场白界面。开始节点只负责接收输入变量真机上的欢迎界面由「用户界面 / 开场界面」配置而 GPass 眼镜真机端不展示开场卡片进入即触发工作流。三、整体工作流架构设计这是我们最终跑通的架构Mermaid 流程图CSDN 可直接渲染flowchart TD A[开始] -- B{首次进入判断\n分支节点} B -- 当前对话信息为空 -- C[直接回复\n欢迎语] C -- Z[结束] B -- 不为空 -- D[意图识别] D -- 拍照 -- E[参数提取\n设计方向] E -- F[直接回复\n正在生成灵感中…] F -- G[眼镜设备拍照采集] G -- H[VL 视觉模型\nQwen3.5-Omni-Flash] H -- I[知识库检索] I -- J[文本大模型\nQwen3.6-Flash] J -- K[直接回复\n灵感方案] K -- Z D -- 退出 -- Z D -- 其他 -- L[直接回复\n兜底话术] L -- Z设计要点分支节点做守门员判断是否为首次进入避免一进 Agent 就误触发拍照。意图识别是大脑只输出拍照 / 退出 / 其他三个标签不做语义理解以外的事。参数提取拆解用户意图细节从给我灵感做个海报里抠出设计方向海报。VL 只负责看懂文本模型负责变现职责分离利于优化与提速。四、十大节点配置详解4.1 开始节点保持默认即可。记住后续要引用用户说的话变量是{{开始.当前对话信息}}。若平台提供当前对话轮次可一并引用用于首次判断。4.2 分支节点首次进入判断配置项值判断字段开始 / 当前对话信息运算符为空真分支成立接「直接回复·欢迎语」→ 结束假分支不成立接「意图识别」若真机进入时该字段非空占位符改用当前对话轮次 0判断。4.3 意图识别节点识别内容引用开始 / 当前对话信息模型Qwen3.6-Flash 或 Qwen3.7-plus意图匹配三项必须与 Prompt 标签完全一致拍照→ 眼镜设备拍照采集退出→ 结束其他→ 直接回复兜底4.4 参数提取节点设计方向这是支持给我灵感 任意方向的关键。待处理文本引用开始 / 当前对话信息数据字段字段名设计方向数据类型文本是否必填关闭默认值通用描述从用户输入中提取TA想要的设计方向或领域。例如海报、产品、空间、品牌、UI、音乐、游戏、包装、服装、logo、字体等。如果用户没有明确提到方向返回通用。用户不需要说设计方向四个字模型会自动从整句话理解。说音乐游戏也能正确提取。4.5 眼镜设备拍照采集端侧插件基本无需填输入。输出关键变量是data图片地址后续 VL 模型引用{{眼镜设备拍照采集.data}}。建议重试 3 次、重试间隔 100ms。4.6 VL 视觉模型节点模型Qwen3.5-Omni-Flash全模态快速版兼顾视觉能力与速度图片输入引用眼镜设备拍照采集.data设计方向输入引用参数提取.设计方向Prompt 见第五节。4.7 知识库节点先去百宝箱「知识库」上传素材并建索引设计案例、品牌规范、风格词库。搜索关键词引用VL模型.结果或更精准地引用抽出的检索关键词高级配置检索策略智能检索最大结果数3最小匹配度0.4–0.6语义精排开。输出{{知识库.结果}}4.8 文本大模型节点输出灵感模型Qwen3.6-Flash输入项VL分析→VL模型.结果知识库检索→知识库.结果设计方向→参数提取.设计方向输出上限≤ 200 字适配眼镜语音播报⚠️只连「直接回复」不要直连「结束」否则并行执行导致方案没播完就跳结束。4.9 直接回复节点灵感结果节点消息填{{大模型_1.结果}}纯文本不要放卡片。正在生成中过渡节点放在意图识别→拍照之间消息填正在为你生成灵感请稍候…连到拍照节点不要连结束。4.10 结束节点与卡片结束节点 本轮播报完不是关掉应用用户再说话即进入新一轮。结束节点里只放短句或官方卡片不放大段文本。官方卡片字段scrollType固定、startDelay0、interval0、step1、message灵感已生成短句。不要引用大模型结果到 UI 控制字段。五、完整提示词模板可直接复制5.1 意图识别 Prompt# 角色 你是用户意图分析师。 # 任务 根据用户输入从以下三个标签中选择一个输出。 严禁解释、严禁多余文字、严禁标点符号。 # 标签定义 - 拍照用户想要基于眼前画面获取创意设计灵感例如给我灵感灵感一下帮我设计看看这个怎么设计给我灵感做个海报 - 退出用户想结束对话例如退出再见结束不聊了 - 其他不属于以上两类 # 输出要求 你必须且只能输出以下三个词之一 拍照 退出 其他5.2 参数提取字段描述从用户输入中提取TA想要的设计方向或领域。例如海报、产品、空间、品牌、UI、音乐、游戏、包装、服装、logo、字体等。如果用户没有明确提到方向返回通用。5.3 VL 视觉模型 Prompt精简版 · 带设计方向# 角色 你是视觉分析助手负责把一张照片转成结构化信息供后续灵感设计使用。 # 任务 分析用户拍摄的画面并围绕用户指定的设计方向给出针对性观察。 # 用户输入 ## 设计方向 {{设计方向}} # 分析要求简洁输出总字数 ≤ 300 字 1. 画面一句话描述场景、核心元素、色彩基调。 2. 风格关键词3–5 个词。 3. 围绕「设计方向」的适配要点这个画面做「{{设计方向}}」时可借鉴的形态/色彩/材质/构图是什么。 4. 检索关键词3–5 个词含视觉词风格词方向词供知识库检索。 # 约束 - 不寒暄、不反问、不发散到其他方向。 - 严格围绕用户给的「设计方向」展开第 3 点。5.4 文本大模型 Prompt≤200 字 · 带设计方向# 角色 你是灵感设计师擅长把眼前画面和参考资料变成可落地的设计方向。 # 任务 结合「VL视觉分析」和「知识库检索」给用户一个具体的设计方向。 # 输入 ## VL 视觉分析 {{VL分析}} ## 知识库检索 {{知识库检索}} ## 设计方向 {{设计方向}} # 输出结构共 4 句口语、好念 1. 一句话灵感定位这张画面最适合做什么调性的设计。 2. 配色建议主色 辅助色 点缀色各 1 个词。 3. 一个「{{设计方向}}」方向的设计核心概念 一句话可执行动作。 4. 引导想看更多方向说继续。 # 约束 - 必须用中文不要英文。 - 总字数 ≤ 200 字适合眼镜语音播报。 - 不复述画面、不反问、不给 3 个方向只给 1 个。 - 知识库为空时写暂无匹配素材以下为自由发散。5.5 欢迎语首次进入你好我是拾光你的 AI 眼镜灵感助手。对我说给我灵感我会根据你眼前的景物给你设计灵感说记录可以保存内容说退出结束对话。六、真机调试排障手册以下是我们真机踩过的全部坑按出现频率排序坑 1一进 Agent 就自动拍照、报未提供视觉信息原因GPass 眼镜真机不展示开场界面进入即触发工作流。若其他意图误连到拍照节点或分支判断失效就会进入空拍照。修复分支判断首次进入其他意图拆回兜底不连拍照。坑 2方案播到一半自动跳结束原因大模型节点同时直连「直接回复」和「结束」并行执行。修复大模型只连「直接回复」「直接回复」再连「结束」。坑 3真机循环念 is less than bra is great then原因TTS 把节点里的原始条件表达式if ... then ...→ is less than / greater than / branch当文字念出且每次进都走同一条兜底分支形成循环。修复检查分支 / 结束 / 兜底节点的文字框清除含、、{{}}未替换的残留文本。坑 4换了模型后回复变成英文原因卡片 UI 控制字段exit_hint、icon_key、scroll_type误引用了大模型_1.结果长文本解析失败 fallback 成英文。修复这三个字段改为固定值大模型 Prompt 末尾加必须用中文回答。坑 5卡片消失、内容被语音读出来原因卡片message引用了长文本且该卡片是结束节点唯一输出平台既当显示又当 TTS。修复卡片message只放短句如灵感已生成完整内容交给「直接回复」文本节点。坑 6官方卡片不换行、\n 和无效原因GPASS 官方卡片message字段只支持单行纯文本。修复长文案放「对话配置 → 开场白配置」基础模式卡片只放 8 字以内短句。坑 7网页端正常、真机不显示开场界面原因GPass 眼镜真机端不渲染开场卡片。修复用「分支 直接回复欢迎语」在首次进入时语音播报替代视觉开场界面。七、性能优化策略链路慢的根因通常是重型模型 超长 Prompt 长输出。优化组合拳优化项措施效果模型降级VL 用Qwen3.5-Omni-Flash文本/参数提取用Qwen3.6-Flash推理延迟大幅下降VL Prompt 精简从 800–1200 字压到 ≤300 字、6 领域压到 4 要点减少思考与输出 token文本输出压缩从 600–1000 字压到 ≤200 字、单方向适配眼镜播报、避免截断知识库结果数最大结果数 5 → 3减少下游输入冗余过渡提示拍照前加正在生成灵感中掩盖等待、提升体感速度模型选型结论Qwen3.6-Flash/Qwen3.5-Omni-Flash的Flash 系列即轻量快速模型选它们正确瓶颈在 VL务必精简。八、结语基于 GPass 百宝箱的拍照即灵感智能体本质上是一套多模态感知 → 知识检索 → 生成式变现的标准范式。把每个节点的职责切干净硬件只管采集、VL 只管看懂、文本模型只管变现再把 Prompt 压到与硬件播报能力匹配的体量就能在 AI 眼镜这种受限终端上跑出顺滑体验。「拾光」已经能在真机上做到说一句话 → 拍照 → 数秒内返回一个有调性、有配色、有可执行动作的设计方向。下一步我们会接入继续意图做多轮灵感发散以及「记录」分支的备忘录落地。如果你也在做 AI 硬件智能体欢迎在评论区交流踩坑经验。