多模态模型的输入输出格式决定了其与LangChain组件的适配性不同模型的格式略有差异但核心逻辑一致。本节将以实操首选的qwen-vl-plus为例明确其输入输出格式适配LangChain集成需求同时简要说明其他模型的格式差异。1. 输入格式qwen-vl-plus支持多模态混合输入核心输入格式为“文本指令多模态数据图片/音频”LangChain集成时需封装为统一的输入格式常用两种方式说明如下。1文本图片输入图片以路径本地/网络或Base64编码形式传入文本指令明确任务需求格式示例[{image: industrial_test.jpg}, {text: 描述这幅图片的核心内容重点分析是否存在设备异常}]。2纯文本/纯图片输入纯文本输入适用于基础推理纯图片输入适用于图像分析格式分别为纯文本字符串、图片路径/Base64编码。补充GPT-4V输入格式与qwen-vl-plus类似CLIP仅支持“文本图片”配对输入BLIP侧重图片输入文本指令的组合。2. 输出格式qwen-vl-plus的输出格式以文本为主支持多轮对话、图像描述、跨模态问答等输出类型LangChain集成时可直接解析为字符串再根据需求进行后处理将在第7章详解。输出格式示例如下。1图像描述输出“这幅图片展示了工业巡检场景画面中有一根管道管道表面无明显破损、泄漏痕迹周围环境整洁无异常情况。”2跨模态问答输出“问题图片中的管道是否存在泄漏回答不存在泄漏管道表面完整无液体渗出、雾气等泄漏特征。”