多模态AIAgent开发实践 邓立国、周驰岷、邓淇等 清华大学出版社【行情 报价 价格 评测】-京东《多模态AI Agent开发实践》1~6章试读-CSDN博客多模态Prompt工程是提升多模态模型推理精度的核心与单一文本Prompt不同多模态Prompt需结合文本指令与多模态数据图片/音频的特性明确任务需求、约束条件与输出格式。本节将结合qwen-vl-plus与LangChain讲解多模态Prompt工程的核心原则与最佳实践配套Prompt模板适配工业巡检、日常交互等多场景。7.4.1 多模态Prompt核心原则1. 指令明确清晰说明多模态任务需求如图像分析、跨模态问答避免模糊表述例如“分析图片中管道是否存在泄漏标注泄漏位置”而非“分析图片”。2. 模态关联将文本指令与多模态数据强关联明确多模态数据的作用例如“基于提供的工业巡检图片完成设备异常检测”。3. 输出约束明确输出格式、长度与语言风格适配LangChain后续解析需求例如“输出结构化结果包含异常类型、位置、处理建议每部分不超过50字”。4. 场景适配结合具体场景如工业巡检、医疗影像优化Prompt补充领域专业术语提升推理精度。7.4.2 最佳实践Prompt模板适配LangChain结合qwen-vl-plus与工业巡检场景提供3类常用Prompt模板可直接集成到LangChain的PromptTemplate中代码示例#多模态Prompt模板最佳实践from langchain_core.prompts import ChatPromptTemplate#模板1工业巡检图像异常检测结构化输出inspection_prompt ChatPromptTemplate.from_template(你是专业的工业巡检多模态分析助手基于以下图片和指令完成分析图片信息{image_info}分析指令1.场景描述简要说明图片中的设备类型、数量及周围环境不超过80字2.异常检测判断设备是否存在泄漏、破损、磨损等异常明确异常类型与位置3.处理建议针对异常情况给出具体、可落地的处理建议不超过100字4.状态总结一句话总结设备整体状态。输出要求分点输出语言专业、简洁避免冗余适配工业巡检报告。)#模板2跨模态问答图片文本提问qa_prompt ChatPromptTemplate.from_template(基于提供的图片和问题给出准确、简洁的回答图片信息{image_info}用户问题{user_question}要求回答紧扣问题结合图片信息不添加无关内容若图片中无相关信息回答“图片中未找到相关信息”。)#模板3图像描述与文本生成适配报告生成description_prompt ChatPromptTemplate.from_template(基于提供的工业巡检图片生成一份简短的图像描述报告图片信息{image_info}报告要求1.标题工业巡检图像描述报告2.核心内容包含设备类型、运行状态、是否存在异常、异常细节若有3.结尾给出简要的巡检结论4.总字数控制在200字以内语言正式、专业。)#测试模板结合qwen-vl-plusfrom langchain_community.llms import QwenVLPlusfrom langchain.document_loaders import ImageLoaderllm QwenVLPlus(api_keyos.getenv(QWen_API_KEY), modelqwen-vl-plus, temperature0.7)img_loader ImageLoader(industrial_test.jpg)img_doc img_loader.load()[0]#调用巡检模板chain inspection_prompt | llm | StrOutputParser()result chain.invoke({image_info: img_doc.page_content})print(Prompt模板测试结果)print(result)