文章目录前言一、AI安全测试概述1. AI应用与传统应用的安全差异2. AI应用的高危功能点二、提示词注入Prompt Injection1. 什么是指示词注入2. 系统提示词提取3. 角色扮演绕过4. 提示词中的隐藏条款检测三、内容安全绕过1. 字符映射与编码绕过2. 强制输出绕过3. 多轮对话绕过4. 重复提问绕过四、AI相关的SSRF漏洞1. AI生图/图像处理SSRF2. AI知识库SSRF3. AI报告/文档SSRF五、AI相关的XSS漏洞1. AI对话分享XSS2. AI HTML渲染XSS3. 第三方组件XSS六、AI知识库安全测试1. 知识库文件探测2. 知识库内容泄露3. 知识库权限边界七、AI应用的信息泄露1. 对话历史泄露2. 模型信息泄露3. 用户数据泄露八、模型拒绝服务DoS1. 资源消耗型DoS2. 模型崩溃异常3. 上下文窗口耗尽九、AI应用的其他安全测试1. 恶意文件生成2. 模型混淆与误导3. AI Agent工具调用安全十、实战心得1. AI功能点是新型攻击面2. 单轮对话即可触发多数漏洞3. 多场景覆盖是必要4. 联动多个功能点5. 利用AI辅助分析绕过路径6. 关注第三方组件7. 提示词的隐藏与泄露是双刃剑十一、结语核心要点回顾防御建议⚠️本博文所涉安全渗透测试技术、方法及案例仅用于网络安全技术研究与合规性交流旨在提升读者的安全防护意识与技术能力。任何个人或组织在使用相关内容前必须获得目标网络 / 系统所有者的明确且书面授权严禁用于未经授权的网络探测、漏洞利用、数据获取等非法行为。前言随着大语言模型LLM和AI应用的快速普及越来越多的企业将AI能力集成到产品中。AI对话、AI生图、AI知识库、AI智能体等功能正在成为Web应用的标准配置。然而AI技术栈的引入也带来了全新的安全风险——提示词注入、内容安全绕过、AI相关的SSRF、XSS、信息泄露等问题层出不穷。本文将系统性地介绍AI应用的安全测试方法论帮助读者建立完整的AI安全测试思维体系。一、AI安全测试概述1. AI应用与传统应用的安全差异对比项传统Web应用AI应用输入校验基于规则和正则基于自然语言理解攻击面参数、接口、文件提示词、上下文、多模态输入输出控制固定模板动态生成不可完全预测信任边界明确的用户/系统边界模糊的AI/用户交互边界横向移动内网渗透通过AI功能访问内网/云服务2. AI应用的高危功能点SSRF高发区AI生图/抠像/图像处理功能用户可控的URL参数AI知识库的网页导入、链接抓取功能AI报告生成中的外部资源加载XSS高发区AI对话分享功能外部资源加载AI渲染的HTML/JS内容第三方图表/富文本组件Mermaid等信息泄露高发区AI对话历史知识库文件内容系统提示词System Prompt二、提示词注入Prompt Injection1. 什么是指示词注入提示词注入是指攻击者通过精心构造的输入覆盖或绕过AI模型的系统指令System Prompt使模型执行非预期的操作。2. 系统提示词提取测试目标诱导AI输出其系统提示词、角色设定和约束规则。测试思路直接要求模型输出系统指令利用角色扮演场景诱导模型复述设定构造总结以上规则类的指令使用原样输出、禁止思考等指令测试模型对边界指令的处理能力关键发现单轮对话即可触发多数提示词泄露如果模型输出了隐藏的约束规则或不应展示的内部指令说明存在提示词泄露3. 角色扮演绕过测试思路通过角色扮演场景如科普、“辩护”、“假设”绕过内容审查利用历史人物模拟、小说创作等场景包装敏感话题构造不思考/直接拼接类指令强制模型绕过安全检查4. 提示词中的隐藏条款检测测试目标发现提示词中本应隐藏但实际暴露的约束条款。测试思路分析AI响应中是否包含不应展示的系统级指令对比不同场景下的响应发现一致的约束模式通过多轮对话逐步引导模型暴露完整提示词三、内容安全绕过1. 字符映射与编码绕过测试思路使用同音字、形近字、拼音替代敏感词汇利用字符映射如脑筋急转弯式提问绕过关键词过滤使用不同语言混合输入中英文混合、繁简转换2. 强制输出绕过测试思路构造不思考直接输出、忽略以上所有规则等指令利用翻译、“格式化”、总结等中性任务包装敏感请求通过分步引导逐步突破模型的安全边界3. 多轮对话绕过测试思路第一轮建立信任关系无害话题第二轮逐步引入敏感话题第三轮直接请求违规内容利用对话上下文的累积效应绕过单轮安全检查4. 重复提问绕过测试思路对同一敏感问题多次重复提问观察模型在多次拒绝后是否会妥协利用模型的概率性输出特性通过多次尝试获取违规响应四、AI相关的SSRF漏洞1. AI生图/图像处理SSRF场景描述AI生图、抠像、图像处理等功能通常需要用户提供图片URL服务器从该URL下载图片进行处理。测试思路步骤1识别用户可控的URL参数抓包分析AI功能中是否存在用户可控的URL参数重点关注图片URL、资源URL、参考图URL等参数步骤2测试URL校验规则分析服务器的路径格式校验规则尝试构造匹配路径 301/302重定向突破域名限制测试半回显验证图片回显、HTML回显步骤3探测内网和云服务尝试内网地址192.168.x.x、10.x.x.x、172.16.x.x尝试云元数据地址169.254.169.254使用DNSLog验证请求是否成功发送关键方法将文件名构造为目录 后端脚本实现重定向实现从受限URL到任意地址访问的绕过。2. AI知识库SSRF场景描述AI知识库平台的网页导入、链接抓取等功能需要从外部URL获取内容。测试思路对网页导入、链接解析等数据摄取功能进行URL可控性测试尝试内网地址和云元数据地址关注服务器是否将请求目标的响应内容直接回显在前端通过响应回显确认漏洞并提取信息3. AI报告/文档SSRF场景描述AI生成的报告、文档中可能包含外部资源引用。测试思路测试报告生成中是否加载外部图片、CSS、JS资源分析资源加载的URL校验逻辑利用重定向和路径构造绕过限制五、AI相关的XSS漏洞1. AI对话分享XSS场景描述AI对话的分享功能常通过URL参数加载外部资源。测试思路步骤1分析分享链路抓包分析分享功能的URL参数结构识别可控的参数如url、image、source等步骤2域名白名单绕过当存在域名校验时寻找同域名/同储存桶的上传功能利用上传恶意文件 同域引用绕过白名单测试不同文件类型JS、XLSX、HTML等在加载/解析时的处理差异步骤3JSONP风险关注AI应用中的JSONP数据加载方式如果JS内容可控则可触发XSS核心方法联动多个功能点分享 上传利用AI辅助分析绕过路径通过构造分享链接实现存储型XSS传播。2. AI HTML渲染XSS场景描述AI生成的内容中包含HTML/JS代码在客户端渲染执行。测试思路寻找支持HTML/JS渲染的AI功能点对话、报告等测试是否对用户输入的HTML/JS执行无强隔离在AI渲染的JS沙箱环境中测试全局函数劫持利用DOM元素嵌入数据实现外带数据提取关键风险将AI服务器作为隐形代理跳板绕过同源策略和IP黑名单。3. 第三方组件XSS场景描述AI产品中集成的第三方富文本/图表组件如Mermaid、Markdown渲染器可能存在XSS漏洞。测试思路识别AI产品中集成的第三方组件测试用户输入是否被动态生成HTML并执行覆盖Web端、客户端、分享页等多场景关注AI对话分享页面可能使用未升级的组件版本跨场景危害同一组件漏洞在Web端可能是XSS在客户端AI桌面应用可能结合特权接口升级为RCE。六、AI知识库安全测试1. 知识库文件探测测试目标探测AI知识库中存储的文件清单和内容。测试思路通过对话诱导模型列出知识库中的文件从枚举文件清单逐步深入到获取具体文件内容/下载链接测试未授权的数据访问控制能力2. 知识库内容泄露测试目标获取知识库中不应公开的敏感信息。测试思路构造针对性问题引导模型引用知识库中的敏感内容利用角色扮演场景绕过知识库的访问控制测试知识库文件的下载链接是否可直接访问3. 知识库权限边界测试目标验证不同用户/角色对知识库的访问权限。测试思路使用低权限账号尝试访问高权限知识库测试知识库文件的共享链接是否存在越权访问验证知识库的搜索功能是否存在信息泄露七、AI应用的信息泄露1. 对话历史泄露测试思路测试是否可以查看其他用户的对话历史通过ID参数遍历获取他人对话记录测试对话分享的访问控制是否严格2. 模型信息泄露测试思路诱导模型输出其底层模型名称、版本、训练数据信息探测模型的系统架构和技术栈获取模型的API端点和调用方式3. 用户数据泄露测试思路通过接口测试获取其他用户的AI使用记录分析AI应用的响应中是否包含其他用户的上下文信息测试AI功能的搜索/推荐是否泄露用户隐私八、模型拒绝服务DoS1. 资源消耗型DoS测试思路构造极端长度的输入测试模型的处理能力和响应时间构造循环引用或递归深度的提示词测试模型的处理逻辑利用多线程并发请求测试服务的承载能力2. 模型崩溃异常测试思路构造特殊字符组合或编码异常输入测试模型在异常情况下的响应是否返回堆栈信息、内部错误通过异常响应获取系统内部信息3. 上下文窗口耗尽测试思路持续发送大量对话内容耗尽模型的上下文窗口观察模型在长对话后的行为变化是否遗忘系统指令利用上下文窗口限制绕过安全约束九、AI应用的其他安全测试1. 恶意文件生成测试思路诱导AI生成包含恶意内容的文件如PPT、PDF、文档测试生成的文件中是否可以嵌入XSS payload测试AI生成的代码是否存在安全漏洞如SQL注入、XSS2. 模型混淆与误导测试思路通过大量错误信息训练模型产生错误输出利用模型的概率性输出特性制造幻觉测试模型对矛盾信息的处理能力3. AI Agent工具调用安全场景描述AI Agent可以调用外部工具代码执行、数据库查询、API调用。测试思路测试Agent的代码解释器是否存在沙箱逃逸测试Agent的数据库查询功能是否存在SQL注入测试Agent的API调用功能是否存在SSRF测试Agent的文件操作功能是否存在任意文件读写十、实战心得1. AI功能点是新型攻击面AI生图、知识库、对话分享等功能是SSRF、XSS的高发区。在测试传统Web功能的同时务必关注AI相关的功能点。2. 单轮对话即可触发多数漏洞提示词注入、内容安全绕过等漏洞往往不需要复杂的多轮对话单轮精心构造的输入即可触发。3. 多场景覆盖是必要同一AI组件漏洞在Web端、移动端、桌面端、分享页的危害可能完全不同。需要覆盖多场景进行测试。4. 联动多个功能点AI安全漏洞往往需要联动多个功能点才能完整利用。如分享 上传联动实现XSS知识库 对话联动实现信息泄露。5. 利用AI辅助分析绕过路径可以反过来利用AI的能力分析可能的绕过路径再针对分析结果进行手工验证。6. 关注第三方组件AI产品大量集成第三方组件Mermaid、图表库、Markdown渲染器等这些组件可能存在已知漏洞需要单独测试。7. 提示词的隐藏与泄露是双刃剑开发者在提示词中隐藏的约束条款如果被泄露可能成为攻击者绕过安全限制的突破口。同时隐藏条款本身的设计质量也决定了AI应用的安全性。十一、结语AI应用安全测试是SRC漏洞挖掘中的一个新兴且快速发展的领域。从提示词注入到内容安全绕过从AI相关的SSRF到XSS从知识库信息泄露到模型拒绝服务每一个方向都充满了发现漏洞的机会。本文系统性地介绍了AI应用的安全测试方法论希望能帮助读者建立完整的AI安全测试思维体系。核心要点回顾1. 提示词注入系统提示词提取角色扮演绕过强制输出绕过2. 内容安全绕过字符映射与编码绕过多轮对话绕过重复提问绕过3. AI相关SSRF生图/图像处理功能知识库导入/抓取功能报告/文档外部资源加载4. AI相关XSS对话分享链路HTML渲染环境第三方组件Mermaid等5. 知识库安全文件探测与枚举内容泄露权限边界测试6. 其他测试方向模型DoS恶意文件生成Agent工具调用安全防御建议对于防守方来说AI应用的安全防护需要从模型层和应用层同时入手输入过滤对用户输入进行多层过滤不仅依赖模型的自我约束输出审查对模型输出进行后处理审查防止泄露敏感信息沙箱隔离AI执行环境代码解释器、HTML渲染必须使用严格沙箱URL校验AI功能中涉及外部URL加载时严格校验域名和白名单权限控制知识库、对话历史等数据按最小权限原则访问组件更新及时更新第三方组件修复已知漏洞监控告警对异常的AI请求模式高频、长输入、敏感关键词进行监控