SoK: Attack and Defense Landscape of Agentic AI Systems论文重点论文是由Juhee KimUC Berkeley与首尔国立大学、Wenbo GuoUC Santa Barbara和Dawn SongUC Berkeley联合撰写的系统化知识综述Systematization of Knowledge, SoK发表于USENIX Security 2026。这是首个针对AI Agent安全的系统性、综合性综述系统分析了Agentic AI系统的设计空间、攻击面全景和防御机制为这一新兴领域建立了首个系统化的安全研究框架。核心研究内容问题定义Agentic AI系统——即将大语言模型LLM与非AI软件组件工具、API、文件系统、网络接口等深度融合的混合系统——正在快速进入现实世界应用从智能聊天机器人到软件开发自动化、网页浏览代理等。然而这种前所未有的灵活性带来了与传统软件系统根本不同的复杂安全挑战。核心问题在于传统安全模型假设系统行为是确定性的、可预测的而Agentic AI系统具备自主性、目标导向推理、规划能力以及对数字或物理环境采取行动的能力。LLM的概率性本质与工具执行的确切性之间的鸿沟使得攻击面急剧扩大威胁模型需要根本性重构。具体而言信任边界模糊Agent既是“进程”又是“数据存储”还是“参与者”传统STRIDE威胁建模框架难以适用攻击向量多元化从提示注入到工具投毒、从知识库投毒到多Agent涌现威胁攻击面远超传统LLM应用防御评估体系缺失现有防御机制在面对自适应攻击时表现不佳缺乏统一的评估标准和基准创新方法本论文的创新之处在于方法论层面的系统性突破1首次建立系统化框架这是学术界首个针对AI Agent安全的系统化知识综述从设计空间、攻击面和防御机制三个维度构建了完整的研究框架。论文整理了128篇代表性论文、51种攻击类型和60种防御机制覆盖了安全顶会USENIX Security、NDSS等和ML顶会NeurIPS、ICLR、ICML等的相关工作以及高影响力预印本、行业白皮书和CVE漏洞报告。2设计空间分析论文提出了7个决定攻击面的核心设计维度系统分析了不同设计选择如何影响系统的安全态势。这7个维度构成了理解Agentic AI系统安全风险的结构化透镜。3攻击面全景映射论文构建了覆盖提示层注入、知识库投毒、工具/插件利用、多Agent涌现威胁的全面攻击分类体系。4案例研究方法通过具体案例研究指出现有安全实践中的系统性缺口而非仅仅罗列漏洞。研究成果论文的核心研究成果包括首个系统化安全框架为理解AI Agent的安全风险和防御策略提供了理论基石全面的攻击分类学系统梳理了51种攻击类型涵盖从提示注入到工具投毒、从单Agent到多Agent协作场景的各类威胁防御机制系统化整理了60种防御机制并对各类防御的有效性进行了批判性分析关键缺口识别指出现有防御在面对自适应攻击时绕过率持续超过50%的严峻现实揭示了当前防御研究的根本性不足开放挑战识别了该新兴领域未来研究的开放性问题实际落地应用的可能性高可行性安全审计与风险评估企业可采用论文框架对Agentic AI系统进行全面的安全审计识别设计层面的安全缺陷安全开发生命周期集成在Agentic AI系统的设计阶段引入7个设计维度的安全考量实现“安全左移”红队演练基于51种攻击类型的分类体系构建系统化的红队测试方案中等可行性标准化制定为行业标准如ISO、NIST的Agentic AI安全部分提供理论基础安全产品开发基于60种防御机制的分析开发针对性的安全产品和工具挑战与限制论文是综述性研究而非实证性研究具体防御方案需要进一步的技术研发Agentic AI技术本身仍在快速演进安全框架需要持续更新技术细节核心架构分析Agentic AI系统的典型架构可抽象为以下层次┌─────────────────────────────────────────────┐ │ 治理层 (Governance) │ ├─────────────────────────────────────────────┤ │ 多Agent协调层 (Multi-Agent) │ ├─────────────────────────────────────────────┤ │ 工具执行层 (Tool Execution) │ ├─────────────────────────────────────────────┤ │ 记忆层 (Memory) │ ├─────────────────────────────────────────────┤ │ 认知层 (Cognitive) │ ├─────────────────────────────────────────────┤ │ 基础模型层 (Foundation) │ └─────────────────────────────────────────────┘每一层都存在独特的安全威胁且威胁可以跨层传播。关键攻击向量论文系统化的攻击类型主要包括提示注入Prompt Injection直接注入恶意指令直接插入用户输入间接注入通过外部数据源网页、文档、邮件注入知识库投毒Knowledge-base Poisoning污染Agent的检索增强生成RAG知识库记忆层攻击可产生与模型失败难以区分的表现工具/插件利用Tool/Plugin Exploits工具投毒通过恶意工具输出劫持Agent行为权限提升利用过度授权执行未授权操作多Agent涌现威胁Agent间恶意协作通过Agent间通信传播攻击载荷信任边界模型论文分析指出Agentic AI系统的安全挑战根源在于概率性信任边界的出现。传统系统的信任边界是确定性的如进程边界、网络边界而Agent的决策基于LLM的概率输出使得信任边界变得模糊且动态变化。这种“信任-授权不匹配”是多数安全威胁的根本原因。研究设定方法论设计作为SoK论文其研究设计主要包括文献范围覆盖安全顶会USENIX Security、NDSS、IEEE SP等和ML顶会NeurIPS、ICLR、ICML等的相关论文以及高影响力预印本、行业白皮书和CVE漏洞报告分析维度设计空间 → 攻击面 → 防御机制 → 缺口识别 → 开放挑战分类方法基于系统架构层次的威胁分类而非简单的攻击类型枚举硬件/软件配置作为综述性研究论文本身不需要特定的硬件或软件配置。但对于复现或应用其框架的研究者和实践者建议配置LLM部署环境支持主流LLMGPT系列、Claude、Llama等的推理环境Agent框架LangChain、AutoGPT、BabyAGI等主流Agent开发框架安全测试工具提示注入测试工具、权限审计工具等计算资源取决于具体Agent系统的规模和复杂度综合分析学术贡献这篇论文的学术价值体现在以下几个层面填补空白Agentic AI是2024-2026年间最活跃的研究领域之一但此前缺乏系统化的安全综述。本文首次将散落在安全会议、ML会议和工业界的碎片化知识进行了系统化整合。方法论创新论文没有停留在简单的文献罗列而是构建了设计空间→攻击面→防御机制的三维分析框架。这种结构化方法使得研究者能够理解不同设计选择的安全含义预测新型攻击的可能形态评估防御机制的适用边界跨学科桥梁论文连接了安全社区和ML社区——两个在Agentic AI安全问题上视角差异显著的学术群体。实践洞见“自适应攻击绕过率50%”这一发现具有深远含义现有防御大多是在已知攻击模式上训练的面对能够实时调整策略的攻击者防御效果急剧下降。这说明当前防御研究可能存在过度拟合特定攻击模式的问题需要从“特征匹配”转向“行为异常检测”的防御范式红队测试必须采用自适应攻击策略才能反映真实威胁局限性与批判性思考时效性挑战Agentic AI领域发展极快论文截稿后可能出现新的攻击面和防御技术实证验证缺失作为SoK论文缺乏对不同防御机制在大规模真实场景下的实证比较工业界覆盖虽然涵盖了行业白皮书但闭源商业系统的安全实践可能未被充分反映“设计维度”的具体化7个设计维度的具体内容和相互关系在公开摘要中尚未详细披露需阅读全文实践应用对研究者的建议定位研究缺口利用论文的攻击分类学和防御机制分析识别尚未被充分研究的攻击向量或防御策略建立评估基准基于论文框架构建包含51种攻击类型的标准化安全评估基准关注根本原因论文指出的“信任-授权不匹配”是值得深入研究的根本性问题对工程师/架构师的建议设计阶段的安全考量在Agentic AI系统设计初期参照论文的7个设计维度进行安全威胁建模分层防御在基础模型层、认知层、记忆层、工具执行层、多Agent协调层分别部署针对性防御假设突破鉴于自适应攻击的高绕过率应假设防御可能被突破设计纵深防御和快速响应机制权限最小化严格限制Agent的工具访问权限避免过度授权对安全团队的建议红队测试升级采用自适应攻击策略进行红队测试而非仅测试已知攻击模式持续监控建立针对Agent行为的异常检测能力而非仅依赖静态防御供应链安全关注Agent依赖的第三方工具、模型和知识库的供应链风险参考资料来源原始论文页面USENIX Security 2026: https://www.usenix.org/conference/usenixsecurity26/presentation/kim-juhee-agenticarXiv预印本: https://arxiv.org/abs/2603.11088SoK论文列表Oakland SoK: https://oaklandsok.github.io/usenix/作者信息: Juhee Kim (UC Berkeley/Seoul National University), Wenbo Guo (UC Santa -