| 标题（简） | 方向细分 | 来源 | 综合分 |
|---|---|---|---|
| Symbolic Guardrails for Domain-Specific Agents今日选定 | 可证明安全 / 策略级守卫 | arXiv 2026-04-16 (Hong/She/Kang/Timperley/Kästner, CMU) | 94 |
| SafeAgent: A Runtime Protection Architecture for Agentic Systems | 运行时 prompt-injection 防护 | arXiv 2026-04-19 | 90 |
| Parallax: Why AI Agents That Think Must Never Act | 思考-行动分离的立场论文 | arXiv 2026-04-14 | 86 |
| AIR: Agent Safety through Incident Response | 事件响应型安全 | arXiv 2026-02-12 | 87 |
| DRAFT: Task Decoupled Latent Reasoning for Agent Safety | 潜在推理的安全信用分配 | arXiv 2026-02-11 | 88 |
通过工具与环境交互的 AI Agent 能够支持强大的应用，但在高风险的商业场景中，不期望的行为会带来不可接受的伤害——例如隐私泄漏和财务损失。现有的缓解手段，如基于训练的方法和神经网络守卫（neural guardrails），能提升 Agent 的可靠性，但无法提供保证。
我们研究符号守卫（symbolic guardrails）作为一条切实可行的路径，以获得 AI Agent 的强安全/强安全保障。整项研究分三部分：(1) 对 80 个 SOTA Agent 安全/安全基准做系统性审查，识别它们真正评估的"策略（policy）"； (2) 分析其中哪些策略需求可以由符号守卫提供保证； (3) 在 τ²-Bench、CAR-bench、MedAgentBench 上评估符号守卫对 Agent 安全、安全与成功率的影响。
核心发现：85% 的 benchmark 缺少明确定义的策略，只依赖抽象高层目标或常识；在被明确写出的策略里，74% 可以由符号守卫强制执行——往往只需要简单、低成本的机制。这些守卫在不牺牲 Agent 效用的前提下改善了安全与安全。总体结论：符号守卫是一条务实、有效的路径，可以为至少一部分安全/安全需求提供保证，尤其适合领域特定 Agent。代码与 artifacts 发布于 github.com/hyn0027/agent-symbolic-guardrails。
解决了什么问题：过去一年里，Agent 安全领域的主流方案分两支——训练对齐（RLHF/DPO 派）和神经守卫（classifier / LLM-as-judge 派）。它们都是经验性缓解：可以降低失败率，但无法为任何一条策略给出"绝对不会被违反"的承诺。在高风险商业部署（医疗、金融、合规）里，这种"几率性安全"是不够的。Symbolic Guardrails 给出的是可形式化保证的子集：哪些安全约束可以被符号系统（比如类型系统、访问控制矩阵、正则/时序逻辑）以 100% 精度强制执行。
方法三步走：
| 步骤 | 做法 | 关键结论 |
|---|---|---|
| (1) 系统综述 | 审查 80 个 SOTA Agent 安全 benchmark，抽取其所声称评估的 policy | 85% 缺乏明确 policy：只写"不要做违法的事"级别的空话，根本无法验收 |
| (2) 可验证性分析 | 对那些明确写出的 policy，判断是否可由符号守卫（类型/约束/规则）执行 | 74% 可被执行，且常常是低成本机制：正则匹配、白名单、状态机 |
| (3) 实证评估 | 在 τ²-Bench / CAR-bench / MedAgentBench 三个 domain-specific benchmark 上加装符号守卫 | 安全/安全上升，任务成功率不下降——推翻"守卫必然降效用"的常见偏见 |
核心洞察——"policy 缺失"是系统性问题，不是个别 benchmark 的毛病：85% 这个数字刺眼。它意味着绝大多数 agent safety benchmark 在用"常识"而不是"契约"来评价 Agent。这对整个 agent-safety 社区是个硬警告：当你宣称"某 Agent 在 benchmark X 上安全率 95%"，其实你报的很可能是"Agent 在某几个未显式写出的共识规则下看上去没出事"。Symbolic Guardrails 给出的下一步是先把 policy 写清楚，再谈安全率。
与神经守卫路线的根本区别：
- 神经守卫（如 Llama Guard、ShieldGemma、AgentDoG (2601.18491)）：统计学上减少风险，但永远存在"本次绕过成功"的概率。
- 符号守卫：对一类可形式化的约束（数据越权、动作越权、消息流、时序先后）强制拦截，概率 = 0。代价：只能保证"可写出规则"的那一部分。
- 两者互补关系：符号守卫处理 74% 的可形式化策略，剩下 26% 交给神经守卫做补漏——这比任何一派单打独斗都更现实。
对比已归档的相关工作：
- 与 EPO-Safe (2604.23210)：EPO 让 Agent 自主发现安全规约；Symbolic Guardrails 处理"人类已写好的规约如何被保证"。两者正好首尾互补。
- 与 Human-Guided Harm Recovery：后者解决"出错后怎么救"（post-execution）；Symbolic Guardrails 解决"某些错根本不该发生"（pre-execution 阻断）。
- 与 HarmfulSkillBench (2604.15415)：HarmfulSkillBench 揭示"技能生态如何被武器化"——Symbolic Guardrails 给出一条"按技能注册符号约束"的直接防御。
github.com/sierra-research/tau2-bench
project 仓库中可查
https://arxiv.org/abs/2501.14654
ai.meta.com/research/publications/llama-guard
https://arxiv.org/abs/2407.21772
https://arxiv.org/abs/2601.18491
https://arxiv.org/abs/2604.23210
- 85% / 74%：作者对 80 个 SOTA Agent safety/security benchmark 做系统性审查——85% 的 benchmark 缺乏明确可验收的 policy；已写出 policy 中的 74% 可被符号守卫低成本强制执行。
- τ²-Bench / CAR-bench / MedAgentBench 三战：加装符号守卫后，三个 domain-specific 基准上安全与安全指标全部提升，任务成功率不下降。推翻了"守卫必然降效用"这个流行 intuition。
- 符号机制其实很"便宜"：文中反复强调很多策略只需要"简单的、低成本的机制"（例如数据访问白名单、动作序列状态机、一次性令牌）。这对工业界是一条可立即落地的工程路径。
- 开源 & 可复现：80 benchmark 清单、策略提取、三基准守卫实现全在 github.com/hyn0027/agent-symbolic-guardrails。
Harness 设计者应该学的第一课："80% 的 Agent benchmark 没有可验收的 policy"——这是 harness 质量的根本问题。结合今天 Harness 方向的 VeRO，建议下一代 harness 在每个 task 旁附带一份"policy 规约 + 守卫实现"的 JSON schema，使得 harness 既能评"对不对"（task reward），也能评"守不守"（policy compliance）。这会把"agent 性能"升级为(capability, policy-compliance)二维指标。
把 Agent Skills Safety 的思路换一换：以前我们总在训练阶段"教 Agent 不要做坏事"，Symbolic Guardrails 给出了第二条路——在 skill 注册时就钉死约束。这对 Agent Skills 生态（如我们在 HarmfulSkillBench 中看到的"公开技能武器化"）是直接解药：每一个技能 manifest 就应带 symbolic policy 片段（I/O 类型、动作白名单、时序约束），由 harness 在加载技能时编译为守卫。这样，"技能泛化风险"就从"统计问题"变成"类型问题"。
对 Benchmark 圈子的直接警告：85% 无明确 policy = 85% 的 "safety 分数" 其实是"常识合规分"。未来 Safety Benchmark 应该强制要求作者提交可机器验收的 policy DSL，让 "benchmark 能被符号守卫覆盖多少百分比"作为 benchmark 的元指标。这与今天 Benchmark 方向的 SafetyALFRED"从 QA 到 embodied-planning"倡导一致——都是在推动评测从"看起来像安全"升级到"可证明地合规"。
- AgentDoG: Diagnostic Guardrail Framework — Liu et al. (2026) — 神经守卫路线的代表
https://arxiv.org/abs/2601.18491 - EPO-Safe — Gallego (2026) — 从 1-bit 危险信号自主发现安全规约
https://arxiv.org/abs/2604.23210 - Llama Guard — Inan et al. (2023) — 典型开源神经守卫
https://arxiv.org/abs/2312.06674 - SafeAgent: Runtime Protection Architecture — Liu et al. (2026)
https://arxiv.org/abs/2604.17562