2026-04-28 #1 · Harness Engineering

今日候选论文评分对比（共 8 篇）

标题（简）	方向	来源	综合分
Externalization in LLM Agents…今日选定	Harness Engineering	arXiv 2026-04-09	94
SemaClaw: Harness Engineering…	Harness Engineering	arXiv 2026-04-13	88
From Skill Text to Skill Structure…	Agent Skills	arXiv 2026-04-27	85
MedSkillAudit…	Agent Skills Safety	arXiv 2026-04-22	82
How Sensitive Are Safety Benchmarks…	Safety Benchmark	arXiv 2026-04-27	80
Cross-Session Threats in AI Agents…	Agent Safety Benchmark	arXiv 2026-04-22	79
AISafetyBenchExplorer…	Safety Benchmark	arXiv 2026-04-14	75
SkillLearnBench…	Agent Skills Benchmark	arXiv 2026-04-22	74

论文基本信息

作者（共 21 位） Chenyu Zhou, Huacan Chai, Wenteng Chen, Zeyu Zheng, Weinan Zhang 等

机构上海交通大学 / 中山大学 / 上海创新研究院 / CMU / OPPO

发表状态 arXiv 预印本，cs.SE / cs.MA，54 页

提交日期 2026 年 4 月 9 日

原文链接 https://arxiv.org/abs/2604.08224

PDF 链接 https://arxiv.org/pdf/2604.08224

DOI 10.48550/arXiv.2604.08224

许可证 CC BY 4.0

一句话核心贡献

      提出"外部化"统一视角：LLM Agent 的进步本质是将认知负担从模型权重转移到记忆、技能、协议和 Harness 四层外部基础设施中。
    

摘要（中文翻译）

大型语言模型（LLM）Agent 的构建方式正在发生根本性转变——越来越少依赖改变模型权重，而是越来越多地依赖重新组织运行时环境。过去需要模型在内部完成的能力，现在被"外部化"到记忆存储、可复用技能、交互协议以及让这些模块在实践中可靠运行的"Harness（工程框架）"中。

本文通过"外部化"视角对这一转变进行综述。借鉴认知工件（cognitive artifacts）的理念，论文指出 Agent 基础设施的重要性不仅在于添加辅助组件，更在于它将困难的认知负担转化为模型能更可靠地处理的形式：记忆将"回忆"转化为"识别"，技能将"生成"转化为"组合"，协议将"临时协调"转化为"结构化契约"，而 Harness Engineering 则作为统一层，协调这三者在治理约束下可靠执行。

论文追踪了从"权重时代" → "上下文时代" → "Harness 时代"的历史演进，并深入分析了参数化能力与外部化能力之间的核心权衡。

核心内容解读

解决了什么问题：当前 LLM Agent 领域缺乏一个统一的理论框架来理解为何"做更大的模型"以外的工程努力同样（甚至更）重要。大量系统（MemGPT、ReAct、LangGraph、AutoGen 等）各自提出自己的方案，但缺少贯穿全局的第一性原理。

核心框架——四层外部化体系：

层级	外部化内容	认知转化	代表系统
记忆（Memory）	跨时间的状态	回忆 → 识别	MemGPT, GraphRAG, Mem0
技能（Skills）	程序性专业知识	生成 → 组合	OpenAI 函数调用, Anthropic Tools
协议（Protocols）	交互结构	临时协调 → 结构化契约	MCP, A2A, Agent 协议
Harness	统一执行治理	混乱集成 → 可审计系统	LangGraph, CrewAI, SemaClaw

三个时代的演进：论文明确划分了 LLM Agent 发展的三个阶段——2022~2023 年的"权重时代"（靠大模型本身）、2023~2024 年的"上下文时代"（靠 Prompt Engineering 和 RAG）、2024~2026 年的"Harness 时代"（靠系统工程基础设施）。

与现有综述的关键区别：不是简单罗列技术，而是用 Norman 的"认知工件理论"作为第一性原理，统一解释了为什么这四种外部化都能降低模型认知负担。六类模块间交互（记忆→技能的经验蒸馏、技能→协议的能力调用等）形成了一个完整的交互地图，这是之前综述所没有的。

本文引用的关键文献（附链接）

Norman (1991, 1993) — Cognitive artifacts / Things that make us smart — 认知工件理论基础
cambridge.org — Things That Make Us Smart

Lewis et al. (2020) — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
https://arxiv.org/abs/2005.11401

Packer et al. (2023) — MemGPT: Towards LLMs as Operating Systems
https://arxiv.org/abs/2310.08560

Wei et al. (2022) — Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
https://arxiv.org/abs/2201.11903

Yao et al. (2023) — ReAct: Synergizing Reasoning and Acting in Language Models
https://arxiv.org/abs/2210.03629

Wu et al. (2023) — AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation
https://arxiv.org/abs/2308.08155

Edge et al. (2024) — From Local to Global: A Graph RAG Approach to Query-Focused Summarization
https://arxiv.org/abs/2404.16130

Anthropic (2024) — Model Context Protocol (MCP) 规范文档
docs.anthropic.com — MCP Documentation

Sumers et al. (2024) — Cognitive Architectures for Language Agents (CoALA)
https://arxiv.org/abs/2309.02427

Schick et al. (2023) — Toolformer: Language Models Can Teach Themselves to Use Tools
https://arxiv.org/abs/2302.04761

核心论点亮点

54 页系统性综述，覆盖 Agent 外部化领域的全部主流技术路线，是目前最完整的 Harness Engineering 理论框架文章，涉及现有系统超过 40 个。
六类模块交互：记忆⇌技能⇌协议之间形成 6 种双向交互（如"经验蒸馏"将记忆中的轨迹转化为可复用技能，"结果同化"将协议执行结果写回记忆），这是此前综述缺失的系统性描述。
参数化 vs 外部化的权衡分析：明确给出了何时应将能力"烧入"模型权重、何时应外部化为基础设施的判断标准（更新频率、可审计性、多 Agent 复用需求），对实际系统设计有直接指导意义。
预测未来方向：提出编排逻辑本身将成为下一个被外部化的层次（"self-evolving harness"），以及多模态外部化和体现式外部化（类比大脑-小脑分工）是下一阶段核心课题。

对你三个研究方向的启发

Harness Engineering

本文提供了 Harness Engineering 最系统的理论定义：不是"工具调用的封装"，而是"在记忆、技能、协议三层之上提供治理、可审计性和可靠执行的统一基础设施"。你做 Harness Engineering 研究时，这套词汇体系（Agent Loop、沙箱隔离、人工监督门、可观测性、权限策略）是必须掌握的基础语言。

Agent Skills Safety

论文提出技能外部化带来三个安全维度：规格安全（skill spec 是否被篡改）、发现安全（技能注册表是否可信）和执行绑定安全（skill 调用时的权限边界）。这直接为"Agent Skills Safety"研究提供了攻击面分类框架，可作为你构建安全评估方法的切入点。

LLM Agent 外部化：记忆、技能、协议与 Harness Engineering 统一综述