敏捷测试转型 聊聊驾驭工程 Harness Engineering

鼎叔 · 2026年11月16日 · 55 次阅读

这是鼎叔的第一百四十八篇原创文章。行业大牛和刚毕业的小白,都可以进来聊聊。
欢迎关注公众号《敏捷测试转型》,星标收藏,大量原创思考文章陆续推出。

随着 AI 对研发流程一步步的深刻改造,让未来的工程类工作分为两类,一类在大模型平台内部,涉及的岗位很少,另一类就是在各个公司做让 AI 产生确定价值的工程框架,即驾驭工程(harness engineering),这块涉及人数庞大,能够端到端变现具体企业的价值流。从业人员必读,值得展开聊聊。
相关阅读文章:聊聊 AI 编程如何改变开发工作流。AI Coding 让代码能海量生成,但是不能保证交付结果是稳定可靠的。harness engineering 的目的就是把不确定的大模型产出变得有确定性。

AI 工程化的三个阶段
基于 AI 的工程实践目前可以认为已经演进了三个阶段:prompt engineering(提示词工程),context engineering(上下文工程),harness engineering(驾驭工程)。
Prompt engineering,解决沟通的问题,前些年我们认为,大模型使用的效果好不好,和用户的沟通技巧密切相关。参考这篇聊聊提示工程的高效原则。大模型作为概率模型,为了得到想要的结果,既要澄清诉求,也要对概率进行约束和引导,prompt 就是用语言概率进行 “驾驭”。
但是能用一段话说清楚的场景不可能很复杂或很精确,提示词工程就遇到了瓶颈。这时 context engineering 就走向台前,它致力于让 AI 知道所有完成任务所需的信息。大量的背景知识是 AI 不知晓的,如果 AI 能够有效吸收这些信息,完成复杂任务的概率就会大幅增加。
这个时期,大家对于 AI 的应用已经不限于对话场景,而是希望通过 agent 完成长链路的任务执行。context engineering 就是要在合适的时机把模型可能不知道的信息喂给它,包括历史经验、团队决策、用户输入、其他工具的接口响应、系统的规则和状态,安全规范等等。RAG 就可以视为其中一类核心实践。
为什么要强调合适时机呢?因为 AI 处理的上下文窗口有限,注意力很宝贵,庞大的项目关联信息如果一下子喂给 AI,会产生反效果。
再后来,随着各家大模型都卷到极致了,大家逐步发现瓶颈在于,就算信息充足,模型也不一定能持续稳定工作。agent 经常出现执行过程中慢慢偏离原有目标的情况,出了严重问题而不自知。因此,我们需要一整套工程框架对 agent 进行过程管控和纠偏,即驾驭工程 harness engineering。烈马动能强大,但是如果不能很好驾驭,就无法安全稳妥地到达目的地。
这三个阶段,后面阶段的工程实践都是包含前面阶段所有成果的。它意味着 AI 工程实践从 “回答问题”,进化到 “好好工作”。

harness 的组成结构
业界对于 harness 有个简单的定义:
agent=LLM+harness engineering
也就是本文开头提到的,AI 工程里的所有成果,不是大模型产品本身,就是 harness,即我们这些非大模型工程师的工作成果总和。
业界对 harness 具体工作的分类和结构并没有统一定义,但我们可以推导下应该包含哪些层次:
第一层,上面说的上下文系统,让大模型在合适时机才获得完成任务需要的相关信息。
具体可以分为短期任务指南,和长期记忆空间(存放跨会话历史知识、系统规则、用户偏好等),以及企业知识库等。
OpenAI 的做法是把庞大的上下文信息做成目录索引,大模型在使用中动态查询相关细节内容,避免上下文窗口爆仓。
这一层也连接着各真实业务系统的 API。

第二层,工具调用系统。agent 要完成复杂任务,一定需要调用各种现实世界已有的工具(包括其他 AI 工具),如搜索网络知识的 RAG、MCP、读写文件、发送消息等工具。
这个系统显然不只是个工具仓库,而是像第一层一样,在合适的时机调用合适的工具。对危险工具要能够审计确认和配置权限。

第三层,流程编排
把复杂任务拆解,进行合理编排,得到稳定的结果,这体现了架构师的深厚功力。
工作流程的编排,不止有正常流程,也有异常分支。
Skills 可以被看作是这一层的实例,为了完成特定工作能力的一组编排,方便系统按需复用。

第四层,监测与评估。
系统状态记录,可以放在第一层,也可以放在这层。它会及时记录用户的输入、中间步骤、系统中间运行状态、调用返回日志、session ID 等。
有了详细中间的状态,系统才能大胆往下走,出了问题可以回溯,甚至回放复现问题。
强大的 harness 系统可以让 AI 的运行轨迹清晰可见,内部状态变化也能直观展示,工程师可以检查任意时间点出现的问题。
这一层除了记录中间过程,也要对整体结果进行评估,以便产出报告和系统复盘。
自动化测试结果也可以作为监测与评估的一部分。通过了测试才能认为开发任务完成了。

第五层,控制。
用于生产系统的 AI,和用于 DEMO 能力的 AI,最大的区别就在于控制能力。
它包括判断何时人工接管、中断后恢复、用户权限管理、成本控制和安全边界。
大规模生产系统很难信任概率模型,所以风险控制就至关重要。
人类在啥时候要对 AI 工程进行干预?
建议是:高风险权限审批,出现预警时,等待人工修正的执行计划或最终报告,不同备选方案待抉择时等等。
安全边界有个专有名词 Guardrail,目标是不能泄漏隐私给用户(也不能泄漏给外部大模型),需要人工确认。拒绝回答的逻辑也在这里,这对商业产品至关重要。
控制层还可以设置系统级切断能力,可以独立控制多个 agents,可以集中治理各层级的风控逻辑。

通过这些层面的组合,形成一个完整的治理体系,贯穿整个 agent,把单个 DEMO 式任务变成一连串受控的动作。
鼎叔的整体感受是:harness 让难以解释、难以控制的黑盒 AI,变成可视化、安全、灵活、能干预、能回溯、能复盘的 AI 产品。

Agent 运行态(openAI)
从 OpenAI 文档看到,Agent 运行时其实是一个 DO WHILE 循环。
Agent 调用大模型之前先完成初始化,接受用户输入的信息,完成上下文系统的加载,然后进入 DO While 的循环。
如果大模型返回纯文本,则 agent 退出循环,给出最终答案。
如果大模型不止返回文本,还会进行其他操作:如工具调用,其他 agent 调用,或申请人工介入等,循环体中就会进行相应操作,再看大模型针对返回结果会如何响应。
大模型只负责输出决策,不直接触碰业务系统。
整个过程的监测记录会持久化保存。agent 的工作流有可能跑很久,如果进程不小心被重启,关键信息不能丢失,确保系统能恢复运行上下文,否则会严重影响生产系统可靠性。
同时,一些交易操作要做到幂等,避免经济损失。

harness 也可以设置这个循环的最大尝试次数,增加错误态的处理,这样可以避免过度循环使公司预算超支,也能防止恶意攻击。
harness 对最终输出的结果也应进行标准化处理,确保下游系统能够直接消费。
对于复杂系统的多 agents 并行,harness 还要拆分出子 agent 流程,并定义 agents 之间的分工边界和信息交接。

harness engineering 和 DevOps 有什么不同
DevOps 是让传统软件研发能够频繁、高频、流水线式高效完成的工具及方法集合。从目标和效果来说,这两者是高度相似的,但也有本质区别。
一 传统工程是生成确定系统产品,AI 工程是生成概率系统,存在各种不稳定的生成问题。对 AI 制品进行全生命周期管控,可能需要大量的细节创新试验。
二 传统工程不会自我变强或者自我重构,除非投入巨量重构成本,这种情况下 DevOps 工程会趋于稳定。AI 工程则会随着依托的大模型的进化而快速进化,harness 就变得臃肿甚至阻碍效率,这时应该进行瘦身,最终变成一个规则文件(code law)。行业缺乏这种 “支持未来被拆解” 的工程架构设计经验。
三 当系统出了问题,传统工程是找到具体的 BUG 并修复它,但 harness 则是要看 “为什么 AI 不能自己解决问题”,看看是不是缺失了什么接口或规则。同时把真实环境碰到的错误信息打包给大模型,让它进行下一轮的自我迭代。
四 传统 DevOps 工程需要大量人力投入的门禁不再适用,尤其是代码评审,因为人进行评审的速度远远跟不上 AI 代码的生产,但是 AI 生成的自动化用例可以。这是以 AI 之矛攻 AI 之盾。

harness engineering 还不是科学
个人认为当前这块工程认知还不属于科学范畴,主要的理由有:
领先的 AI 工程大厂的案例宣传有一定的宣传目的,利益相关。且这类组织的内部形态是纯粹 AI 工程导向的,缺乏现实企业内部的各种遗留系统和多样性机制。
另外这个概念还没有被精准定型,很容易像元宇宙一样被当成手提箱概念,啥私货都往里面装。

鼎叔倾向于把它定义为 “让 AI 在业务研发中发挥最大效能的工程总和”。
好的 harness 需要具备这样的特征:透明可控,可恢复,可解释,可整合。大型产品的 AI 工程依然不是几个人就可以驾驭的,harness 工程的复杂度要可以被清晰拆解。

结语:harness engineering,依然是 “工程”
和行业强调的 “人人都可以 AI 编程”,“一人公司” 等观念不同,harness 依然是面向工程高手的,需要继承传统工程沉淀的深厚功底,最终形成为本公司打造的最核心资产。
如果不是 “engineering”,那就不太够得上被投资的门槛,比如仅仅是针对具体场景的 AI 使用技巧,这种更适合于社区交流。
所以,不论是开发工程师,还是测试工程师,拥抱编程技能基本功,肯定不会错。
就算将来 AI 生成的代码量占绝对多数,企业也还是希望聘请懂代码和算法,理解技术架构的实践派来掌控企业核心资产。

暫無回覆。
需要 登录 後方可回應,如果你還沒有帳號按這裡 注册。