Harness第三次工程化

为什么它会成为"第三次工程化"?

近几个月,如果你在关注 AI 工程圈的讨论,一定会听到 Harness 工程这个词。

不少文章把它神化了。但说老实话,它其实就是一个必然的阶段。

让我用一个框架来解释这个必然性,以及为什么作为独立开发者或创业团队,你现在应该开始关注它。


三次工程化的演进脉络

第一次:Prompt 工程(让模型听懂你)

2022-2023 年,ChatGPT 出来了。大家都在做一件事:怎么写提示词让模型给我想要的回答。

这是对的。Prompt 工程解决的是一个最基础的问题:人-模型的沟通问题。

但它有个缺陷:每次都是一轮对话。你给一个 Prompt,模型给一个回答,完事儿。

对于简单的任务(写文案、改代码段、翻译文章),这够了。但如果你要做一个需要多步骤、需要判断、需要容错的系统,Prompt 工程就开始暴露瓶颈了。

一旦加入时间、上下文、外部数据的依赖,Prompt 工程的天花板就出现了。

第二次:Context 工程(让模型拿到对的信息)

2023 年下半年开始,大家发现了一个规律:给模型的信息质量,往往比 Prompt 怎么写更重要。

于是 RAG(检索增强生成)、向量数据库、分割策略、检索排序,这些技术开始被广泛讨论。

Context 工程的核心思想是:与其反复调 Prompt,不如确保模型看到的上下文是对的。

这个阶段确实解决了一大类问题。特别是对于有明确知识库的应用(客服、文档 QA、行业咨询),Context 工程能明显提升准确率。

但这里又出现了第二个矛盾:

即使信息是对的,模型也不一定能稳定地利用它。

特别是当系统要做编排、决策、工具调用时,单纯提升 Context 质量,还不够。你需要的是整个系统的逻辑健壮性。

第三次:Harness 工程(让系统在真实环境里可控、可测、可迭代)

这就引出了 Harness 工程。

如果说 Prompt 工程是"和模型聊天",Context 工程是"给模型喂数据",那 Harness 工程就是"给系统装上方向盘和刹车"。

Harness,英文字面是"采集、驾驶、掌控"。它的核心不是让模型更聪明,而是让 Agent 系统可以在生产环境里安全、稳定、可观测地运行。

三个维度:

  1. 任务维度:定义清晰的任务边界、成功标准、失败回退策略
  2. 执行维度:工具编排、状态管理、重试机制、超时处理
  3. 治理维度:离线评测、在线监控、版本管理、成本与风控

为什么现在必须做这个阶段

作为一个做过几个 AI 项目的独立开发者,我见过很多项目卡在同一个地方:

Demo 非常惊艳,但一旦上线,就开始掉坑。

原因往往不是模型不够强,而是系统没有预案。

比如:

  • Agent 决策了半小时还没结果,怎么办?
  • 工具调用返回了一个脏数据,模型吞了,怎么办?
  • 三个 Subagent 互相反复, 陷入死循环,怎么办?
  • 成本莫名其妙翻了 10 倍,怎么发现?

这些不是 Prompt 问题,也不是数据库问题。这是工程问题。

Harness 工程的目的,就是把这些问题从线上故障,变成线下可测试的 case。


一个可执行的框架

如果你要开始做 Harness 工程,我建议从这三步开始:

第一步:写任务契约

在你写一行 Agent 代码前,先定义清楚:

1
2
3
4
5
任务名称:xxx
输入格式:(schema)
输出格式:(schema)
拒答边界:什么条件下必须说"我不确定"而不是瞎编
成功标准:什么叫一个好的结果

这听起来有点麻烦,但它会救你的命。因为一旦定义清楚了,你就知道怎么写评测 case。

第二步:补齐失败路径

最常见的失败场景:

  • 超时:设置 deadline,到点就中断,返回"下次再试"
  • 工具失败:有没有降级方案,缓存方案,人工兜底方案
  • 决策偏航:有没有"我好像走错了"的自纠正
  • 成本爆炸:是否限流,是否降低采样

把这些都想清楚,失败就不再是"惊吓",而是"计划之内"。

第三步:建立观测

  • 离线评测:收集 10-30 个高风险样本,定期跑评测集
  • 在线指标:成功率、平均延迟、成本、人工接管率、用户投诉率
  • 版本管理:确保能快速回滚,而不是裸奔上线

这三个东西一起才叫"Harness"。没有观测,你就盲飞。


现在就该开始的理由

我给你三个信号,判断你是否已经进入需要 Harness 工程的阶段:

  1. 你开始谈 SLA(成功率 99%,延迟 <2s),而不是只说"效果还不错"
  2. 你有线上回退计划,而不是"改个 Prompt 试试"
  3. 你关注稳定收益,而不只是首轮的效果惊喜

如果这三个中有任何一个是真的,那你就已经进入 Harness 工程的范畴了。


对独立开发者/小团队的建议

我知道很多人听到"工程"就头大。但 Harness 工程其实不难,关键是思路对。

你不需要:

  • 大团队
  • 复杂的基础设施
  • 事先投入很多时间

你需要:

  • 在写 Agent 逻辑之前,先想想"会怎么失败"
  • 用简单的文本或 CSV 做离线评测
  • 用一个简单的 dashboard(比如 Google Sheets)记录关键指标

一个人,一周时间,就能搭出一个最小可用的 Harness 框架。


小结

Prompt 工程决定你能不能开始。

Context 工程决定你跑得快不快。

Harness 工程决定你能不能长期活下来。

如果你现在还只在调 Prompt,也不用急。但如果你的 Agent 已经进入生产阶段,是时候开始思考 Harness 了。

不是为了创意,是为了稳定。

comments powered by Disqus
使用 Hugo 构建
主题 Stack 由 Jimmy 设计