一、常见错觉

AI 领域有个很普遍的假设：模型能力决定系统能力，所以团队的首要任务是"搞到更强的模型"。这个观点在学术界和模型开发者中尤其流行。

但在生产环境里，情况复杂得多：模型只是系统里的一层，它外面还有执行、校验、重试、隔离、审计这些工程环节。这些环节合起来，业内常称为 Harness（治理/承载层）。

二、案例一：Codex 团队的意外发现

OpenAI 在开发 Codex 时发现了反直觉的现象：在完全放开、没有任何工程层干预的设置下，模型更容易产出不能直接上线的代码——语法错误、算法步骤错误、调用了不存在的函数、参数格式不对。

但引入一层很简单的工程层之后，很多错误在执行前或执行后就被发现并修正了。这层只做三件事：

关键在于：即使模型一点没改进，只做系统工程，最终可用率也会明显变化。

三、案例二：三个数字

一个 A/B 对比（示意场景，数字用于说明相对关系，非某项公开实测值）：

最有意思的是最后一行：弱模型配上更强的工程层，反超了强模型配基础工程层。而在没有工程层时，两组表现其实差不多。

四、案例三：钱花在哪

按这个示意拆分，模型之外的投入合计约 90%，是模型调用成本的 9 倍。但反过来想：没有这些投入，系统根本没法上线——因为它满足不了合规要求。

五、对非技术团队的三条结论

1. 别把预算全押在模型上。工具链、验证、日志这些"不性感"的部分，才是可用率的来源。
2. 先定义"怎么算做对了"。能自动判断输出对不对，才有资格谈自动化。
3. 失败要能回滚。让 AI 动手的每一个动作，都要有退路。

一句话收束：模型决定上限，工程层决定下限——而大多数产品是先卡在下限上。