Havenlon 思考录（十）：控制先于自动化

Lovekde_cn1

154人浏览 · 2026-06-27 09:47:59

Lovekde_cn1 · 2026-06-27 09:47:59 发布

为什么自动化越强，执行刹车越重要

摘要

过去二十年，软件行业最重要的发展方向之一，就是不断提高自动化水平。系统越来越擅长代替人完成重复工作，流程越来越多地由程序自动编排，业务操作也越来越依赖接口、规则引擎和机器决策完成。进入 AI 时代之后，这条趋势正在被进一步加速。AI 不再只是生成文本、回答问题或者辅助搜索，它开始生成计划、调用工具、访问系统、编排任务，甚至逐步进入执行链条本身。

从效率角度看，这几乎是所有组织都无法拒绝的变化。自动化意味着更快的处理速度、更低的人力成本、更少的流程摩擦，也意味着系统能够覆盖越来越复杂的业务场景。然而自动化能力越强，一个长期被忽略的问题就越需要被正视：系统是否仍然保留了足够强的控制能力。因为在高价值资产、关键基础设施、团队治理和 AI Agent 场景中，真正危险的往往不是系统不会执行，而是系统太容易执行。

Havenlon 之所以不断强调执行控制，并不是反对自动化，而是因为自动化与控制从来就不属于同一个方向。自动化负责扩大能力，控制负责限制后果。一个成熟的系统不能只有自动化，而没有刹车。尤其是在 AI 时代，执行能力的增长速度很可能远远快于治理能力和人工理解能力。如果没有独立的执行边界、独立的最终裁决和独立的证据链，自动化越强，系统的失控半径也就越大。

一、自动化为什么会成为软件行业的天然方向

自动化在软件行业中几乎具有天然正当性。只要某个流程可以减少人工参与，只要某个判断可以提前固化成规则，只要某项操作可以由系统自动完成，组织往往都会倾向于接受这种优化。因为自动化带来的收益通常非常直接，响应时间更短，操作成本更低，业务规模更容易扩大，系统对人的依赖程度也会下降。

从企业管理到互联网产品，从 DevOps 到金融交易，从客服系统到风控流程，这种趋势已经持续了很多年。系统最初只是辅助人类完成某些工作，后来开始接管一部分重复任务，再后来则逐渐变成主导具体执行。组织对于自动化的期待，也从“少做一点重复劳动”演化成“让系统尽可能独立运行”。

这种趋势本身并没有问题。事实上，现代软件产业的大部分生产力提升都来自自动化。没有自动化，就不会有今天的大规模云平台，不会有自动化运维，不会有实时支付系统，也不会有高度协同的数字组织。问题从来不是自动化本身，而是自动化一旦进入高风险执行层，系统是否还保留了足够强的约束能力。

在低风险场景里，自动化主要影响效率；在高风险场景里，自动化开始影响后果。这是两种完全不同的事情。

二、AI 让自动化第一次具备了生成意图的能力

过去的自动化系统虽然执行能力很强，但大多数时候它们并不负责生成意图。一个脚本可以自动备份数据库，一个规则引擎可以自动拦截异常请求，一个量化系统可以根据固定策略触发交易，但这些系统通常依赖人类提前定义目标、条件和边界。换句话说，传统自动化更多是在执行层提速，而不是在决策层替代人。

AI 的出现改变了这一点。AI 不只是执行预设规则，它开始参与理解上下文、生成计划、组织动作顺序，并根据环境变化进行一定程度的动态调整。对于很多组织来说，这意味着自动化第一次不只是“更快地做事”，而是“开始决定做什么事”。

这是一条非常重要的分界线。当一个系统只负责执行时，我们讨论的主要还是规则是否正确、触发条件是否合理、异常处理是否充分。但当一个系统同时开始生成意图、解释任务、调用工具并推动执行时，原本分散在“人类判断—系统执行”之间的边界就会被压缩。

这也是 AI Agent 与过去所有自动化工具最根本的区别。传统自动化主要放大的是人类已经确定的动作，AI Agent 开始放大的是系统自己生成的判断。这会带来惊人的效率提升，但也意味着错误不再只是“执行偏差”，而可能变成“方向偏差”直接进入执行层。

三、自动化越强，为什么风险半径会同步扩大

很多人谈自动化时，会把注意力集中在成功案例上，因为自动化最明显的价值就是提升效率、减少延迟和扩大规模。但从安全视角来看，自动化真正值得警惕的地方，并不是它让正确动作变得更快，而是它让错误动作也同样变得更快。

一个人工审批流程即使存在缺陷，至少还会受到沟通成本、时间成本和人工理解能力的限制。人会迟疑，会误读，会重新确认，也会在复杂情况下停下来讨论。这些看似低效的东西，在高风险场景里实际上形成了一种天然缓冲。它们未必优雅，但会延缓错误进入现实世界的速度。

自动化系统则不同。只要条件满足，它就会快速、稳定、批量地执行。对于正确决策来说，这是巨大优势；对于错误决策来说，这是系统性放大器。一次错误配置如果进入自动化链路，影响的可能不再是一台机器，而是一组机器；一条错误规则如果进入自动执行系统，影响的可能不再是一笔操作，而是一整类操作；一个被污染的 AI Agent 如果获得工具调用能力，影响的可能不再是某个建议，而是一串连锁动作。

因此，自动化并不是简单地把原有风险保持不变地搬到更快的流程里。它会重新定义风险传播方式。过去很多局部错误之所以没有扩大，并不是因为系统天生正确，而是因为执行链路足够慢、足够碎片化、足够依赖人工。自动化把这些摩擦去掉之后，组织必须主动补上一种新的能力，那就是控制。

四、控制为什么天然滞后于自动化

自动化很容易被组织接受，因为它产生的收益直观、量化、可见。处理速度更快了，人力成本下降了，系统吞吐量提高了，业务扩展更容易了。这些变化几乎能够立刻反映在指标上，所以每一个组织都会优先投资自动化。

控制则不同。控制带来的价值主要体现在“问题没有发生”上。它不一定能立刻提升收入，不一定能显著降低日常流程时长，甚至在很多时候还会让系统显得更慢、更复杂、更不流畅。于是很多组织在建设系统时，会天然把控制放在自动化之后考虑，先让系统跑起来，再去补边界，先把动作自动化，再去补审计和仲裁。

这种顺序在低风险系统里问题不大，但在高价值执行场景里会造成很大隐患。因为自动化一旦先形成，后续再补控制，往往只能做成外围限制，而很难真正进入执行链路的核心。系统会拥有很多“提示”“告警”“推荐”和“可选规则”，但缺乏真正能够在最后时刻说“不”的独立边界。

也就是说，组织往往更容易建设“让事情发生的能力”，却更难建设“阻止事情发生的能力”。自动化因此天然走在前面，控制天然落在后面。而在 AI 时代，这种失衡会变得更加明显，因为 AI 带来的自动化升级速度远快于组织对于执行安全的理解速度。

五、真正成熟的系统，自动化之前必须先定义刹车

如果只从工程效率角度看，最理想的系统当然是输入意图之后立刻完成执行。但现实世界中的高可靠系统几乎从来不是这样设计的。飞行系统不会因为飞行员想拉杆就无条件允许飞机进入危险姿态，工业控制系统不会因为操作员下达命令就无条件让设备进入可能损坏的状态，金融系统也不会因为某个高权限角色批准操作就无条件放行所有资产流动。

这些系统之所以能长期运行，不是因为它们自动化程度低，而是因为它们在自动化之前先定义了边界。系统设计者首先考虑的不是“如何尽快执行”，而是“在什么条件下必须拒绝执行”“出现异常时谁有权打断”“哪些动作即使被请求也不能发生”“系统最终在哪里停止相信自己”。

这就是刹车的意义。刹车并不是反对前进，而是让前进变得可控。没有刹车的自动化，本质上只是更高效地把系统推向未知后果。真正成熟的自动化系统，首先需要知道自己在什么地方必须停下来，然后才谈如何更快地向前走。

这也是 Havenlon 一直强调控制先于自动化的原因。不是因为 Havenlon 反对自动化，而是因为 Havenlon 默认自动化最终一定会发生，所以系统必须先把不该发生的事情定义清楚。

六、AI Agent 时代最危险的不是 AI 不够强，而是错误判断被直接执行

很多关于 AI 风险的讨论，都会集中在模型能力本身，例如幻觉、上下文误解、知识过期、提示词注入、目标劫持以及对抗性输入。这些问题当然重要，而且它们并不会因为模型参数变大或者推理能力增强就自动消失。恰恰相反，随着 AI Agent 开始接入更多业务系统、拥有更多工具调用权限、能够自主拆解任务并连续执行动作，这些原本停留在“认知层”的问题，会越来越快地进入“执行层”。

这也是 AI Agent 时代最需要被认真对待的地方。真正危险的并不是 AI 会不会犯错，因为任何复杂系统都会犯错；真正危险的是，AI 的错误判断是否能够直接变成现实结果。如果一个存在幻觉的 AI 只能给出建议，那么风险相对有限，因为最终仍然需要人类判断和人工确认；但如果一个存在幻觉、可能被诱导、可能被污染上下文的 AI，同样拥有支付权限、配置权限、发布权限或者外部 API 调用权限，那么问题就完全不同了。此时模型的错误不再只是“说错了一句话”，而是可能直接触发一笔错误转账、一项错误配置、一次错误发布，甚至是一连串自动化连锁动作。

从这个角度看，AI Agent 带来的核心挑战并不是“系统开始变聪明”，而是“系统开始把不稳定判断与高强度执行能力连接在一起”。传统软件自动化通常依赖明确规则，因此问题更多发生在规则写错；而 AI Agent 的问题则更复杂，因为它在很多场景下不是简单地执行固定规则，而是在动态理解环境、生成计划、调用工具并持续修正路径。它的优势正来自这种灵活性，但风险也同样来自这种灵活性。因为一旦理解错误、目标偏移或者上下文被污染，系统可能不是停在那里等待人工纠正，而是继续沿着错误方向推进，并且推进得非常高效。

这也是 Havenlon 一直强调控制先于自动化的原因。问题从来不是 AI 能不能调用工具，而是一个可能出现幻觉、可能被误导、可能被恶意输入影响的系统，是否应该在缺乏独立执行边界的情况下直接调用工具。AI 可以生成意图，可以提出建议，可以帮助人排序风险和分析方案，但它不应该因为看起来足够智能，就自动获得最终执行权。真正需要被保护的，不是 AI 的表达自由，而是现实世界不应被错误判断轻易改变的边界。

因此，AI Agent 时代最危险的不是 AI 不够聪明，而是 AI 的错误判断太容易进入执行链路。一旦系统没有独立的执行控制层，没有最终裁决边界，没有能够在最后一步说“不”的机制，那么幻觉、诱导、目标偏移和上下文污染就不再只是模型问题，而会直接演化成现实世界中的执行问题。对于高价值资产、关键基础设施和多人治理系统来说，这正是自动化时代最需要提前解决的核心矛盾。

七、执行刹车到底应该放在哪里

执行刹车不能只是一个提示框，也不能只是一个云端可选规则。如果控制能力仍然完全附着在同一个软件环境中，那么一旦这个环境被绕过、被污染或者被过度信任，所谓刹车就很容易一起失效。因此，真正有效的执行刹车必须具备独立性。

这种独立性首先表现为逻辑独立。自动化系统负责生成和推动动作，执行控制系统负责判断这些动作是否越界，二者不能完全混在一起。其次表现为边界独立。云端可以协同、编排和同步，但最终裁决不应只依赖云端状态。最后表现为证据独立。系统不只是要阻止不该发生的动作，还要能证明自己为什么阻止或放行，以便未来能够审计、复盘和归责。

也正是因为如此，Havenlon 才会把执行控制放到一个相对独立的边界里。SaaS Coordination Plane 负责组织协同，Hub 负责本地治理状态，Arbiter 负责仲裁条件，Security 负责最终敏感执行。这个结构看起来不像传统软件那样轻盈流畅，但它解决的也不是普通软件的问题，而是“自动化越来越强之后，系统如何仍然保持可控”的问题。

在这个意义上，刹车不是补丁，而是架构第一原则。

八、未来的竞争不只是自动化能力，而是自动化可控性

未来几年，几乎所有组织都会引入更多自动化。有人会用规则引擎，有人会用 AI Copilot，有人会用 Agent 工作流，也有人会让系统自动发起更多关键动作。这件事情几乎不可逆，因为自动化带来的效率优势太明显了。

但随着所有人都拥有越来越强的自动化能力，真正区分系统质量的，可能不再是谁自动化程度更高，而是谁的自动化更可控。一个没有执行边界的高自动化系统，短期看起来效率惊人，长期却可能在一次错误判断中造成巨大代价。相反，一个拥有独立执行控制、独立证据链和独立最终裁决边界的系统，虽然看起来更保守，却更适合承载高价值、长期运行和多人治理的任务。

因此，AI 时代真正稀缺的能力，不只是“让系统去做更多事”，而是“让系统在能做更多事的同时，仍然知道哪些事情不能做”。