AI 时代不缺开始缺的是停止。先讲一个 45 分钟亏掉一家公司的真事。2012 年 8 月 1 日上午美国做市商巨头 Knight Capital 上线了一版新交易软件。因为部署时一台服务器没更新到位一个早已废弃、却没从代码里删掉的老功能代号 Power Peg被一个复用的标志位意外重新激活了。于是系统开始疯狂地、不受控制地自动下单——高买低卖毫无经济逻辑。45 分钟里它发出了400 万笔非预期订单累积了70 亿美元的意外头寸最终亏损约4.4 亿美元几乎让整个公司破产。事后监管报告里有一句话值得每个做自动化的人抄下来在这家券商和交易所撮合引擎之间没有第二道能识别失控算法的过滤器。系统会开始会飞速地开始但没有任何一个地方能让它停下来。过去二十年软件一直在追求同一件事更快、更自动、更少人工。从自动审批到自动运维从 CI/CD 到 AI Agent从自动交易到自动驾驶整个行业几乎都朝着一个方向狂奔——让系统自己完成更多事情。今天这个目标越来越接近现实AI 能理解自然语言、自己拆解任务、调用工具、修改配置、写代码、调度资源甚至直接管理真实世界的资产和设备。软件第一次真正拥有了行动能力。这是巨大的进步。但它也把一个几乎没被认真讨论的问题摆到了台面上如果 AI 能够越来越容易地开始一件事那么——谁来负责让它停下来一、过去的软件最大的能力是执行过去的软件其实很听话它不主动决定目标不自己发起任务不自己修改流程。它更像一台机器——人按按钮软件执行人停止软件结束。整个责任链非常清晰真正拥有行动能力的是人软件只是放大人的能力。所以过去的软件安全主要关注有没有权限、是不是本人、有没有审批、有没有签名。这些问题在当时足够了——因为最后真正按下按钮的一直是人。人天然带着一个隐形的安全阀手速慢、会犹豫、会临时反悔。二、今天开始越来越容易了AI Agent 改变了这个关系。今天一个目标可能就够了帮我整理今天所有客户邮件。帮我处理所有退款。帮我修复线上异常。帮我完成月底结算。剩下的AI 自己规划、自己调用工具、自己组织流程、自己连续完成几十个动作。过去要一个人操作半小时现在一句话就能开始。整个行业都在为这种能力欢呼——Agent、Automation、Workflow、MCP、Tool Calling所有技术的发展方向都在拼命降低开始一件事的成本。这是 AI 最大的价值之一也是 AI 最大的新风险。因为 Knight Capital 证明过当开始变得极度廉价、极度快速而停止没有被同等地设计进系统时一次意外可以在人反应过来之前就把现实改到无法挽回。三、开始越来越便宜停止却越来越昂贵当一件事只需一句话就能开始它就可能在极短时间内完成几十步调用多个系统、跨越多个组织、修改多个配置、影响多个账户直到真正进入现实世界——整个过程也许只要几秒钟。这意味着开始越来越便宜停止却越来越困难。因为你要停的已经不是一个动作而是一条正在持续推进的执行链。很多企业已经在遇到这种事AI 完成了前二十步你突然发现第二步就理解错了——可是第十八步已经发出了邮件第二十步已经创建了订单第二十五步已经改了数据库第三十步已经通知了客户。很多动作已经无法真正撤回第五篇的 Replit 删库、第四篇的链上转账都是这个形状。这里有一个工程上的本质自动化系统的吞吐量throughput远超人类的反应时间reaction time。当机器每秒能做几百个不可逆动作而人需要几分钟才能意识到不对劲那么事后叫停这条路物理上就已经不成立了。四、人类真正的优势从来不是更快过去大家总爱比AI 比人快、比人便宜、比人不累。这些都对。但人类一直有一个 AI 很难天然拥有的能力——犹豫。听起来很反直觉。我们过去一直把犹豫当成效率低。但很多重大事故的避免恰恰是因为有人停顿了那么几秒这个金额是不是不太对为什么今天突然要改这里这个地址以前见过吗为什么审批摘要和昨天不一样这短短几秒钟很多时候就是灾难和安全之间的全部距离。而AI 天然不会因为感觉奇怪而停下来——除非系统明确赋予它或它之外的某道边界停止的能力。这也是为什么严肃的 AI 治理越来越强调human-on-the-loop人在环上监督*和*有意义的人类控制meaningful human control不是让人去跟机器比手速而是保证在关键动作上始终存在一个能踩下刹车的位置。五、未来最大的风险不是 AI 太聪明很多人担心 AI 会不会越来越聪明。其实更值得担心的是——AI 会不会越来越顺。流程越来越顺审批越来越顺调用越来越顺执行越来越顺直到任何事情都可以一键完成。真正危险的系统往往不是复杂的系统而是没有任何阻力的系统。没有任何地方能真正停下来没有任何地方敢说一句先别继续。Knight Capital 的悲剧不是因为系统太复杂恰恰是因为在最关键的那条路径上太顺了——顺到一个失控算法可以毫无阻力地一路跑到撮合引擎。六、真正成熟的系统都允许自己停下来现实世界里这种停止设计其实无处不在电梯有急停按钮高铁有紧急制动飞机有复飞程序核电站有停堆机制工业机器人有急停开关。这些设计看起来都在降低效率但没有人会觉得它们落后。因为大家都懂一个道理真正成熟的系统不仅要能启动更要能停止——而且停止必须真的能发生。工程上这些停都有名字而且都是被血的教训标准化过的工业机械的急停按钮有国际标准ISO 13850Emergency Stop紧急停止规定它必须优先于一切、不可被普通逻辑覆盖分布式软件里有熔断器模式Circuit Breaker Pattern当下游持续失败时自动跳闸阻止故障蔓延金融市场则有熔断机制Circuit Breaker。而金融熔断的由来本身就是一堂课。2010 年 5 月 6 日的闪电崩盘Flash Crash市场在几分钟内暴跌近 1000 点主要由算法交易推动而当时没有有效的机制能及时叫停。事后美国 SEC 痛定思痛引入了单只股票熔断、以及后来的涨跌限制带Limit Up-Limit Down和 7%/13%/20% 三档全市场熔断。整个金融系统对自动化跑得太快的回应归结起来就是一句话——给系统装上能停下来的能力。所以真正的停止不是弹一个确认框不是发一个审批不是留一条日志而是——真正停止。七、AI 时代我们开始重新发明门闩过去的软件世界一直在强调 Access Control、Permission、Authentication、Approval——它们都在回答同一个问题谁可以开始。AI 时代开始已经越来越容易。真正缺少的是谁能够结束或者更准确地说——谁能够拒绝继续。这也是为什么这个系列一直用门闩而不是门锁门锁解决谁能进门门闩解决门现在到底开不开。这是两个完全不同的问题。而 AI 时代的安全重心正在从前者向后者迁移。Knight Capital 缺的从来不是门锁它的交易员当然有合法权限它缺的是那道能在算法失控时插上的门闩。八、停止不应该依赖最后一个人的勇敢很多企业会说如果发现问题管理员可以取消、Owner 可以拒绝、审批人可以不通过。理论上当然可以。但真正危险的时候人通常不知道危险已经发生或者——已经来不及。AI 已经执行了交易已经广播数据已经导出设备已经动作。Knight Capital 的工程师们当时就在现场他们不缺勇气他们缺的是一个能在 45 分钟的洪流里真正切断执行的独立位置。所以真正可靠的停止不能建立在希望最后一个人足够细心、足够勇敢上而应该建立在——系统本身拥有停止能力哪怕所有软件都已准备继续最后那道边界依然能说一句现在还不能这正是第八篇的 Fail-Secure、第十二篇的独立执行边界。九、停止本身就是一种能力过去我们一直认为能力意味着执行、创造、完成、加速。从今天起也许该把另一组词也算进能力里停止、拒绝、等待、收缩、重新确认。这些听起来一点都不酷却越来越重要。因为未来 AI 真正进入企业后真正昂贵的已经不是完成一次执行而是——避免一次错误执行。Knight Capital 那天系统完成了 400 万笔订单效率高到极致。它唯一没能完成的是那件最该完成的事停下来。十、未来最强的系统不一定最快今天整个 AI 行业几乎都在比速度模型响应更快、Agent 执行更快、自动化更多、工具调用更多。这没问题效率一直是技术的重要价值。但如果未来所有公司都能做到一分钟完成一百件事那么真正拉开差距的可能不是谁开始得最快而是——谁能在第一百零一件错误发生之前真正停下来。因为企业真正承担成本的不是那九十九件正确的事而是第一百件错误。Knight Capital 那 45 分钟里绝大多数系统组件都在正确地工作——正确地下单、正确地成交、正确地记录。整家公司差点没了就栽在没有一个地方能喊停这一件事上。十一、Execution Security不只是保护执行更是保护停止很多人第一次听到 Execution Security会以为它是在保护执行。更准确地说它保护的是——执行之前最后一次拒绝的机会。如果这次机会不存在那么所有审批、所有签名、所有权限最终都会变成执行的加速器它们只会让一个动作更顺畅、更快速、更不可阻挡地冲向现实。真正的执行安全不是让系统永远执行而是——当它不应该执行的时候真的能够停下来。十二、未来最稀缺的能力是能停下来未来十年AI 会越来越会开始开始写代码、开始管理企业、开始调度机器人、开始管理资金、开始控制越来越多的真实资源。开始会越来越容易。真正越来越稀缺的不是开始而是停止不是生成而是拒绝不是自动化而是边界。未来真正值得信任的系统不一定是那个执行最快、自动化最高、Agent 最多的系统。它更可能是那个——在所有人都说继续的时候仍然能冷静地说一句先停一下的系统。因为很多时候真正保护企业的不是那一次成功执行而是那一次本来可以发生、却最终没有发生的执行。这也是 Havenlon 一直想表达的判断AI 时代真正高级的能力不是让系统更容易开始而是让系统在必须停下来的时候真的能够停下来。Knight Capital 用 4.4 亿美元买到了这个教训。而 AI 与自动化正在把Knight Capital 式的 45 分钟从交易大厅搬进每一个企业的日常执行里。这是《Havenlon安全讲人话》系列的第十四篇。下一篇是终章——我们把门锁、门闩、海狸、AI、审批、Owner、SaaS、硬件、证据链全部收拢回答那个最开始的问题Havenlon 到底在守什么。参考来源本文引用的真实事件与工程实践Case Study: The $440 Million Software Error at Knight Capital — Henrico DolfingThe Knight Capital Meltdown: 45 Minutes, Bad Code, $440 Million — Market Histories2010 Flash Crash — WikipediaThe flash crash of 2010 offers a warning as AI automates — IT Brew