50% 公司把 AI 智能体放上生产线那天,客户就炸了

你有没有想过一件事。

你说这个 AI 通过了我们公司的测试。然后你就把它推上线了。然后客户的家里就出事了。

事情是这样的。

前几天 VentureBeat 出了一份调查,对 157 家企业的 CTO 和工程负责人问了一圈。问得很具体,过去一年,你们有没有把通过了内部测试的 AI 智能体或者大模型功能,推到生产环境,然后让客户那边出了事故?

157 家里面,50% 的人举手了。

一半。

一半的公司,自己评测完了觉得没问题,推到客户那里,客户就炸了。

这事儿挺值得咂摸一下的。因为数字放在那,你自己品。

你想想这说明啥。

这事儿,你内部测试通过的那张 OK,跟客户现实里出事的那个 NO,是两个完全独立的事件。

这种结构,听起来耳熟吗。

我跟你讲,这跟 14 个 AI 模型当 CEO 那事儿是一模一样的底层逻辑。

跑分是一回事。跑分里 AI 拿 100 分。让你当 CEO,跑 500 天,11 个破产。两者之间隔着一道巨大的鸿沟。这道鸿沟的名字叫现实。

今天我们要讲的,就是这道鸿沟在企业里是怎么把人绊倒的。

我们一个个讲。

先讲那个 50%。

50% 不是 5%,不是 1%。是一半。一半的公司出过这事。这个数字本身就有点刺眼。因为按理说,你现在要是去问一家正在用 AI 智能体的公司,你问他们有没有出过事故,他们大概率会说没有。但问卷一上,数据一拉,好家伙,一半。

为什么这个数字这么高。我自己琢磨了一下,大概有三个原因。

第一个原因,测试环境跟生产环境根本不是一回事。

你们公司搞个 staging 环境,搞个 sandbox,搞个集成测试,里面跑的数据是你们内部人构造的,边界条件是你们能想到的,失败路径是你们能 mock 的。但客户的真实环境,是一个你永远 mock 不出来的混沌。

客户的输入是脏的。客户的并发是乱的。客户的请求是凌晨三点发过来的。客户的请求带着他们家那台老旧浏览器的兼容性问题。客户的请求还带着他们公司内部流程审批的那个诡异字段名。

这些东西,你的 staging 环境里都没有。所以你的 AI 在 staging 里跑得贼好,到客户那里就翻车。

第二个原因,评测的是 KPI,客户要的是结果。

你内部评测一个 AI 智能体,大概率看的是这些指标。任务完成率多少。响应延迟多少。token 用量多少。错误率多少。

这些指标每一个单看都没问题。每一个都在合理区间。

但你把这些指标加在一起,跟客户那边真正发生的事一对,你会发现一个特别尴尬的现象。

AI 把任务完成得很漂亮。但客户要的不是任务完成,客户要的是把事儿办成。

办成跟完成之间,隔着一整条业务链路。AI 完成了第一段,但第二段的数据格式跟第一段对不上。AI 完成了第二段,但第三段需要的权限 AI 没有。AI 完成了第三段,但发出去的通知格式客户那边解析不了。

每一个单独看,AI 都过了你的测试。叠在一起,客户那边的业务就断了。

这就是为啥会有那个 50%。

第三个原因,人是最大的变量,但你的测试里没有真实的人。

你的 staging 环境里,大概会有一些 mock user,会模拟一下点击,模拟一下输入。但 mock user 是你写的。mock user 不会突然改主意。mock user 不会同时打开三个标签页。mock user 不会在你 AI 输出的瞬间去按 Ctrl+C。mock user 不会用你 5 年前没维护过的某个老浏览器。

真实的人,会。

真实的人,有情绪,有脾气,有概率,有概率在你最不想它出事的那一刻,点一个你永远预想不到的按钮。

你的 AI 通过了你内部的测试。但它从来没跟真实的人打过照面。然后你就把它推上线了。然后真实的人就来了。然后就出事了。

这就是 50% 的真相。

好,接着讲下一个数字。

那个 5%。

调查里还问了一个问题。你有多大程度信任你们公司的自动化评估系统?

5% 的公司说完全信任。

5%。

剩下 95% 都觉得,我们的评估,跟现实之间,有点对不上。

这个数字特别有意思。

你要是在别的行业做调查,问员工有多信任你们公司的内部流程,5% 完全信任,这是正常的。大家都觉得流程是流程,现实是现实。

但这是 AI 行业。AI 行业的人,按理说应该比任何行业都更相信自己的工具。因为这个工具就是他们造的。

5% 完全信任。

翻译过来就是,造这个工具的人,自己都不信这个工具能完整覆盖现实。

29% 的企业更进一步,他们直接说,评估跟现实对齐不佳,是我们现在最大的局限。

5% 信任 + 29% 说这是最大局限,加起来 34%。34% 的企业已经把这个问题摆到桌面上当核心议题了。

剩下那 66% 呢。

剩下那 66%,大概就是还在用着老方法测,新问题已经埋好但还没爆的状态。

但有意思的来了。

尽管 29% 的人承认这是最大的局限。尽管 50% 的人已经出过事故。尽管只有 5% 的人完全信任。

66% 的企业说,我们 12 个月内,要实现低风险智能体的全自动、无人工干预部署。

你自己读读这两段话。

前一段说,50% 出过事。5% 信任评估。29% 说是最大局限。 后一段说,66% 要全自动。

这不是矛盾。这是 AI 行业这个时代的姿势。

你知道这种姿势叫什么。这种姿势叫,你知道有问题,但你先上。

这不是某一个公司的姿势。这是整个行业的姿势。

你想想看。你自己想想。

一家公司 CTO 站起来跟董事会说,我们的 AI 智能体内部测试都没问题,所以我们要推上生产。

董事会说,那客户那边万一炸了呢。

CTO 说,炸了再说。

这就是 50% 出事还能继续推的原因。

这不是因为 CTO 不在乎。是因为业务压力太大,机会窗口太短,同行都上了,你不上你就掉队了。

所以炸了也得上。

这是整个 AI Agent 行业的隐含共识。

但这里有个让人后背发凉的地方。

你以为是 AI 不行。其实是评测体系不行。

AI 本身可能没问题。Claude Fable 5 在 CursorBench 上能拿 72.9%。能在航天模拟器里凭一句提示自主规划并成功登月。这些都是有具体数字的,不是吹的。

但 AI 通过了你内部评测,不代表 AI 在你客户的家里能用。

这两件事中间,隔着你的 staging 跟客户生产环境之间的鸿沟。隔着你的 KPI 跟客户业务目标之间的鸿沟。隔着你的 mock user 跟真实用户之间的鸿沟。

这三道鸿沟,你自己不修,AI 自己修不了,客户更不会帮你修。

这就是那个 50% 的真正原因。

不是 AI 不够聪明。是 AI 通过的那张评测证书,跟你客户那边真正会发生的事,根本不是同一个东西。

但你说这事儿能怪谁呢。

你怪 CTO?CTO 也想测好啊,问题是真实环境测不起啊。

你怪 AI 公司?AI 公司也告诉你了啊,你别完全信评测,你说现实里会有偏差。但你听了么。

你怪客户?客户哪知道你内部怎么测的,客户只知道我花钱买了一个服务,服务给我炸了。

谁都没错。错的是这件事本身的结构。

评测本身就不可能覆盖现实。评测是用来缩小范围的,不是用来证明可以的。你拿评测当门票,客户拿你的服务当工具,这两个东西根本不在一个频道上。

但 66% 的公司,正在用评测通过当门票,去推12 个月全自动。

你品品这个组合。

12 个月之后,会有更多的事故。不是可能,是几乎必然。

因为评测的覆盖率是有限的。你能把评测从 80% 提到 90%,但你永远提不到 100%。剩下的 10%,就是你客户那边会出事的 10%。

然后你继续提,提到 95%。剩下的 5%,还是客户那边会出事的 5%。

你提到 99%。剩下的 1%,还是。

这就是 50% 这个数字会一直存在的底层原因。

不是技术问题,是结构问题。

但这件事说到底,不是说你不能用 AI。

你要做的是承认这个结构,然后在你的体系里加上现实。

怎么加。很简单。三件事。

第一件,小范围灰度。

AI 智能体上线,不要一下子全量推。先给 5% 的客户用。这 5% 里要是炸了,你还有 95% 的客户在正常用。

等这 5% 跑通了,你再推到 20%。20% 跑通了,推到 50%。50% 跑通了,再全量。

这不是什么新东西。互联网公司十年前就这么干的。A/B 测试,灰度发布,这是基础设施。

但奇怪的是,到了 AI 智能体时代,很多公司忘了这回事。大概是被全自动AI 改变世界这种话术冲昏了头。

第二件,人类兜底。

全自动不是不能做。但全自动,AI 出错的时候,没有人能在 loop 里给你截一道。

这就是为啥 VentureBeat 的调查里另一个数字是 30%。30% 的企业把高风险智能体隔离在沙箱里。剩下的 70%,AI 智能体是直接在生产环境里跑。

70% 的 AI 智能体,出问题就是直接出问题,中间没有人能拦。

这不是勇敢,这是莽。

第三件,把客户放进评测里。

评测环境里有 mock user,这是错的。错得很离谱。

你应该让你的 AI 智能体,在上线之前,跟真实的客户对话过、跑过、被真实的人吐槽过。

不是几个朋友试一下那种。是几百个真实的、有各种奇怪使用习惯的、带着各种真实业务场景的客户。

这种评测成本高。但这是唯一能缩小那三道鸿沟的方法。

你可以说,这不现实。AI 智能体还没正式上线呢,你就让我给几百个客户用?

那我反问你,你正式上线之后,客户那边出事,损失就不大了?

这就是当下 AI 智能体行业的矛盾。

每个人都知道评测覆盖不了现实。每个人都在用评测当门票。每个人都在赌自己不会是那 50%。

但 50% 是注定有人要当的。

因为这就是数学。

你的评测覆盖率是 90%。你的客户规模是 1000 家。100 家,大概会有事故。

你的客户规模越大,这个数字就越恐怖。

你推 10 万家客户,1 万家,大概会有事故。

这不是 AI 不行。这是结构决定的。

讲到这里差不多得收尾了。

最后讲两句心里话。

我觉得这个事儿挺让人唏嘘的。

AI 智能体这个行业,过去两年最大的叙事,就是 AI 能自动干活、自动决策、自动搞定一切。

但你仔细看数据,你发现真实的画面是,50% 的公司被自己的 AI 智能体搞过,5% 的人信自己的评测,66% 的人还要全自动。

这是 AI 智能体行业的真实水位。

不是 PPT 里那个水位。

你买 AI 智能体,买到的是什么。

你买到的是 50% 的通过率。你买到的是 5% 的信任。你买到的是 29% 自己说最大的局限。你买到的是 66% 的赌。

你买到的不是全自动。你买到的是大概率能用,但客户那边会出事。

这就是当下 AI 智能体行业的真相。

但你想想。

这也不是 AI 的错。

AI 就是那个 AI。

错的是把它当万能钥匙的人。

错的是把评测通过当门票的人。

错的是把全自动当目标,而不是把客户的现实当起点的人。

你以为你买的是工具。

你买的是你自己体系的延伸。

你自己的体系有多少漏洞,AI 智能体就把这些漏洞放大多少倍。

客户那边炸了,不是因为 AI 不够聪明。

是因为你自己的评测,从来没有真正看过客户的现实。

磨平一些信息差。

下次你听到一家公司说,我们的 AI 智能体全自动,你别急着鼓掌。

你先问一句。

过去一年,你们出过几次事故?

你敢信这个问题的答案吗。

反正我是不太敢。

时间。

流逝的本身。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐～

谢谢你看我的文章,我们,下次再见。