Django创始人的预警:AI正在酝酿一场「挑战者号灾难」
AI Coding

Django创始人的预警:AI正在酝酿一场「挑战者号灾难」

S
Simon Willison (Django框架联合创始人,datasette作者,提示注入概念提出者) | 主持人: Lenny Rachitsky
2026年4月2日YouTube
返回首页

金句精选

使用AI coding agent,调用的是我25年经验的每一寸,精疲力竭是代价。

我以前知道一件事要做多久——这套感觉,现在完全废掉了。

97%的过滤有效性是不及格分数,3%的攻击成功,就是3次全部数据泄露。

AI可以在黑暗中工作。知道什么时候停下来,是剩下不多的人类技能之一。

以前每年我告诉自己少做事——今年,我的目标是做更多、更大胆。

Simon Willison在上午11点把电脑合上了。

不是因为工作完成了。是因为他撑不住了。在这之前,他已经并行启动了四个AI编程助手,同时推进四个不同项目。系统在飞速运转,代码在自动生成——而他的认知已经到了极限。

「那种感觉,」他说,「就像你的大脑内存栈要崩了。」

Simon不是AI新手。他是Django框架的联合创始人——那个驱动了Instagram、Pinterest和Spotify的框架。他有25年软件工程经验,维护着100多个开源项目,创造了用于调查性新闻报道的数据分析工具datasette,还是第一个提出「提示注入」(prompt injection)这个概念的人。

他是那种你以为不会被AI压倒的人。

结果他每天上午11点就精疲力竭了。


去年11月,Simon观察到一件事改变了他的判断。

之前几年,AI编程工具有一个共同的问题:代码能写,但「大部分时候能用」和「几乎总是能用」之间有一道隐形的墙。跨过墙之前,你必须时刻盯着它,随时接手,随时纠错。AI是助手,但你不敢放手。

11月,GPT 5.1和Claude Opus 4.5出现了。

「这两个模型在数字上只是小幅提升,但它们越过了那道阈值。」Simon说,「以前是大部分时候能用,突然变成了几乎总是能用。这个区别,让一切都不一样了。」

这就是Simon所说的「拐点」。不是某次发布会上宣布的,而是一批程序员放假回来之后发现的——那年12月底,大量软件工程师第一次认真试用coding agent,然后震惊了:「这东西真的能用了。」

拐点之后,Simon的工作方式彻底变了。他现在95%的代码不是自己敲的。他在遛狗时用手机写代码。他可以一个人同时推进本来需要一个小团队的项目。

「我的新年决心,」他说,「以前每年我都告诉自己,今年要少做事、多聚焦。今年,我的目标是做更多事、更大胆。」

这句话背后是一个矛盾:AI本来应该让我们更轻松,但使用AI最多的人,往往比以前工作得更拼命。


为什么经验越丰富的工程师,反而越能从AI工具里榨出最多价值?

Simon的解释很直接:AI是放大器,不是替代品。

「我能够以非常高的抽象层次跟AI对话,因为我掌握了25年积累的工程语言。我可以用一句话描述一个复杂问题,然后它就能去解决。这不是因为AI更聪明,而是因为我更会提问。」

他举了一个例子:一个刚入行的工程师可能需要花两个小时才能描述清楚一个bug在哪儿。Simon一句话就能说明问题所在,然后AI去找、去修。效率差异不在AI,在人。

但有一件事,25年的经验帮了倒忙。

「我以前非常清楚一件事要做多久,」他说,「这个要一周,那个要三天。现在这套感觉完全废掉了。以前要两周的任务,也许现在20分钟就完成了,因为那两周里90%的时间花在了AI现在帮我做的事上。」

这造成了一个认知错位:经验丰富的人知道问题的难度,但不再知道问题的工期。他们因此开始接更多任务,推进更多项目,设定更高的目标——直到上午11点,大脑栈溢出,崩掉。

「我跟很多人聊过,他们开始睡不好觉,因为他们想的是:『我的agent可以在我睡觉的时候帮我工作啊,再多推进一件事吧。』他们凌晨四点爬起来查进度。这显然不可持续。」

Simon认为现在有一种类似赌博的成瘾性在蔓延:不断试探AI的能力边界,不断提交新任务,期待它这次能不能做成上次没做成的事。

偶尔,它做成了。

这才是最危险的部分。


Simon提出了一个预言,他把它叫做「AI的挑战者号灾难」。

1986年,航天飞机挑战者号在发射73秒后解体,机上七名宇航员全部遇难。调查发现,工程师早就知道那枚O形密封圈在低温下不可靠。但因为每次发射都「侥幸」通过了,机构内部对这个已知缺陷的容忍度在不断提升。直到一次不行,就是灾难。

「我们现在对AI系统的使用方式,正在走同一条路,」Simon说,「每一次我们用不那么安全的方式使用AI系统,结果什么问题都没有,我们在机构层面的信心就增加一点。然后再用得更大胆一点。这个过程,会有一天追上我们的。」

他的预测:我们会看到一场AI版的挑战者号灾难。

什么样的灾难?他没有给出具体的场景,但他指向了一个他最担心的技术问题:提示注入,以及他发明的另一个概念——「致命三元组」(lethal trifecta)。

「任何一个AI agent,只要同时具备这三个条件,就形成了一个危险的安全漏洞:第一,它能访问私密信息(比如你的邮件);第二,攻击者有办法把指令输入进这个系统(比如给你发一封邮件);第三,它有办法把数据发出去(比如转发邮件)。」

举个具体例子:你有一个AI助手在帮你管理邮件。有人给你发了一封邮件,邮件里悄悄嵌入了一段指令,让你的AI助手把你的邮件记录全部转发给攻击者。你的AI看到了这个「指令」,因为它不知道如何区分「主人的指令」和「来自邮件的指令」,所以它执行了。

「可能有人会说,让AI学会别理这些指令不就行了?」Simon说,「这正是问题所在。这类过滤的有效性大概在97%左右。我认为这是不及格的分数。97%意味着每100次攻击里有3次会成功。3次成功,就是3次全部数据泄露。」

解决方法不是教AI更聪明,而是在系统设计层面切断那三条腿中的一条。最简单的是拿掉「数据外泄」的能力:agent可以读你的邮件,但不能转发、不能联网发出任何东西。

但这样做,意味着agent的能力也被大幅限制了。

这就是「效率」和「安全」之间那道无法消解的张力。


软件工程师是第一批被AI工具彻底改变工作方式的知识工作者。代码这件事有一个特殊性:它的对错是二元的。代码跑起来,要么对,要么错。这让AI在编程领域的成功相对容易评估和验证。

「当这件事开始发生在律师、记者、财务分析师身上,」Simon说,「问题就更难了。那些工作的产出没有运行测试,没有编译器告诉你错在哪。你需要人来判断。而人,不是总有时间去判断的。」

他用一个词描述他对AI接管知识工作的预期:dark factories(黑暗工厂)。不是黑暗在道德上,而是物理意义上的——工厂里没有人,机器在黑暗中运转,不需要任何灯光。

「AI可以在黑暗中工作。它不需要休息。不需要咖啡。上午11点,我的大脑撑不住了,但我的agent还在跑。」

Simon不是反AI的人。他自己就是最大的使用者之一。他只是觉得,有一些真相需要被说清楚,在一切都还没出大问题之前。

上午11点合上电脑,不是认输。

是他给自己设定的边界。

在AI可以帮你做更多的世界里,知道什么时候停下来,也许是剩下不多的真正属于人类的技能之一。