Introduction

Patrick:

这是我第二次和 Dylan Patel 对话。Dylan 是 SemiAnalysis 的创始人兼 CEO,他长期追踪半导体供应链和 AI 基础设施建设。

这次对话讨论的是 tokens 的供给与需求。在需求端,Dylan 描述了一个完全爆炸式增长的局面。他解释了为什么前沿模型是唯一真正被大家想要的模型,以及人们为它付费的意愿几乎没有上限。他自己的公司去年在 AI 上的支出还只是几万美元,今年的年化支出已经到了 $7 million。

在供给端,我们梳理了内存、逻辑芯片和晶圆厂设备等环节的瓶颈,这些因素会决定整个体系能以多快的速度扩张。我们还聊到了 Mythos,以及领先实验室需要做些什么,来修复它们日益严重的公众认知问题。

请欣赏我和 Dylan Patel 的对话。

AI 支出正在追上薪酬支出

Patrick:

你跟我讲过一个特别震撼的故事,说你们自己团队今年对 tokens 的使用发生了巨大变化。你能再讲一遍这个故事吗?它让你理解到这个世界正在发生什么?

Dylan:

去年,我们觉得自己已经是 AI 的重度用户了。每个人都在用 ChatGPT,每个人都在用 Claude——员工想要什么订阅,我们就提供什么订阅。对我们公司来说,支出规模大概是几万美元。

今年,这个支出直接飙升了。而且真正开始是在去年 12 月底,Opus 出来之后。其中包括 Doug O'Laughlin,他是公司总裁,而且在“非技术人员用 AI 写代码”这件事上,他基本上是冲在最前面的人。所以他基本上是慢慢地把整个公司都“洗脑”了。我觉得他在这件事上是带头人。当然,工程师本来就在用 AI。

但从 1 月开始,支出就开始出现拐点,然后一路飙升、飙升、飙升、再飙升。我们和 Anthropic 签了一份企业合同,现在已经到了一个地步——我上次跟你聊的时候,好像还是 $5 million 的支出,对吧?现在实际上已经是 $7 million 了。

Patrick:

顺便说一下,那是上周的事。

Dylan:

而其中很大一部分就只是使用量。以前从没写过代码的人,现在也在用 Claude Code,而且有时候一天就花掉几千美元。这个数字还会波动。

有的人某一天花几千美元,接下来几天可能花几百美元,然后又回到一千美元。每个用户的使用情况差异很大,但从公司整体来看,按当前速度,我们现在每年在 Claude Code 上花 $7 million,而我们的薪酬支出大概是 $25 million。所以 Claude Code 的支出已经超过了薪酬支出的 25%。

如果这个趋势继续下去,到年底我们在 AI 上的支出会超过薪酬支出的 100%,这有点可怕。好在我不用在“人”和“AI”之间做取舍,因为我们公司增长得太快了。更像是,OK,我不需要那么快地招人,我可以在 AI 上花更多钱,而且它确实有效,我们就能增长得更快。

但我觉得其他人会开始面对这样一个事实:嗯,如果这个人用 Claude Code 能做 5 到 10 到 15 个人的工作,那我可能就该裁人了。而且应用场景非常广。

Patrick:

举几个例子。

Dylan:

好。比如说,我们在 Oregon 有一个逆向工程实验室,已经建了一年半。我们有一堆很高级的显微镜、扫描电子显微镜。这个实验室的核心目的,就是对芯片做逆向工程。你要从芯片里还原出它的架构,搞清楚它制造过程中用了哪些材料。这是我们出售的数据的一部分。

分析这些数据本来是一个非常缓慢的过程。但团队里有一个人,用了几千美元的 Claude tokens,就做出了一个应用。这个应用有 GPU 加速,跑在我们放在 CoreWeave 的服务器上。只要我们给它发一张图片,它就会拿这张芯片照片,叠加标出每一种材料的位置。哦,这一块是铜。哦,栅极的这一部分是钽。这一部分是锗。这一部分是钴。

所以你可以非常非常快地对整个芯片堆叠结构做有限元分析。它是可视化的,有 dashboard,有 GUI,什么都有。只花了几千美元的 Claude。这个人之前在 Intel 工作过,他说以前这是一整个团队的工作,要专门去构建和维护这个系统。你把这种情况推广到整个公司,真的非常疯狂。

另一个我觉得特别有意思的例子是 Malcolm。他以前是某家大银行的经济学家。他们的经济学部门大概有 100 到 200 人。他做出来的东西是我见过最不可思议的之一。他把各种不同的数据都接进来了,比如 FRED 数据,还有各种其他数据源、就业报告,以及通过各种 API 获取的数据。我们和几家公司签了合同,拿到了数据 API 访问权限,然后把所有数据拉进来,开始跑回归,开始从通缩、通胀的角度分析各种经济革命对经济的影响。

美国劳工统计局有一整套 2,000 个任务。所以他用 AI 去分析这些任务,哪些可以由 AI 完成,哪些不能,并且按照一个评分标准给它们打分。大约 3% 现在可以用 AI 完成。于是他创造了一个指标,用来衡量哪些事情可以由 AI 完成,用 AI 做这些事情的成本是多少,以及由此带来的通缩效应。

他把这个叫做 Phantom GDP。产出可以上升,但因为成本下降太多,理论上 GDP 反而会收缩。所以他做出了一整套分析,还创造了一个全新的语言模型基准测试,包含 2,000 个不同的 evals。

Patrick:

这些都是他一个人完成的?

Dylan:

全都是他一个人完成的,没错。他就说,兄弟,这以前要 200 个经济学家做一年。他现在完全被 Claude 点燃了。他说,一切都变了。

适应,否则被商品化

Patrick:

作为一个企业主,你怎么理解这件事?从几乎为零,到占总支出的 25%,而且还在朝某个百分比继续加速。你什么时候会说,哇,我得踩刹车了,得小心我们花了多少钱?

也许我们不需要一直花钱用最前沿的 Opus 4.7,也就是今天刚发布的模型。也许我可以把它降到稍微便宜一点的东西上。

Dylan:

我觉得我是做信息生意的。我们卖分析,做咨询,创造数据集。如果我不持续改进,我看不出为什么这个业务不会很快被完全商品化。

我最早卖的产品是一个数据集,现在有更多人想做同样的事。我们不断把它做得越来越好、越来越详细,所以它还有市场。但我们在 2023 年的做法,其实和现在其他人正在做的并没有太大不同。如果我不提高标准,我就会被商品化。如果我动作不够快,我也会失去优势。

所以问题是,没错,AI 会让很多东西商品化,就像它让软件商品化一样。那些能快速行动、能继续掌控客户、持续提供优秀服务并不断改进服务的人,不会萎缩,反而会增长得更快。

那些作为既有玩家却什么都不做的人会输。所以这有点像生死存亡问题。如果我不采用 AI,别人会采用,然后他们会打败我。

另一个简单的例子是能源领域。我们大概一年前就有几个能源分析师。我们一直在试图搭建一个能源模型,这东西非常复杂。能源数据服务市场大概有 $900 million,所以对我来说,这显然是一个很大的、值得切入的市场。我们一直在慢慢推进,它对我们的数据服务业务也有帮助。

但尽管团队里有多人做了一年,我们其实并没有真正打进能源数据服务业务。然后 Claude Code psychosis 击中了 SemiAnalysis 负责数据中心能源和工业业务的人之一,Jeremy。它击中了他。于是突然之间,三周内,他花了很多钱。他一天大概花 $6,000,非常疯狂。

但他抓取了美国每一座发电厂、每一条超过一定电压等级的输电线路,然后基于各种公开数据源,创建了整个美国电网的完整地图,还包括很多需求来源。他们做了一个 dashboard,你可以查看和检查。

你可以看到美国所有微区域哪里有电力短缺、哪里有电力过剩,所有这些细节都在几个星期内做出来了。我们开始给一些客户展示,他们买我们的数据中心数据集,同时也是能源交易员。我们给其中一些人看,他们就说,哇,你们做这个花了多久?这个真的很好,比 XYZ 公司还好。

然后我们再深入了解。XYZ 公司有 100 个人,已经在这个东西上做了十年。

显然,我们的东西还没有完全那么稳健,但在某些方面它更好。我会去商品化这些能源服务公司、数据服务公司。如果我不跑得更快,谁又会来商品化我?所以从企业主的角度看,问题就是,是的,我花了很多钱,但这些支出带来了什么?带来了更多收入吗?

Patrick:

你会担心吗?从长期来看,那些控制资本、投资资本的人,也就是经常雇你做这些事情的人,会说,我们自己也有分析师,而且他们也很聪明。既然这件事变得这么容易,我们干脆自己做。

如果它真的变得那么简单,那么到什么时候,这一切会被吸收到那些最能从中获益的投资公司内部?

因为他们在这些数据或洞见之上拥有最大的杠杆。

Dylan:

首先,任何信息服务业务,显然我从这些信息中创造的价值,不如我的客户从这些信息中获得的价值大。因为如果我把一条信息以 $1 卖给你,你之所以愿意花 $1 买,是因为你知道这条信息能帮助你做一个决策,而这个决策能让你赚超过 $1。所以你从我这里赚到的钱,比我自己通过这条信息赚到的还多。

这些投资基金都有自己的信息服务系统——尤其是那些超级机构,比如 Jane Street、Citadel 这类公司。他们在数据上非常精细。但这些人也会购买我们的数据,而且还在继续购买,还在继续和我们一起增长。我觉得这里有某种“it factor”,某种说不清的东西。我们动作更快,更灵活。

Patrick:

你们处在边缘,处在前沿。

Dylan:

我们是一个更小的团队,专注于一件非常具体的事:AI 基础设施、它带来的巨大 AI 革命,以及 tokenomics 等所有这些东西。我们看得到它要往哪里走。所以我们行动更快,构建也更快。

我认为投资专业人士,是的,他们会尝试构建我们做的一部分东西。但更可能的是,他们还是会直接从我们这里买数据。对他们来说,从我们这里买数据,然后在此基础上构建,比完全自己从头做要便宜。

Tokens 价值的变化

Patrick:

我感觉每次和你对话,我一直真正想问的都是 tokens 的供给和需求。这是我现在最感兴趣的事情。

这次经历让你对需求侧有什么新的理解?你自己亲身强烈感受到之后,它有没有改变你对这个方程中需求端的看法?

Dylan:

如果我们退一步,从宏观视角来看,Anthropic 的收入已经从 $9 billion 到了什么水平?现在大概是 $35 billion、$40 billion。等这期播出的时候,可能已经是 $40 billion、$45 billion 的美国 ARR。

他们的算力并没有以同样的幅度增长。如果你做一下计算,并且假设他们没有减少研发算力——他们显然没有。他们发布了 Mythos,也有 Opus 4.7。

所以他们显然没有减少研究算力支出。最终,即便你假设他们获得的所有增量算力都用于推理,他们的毛利率下限也是 72%。现实中,他们获得的一部分增量算力很可能还去了研发,所以实际毛利率可能高于 72%。

要说明一下,今年年初,他们融资轮文件被泄露过。有人把它泄露出来。当时毛利率是 30% 多。

世界上有什么业务能这样提高毛利率?原则上就是因为需求太高了。他们能够削减使用额度、速率限制,所有这些东西。

真正重要的是,你要有一个 Anthropic 的销售代表,要和他们签企业合同,并且拿到你需要的速率限制提升。因为否则的话,tokens 最终是超级、超级抢手的。谁能付钱,谁就能拿到。

Anthropic 面临同样的问题。我是说,这不是问题。这只是资本主义运作方式的现实。是的,人们每年给他们送来 $40 billion ARR 来买 tokens,但这些 tokens 产生的价值远远超过 $40 billion。

不同企业每个 token 产生的价值会不一样,但随着模型越来越智能,真正重要的是能否接触到这些最智能的 tokens,并把它们用在某些事情上。你作为一个人,要决定利用这些 tokens 来增长业务、创造价值的最佳方式是什么。

因为很多人会想要 tokens,也会生成 tokens,但旧金山那些烂 SaaS 初创公司用 Claude 来生成它们的软件产品,并不一定真的创造了大量价值,所以它们迟早会被 tokens 的价格挤出去。

Patrick:

我今天刚好有这种体验。我在飞来这里的航班上,因为某件事被限速了。我看到 4.7 发布了,我立刻想要的就是那一秒马上用上 4.7。既然 4.7 已经出来了,我就完全无法再想着用 4.6。过去好几周我对 4.6 都非常满意。这真的很神奇。

你会惊讶吗?人们如此坚持要用最贵、最前沿的东西,而且程度这么高。

Dylan:

毫无疑问。我觉得过去一个半月里,我最有趣的记忆之一,就是我和我的一个朋友 Leopold 跪在一位 Anthropic 联合创始人面前,求他给我们 Mythos 的访问权限,而他们假装它不存在。

因为我们知道它存在,我们就说,求你了,给我们访问权限吧。然后他说,我不知道你们在说什么。

Patrick:

当那个价格表或者 eval 卡出来的时候,你是什么反应?

Dylan:

在湾区已经有传闻了。我们知道它应该会非常强。但如果你只看基准测试,当然,基准测试会随着时间变化。Mythos 可能是过去两年里模型能力最大的跃升。

我觉得这是一个非常、非常重要的细节。它好到他们不想发布它,尽管他们已经向那些被选择性开放、用于 cyber 领域的人公布了价格,而且它的 token 成本是 5 倍或 10 倍。他们就是不想发布,因为他们担心它对世界的影响。他们现在发布给我们的是一个更差的版本,Opus 4.7。

Patrick:

我们这些普通凡人。

Dylan:

而且他们在模型卡里明确说了,嘿,我们其实有意让它在 cyber 方面变差了。我不知道你有没有读到。无论你是谁,如果你有足够的资本,你都应该去办一个该死的 Anthropic 企业订阅,按 token 付费,而不是用这些普通订阅。因为那样你就不太会被限速。

然后你需要想清楚,怎么把这些 tokens 用到最高价值的任务上,并从中赚钱。因为最终你在做的事情,也许一年后或两年后,本质上就是在套利 tokens。tokens 很厉害,但我们要弄清楚该把它们指向哪个方向。再过三四年,模型自己就会知道该怎么使用 tokens,以及如何创造最大价值。

你甚至可以回头看这件事。随便挑一个 benchmark。过去达到某个能力层级的成本是 X。现在可能只要它的百分之一,或者千分之一。比如 DeepSeek 在 GPT-4 级别上,成本是 GPT-4 的六百分之一。从那以后,GPT-4 级别模型的成本又进一步下降了。

当然,现在没人关心 GPT-4 级别模型。他们想要的是前沿模型,因为前沿模型能让他们创造有经济价值的东西。但 GPT-4 级别模型仍然可以用于一些场景。

所以人们会在一些小型用例里使用它们。只是成本下降得太快,它已经不是驱动需求的核心。真正驱动需求的是所有这些新的用例。

一年后,如果我还想用现在 4.6 Opus 或 4.7 Opus 这个层级的模型、保持同样质量,我的支出可能只有 $70K。我敢打赌它会便宜 100 倍。但这无关紧要,因为我会去用一个好得多得多得多的模型,它能做更好得多得多的事情。

Anthropic Mythos 作为一个模型更贵,但它完成任务所消耗的 tokens 少很多。因此在大多数任务上,它实际上比 4.6 Opus 更便宜,因为它效率高得多,尽管每一个 token 本身更聪明。所以没错,有一群疯狂的天才每天都在创造巨大的成本效率提升。他们在各个实验室工作,把模型变得高效得多。

每一代你都能看到这种情况。GPT-5 Nano 或者类似东西,比 GPT-4 还好。或者 5 Mini 比 GPT-4 更好。成本大概只有百分之一。这种事情一直在发生。我们表面上接受它,但最终你会不断让东西更便宜,然后继续扩大规模,继续获得巨大的改进。

Anthropic Mythos:好到令人害怕

Patrick:

上次见你的时候,Mythos 好像刚出来,也许是前一天,或者是那张 card 刚出来。你说它好到让你真的有点害怕。你是什么意思?

Dylan:

Anthropic 在 2025 年,甚至 2024 年很大一部分时间里的整体目标,都是说,嘿,到 2025 年底,我们需要模型达到 L4 软件工程师的水平。总体上,他们用 4.6 Opus 实现了这一点。

但他们没有说的是,如果你看 Mythos,如果你比较基准测试,它大概像一个 L6 工程师。L4 差不多是相对初级。L6 则是经验相当丰富。我记得 Anthropic 说,这个模型在内部是 2 月份可用的。

所以两个月内,他们从 L4 工程师进化到了 L6 工程师。接下来是什么?当你思考模型进展时,它只是在加速。Anthropic 的发布节奏压缩了。OpenAI 的发布节奏也压缩了。为什么?

因为一般来说,要做出更好的模型,你需要几件事。你需要很强的算力。算力非常昂贵,而且它有一个我们可以追踪的时间尺度。它在增长,但短期内基本上是定死的。

就像是,你已经签下来的东西基本定死了。会有延迟,会有变化,也许你能 somehow 找到一点额外算力,但总体上它是相当固定的。然后你需要优秀的研究员,人们会为他们支付数千万美元。最后,还有实现。

而过去,实现一直非常困难。如果我有一个想法,现在我得把它实现出来。实现是很难的。

现在,想法在那里,实现变得非常容易。它很贵,但非常容易。

所以一个人要如何决定哪些想法值得实现?结果发现,如果实现变得容易得多,现在你就可以实现更多想法,在跑步机上越跑越快、越来越快、越来越快。不管这是 AI 模型研究。

所以现在你的模型发布周期从之前的六个月缩短到了两个月。

或者,我想把美国每一座发电厂、每一条输电线路都拿来建模,跑回归,观察微观供需。我也可以做到。想法很便宜。

哪个想法有意义?哪个想法值得你为 tokens 投入资本?因为实现能力已经在那里了。

这是关键认知。如果实现成本继续暴跌——而它们确实在暴跌。我们甚至还没真正用上这些新东西。Opus 4.7 发布才几个小时,但我的团队内部已经非常兴奋了。那么世界接下来会发生什么?这是经济运行方式的彻底重排。过去非常重要的是,执行非常非常他妈地困难,而想法很便宜。

现在想法依然便宜且充足,但执行非常容易。所以真正只有那些好想法,才能证明花钱购买超便宜实现能力是值得的。

Patrick:

所以你是真的感到害怕,还是说它只是引入了一些很难应对的不确定性?

Dylan:

不确定性确实存在,但我也确实认为这会带来一些恐惧:社会要如何重塑自身?当你的实现某件事的能力其实不再那么重要时,一个人该如何存在于这个世界?真正重要的是,你选择正确想法让 AI 去实现的能力,以及你销售那个想法、或者销售 AI 实现成果的能力。

你为此聚集资本的能力才是重要的。回到前面那个点:始终拥有最新模型非常重要。那谁会拥有最新模型的访问权?Anthropic 的项目,我知道它不叫 Earwig,但我喜欢用 Earwig 来调侃 Anthropic 的人。Glasswing。

Anthropic Earwig——他们只把 Mythos 发布给特定公司,用于 cyber。这种事情会持续下去。模型的部署范围会越来越窄、越来越不广泛。

我知道 OpenAI、Anthropic 和这些人都会说,我们希望每个人都能拥有伟大的 AI。但 AI 他妈地非常昂贵。谁来为数万亿美元的基础设施买单?那些有钱、并且能用 AI 构建有用东西的人。

而且你不希望别人蒸馏你的模型,所以你不会广泛发布。你会把它发布给越来越少的客户群体。

这些客户现在也会争抢 tokens,除非 Anthropic 抬价。他们可以把 Opus 的价格翻倍,我仍然会继续付钱,而且大多数用户都会继续付钱。我敢打赌这也解决不了他们巨大的容量问题。

所以问题变成了,这个周期最终会在哪里结束?tokens 使用量,以及这些 tokens 所带来的好处,也就是在这些 tokens 之上产生的附加价值,会不会越来越集中到更少、更少、更少的公司手里。我没有 Mythos。你知道谁有 Mythos?顶级大银行。

现在他们只是把它用于网络安全,但在某个时点,我可以想象一个世界——嘿,也许因为我有 Anthropic 的企业合同,而且 Anthropic 的人有点喜欢我,他们愿意稍微早一点给我们访问权限,或者给我们稍微高一点的速率限制,或者某个模型的某种待遇。我希望事情会这样发展。然后我的竞争对手,无论是谁,没有这个条件,而我就能把他们彻底碾碎。

也有像 Citadel 的 Ken Griffin 这样的人,他关系极强,也非常有钱。他去和 OpenAI 或 Anthropic 签个协议,说,是的,我要获得你们模型的访问权,而且我每年会先买价值 $10 billion 的 tokens。

所以每当你们发布模型,我会先花掉这 $10 billion 的 tokens,然后其他人之后才能拿到这个模型。然后问题就是,好吧,那会产生什么后果?现在他会在市场上碾压所有人。

这只是一个例子。它也可以是任何其他事情。它可以是像 Anthropic 担心的 cyber。哦,现在我能黑进别人系统。它也可以是像我这样的信息服务业务,让我碾压其他人。我认为这件事的基础非常广泛。

我们不知道这些模型能做什么。Anthropic 不知道这些模型能做什么。没有人知道这些模型能做什么。

要由终端用户自己去弄清楚,他们能在哪里利用 tokens,看看自己能构建和想象出什么。这对人类来说极具生产力,也令人振奋。但随后,资源和使用权的集中会发生什么?

来自机器人和实体经济的需求

Patrick:

大概现在,机器人或者 robotics 消耗的 tokens 相对于其他所有东西来说几乎为零。你怎么看?如果这是第二条需求曲线,它可能也会开始往上抬。

在这里方圆一英里内,每天都有新的初创公司在试图做一些有意思的机器人东西。

Dylan:

有一个概念叫做“纯软件奇点”,意思是世界出现了 AI 奇点,但只发生在软件领域。那么世界其他部分呢?世界的绝大部分是物理的,而且你可以看到世界是围绕硬件,而不是软件来运转的。

这其实就是为什么我认为纯软件奇点只是一个短暂阶段,而不是终点。我们确实会获得其他一切。因为软件非常容易。真正让机器人变得很难的是什么?是给微控制器和执行器编程,控制所有这些东西是非常困难的。

而现在,关于 AI 模型有趣的一点是,它们在学习上其实非常低效。只不过我们能够给它们极大量的数据,所以它们能够学习,并在某些方面超过我们。

目前的机器人模型——VLA,也就是 Vision Language Action Models,视觉-语言-动作模型,现在很流行——可能不会是最终能够继续扩展的东西。它们在数据使用上效率低下,而我们无法足够快地为它们扩展数据。

未来会出现某种大规模预训练机器人模型。就像人类一样,一生中看到这么多数据。而有意思的是,人类之所以这么强,是因为我们的样本效率很高。一个例子、两个例子,我们就学会了。

所以把这一点应用到机器人上,一旦有了这种纯软件奇点,实现变得超便宜,任何人都能开始构建这些模型,那机器人就会真正变得有用。所以我认为,在未来 6 到 18 个月,我们会开始看到机器人领域真正的突破,使少样本学习成为可能。也就是说,有一个预训练机器人模型,现在你雇了一个机器人,或者买了一个机器人,或者不管怎样。你给它展示几个例子,它就能完成。

现在很多公司在做广告用机器人,或者做一些简单任务的机器人,但未来会变成,哦,叠衣服,当然可以,当然可以。当然,它会变得非常细分。专门擦黑板的机器人,而且是租赁服务。或者它会是一个模型包,你下载到你的标准机器人上,然后它就能做这件事。

无论如何,实体商品领域会出现巨大的加速和通缩效应,但这最终会继续让 tokens 需求疯狂增长。我个人不认为 tokens 需求会放缓。

Patrick:

基于 Mythos 的结果以及它的构建方式,你还学到了关于这个世界的其他东西吗?我其实是在问,如果你拆解 scaling laws 的组成部分,会看到什么?

Dylan:

Mythos 是一个比之前模型大得多的模型。所以,是的,它是一个大得多的模型。它是用什么芯片训练的,其实不是关键。

关键是规模。显然,十万块 Blackwell 等价于数十万块上一代芯片。TPU 和 Trainium 有它们各自的发布节奏。

所以它不完全是一对一映射,但最终,是的,Mythos 是一个显著更大的模型。它证明 scaling laws 仍然有效。它的一切都显示出这条趋势线还在延续:把更多算力投入模型,模型就会更好。

而且在整个过程中,不只是“更多算力投入模型,模型就变得更好”。一路上,我们还在获得计算效率提升。所有这些实验室投入的研究算力,实际上正在转化为:如果我想让你的模型达到 X 能力,每六个月,或者每两个月,这个成本都会大幅下降。但如果我再把它大规模扩展,我也会获得巨大的能力跃升。

所以,是的,它证明这一切还在发生。Google 和 Anthropic 在训练端并不是特别重度依赖 GPU 的用户,但 OpenAI 接下来会有他们的新一代模型。我觉得他们在扩展上采取的是一种更理性、更有原则的小步推进方式。

Anthropic 则真的是做了一次巨大跃迁。今年我们会看到越来越好的模型。而发布节奏只会越来越快。

为什么每个实验室都会卖光 tokens

Patrick:

我们这次对话已经聊了很久,却几乎完全没提 OpenAI,这本来会很奇怪。

Dylan:

所以有意思的地方就在这里。大家会说,OK,所以 Anthropic 已经赢了,对吧?他们 2 月就有 Mythos。他们甚至从来没有真正发布,因为他们觉得没必要。他们已经卖光了。他们的收入每个月都在增加 $10 billion。

然后今天又有 Opus 4.7,全都发生在 OpenAI 传说中的 Spud 发布之前,而 The Information 等媒体都报道过这个发布。所以显然 Anthropic 领先了,OpenAI 完蛋了。

但有意思的是,因为 Anthropic 受到算力的巨大限制,而且他们只能以那么快的速度增长算力。之前 Dario 还会得意地说 OpenAI 在算力上太激进,而 Anthropic 在扩展上更理性。现在 Anthropic 则是,靠,我真希望我们有多得多的算力。

OpenAI 完全能支付账单。事实上,他们筹了大量资金,去获得增量算力,除了他们已经从 Oracle、CoreWeave、SoftBank、Microsoft 等人那里买的那些“不负责任”级别的算力之外,比如 Trainium。现在他们也从 Amazon 拿 Trainium。他们在算力上做了这件疯狂的事。他们也知道自己还需要更多。

但有意思的是,如果你说 Opus 4.6,我们先忽略模型随时间变好。只看这项技术的扩散。你和我可能会在模型发布第一天立刻跳进去用,但其他企业需要时间,人们学习也需要时间。而那种“哦,见鬼,Claude psychosis”时刻并不会同时击中每个人。

所以到年底,假设一个 4.6 Opus 层级的模型,整个经济体会为它花 $100 billion。我不觉得这不合理。现在已经在花 $40 billion 了。

Patrick:

这有点像线性外推。

Dylan:

这是线性外推,不是指数外推。要实现指数增长,你需要更好的模型。Anthropic 没有足够算力来满足这一点。而大概 OpenAI 和 Google 很快也会达到那个层级。谁下一个达到那个层级——当然,Anthropic 可能能收取 70% 以上的毛利率。

但如果 OpenAI 下一个达到,他们收 50% 毛利率。他们仍然会获得所有这些增量需求。而且他们大概率也没有足够算力服务所有用户。当然,也许 Mythos 是这样一个模型:如果世界有足够算力,它可能会带来 $500 billion 的收入,或者其他疯狂的数字。

这些 tokens 的需求如此巨大,而算力限制如此严重。我们从 H100 价格飙升以及所有这些事情中都能看到这一点。这些 GPU 的使用寿命还在不断延长、再延长。

很明显,即使是二线实验室也会把 tokens 卖光,更不用说一线实验室了。一线实验室会有更好的利润率,但二线实验室也会卖光。而且很可能三线实验室也会接近卖光。

最强模型能交付的经济价值增长速度,超过了我们通过基础设施把这些 tokens 提供给用户的能力。所以这个缺口会继续扩大,模型实验室的利润率会继续扩张。直到硬件供应链、基础设施供应链里的人说——等一下,不对啊,我为什么不直接提高我的利润率?

Patrick:

所以简单说,我认为今天对需求侧的评估,或者说你对需求侧的评估,在 SemiAnalysis 你自己的具体案例里,是完全爆炸式的。更广泛地说,你把它称为 AI psychosis。随着人们进入这种体验,发现自己能做什么,发现实现难度完全消失。我自己当然也感受到了。

我自己的 token 支出也在短短几周内直接冲上天。所以这听起来是一个相当好的判断。需求侧还有什么我们漏掉的吗?

Dylan:

如果你不使用更多 tokens,你永远逃不出永久底层。要么你使用更多 tokens,并用这些 tokens 创造经济价值,创造远超 token 使用成本的经济价值。

很多人是在用一种无聊、懒惰的方式做这件事。哦,我想我每天只工作一小时,而不是八小时,让 AI 做我大部分工作。这是无聊的方式。酷的方式是,我还是每天工作八小时,但我做 8 倍的工作,也许赚 5 倍的钱。

显然,在一份普通工作里你做不到这一点。有的人会打多份工,有的人会创业、开始卖东西。有的人在 hustle,也就是我认为你和我大多在做的事情。

在所有人都开始使用 AI、它变成标配之前,先从 AI 身上获得那种经济价值。因为它现在还不是标配。所以如果你不使用更多 tokens,并从中创造价值,再捕获这种价值,这里其实有三个不同问题:使用更多 tokens,从这些 tokens 中创造价值,以及从这些 tokens 创造出来的价值中捕获价值。

如果你做不到这三件事,你就永远逃不出永久底层。也就是说,随着模型能力继续暴涨,资源集中也可能发生。

扩大供给,以满足无止境的需求

Patrick:

好,我们来聊供给。当需求曲线爆炸式上升时,为了服务所有这些 tokens 所需的整个技术栈,在供给前沿有什么变化?

Dylan:

随着需求飙升,供给端所有东西的价格都在上涨。不管是最终的 GPU,它们的价格在上涨。此外,它们的使用寿命也在延长。

Patrick:

H100 的价格看起来就是这样。

Dylan:

对,没错。有些人说 GPU 的使用寿命不到五年。这完全是胡扯。现在有些集群正在重新签约。三四年前的 Hopper 集群在续签三四年。还有 A100 集群也在续签接下来几年。

所以使用寿命显然不是五年。可以说,甚至可能是七年或八年。我们还不知道。等 Hopper 到那个阶段我们就会看到,但显然不是五年。所以使用寿命在延长,而且续约价格也在上涨。实际上,一个集群的毛利率并不是 35%。而是高于这个数字。

所以云层的利润率在扩张。硬件层的利润率也极其健康,NVIDIA 仍然在收取 75% 或类似水平的毛利率。

当我们沿着技术栈往下走,内存方面,显然利润率已经暴涨。在光学和逻辑等领域,有大量预付款,利润率也在慢慢上升。更重要的是,像 NVIDIA 这样的芯片公司正在支付巨额预付款。所以实际上,即便毛利率没有上升,资本成本、现金流时间安排或投入资本回报率也在上升。

你可以在整个供应链中看到这一点。ASML 已经完全卖光,他们需要 Carl Zeiss 更快扩产。每个人要么卖光了,利润率在上升;要么拿到了预付款,从而提高投入资本回报率,因为实际投入的资本更低。

所以这是所有环节里一致出现的趋势。甚至像制造 PCB 需要铜箔,而铜箔也卖光了,人们也在为此支付预付款。

任何有脉搏、又卖光的东西,人们都在抢着拿到更多增量供给,并争夺未来几年的供应。

Patrick:

你认为最重要的瓶颈是什么?通常在经济史上,当出现这种需求时,供给会重新调整,并且非常非常快地上升来满足需求。可现在这个时点,供给几乎不可能跟上。

当然,这可能是著名的“最后一句话”,历史上每次短缺之后都会跟着过剩。但在供给侧,你觉得最有意思的瓶颈是什么?

Dylan:

供应链通常反应非常快。一个独特之处在于,现在我们的供应链比以往任何时候都更复杂。而我们正在构建的东西也比以往任何时候都更复杂。因此交付周期更长。

并不是说我们在其他行业没见过 18 个月的交付周期。问题是,建设增量供给过去不需要几年。而这在内存领域就是现实。内存产能每年只能以低双位数百分比增长,对吧?一年 20%、30%,NAND 更低一点,DRAM 稍高一点,但大概就是这样。

即便 2025 年底需求信号已经非常强烈,内存公司也立刻开始反应。但这些增量产能基本上都要到第二——它们决定在通常的 20% 到 30% 之外再做一些增量——它们可以稍微拉伸一点,但真正的增量供给要到 2028 年才会出现。这是一个非常独特的事情。

即使它们想尽可能快地建设,也要到 2028 年才会出来,最好也就是 2027 年底。所以结果就是内存价格已经冲上天了。而你猜怎么着?

它们还会再翻倍、再翻三倍。至少 DRAM 特别如此。有人会说,哦,内存这个故事已经被过度演绎了。

大家都明白了。但事实是,不,不,不,你们没明白。DRAM 从这里还会再涨两倍或三倍,因为所需产能就是这么多。

而且它们必须从其他地方抢产能。在资本主义经济中,从别处抢产能的唯一方式,就是通过更高价格来摧毁需求。我们这里不是在搞配给。

所以最终,这就是会发生的事。因此利润率会继续上升。我认为 Logic 也有巨大的产能问题。

TSMC 刚公布财报。他们不断上调 CapEx。最终,他们建晶圆厂需要相当长时间。

他们正在尽一切可能,从每一座现有晶圆厂里挤出每一点产出。但最终,他们没有快速涨价,因为他们看起来像是好人。只是个位数涨价,而不是像内存厂商那样三位数涨价。所以你最终看到的是这样一个市场:是的,TSMC 是一家伟大的公司,但他们真的会把所有价值都榨取出来吗?

我提到过铜箔、PCB 用玻璃纤维、激光器。这些东西在小众供应链里是大家理解的,但它们非常非常紧。最终,更上游的半导体晶圆制造设备供应链已经涨了很多,但仍然非常被低估。

TSMC 今年的 CapEx,他们说是 $56 billion。我们从 1 月以来一直估的是 $57.4 billion,而且我们可能还会略微上调,因为我们看到了一些他们可以获得增量 CapEx 的方式。但人们没有关注的是,这意味着明年会怎样?后年又意味着什么?结果是,三年后,TSMC 会在 CapEx 上花 $100 billion。也许两年后,也可能是 2028 年。说真的,他们可能会在 2028 年花 $100 billion 的 CapEx。人们完全无法想象这一点。

但这对他们下游供应链意味着什么?比如 LAM Research、Applied Materials、ASML,或者它们更下游的供应链,比如 MKSI 以及所有这些公司。

Patrick:

所有人都必须跟上。

Dylan:

那种鞭尾效应会被甩得越来越猛、越来越猛、越来越猛。如果 TSMC 想在 2028 年花 $100 billion,而这确实是一个真实可能性,那就是一种短缺。

我觉得人们会认为这很疯狂,但这是一个非常、非常真实的可能性。

CPU 与 ASIC 的现状

Patrick:

芯片生态系统中其他部分怎么样?GPU 一直占据绝对主导。那么 CPU、ASIC,或者那些开始作为机会和瓶颈浮现出来的东西,在 NVIDIA 的 GPU 主导之外扮演什么角色?

Dylan:

是的,ASIC 显然正在起飞,但我先从 AI 芯片转开,聊聊这些其他东西。我们做过一个关于 FPGA 的项目,结果发现每个下一代 AI 机架里有 120 个 FPGA。那所有 FPGA 相关公司的情况又会怎样?

CPU 方面,所有这些强化学习环境,再加上你我现在生成的所有垃圾代码,它们跑在某个 Vercel 实例或者别的什么东西上,或者某个 AWS 实例上,或者我们临时启动的某个 bucket 里。所有这些都需要 CPU。所以 CPU 已经完全卖光了,那里的需求也在飙升。

Patrick:

人们应该如何理解 CPU 在整个体系中的作用?

Dylan:

你需要大量 CPU 的原因主要有两个。第一,当你在做强化学习时,CPU 对这件事非常关键。以前你会把整个互联网的数据丢进模型里,训练它,然后它吐出一些东西。

现在,你训练整个世界的互联网,把所有互联网数据放进模型,然后把它放进一个环境里。这个环境会说,嘿,模型,试试这个。然后它会尝试东西,尝试很多不同的东西。

最后,有一个环境会对它尝试的东西是否成功进行评分和打分。这些环境可以是任何东西。它可以是,嘿,检查文本是不是以正确方式输出,也就是结构化输出。可以是非常简单的东西,也可以是非常复杂的东西。

现在人们开始进入非常复杂的事情。比如,嘿,我希望你打开这个文件,修改它、编辑它、更新它、提交到这个网站。我希望你打开 Siemens 的这个物理仿真,编辑这个 CAD 模型。所以这些环境会变得越来越复杂。而这些环境运行在 CPU 上,不运行在 GPU 上,也不运行在 ASIC 上。

ASIC 运行的是模型。模型从环境中获取输入数据,把它跑过模型,模型生成各种不同路径的输出,也就是它认为可以用不同方式解决问题的轨迹。这些轨迹会被评级或打分。成功的轨迹会被用于训练,然后更新,再迭代、迭代、迭代。

所以 CPU 在这一点上非常有用。然后,一旦你有了这些很棒的模型,并开始部署它们,这些模型会生成代码、生成有用输出。那些有用输出不会从 GPU 直接进入人脑,它会从 GPU 或 ASIC 进入你部署在某处的应用,而那个应用实际上运行在 CPU 上。所以这是另一个存在大量需求的领域,而且很多东西已经以非常大的规模卖光了。

Patrick:

当你继续评估并试图成为世界上最了解供给和需求轨迹的人时,有哪些你希望知道、但现在还不知道的事情?这些信息能让你理解得更好。

Dylan:

我觉得对我们、也对所有人来说,最难的领域是理解 tokenomics,也就是 tokens 的经济学。我认为我们对运行基础设施需要多少成本、tokens 成本是多少、模型成本是多少、这些实验室的利润率是多少,都有非常非常好的洞察。但使用情况和采用情况才是真正难以建模的,而且一直如此。

1 月时,我们对 2 月有非常疯狂的预测。Anthropic 直接打爆了这些预测。我们该怎么校准这个模型?这方面的数据源是什么?2 月时,我们对 3 月又有疯狂假设。我知道人们会说,Dylan,你疯了。

然后他们又把这些假设打爆了。大家看到 $10 billion 这个数字,都会说,什么鬼?他们怎么增加了 $10 billion 的收入?谁在用所有这些 tokens?他们为什么用?他们用它们在构建什么?

更重要的是,他们用这些 tokens 构建出来的东西,实际上是如何扩散进经济体的?它创造了什么价值?

因为这不是你能在任何 GDP 统计中真正捕捉到的东西。我使用的所有 tokens 的价值,都被转化成了更好的信息,然后我再以相对低于过去人们卖信息的价格把这些信息卖出去。

因此,这些信息现在正在整个经济体里流动,人们会做出更好的投资决策,或者如果他们是半导体公司、数据中心公司或 hyperscaler,就会做出更好的竞争决策。

这件事的价值是什么?它对经济产生了什么影响?从每一个主观指标来看,它显然非常惊人。但 Phantom GDP 在哪里?Phantom GDP 是什么?我们如何追踪真实经济价值?

因为如果你要说,Dylan Patel 创造的 GDP 是多少,那么 GDP 指标并不准确。它很小,和我认为被创造出来的价值相比很小。我觉得你对 Patrick 也会这么说。这些 tokens 创造的价值是什么?不能只是简单地看它本身,而是要看这些东西所做一切事情的连锁效应。

我认为这才是真正的问题和挑战。它很难测量。我觉得我们对供给侧的把握非常强。我也觉得我们对需求侧的很多信号把握得非常强。但这些 tokens 创造了什么价值?这很难量化和衡量。

AI 的公众认知问题

Patrick:

我希望我们每三个月都能做一次这样的对话,因为变化实在太快了。你认为接下来会发生什么?三个月后我再回来,我们又一起在 San Francisco 的时候,你预期会看到什么?

Dylan:

大规模抗议。

Patrick:

真的吗?

Dylan:

是的,我认为会有针对 Anthropic 和 OpenAI 的大规模抗议。人们讨厌 AI。AI 的受欢迎程度比 ICE 还低,比政客还低。

随着 Anthropic 增加这么多收入,这将开始在下游引发商业变化。人们会越来越害怕 AI。他们会开始把越来越多自己的问题,以及那些全球性的、长期根深蒂固的问题,归咎于 AI。

这些问题会浮出水面,并被怪到 AI 头上。很可能会有某个政客或某个 influencer 开始利用 AI,把它武器化,用来攻击别人。你看看那些新闻文章下面的评论,Sam Altman 家两周内被人扔了两次燃烧瓶。人们在为此欢呼。

而这只是开始。所以我认为三个月内,我们会看到针对 AI 的大规模抗议。

Patrick:

那与之相对的制衡力量是什么?AI 行业应该如何提前化解这件事?

Dylan:

首先,Sam Altman 和 Dario 必须停止接受采访。他们太没有人格魅力了。我不知道他们在干什么。他们每做一次采访,我都会觉得,哇,普通人会更讨厌你们。Sam 上 Tucker Carlson 的节目可能让所有共和党人都讨厌 OpenAI。我只是猜测。Dario 也是一样。我觉得这是第一点。

第二,他们需要开始展示 AI 能做的一些振奋人心的事情。第三,他们需要停止不停地谈论能力将如何改变整个世界,因为这样人们就会害怕那种能力,因为他们和它没有连接。这里没有连接。普通人不认识 Anthropic 员工。普通人不认识 OpenAI 员工。

普通人不知道这些人是谁,不知道他们的目标是什么,他们只会把这些人看成某种偷偷摸摸的小集团。这个公司里有 5,000 个人,他们要改变世界,自动化所有工作,摧毁社会。普通人就是这样看待它的。

他们也会把这些人看作是在资助建设所有这些数据中心和发电厂的人,而这些东西会污染世界。他们并不真正理解正在发生什么。

所以他们必须停止谈论未来将要发生的事情,而只谈现在——AI 现在是如何令人振奋、如何提升人类的。我认为他们需要进行一次巨大的重组和品牌重塑。

Patrick:

这太有意思了。我很喜欢和你做这样的对话。谢谢你的时间。

Dylan:

太好了,谢谢。