我们正在借鉴 VLSI（超大规模集成）的经验
Nick: 我们正在借鉴 VLSI（超大规模集成）的经验，我认为这主要是 Intel 从分立晶体管向集成电路转变的过程。我们在激光器上也在做同样的事情。我们正在制造单芯片，如今在单片两厘米乘两厘米的激光器裸片上，最多集成了 512 个激光器。这样做能够让你为单芯片提供几十、几百 Tbps 的驱动能力。
Sally: 大家好。我是 EE Times 的 Sally Ward-Foxton。您正在收听的是我们的 AI 播客《AI with Sally》。在本期节目中，我将与硅光子初创公司 Lightmatter 的 CEO Nick Harris 进行交谈。硅光子已经等待它的时刻多年了。随着 AI 从一个受限于计算的问题转变为受限于内存和互连的问题，这个时刻终于到来了。在这次对话中，我们将讨论 Lightmatter 的重点如何从光子计算转向互连，以及为什么该公司新型集成激光器代表了 AI 基础设施扩展超越铜线支持极限的下一步。以下是我与 Nick Harris 的对话。好的。嗨，Nick，欢迎来到我们的节目。
Nick: 嘿，Sally。很高兴见到你。
硅光子为何走到聚光灯下
Sally: 我想我们第一次见面至少是五年前了，那时可能有些人会认为硅光子有点小众，或者在当时肯定还是一门新兴技术。但今天，毫无疑问，光子技术已经是 AI 基础设施中最热门的领域之一。过去五年里到底发生了什么，让这项技术真正走到了聚光灯下？
Nick: 是的，我想我们认识大概有五年了，可能还要久一点。我想我们是通过当时正在兴起的 AI 加速器热潮认识的。
Sally: 有些人可能会说，这股热潮仍在继续。
Nick: 这股热潮确实还在继续。它就像是，你知道的，减弱了然后又爆发了。现在有所有这些初创公司在做这个。所以我想，发生的事情是——对我们来说这是一段漫长的旅程，Lightmatter 已经成立九年了。我们于 2017 年在 MIT 创立。在这段时间里对我们来说改变的是，人们的观念从“哦，这种光子技术似乎有一个路线图。它非常有趣。它是高性能的。但你知道吗？我们的铜线可能还能再用五年、七年，还能榨出更多潜力”转变成了现在的样子。在过去大概一年半的时间里发生的事情是，像 NVIDIA 这样的公司已经非常明确地表示，这就是他们要转向的方向。原因在于，当你观察他们正在构建的机架时，它们是令人难以置信的技术杰作。它们背面有数千磅的铜线，而铜线的传输距离大约只能达到一米。所以他们把所有服务器侧立起来，做成书架的样子，这样线缆就可以更短。因此，他们在想尽一切办法。我想他们甚至把机架背靠背或紧挨着放在一起。他们做所有这些是因为铜线不能变得更快更长了。所以现在是共封装光学(CPO) 的时代了。全世界都意识到这就是我们要参与的竞争。这是一项极具挑战性的技术。你知道，人们会谈论，就像如果你想想模拟世界，你知道的，像 Qualcomm 那样的手机 CDMA 接收器。你想想这些公司，去构建那种模拟系统需要做多少工作。Apple 为此努力了十年左右，而 Intel 之前也尝试过。硅光子也有点像那样。从“我想构建硅光子产品”到“我已经在硅片上进行了大量的迭代，解决了所有微小的物理细节，并且它跑通了”，这是一个非常漫长的旅程。所以这就是过去五年里整个行业发生的变化，也许对 Lightmatter 来说也是如此。
Sally: 是的。我的意思是，我知道你提到铜线已经达到了它的物理极限，但从我的角度来看，问题的一部分似乎仅仅是关于如何更高效地移动数据，而不是更快地处理数据，对吧？
Nick: 是的，我的意思是，它们在某种程度上是耦合的，因为现在的 AI 工作负载是为了应对有限的带宽而被分割的。程序在这些机架和机列上运行的方式对它们来说多少有些不自然。如果可以的话，你会希望整个机列是一个一致的计算机，但今天这是不可能的，因为你把带宽削减得太多了。当你在芯片内部时，你享有 Pbps 级别的 I/O。一旦你离开它，你就只剩下几 Tbps 了。然后当你到了机架级别时，它就非常低了。因此，这里发生了一个巨大的带宽递减。我们需要做的是让 GPU 拥有一个带宽，这个带宽相比你在芯片封装内部所做的不要有那么大的降幅。那将允许你构建这些巨大的纵向扩展域，使它们的表现就像一台单一的计算机。
Sally: 我想 Lightmatter 正如你所说，是在 2019 年创立的。
Nick: 17 年。
从光子计算到互连：Lightmatter 的转向
Sally: 2017 年，我的错，抱歉。时光飞逝。这些年来，你们经历了一些演变。你们最初是一家光子计算公司，但你们已经演变成致力于解决我们刚才描述的这个互连问题的公司。你能跟我们讲讲这段旅程吗？以及为什么你们决定朝那个方向演变？
Nick: 是的。如果你回到 2017 年，我们当时专注于光子计算。我们在 MIT 做了一项真正具有突破性的研究，探讨在后摩尔定律、后登纳德缩放时代的计算未来会是什么样子。在那个时候，如果我们回想一下 AI 模型，主要还是 ResNet、图像识别。AlexNet 是那之前的五年。所以全世界的重点都在于以超人的能力非常快速地检测图像中的大量事物。那些 AI 模型是受限于计算的。所以如果你能构建一个更快的处理器，你就能获得巨大的性能提升。在 2017 年左右发生的事情是，我想 Transformer 论文就是那一年发表的。在接下来的五年里，发生的事情是我们转向了 LLM，基于 Transformer 的模型。现在，基于 Transformer 的执行，它不受限于计算，而是受限于互连，受限于内存。模型非常大，这些基于 Transformer 的 LLM 跨越几十个 GPU 运行。它们不是在单个芯片上运行。所以实际上，它们受到互连的限制。我记得在 2018 年，我想我们进行了一轮融资。其中一位投资者和一位尽职调查人员就说，嘿，这个光子处理器非常快，但我不知道你们将如何持续为它提供数据。你们将必须解决这个问题。因此，我们当时发明了 Passage。自从 2018 年，也就是我们成立一年后，我们一直在构建这项技术。它最终成为我们要做的真正重要的事情。这源于第一性原理。我在计算领域看待世界的方式是，现在我们要解决内存带宽和互连的挑战。一旦你真的从中解决了一大部分，想象一个饼图，你把那些时间压缩到几乎为零。这样所有的时间都花在计算上。现在就有空间在计算机上进行创新了。对于如何做到这一点，我们有一个想法。去年，我们在《自然》杂志上发表了一篇关于我们光子计算机的论文。而且这块芯片被收藏在加州山景城的计算机历史博物馆中，这简直是最酷的事情了。作为一个电脑极客，我无法告诉你这有多令人兴奋。它让我热泪盈眶。
Passage 平台：NPO、CPO 与光子中介层
Sally: 绝对是。所以 Passage 作为一项技术，它酷毙了。我能请你多描述一下 Passage 实际上是什么样子吗？它到底是什么？目前 Passage 的采用情况如何？
Nick: 是的，Passage 是我们的光子互连平台。它有不同的版本。我们有近封装光学(NPO)，它们是光学引擎。你可以想象一个计算机芯片，但有光纤延伸出来。我们把它放置在靠近处理器或交换机的地方，大概六英寸远。它接收来自处理器和交换机的电信号，将它们转换为光信号。这样你就可以为 AI 连接起一台大型超级计算机。这就是近封装光学(NPO)。这是你最后一次将光收发器与 GPU 或交换机分离开来了。Lightmatter 也制造共封装光学(CPO)。在这里，你最终出货的每一个 GPU、每一个交换机都把光收发器内置在封装中。更好的能源效率、更快的速度以及更高的每封装总带宽。除此之外，说到 Passage，Lightmatter 真正为人所知的是光子中介层/转接板(interposer)。我们在该领域拥有 400 项专利。我们构建了世界上最大的光子互连芯片，高达 200 毫米乘 200 毫米。所以是晶圆级的光子中介层/转接板(interposer)，还有我们的 M1000 中介层/转接板(interposer)。我们所做的是采用先进节点芯片阵列，想象一下像 TSMC N3 或更先进的节点，并将它们 3D 堆叠在光子基板上。这种封装技术在某种程度上看起来像 CoWoS。所以你有一个硅基板，并在上面 3D 堆叠这些芯片。然后，基本上在那个阶段，它们就能使用光进行通信了。而中介层/转接板(interposer) 真正特别的地方在于，这是第一次你不再受限于可以在裸片边缘放置多少 I/O。计算机芯片总是将 I/O 放在边缘，因为它们是非常敏感的微小信号。有了中介层/转接板(interposer)，你可以把 I/O 放在芯片的整个表面上。这是一件大事，因为计算是随面积扩展的，而 I/O 一直只随周长扩展。所以你面临着类似 L 的平方对 L 的情况。而有了 Passage 中介层/转接板(interposer)，这两者都随面积扩展。因此我们认为这绝对是光子技术以及整体计算的未来。这就是 Passage 家族的大致情况，NPO、CPO 和中介层/转接板(interposer)。
Sally: 我们是否应该把近封装光学(NPO) 和共封装光学(CPO) 看作是它的第一代，然后把中介层/转接板(interposer) 看作是第二代？或者它们在同一代中以某种方式相互竞争？或者告诉我你如何看待它们之间的关系。
Nick: 是的，我认为就像任何类型的技术平台或产品引入一样，你会有早期采用者、平均采用者和晚期采用者。现在，NVIDIA 正在研发共封装光学(CPO)。我认为在接下来的两年里，行业内的其他公司将会使用近封装光学(NPO)，同时他们会努力向共封装光学(CPO) 演进。我们也在——这是在谈论早期采用者——我们今天已经在使用我们的中介层/转接板(interposer) Passage M-series 来设计产品了。因此，你将会看到所有的东西同时存在。但是行业的大多数会在 2027 年做近封装光学(NPO)。行业的大多数会在 2028、2029 年做共封装光学(CPO)。再往后，就是中介层/转接板(interposer) 了。
为何 CPO 落地花了这么久：供应链与封装
Sally: 我们之前在节目中讨论过近封装光学(NPO) 和共封装光学(CPO)。但从你的角度来看，我很好奇为什么，2028 年在芯片的岁月里并不算长。这已经是迫在眉睫的事情了。你为什么觉得，这项技术已经开发了这么长时间。为什么你认为它真正达到这种商业化和采用水平花了这么长的时间？
Nick: 我的意思是，你必须有一个像 NVIDIA 这样的大玩家去推动供应链，并且要有如此明确的投资即将到来，才能让所有这些测试厂、光纤阵列公司、光学探针公司、代工厂以及所有人都统一步伐。你需要那笔钱挂在那里，需要那个金钱的胡萝卜挂在前面。它现在正挂在那里，每个人都专注于此。这就是所发生的事情。但仍然有大量的工作要做。我们在晶圆级测试基础设施上花费了大量时间。我经常在台湾与我们在那里的合作伙伴一起工作。但是我们快完成了。时间快到了。
Sally: 不过对于 Passage，你认为向 CoWoS 以及行业的其他部分发展，会因为那个生态系统已经某种程度上存在而有所帮助吗？
Nick: 是的，我认为有了中介层/转接板(interposer)，你将能够利用，比如，我们与 ASE 和 Amcor 合作，我们也是 TSMC 的合作伙伴。我想所有这些公司都知道如何进行晶圆上芯片的流程。所以我们可以利用这一点。我们也不得不与这些公司在可拔插光纤解决方案上进行创新。想象一下，你把价值十万美元的 GPU 放在 Passage 上面。如果一根光纤断了，你不能把那东西直接扔进垃圾桶，那太疯狂了。那就像你的笔记本电脑上的 USB-C 线断了，然后你不得不把笔记本电脑扔掉一样。这没有任何道理。因此，我们不得不在如何从交换机上拆卸光学耦合器方面与这些封装厂进行创新。我们有两项技术。一个叫 V-Click，另一个叫 E-Click。而且它们都已为量产(HVM) 做好了准备。
激光器：CPO 一半的收入机会
Sally: 酷。非常酷。我想接着谈谈你们一直在制造的新激光器模块。但我想也许我们应该先解释一下，要为像这样的光子技术提供动力，无论是计算光子还是互连光子，基本上你都需要激光器。它有点类似于电子学中的电源或电力供应。你们的新产品是一个激光器模块。你一开始为什么决定制造激光器？市面上难道没有已经能做到这一点的激光器吗，Nick？
Nick: 市面上确实有激光器，也有像 Coherent、Lumentum 等伟大的公司在制造分立的激光二极管。它们实际上就是一个二极管。人们可能没有意识到这一点，但激光器通常是一个二极管。而且它们是单个的器件。回到 60 年代晶体管被发明的时候，人们把单个晶体管封装成你要出售的器件，然后你把它们组装在 PCB 上。这大概就是人们今天在激光器上所处的阶段。你制造一个单一的二极管，你拿镊子和一些胶水，把它粘到基板上。而且你需要很多这样的器件。给你个概念，要为一个 100 Tbps 的共封装光学(CPO) 交换机提供动力，你需要 18 个激光器模块，每个模块有 8 个激光器。所以你需要几百个这种微小的激光二极管。我们看到了这个问题，我们对此并不是很兴奋，因为我们在中介层/转接板(interposer) 上的第一个芯片是 114 Tbps。所以我们需要 20 个这样的激光器模块，每个模块里面有 8 个激光器。我们正在借鉴 VLSI（超大规模集成）的经验，我认为这主要是 Intel 从分立晶体管向集成电路转变的过程。我们在激光器上也在做同样的事情。我们正在制造单芯片，如今在单片两厘米乘两厘米的激光器裸片上，最多集成了 512 个激光器。这样做能够让你为单芯片提供几十、一百 Tbps 的驱动能力。今年早些时候在台湾，我们发布了 GuideOne。GuideOne 有 128 个激光器，它能驱动 50 Tbps 的 I/O。我刚刚发布了 GuideDR。顺便说一下，GuideOne 针对的是多色密集波分复用(DWDM) 系统。我们在互连活动上刚刚发布了 GuideDR。这是针对驱动 224G 单色系统的。所以我们认为激光器极其重要。它们字面上占据了所有共封装光学(CPO) 收入机会的一半。所以这是一个巨大的市场，我们正在把 Guide 卖给所有人。即使你正在构建光子系统，我们也很乐意把我们的 Guide 激光器卖给你。它们拥有令人难以置信的特性，比如自愈。它们是世界上最精确和最稳定的激光器。还有很多其他很棒的特性。
Sally: 需要明确的是，所有这些，或者说许多这些令人难以置信的特性都是直接由硅光子技术、通过集成来实现的，对吗？
Nick: 完全正确。因此，我们所做的是在一个 300 毫米 CMOS 晶圆厂里制造这些激光器，我们有硅光子和磷化铟增益材料。但这与人们制造磷化铟二极管的方式不同。那些是在类似两英寸的那种晶圆厂里完成的。你知道，那是些小工厂，几亿美元的投资，而一家 CMOS 晶圆厂则需要数百亿美元。所以这里在规模上的差异真的是天文数字。因此我们可以进行大量的晶圆投片。我们每个芯片上有很多组件，成千上万个组件。这给我们带来了控制、监控、遥测、冗余、自愈，你知道的，所有这些特性。你利用这种复杂性来让系统变得更简单。
新外形尺寸、液冷与 OCP 标准
Sally: 利用复杂性。我喜欢这个说法。好的。这里你们的新型激光器模块 Guide 最明显的特征之一就是这种完全不同的外形尺寸。通常这些激光器是可插拔的模块，但你们的模块基本上是在计算托盘的底部。请告诉我这种新外形尺寸背后的想法，完全改变外形尺寸能给你带来什么优势？
Nick: 是的。从根本上说，我们在看今天这些激光器模块处于什么状态，也就是外部激光源可插拔的外形尺寸。这被称为外置激光源可插拔(ELSFP)。所以这些模块，你需要一大堆来驱动 100T。在 NVIDIA 的例子中，你需要 18 个。那太多了。在 200T 时你需要 36 个，而且它还在不断翻倍。所以在每一代交换机中这都会不断翻倍。要插入的东西太多了。单独的组件也太多了。而且有一个概念叫做失效率(FIT)，它是 failure in time。它衡量的是每十亿小时运行中的故障数。当你在一个数据中心拥有一百万个 GPU 时，总会有东西出故障。我们不能让一百个这种微小的激光模块插在上面。技术人员，希望他们很快能变成机器人，因为仅仅与安装、维修和处理这些东西相关的工作量就十分荒谬。所以我们正在做的是，我们正在制造一个新的外壳，对激光器的外形尺寸应该是什么给出了新的定义。它在服务器前面板上实现了 4 倍的空间缩减。所以要容纳相同数量的激光器，你从这么高变成了只有这么高。所以 GuideDR 在一个非常小的外形尺寸下驱动了 50T 的 I/O。对于一个 100T 的交换机，你只需要两个这种模块。这就是我们思考的方式。需要一种新的外形尺寸。是的，我们称之为与开放计算项目(OCP) 机架的托盘定义兼容的激光器网络接口卡，同时适用于交换机和 GPU。
Sally: 是的。我的意思是，因为这对我来说显然看起来是完全崭新的。对于这样的东西，符合开放计算项目(OCP) 标准有多重要？
Nick: 是的。你不想一次改变太多的东西。所以你想采用现有的基础设施、现有的钣金设计，你也希望它是全行业都能广泛获取并且大家都能采用的东西。我们希望每个人都使用这种激光器网络接口卡的外形尺寸。我们从第一性原理出发，认为这是一条正确的道路。我们也计划把我们自己的激光器，也就是我们的 Guide 激光器放进那个外形尺寸中。
Sally: 你能跟我们说说从前面板移开的一些工程挑战吗？我知道比如 GuideDR 使用了液冷。我猜液冷解决了一个最大的挑战，也就是散热，对吗？
Nick: 是的。有趣的是，如果你看看今天的 NVIDIA 系统，他们已经过渡到了 8 个或 16 个一组的这种外部激光源，而且它们现在就在服务器内部。在共封装光学(CPO) 交换机前面有一扇小门。所以它们已经在里面了。它们也已经是水冷的了。我们只是牵着那匹马往水边多走了一步，已经快到了。
Sally: 我很好奇液冷，我们应该把它看作是一个缺陷还是一个特性？我的意思是，尽管我需要那么多的功率以至于我也需要液冷，但我整体上还在降低功耗吗，如果你明白我的意思的话？
Nick: 好吧，我想如果你考虑数据中心的规模，有一个指标叫做电源使用效率(PUE)。从风冷转向水冷，你能获得更好的效率，更接近 1。1 就是完美的效率。所以仅仅在最高层面上，是的，它能给你更好的效率。但是还有一个更好的好处，那就是当激光器被水冷时，它们的热环境非常稳定。这意味着故障率将会下降。计算机芯片发生故障的原因之一是当你把它们加热然后冷却，再加热然后再冷却时，它们随着时间的推移会有某种撕裂。Microsoft 做过一个非常有趣的实验，他们把服务器装在类似一个管子里，然后把它放到海里。他们发现，那些在海里管子中的计算机的可靠性极高。部分原因就是温度波动的减小。
Sally: 我看到了 Microsoft 的那个实验，我想那是在苏格兰，因为苏格兰有的就是冷水，对吧？就是这样。好的。我们预计其他激光器制造商会转向这种外形尺寸、转向液冷吗？你认为把它放在计算托盘底部，就像我们所讨论的那样，会变得多标准化？
Nick: 我们认为是这样的。并且我们正在与开放计算项目(OCP) 合作。我们还领导了一项单独的努力，那就是定义共封装光学(CPO) 的机架应该是什么样子。所以我们正在与 Dell、Quanta、Corning 合作。你能想到的 ODM 领域的每一家公司现在都在与我们合作。我们刚刚提交了共封装光学(CPO) 机架长什么样子的第一个定义。那包括 GPU 托盘、交换机托盘、机架中的光纤布线，以及你如何处理机列布线。所以我们确实在规划那个框架。我们认为激光器网络接口卡对共封装光学(CPO) 来说是真正有意义的。并且，你知道，我们将与我们的合作伙伴一起努力。
Sally: 我想你之前说过这一点，但你们会把这个卖给其他想买的人。它并不特定于你们自己的光子技术栈，对吧？
Nick: 是的。它只是对大家来说都是一个更好的激光器。当 Lightmatter 将 Guide 与我们的 Passage 光子互连相搭配时，我们实际上可以获得更好的性能，因为你知道，我们可以对这些东西进行协同优化。但我们很乐意把它卖给所有人。
计算的未来是互连：下一步与展望
Sally: 是的。Nick，跟我说说你们接下来打算做什么。看起来你们现在通过激光器承担了光子技术栈的更多部分。我们是否可以期待你们进军技术栈的其他部分？或者你们对未来几年有什么打算？
Nick: 好吧，我认为需要认识到的一个基本事实是图论——我正在观察一个数据中心。数据中心就是一堆 GPU 加上它们之间的连接。随着数据中心变得越来越大，连接数量的增长速度要比 GPU 数量的增长速度快得多。因此，计算的未来实际上是一个关于互连的故事。我痴迷于计算。Lightmatter 完全专注于在后摩尔定律、后登纳德缩放时代让计算机变得更好。所以今天我们做激光器。我们做互连。我们对计算的未来可能是什么样子有自己的想法。我们已经开始致力于定义这些机架将是什么样子。你可以想象，随着时间的推移，光子技术将慢慢渗透到所有的事物中，并将成为实现这一目标的核心。
Sally: 你预计会引入你们在光子计算方面的工作吗？我知道你说过目前你们还在某种程度上以研发的形式进行这项工作，但你是否预期它在未来也会成为技术栈的重要组成部分？
Nick: 我认为这是有可能的。我认为一旦我们彻底解决了互连和内存访问时间的问题，人们将会去研发不同的技术。目前，那些问题占据着主导地位。所以一旦这些问题解决了，计算领域的创新就成为了必然要求。我们知道如何用光来实现它。我们觉得这很令人兴奋。目前，互连和激光器的市场机会仍然很大。我们正专注于那个收入基础并去执行它。但这显然是令人激动的。这显然是令人激动的。
Sally: 确实如此。好的，所以你将在 9 月 15 日于圣克拉拉举行的 AI 基础设施峰会上发言。你将在第一天主舞台上的一个名为“喂饱 AI 工厂”的讨论小组中发言，我猜那将讨论所有这些类型的问题和解决方案。你能给我们一些提示，说说在那场会议上你可能会讨论些什么吗？
Nick: 好吧，我想重头戏将会是关于你如何将这些数据中心互连起来，以及纵向扩展网络和横向扩展网络的发展方向。你知道，人们正在采用近封装光学(NPO)。他们正在向共封装光学(CPO) 迈进。甚至还有人在谈论 LED 和像素以及诸如此类的其他东西。所以我认为对话将会涵盖其中一些内容。但计算的未来真的归结为互连。Lightmatter 去年展示的令人兴奋的成果之一是，对于相同数量的 GPU，当它们由 Passage 互连时，训练时间加快了三倍。所以想象一下，我有一个现有的数据中心。它有一些电力，而且它花费了一定数量的钱。如果我使用 Passage，它能做三倍以上的工作。
Sally: 令人难以置信。那么，我肯定会去参加那场讨论听取更多内容的。Nick，非常感谢你。今天这是一次非常有趣的讨论。
Nick: 谢谢，Sally。
Sally: 感谢 Nick 加入我们。你可以在 9 月 15 日于圣克拉拉举行的 AI 基础设施峰会上看到 Nick Harris 的演讲。他参加了一个名为“喂饱 AI 工厂”的讨论小组。我也将在那里主持一个不同的讨论小组，名为“运营分布式 AI”，以及另一个关于“AI 创新催化剂”的讨论，那是关于 AI 初创公司的。这两场都在 9 月 15 日。所以我真的希望我们在那里能见到你。我会在 eetimes.com 的播客页面上放一些链接。感谢收听。