不抢最贵GPU，专捡“没人要”的算力：前英伟达工程师搞出一套“拾荒者”打法
本文字数：25872字
阅读完需：约85分钟
核心内容：Sail Research由Neil Movva与Samir Menon创立，专注构建面向长程Agent的新型推理基础设施，已获8000万美元融资，估值4.5亿美元；其技术哲学聚焦单位美元获取的“智能”而非单纯吞吐量。
关键观点：强调长程Agent场景下推理效率需重定义为“智能/美元”而非Token/秒；创始团队具备GPU架构、低延迟推理与开源大模型基建全栈经验；融资阵容体现顶级风投与半导体/AI领域战略级人物双重背书。
适合AI基础设施工程师、LLM推理系统架构师、Agent系统设计者阅读。
当一群Agent不需要休息时，每秒输出100个Token还是10个Token没那么重要，真正重要的是：同样1美元，到底可以买到多少“智能”。这是“算力拾荒者” Neil Movva的想法。
Neil Movva毕业于Stanford University，获得电气工程学士和硕士学位。早在2016、2017年，他就在Nvidia从事深度学习架构和GPU性能优化，研究Volta GPU、训练工作负载和底层算子，曾将BatchNorm性能做到比公开版cuDNN最多快约20%。此后他进入Apple从事深度学习和低延迟推理，又来到Together AI，成为其最早的内核工程师之一，参与构建大语言模型推理基础设施。
2025年底，他与Stanford同学Samir Menon再次走到一起，开始从头重做一套为长程Agent设计的推理基础设施。2026年6月，Sail Research正式披露累计8000万美元种子轮和A轮融资，估值达到4.5亿美元：种子轮由Sequoia Capital领投，A轮由Kleiner Perkins领投，投资者还包括Redpoint、Theory Ventures、CRV等，Alphabet董事长John Hennessy、Intel CEO Lip-Bu Tan、Together AI首席科学家Tri Dao也以个人投资者身份入场。
所谓“算力拾荒者”哲学，就是“没有坏芯片，只有坏价格。”别人抢最贵的Nvidia GPU，Neil则研究AMD、TPU、Trainium和各种新型加速器；别人要求数据中心达到极高可用率，Neil认为后台Agent甚至可以接受95%、在足够便宜时可能接受更低的可用率；别人嫌弃零散电力、间歇性的风能和太阳能，而他希望把这些没人愿意碰的芯片、电力和小型数据中心全部聚合起来。因为当任务本来就要运行几个小时，偶尔多等几分钟，可能远没有成本下降重要。
Neil在Invest Like The Best播客中谈到了Transformer、KV Cache、GPU内核、Nvidia、AMD、Cerebras，再谈到晶圆厂、小型数据中心、太阳能与风能。他的核心判断也贯穿始终：极致压低Token成本、盘活全球闲置算力、解锁无上限的后台智能消耗。
此外，他也表示，理论上英伟达完全可以不断提价，把有限产能优先卖给资金实力最雄厚的客户。但英伟达更看重长期利益：如果少数大客户拿走过多GPU，可能逐渐积累过强的算力和议价权，反而破坏整个生态。与此同时，关系和信用也成为获得大规模算力的重要门槛。
这种策略也延伸到英伟达对下游业务的克制。Neil认为，Nvidia并不急于亲自做NeoCloud或直接向终端用户出售Token，因为这等于与CoreWeave等客户竞争。相比多赚一层利润，英伟达更希望扶持一批彼此竞争的云厂商和推理服务商：即使其中一家未来选择自研、垂直整合或转向AMD，仍有其他客户可以迅速补位。
下面对话详情，我们进行了翻译并在不改变原意基础上进行了删减，以飨读者。
主持人：既然今天讨论的主题是Token成本，你觉得“每Token成本”是理解这件事最合适的指标吗？还是你会用别的方式来定义？
Neil Movva：至少在今天，我的北极星指标非常直接：我要把每Token成本做到全行业最低，而且要低出一大截。
我不认为Token会是最终衡量“工作”或者“智能”的单位，但它确实是我们今天在用的单位。再往后，衡量标准会逐渐向“结果”靠拢，虽然这个方向现在还比较模糊。比如今天你通过智能体消费Token，其实不会直接控制智能体到底要思考多少Token。它可能思考一段时间，也可能调用一定数量的工具。
未来越来越可能出现这样的模式：智能体负责完成某个工作单元，为了达到结果可以尽可能多次尝试，而最终用了多少Token，会变成由任务本身决定的因变量。
主持人：也就是说，与其由公司规定“工程师每个月最多能花多少Token”，不如让智能体自己管理完成任务所需的Token预算。可问题是，为什么这里还有一个你们可以切入的机会？全世界现在都在追求更多、更好、更快、更便宜的Token，市场已经在非常激烈地解决这个问题。你看到的独特窗口是什么？市场在哪些地方还没有做到高效？
Neil Movva：我认为有两个重要的有利因素。第一个必须先讲开源的崛起。越来越多客户以及整个市场开始在意“拥有自己的智能”。他们希望对自己依赖的智能能力拥有控制权和主权。这就催生出了更成熟的定制模型市场，以及原生开源模型市场。这些模型不会被任何人从你手里拿走：权重永远在你手里，你始终有权按自己的方式部署。
过去几年，大规模托管这些开源模型已经形成了一个相当成熟的市场。问题是，无论你看哪家公司，比如Baseten、Fireworks AI、Together AI，大家过去都主要围绕低延迟推理优化。之所以这样，一个非常重要的客户就是Cursor。
大约1年前，这个选择是对的。但从大约6个月前开始，我们逐渐发现，智能体需要的并不只有低延迟，还需要更强的持续运行能力和更长的任务时程。
这个趋势现在已经很明显：智能体推理的未来属于长时程任务，机器会连续运行几个小时甚至几天。在这种情况下，它到底是每秒输出100个Token，还是每秒10个Token，并没有那么重要。后者反而会带来相应的效率和成本优势。
主持人：你为什么这么确定？从用户角度，我似乎还是希望所有东西越快越好。
Neil Movva：当你坐在那里等结果时，你当然应该得到尽可能快的回答。我的办法是：我根本不希望你等它。
我希望智能体是主动的，在后台运行。换一种说法，最好的延迟就是“没有延迟”。你早上醒来，工作已经在夜里完成了，甚至不需要主动提出请求。这才是我们想达到的状态，当然今天还没有完全做到。
更重要的是，只要人还在不断给智能体发提示、等回复，人实际上就成了限制智能体工作量的瓶颈。我们希望智能体按照更接近人类协作的时间尺度运行。你不会每隔5分钟跟同事沟通一次。你会给他一个高层任务，然后过一天看看进度，甚至更可能一周后再检查一次。我认为，这才是未来人与智能体协作的形态。
主持人：有哪些早期迹象让你相信这种趋势真的正在发生，也因此值得围绕它建立一家公司？
Neil Movva：首先也是最重要的一点，是测试时计算扩展：给智能体更多时间，它往往能够给你更好的答案。
这个想法大概2年前就已经有人提出，但真正让我觉得可以押注的时间，是从去年年底Opus 4.5出现后。Opus 4.5是第一个勉强适合较长时程任务的智能体模型。刚出来时它其实也很一般，但再看最近的模型，以及我们在开源侧做的工作，你会发现智能体已经可以比较合适地连续运行1个小时。我不会说今天已经能稳定运行几天，但1个小时是完全现实的。
当平均轮次和任务长度越来越长时，并不需要太多数据点，你就能顺着趋势画出那条指数曲线，看到智能体值得运行得越来越久。
主持人：如果看3年以后，你觉得长程运行智能体大概会占多大市场份额？
Neil Movva：我喜欢这个市场，就是因为它没有明显上限。后台工作不需要人持续介入（human in the loop），因此理论上可以消费任意多Token。
人的注意力则是有限的。如果你让我在Codex或Claude Code里再多消费10倍Token，我甚至不确定自己还能不能做到，因为我每天坐在电脑前写代码时，基本已经一直处在这种循环里了。真正没有上限的是后台或者主动式任务能够消费多少Token。长期来看，我觉得今年年底可能还是后台工作负载和实时工作负载各占一半，但以后很可能会走向9:1，绝大多数Token消耗来自后台。
主持人：有哪些任务特别适合做成后台任务，而不是让人坐在那里等待？
Neil Movva：首先是绝大多数深度研究工作。比如你想要一个真正确定、权威的答案，覆盖的不是100个来源，也不是1000个，而是1万个甚至更多来源。再比如我们的客户Parallel Web Systems，希望建立覆盖整个互联网的权威信息索引，并实时监测互联网变化。这类达到艾字节（EB）规模的任务，需要完全不同规模的智能。
深度研究现在是我们最重要的方向之一。另一个越来越明显的方向是网络安全。你可以生成大量代码，但破坏同一段代码的方法，数量往往呈指数级增长。因此现在有一些非常优秀的客户，在努力构建能够攻击任何软件、主动发现漏洞并自动修补的智能体。
比如Fable或Mythos刚出来时，网络安全社区就出现过一种冲动：让Fable去检查我们历史上写过的每一行代码，用20种不同方式寻找漏洞，既要看内存错误，也要看业务逻辑错误、网络漏洞等。这些其实都适合为不同目标编写专门的智能体。你不会只是让Fable静态看一次源代码，而是会让它真正搭起环境，对应用进行渗透测试。
后来甚至有人开玩笑说，安全已经变成了“工作量证明（proof of work）”：想知道一个软件到底安不安全，就看你花了多少钱调用Anthropic的API去尝试攻破它。因为那是当前最强的工具之一。
而且我们越来越发现，智能能力的前沿并不是平滑的，而是非常锯齿状的。并不是说更大的Fable一定能发现所有小模型能找到的问题。有些漏洞反而可能被很小的模型找到，而大模型没找到；Haiku可能发现某些Fable没发现的问题，反过来也一样。这就鼓励了一种非常多样化的采样思路：用不同模型、不同智能体以多种方式自主攻击软件，然后再修补。
主持人：如果再大胆一点想象：非常便宜、可以长时间运行的智能体，除了深度研究、网络安全这些很现实的应用，还有可能催生哪些全新的产品品类？假设你们取得了最大程度的成功，未来会出现什么？
Neil Movva：对于个人用户，我最兴奋的是主动式智能体。你可以想象未来的Siri始终在后台运行，它知道你一天收到了哪些邮件、哪些短信，对你的生活拥有更完整、更像百科全书一样的理解，因此知道怎样帮助你。
今天很多产品还是点状工具，你仍然需要不断发提示。Siri并不主动，而充裕的推理资源可以改变这一点。如果你足够信任机器，相信它既可靠又值得信任，比如能够保护隐私，那么它甚至可以理解你过去如何与它互动，并在你每次打开手机时主动呈现下一步可能要做的事。
我们能不能建立一个足够好的模型，预测你接下来准备做什么？我的判断是完全可以。关键是智能必须便宜到极致。你必须愿意在没有任何回报承诺的情况下主动消耗Token，这才是解锁这种产品形态的关键。从更长期看，我们现在拥有了一种能够处理任何“可验证问题”的智能。大多数软件问题属于这一类，很多形式化数学证明也属于这一类，甚至科学发现也可能属于这一类。
这些问题实际上都对应一个美元成本，只是过去这个成本被隐藏了：你到底需要动用多少Token才能把事情做成？
现在我们已经开始看到，解决长时程任务的成本正在进入一个合理范围。它不再是数百万美元，而可能是几千美元；不久以后也许是几百美元，甚至几十美元。到那时，为一个科学问题或研究问题获得真正确定的答案，就会变成一件可以负担的事情。
主持人：如果沿着这个未来继续想，最终限制我们的，是不是就只剩“人类能提出什么问题”了？
Neil Movva：基本上可以这么说。模型已经快要能够接住一个非常高层的问题，然后自己追下去，把所有可能的后续问题都继续展开。最终的问题就变成：你的Token预算是多少？而我们的任务，就是解决Token预算问题。
主持人：那不可验证的任务呢？
Neil Movva：我基本会把整个人类“品味（taste）”都归到这个类别里。我们还没有解决人类品味，我甚至不知道它从根本上是不是可以被解决。当然，我很期待未来证明我错了。但我们现在主要聚焦非常量化的问题。写作质量、艺术之美这些事情，我仍然愿意留给人。
主持人：接下来聊聊你们为了最终造出这座巨大“Token工厂”所设计的整套方案，也就是成为极低成本智能的供应商。你似乎把它拆成软件、硬件和电力几个层次。介绍一下你的总体计划，以及你们的思路和别人到底有什么不同。
Neil Movva：我们始终要从软件开始。首先看在今天的芯片和数据中心条件下，还有哪些效率可以挖。
我们最早做的事情，就是围绕GPU的峰值效率去重新设计整套大语言模型软件栈。我们使用Nvidia GPU，但希望从同一块芯片里榨出比世界上任何人都更多的Token。
这件事要从最底层的内核（kernel）开始。这也是我的专业背景，我整个职业生涯都在和GPU、内核打交道。我大学时的第一份工作就在Nvidia，也亲眼看过张量核心是怎样一步步“赢得”自己在芯片上的面积的，那还是2016年。
主持人：给不熟悉芯片的人解释一下，张量核心是什么？
Neil Movva：张量核心就是GPU上专门用来加速矩阵乘法的硬件单元，就这么简单。后面我们还可以聊它这些年是怎么演化的。
主持人：为什么矩阵乘法这么重要？
Neil Movva：这是个好问题。我也说不出一种像自然定律一样的终极解释，为什么矩阵乘法看起来成了计算里的“原子操作”。
我听过一种很形象的说法：矩阵乘法是一种非常简洁的办法，可以把两大块数字混合在一起，让它们彼此发生复杂互动。大概就是这样。恰好线性代数能够用非常紧凑的形式表示数据里任意复杂的关系。
Nvidia原本当然是一家非常优秀的图形公司，长期主导GPU和游戏图形市场。到了2010年代中期，他们开始做一些类似秘密研发项目，试图让图形处理器更适合当时逐渐兴起的机器学习任务。
我还记得自己在Nvidia时看过一些主管当年的实验记录。他们去参加那时规模还很小的ICML、NeurIPS等机器学习会议，看到论文之后会写：“深度学习这件事似乎真的起来了。更有意思的是，这些研究生正在拿Nvidia游戏GPU训练大型模型，我们应该认真研究一下到底发生了什么。”
到了2015、2016年，至少黄仁勋已经形成了很强的判断：这种芯片使用方式只会越来越多，于是开始决定把越来越宝贵的硅片面积分配给这种新兴能力，第一代张量核心因此被放进GPU。也就是说，本来用来往屏幕上画像素的游戏芯片，被逐渐改造成适合做矩阵乘法的计算芯片。
当时还很早。任何芯片公司内部，硅片面积都是最稀缺的资源，不同团队一定会竞争。设计师对此极其谨慎，因为一旦把面积投错技术，意味着这些面积不能用于其他功能，机会成本很高。
所以我们当时真的是一点点争，第一代可能只拿到了大约5%到10%的芯片面积，用来加速基础卷积，那是当年计算机视觉模型的核心操作。然后我们有一支软件团队，负责把芯片所有可能的性能都榨出来。我就在那支团队。那段经历最深刻地塑造了我对Nvidia文化的理解。有一个词叫“光速”。对于任何硬件，他们都会追逐它理论上的“光速”。这种文化深深刻在每个工程师脑子里：如果机器理论上能做到，我们就一定要把它推到极限。
主持人：所谓“光速”，就是理论上能做到的极限？
Neil Movva：对。假设我们认为一块芯片可以跑到某个频率，每个周期能完成这么多次乘法，那我们就一定要达到那个数字。我们会拆掉所有瓶颈，一直做到峰值性能。
直到今天，我仍然会对所有工程师说，我们追求的是100%的“光速”。我不在乎和竞争对手相比快多少，我只关心绝对数字：这块芯片理论上能做到什么，我们怎样把它做到。
主持人：在结束Nvidia这一段之前，还有什么文化或者经营方式特别改变了你的思考方式？
Neil Movva：关于Nvidia我有太多故事了。先讲一个我很喜欢的。
从任职时间来看，2015、2016年和我一起工作的很多人，今天还在那里。那家公司有惊人的员工留存率，而且至少在硅领域，他们是我职业生涯遇到过最好的工程师。这些人极其有动力，也极其热爱这件事。他们在并行计算的各种演进周期里，一直相信这个方向，也很享受亲眼看到芯片不断变化。对很多人而言，这就是一生的事业，而且他们真的非常擅长。
同时Nvidia又是一家非常节俭的公司。2008年以后，很多硅谷公司都削减过福利，比如没有免费午餐，但Nvidia更进一步，冰箱里连免费牛奶都没有。如果你想在Nvidia喝咖啡加牛奶，每个月要自己往“牛奶俱乐部”交1美元，然后牛奶俱乐部去Costco买牛奶放到冰箱里。我到现在都记得这件事。Sail Research不会这么做，但那种节俭确实渗透在Nvidia的文化里。
主持人：所以那段经历，让你学会了怎样通过软件，更高效地利用底层硬件。把这个经验和今天连接起来会是什么？
Neil Movva：GPU本质上是一台吞吐量机器。你给它大量工作，让计算单元以最高利用率不断处理，它最开心。
但过去几年AI的主要使用方式并不是这样。我们把AI推向了交互式聊天机器人，这仍然是今天最常见的AI形态。在这种情况下，最重要的是尽快把答案吐给坐在键盘前的人，也就是前面说的“不要让用户等”。
这对GPU其实是个很有意思的问题。当你要求它快速吐Token时，反而很难让GPU长时间处于计算单元完全吃满的最理想状态。
GPU上存在一个非常基础的权衡：到底追求吞吐量还是优化延迟。过去大家几乎都选择了低延迟，因为AI的使用形态主要是聊天机器人。我认为未来一年最深刻的变化之一，就是我们会从聊天机器人转向更主动、更后台化的智能体。到那个世界里，围绕吞吐量来设计整套技术栈就合理多了。
主持人：从技术上解释一下，为什么吞吐量和延迟之间的矛盾很难消除？为什么不能在同一套硬件上两个都要？
Neil Movva：这几乎是所有计算系统里都存在的基础性权衡。你可以让少量数据尽可能快地穿过系统，为它保留很多缓冲空间；也可以让系统同时铺开大量工作。可以理解成“窄而快”和“宽而慢”，这是计算机科学里非常经典的取舍。
对GPU来说，重点可以看批处理。我们希望把很多用户的工作组合成一个批次，一次性放到GPU上运行，这正是GPU并行处理的优势。但问题是，批次越大，总工作量也越大。虽然所有计算单元都被填满，但一个批次在GPU里向前推进时，每一步都有更多工作需要完成。因此其中某一个用户、某一个Token的请求，反而需要在GPU上待得更久，因为它要和其他人的流量一起走。
可以把它理解成去旧金山市中心：你可以坐公交，也可以坐专车。专车基本按照最直接的路线从A点到B点；公交要服务更多人，需要走一条能兼顾大家的路线，中间还要不断停车等人上下车，所以单个乘客一定更慢。
主持人：这个公交和汽车的比喻很好。所以你们第一步优化，本质上是在Nvidia GPU上造出“世界上效率最高的公交车”。
Neil Movva：完全正确。这意味着我们会探索不同的并行方案。
举个例子，Nvidia做得非常好的一个技术，是GPU之间的NVLink互连。NVLink好到什么程度？假设有一个很大的矩阵乘法，如果希望更快完成，可以把它切开，分片到2块、4块甚至8块Nvidia GPU上，每块GPU各做一部分，最后再把结果归约到一起。
这非常适合降低一次操作的最低延迟。比如用8块GPU，每块只需要做原来八分之一的工作，因此完成得更快。但不会快8倍，这是次线性扩展。你用了8倍硬件，可能只得到4到5倍速度，并不能实现强扩展，原因包括通信开销、每块GPU在更小工作块上的效率会降低等。
如果你的目标就是最低延迟，这当然是很有效的办法。但这不是我会优先选择的方案。我更喜欢专家并行或者流水线并行之类的方法，还可以尝试把通信延迟和计算重叠起来，将通信成本隐藏掉。低延迟服务器反而更难做这些事情。
主持人：所以，可以把NVLink理解为主要提升延迟表现的一项技术？
Neil Movva：是的。至少在我们这里，主要是延迟。我甚至会说，低延迟推理想做到最好，NVLink基本是必需的。Nvidia在低延迟推理上非常强，但我又告诉你，我们其实没有那么在意低延迟，那事情就变得有意思了。
我并不期待其他厂商很快复制出NVLink。它是一项很难做、很难扩展、也很难产品化的技术。但假设我拿到另一家厂商的芯片，它的基础计算单元很好，矩阵乘法做得很强，只是没办法像Nvidia一样和其他芯片高速交换结果，那么它仍然有可能成为我技术栈里非常优秀的“每美元计算量（compute per dollar）”选项。
我真正优化的，往往就是一块芯片能提供多少浮点运算，以及我每小时拥有和运行它要付多少钱。有些芯片在“每美元FLOPs”上实际上明显高于Nvidia，只是互连能力没有那么强。我的工作就是找到适合这种芯片的并行方式。它可能不适合张量并行，那基本是Nvidia的强项，但其他技术可能非常适合。
主持人：在结束延迟这个话题前，谈谈Cerebras以及其他能做到极高运算速度的公司吧。你怎么看这些路线？面向极低延迟的专用硬件未来会是什么样？
Neil Movva：Cerebras、Groq，还有一些正在被大家熟知的公司，都做了一个非常有意思的赌注：它们不是再造一块普通GPU，而是在另一种内存层级上设计不同类型的加速器。它们希望最大化芯片上的静态随机存取存储器（SRAM），把SRAM作为权重和KV Cache的超高速存储。
要理解这个思路，可以先看SRAM和动态随机存取存储器（DRAM）的区别。芯片做内存大体有两种办法。一种是把内存直接集成到逻辑裸片上。
比如你告诉TSMC，我希望芯片上有多少兆字节存储，TSMC有标准单元库，可以直接用SRAM单元做出来。SRAM的问题是太占硅片面积。比如Nvidia Blackwell是大约800平方毫米的巨大裸片，如果整块都拿去做SRAM，容量可能也只有个位数GB，并不是非常夸张。
另一条路线是完全不同的制程技术，不再由TSMC这类逻辑芯片厂商生产，而由Micron、SK hynix、Samsung这些内存厂商生产DRAM。它更依赖电容，而不是把大量晶体管单元放在逻辑裸片上。标准SRAM通常采用所谓6T晶体管单元。它是一种稳定的晶体管结构，你把一个比特写进去以后，只要持续供电，它就能静态保持，不需要主动刷新。
DRAM之所以叫“动态”，是因为写入数据时，本质上是往电容里写入电荷，而电荷从写进去那一刻开始就在泄漏。因此大约每隔50毫秒，就必须把已经写入的每一个比特重新刷新一次。可以想象成你一直在空中同时抛接几十亿个球。内存控制器必须不断读取并刷新DRAM里的每一个比特。好处是DRAM的密度高得多，而且采用完全不同的制造工艺，所以内存制造才会成为Micron、SK hynix、Samsung这些公司的专业领域。
如果把这些公司的DRAM做成多层堆叠，并放在Nvidia的主逻辑裸片周围，就能得到数百GB容量。比如Blackwell周围可以配接近288GB的HBM，而逻辑裸片本身可能只有约500MB SRAM。DRAM和SRAM在容量密度上可能差两个甚至三个数量级。
主持人：那回到Cerebras，它到底怎么利用这个差异？
Neil Movva：SRAM密度本身没有什么显而易见的提升办法，但它有一个巨大优势：距离真正做运算的逻辑门非常近。算术逻辑单元（ALU）就在SRAM旁边，做矩阵乘法的计算单元能够以惊人的速度读取SRAM。
Cerebras的Wafer Scale Engine 3，SRAM带宽可以达到大约21PB/s。相比之下，Nvidia Blackwell的HBM大约是10TB/s这个量级，两者又差了几个数量级。所以Cerebras的想法是：既然单块裸片放不下足够多SRAM，那就尽可能把整片晶圆都利用起来，不受TSMC大约800平方毫米光罩极限的约束，让晶圆上的不同裸片通过划片道直接互联。这样，一整片晶圆可以拿到比如50GB左右SRAM，再把很多晶圆通过流水线等方式连接起来，最终可以获得接近1TB的超高速内存。
当每片晶圆都能以约21PB/s的速度读取数据时，就可以用极高的每秒Token数服务语言模型。一个像Kimi这样的大模型，其整个参数可以在大约毫秒级被送进计算核心，于是就有机会走到每秒1000 Token。
主持人：那你怎么看这类市场的未来？
Neil Movva：我认为最后会形成一种混合架构。Cerebras最强的是极快的内存访问，但它需要和拥有更大内存容量的设备结合。
你确实可以把一个1万亿参数模型放在很多Cerebras晶圆上，但KV Cache就没那么容易处理。KV Cache会随着用户持续使用模型不断增长，而且是动态的。你事先甚至不知道需要多少KV Cache，因为取决于有多少用户、每个用户的上下文有多长。
主持人：用最基础的方式解释一下KV Cache。
Neil Movva：每次使用语言模型，你发送给模型的每个Token，在整个对话期间都会保留在模型的上下文窗口里。
假设我们聊了10万Token，那么第100001个Token生成时，模型仍然需要参考前面整个对话历史，才能更好地预测下一步应该说什么。KV Cache就是承载这些信息的一大块内存。你发送给模型的每一个Token，都需要保存相应的内部表示。很多情况下，KV Cache甚至会比模型权重本身还大。我喜欢把这件事理解成：模型权重里保存的是“结晶化”的知识，而KV Cache保存的是我们这场具体对话里不断变化的动态知识。
主持人：这也是为什么有时候对话变得很长以后，大家会感觉模型能力开始退化，背后其实有技术原因？
Neil Movva：对。KV Cache很有意思，它确实保存了之前发生的一切，是对过去信息的精确表示。但问题是，模型训练时主要并不是在超长上下文对话上训练的。它主要见到的可能是8000 Token、16000 Token的对话。所以当你把模型推到20万Token时，虽然模型也接受过一些这种长度的训练，但这并不是它最核心、最擅长的工作区间。因此，前沿实验室一直要解决一个长期问题：怎样让模型在20万Token时和在1万Token时一样聪明。
“100万上下文”这个概念已经存在好几年了，Anthropic应该是最早做到100万上下文长度的公司之一。但我自己使用Claude Code时，远远不到100万Token就会主动使用/compact。我并不认为把上下文真的吃满是最佳方式。因此，极高速、极低延迟的路线最终也会受到KV Cache的限制。你可以在模型权重存储上做到几乎无敌，但KV Cache始终会成为很棘手的问题。
主持人：那看3年、5年以后，这类芯片在异构芯片市场里会是什么角色？占多大份额？
Neil Movva：Cerebras、Groq以及其他类似芯片，更适合把它们理解为“加速器”。它们真正擅长的是和更传统、带大容量片外内存的GPU类设备一起工作。片外内存提供容量、片上内存提供速度，我们希望把两者结合起来。
如果把Transformer推到极限，比如100万上下文长度，会出现两个性质完全不同的阶段。一个是计算受限的阶段，也就是MLP部分真正做矩阵乘法的地方，模型的大量世界知识编码在这里。另一个是注意力层，它负责根据当前对话动态调整。长上下文下，注意力通常是内存受限，而当批量足够大时，MLP通常是计算受限。
我甚至会说，Transformer的“原罪”之一，就是把一个本质上极度内存受限的层，与一个本质上计算受限的层紧挨着放在一起。很难设计出一块芯片，同时在计算和内存两方面都做到极致。GPU在这两者之间其实已经相当平衡，但最终还是需要做取舍。
Cerebras的内存访问非常快，因此很适合承载MLP和模型权重；GPU则有更强的容量扩展能力，可以支撑超长上下文。理想情况下，注意力层可以放在GPU上，MLP放在Cerebras上。我认为Nvidia与Groq之间正在探索的某些方向，本质上也是类似思路。
主持人：你刚才把很多核心概念解释得非常清楚。再谈谈Transformer本身吧。对于不熟悉的人，2017年这项创新到底解决了什么？它的强项和弱项是什么？未来还会继续成为AI的主导架构吗？
Neil Movva：Transformer最重要的一点，是让我们能够非常有效地从无监督数据中学习。Transformer的本质，是拿到任意序列、任意类型的连续数据，然后从中寻找模式。它最核心的组成部分——注意力机制，允许模型在每一步动态判断：这个序列里，哪些部分与我现在要做的预测最相关。
每经过Transformer的一层，你都可以理解为模型重新给过去看过的输入分配权重，判断哪些内容对下一次预测最重要。因此，它特别适合学习任意序列数据，而人类日常产生的最重要序列数据之一就是语言，这也是Transformer最终统治语言模型的原因。
但再往上看，我觉得Transformer真正做对的事情其实是“能够扩展”。它并没有强加太多人类先验知识。它的态度就是：这串数据里一定存在某种模式，只要有，我就去找；如果现在找不到，就不断往这个问题里增加参数，直到找到为止。
Transformer也继承了大量计算机视觉时代积累的经验。早期线性模型，比如SVM，往往只有几千、几十万个参数。进入深度学习以后，计算机视觉模型开始达到数千万参数。当年1.5亿参数已经是非常巨大的视觉模型。而今天我们日常讨论的是万亿参数。Transformer就是让参数规模从百万级一路走到万亿级的重要桥梁。
主持人：如果扩展的主要变量就是数据和算力，而我们又特别擅长获得更多算力，那是不是意味着Transformer会长期存在？
Neil Movva：数据还有很多未知，但算力这边确实如此。Transformer就像特别好的海绵。你把可用算力增加10倍，总能在某个地方得到对数级的能力提升。到目前为止，扩展定律（scaling law）确实表现得非常漂亮。而且Transformer几乎可以扩展到任何你扔给它的数据集，是非常强大的通用学习器。
相比那些试图替代注意力机制的技术，Transformer还有一个特别有用的性质：它能够表示任意两两关系。序列里任何一个Token都可以关注任何另一个Token。只要关系存在，Transformer理论上就有机会捕捉到。也许现实里不需要真正的全对全建模，不需要每个Token都看所有其他Token。但如果确实需要，Transformer给了你这个能力。
在我们找到一种更好的方式，把这个巨大搜索空间有效裁剪掉、让信息建模更加选择性之前，注意力机制仍然是一个非常好的操作。
这也让我想到计算机视觉时代学到的一条经验。Karpathy以前经常说：拿到一个新数据集，第一件事应该是把模型做得过参数化，先故意把数据过拟合，证明这套学习算法确实能够建模、甚至记住这个数据集，证明知识能被装进模型。一旦能过拟合，就可以再进行压缩，而压缩才是获得泛化的方式。你最终不希望模型死记数据，而是希望它从中抽象出通用模式，并尽可能压缩到更小的参数量里。
主持人：你怎么看训练数据未来的发展？数据在整个故事里到底有多重要？
Neil Movva：我很喜欢一句话：互联网是数据的一次性补贴。
我们几乎免费获得了大约30万亿Token的高质量文本。如果把“好文本”的定义放宽，可能有300万亿Token。现在这些数据基本都已经看完了，模型甚至已经把整个互联网看过很多遍。
从互联网继续获取人类数据，已经没有太多空间。我认为下一阶段的数据来源，是通过强化学习环境构建“训练场”，让模型实现自我改进。
事实上，我们现在甚至不一定能从随机用户和AI的更多互动里得到多少价值。
过去我们非常重视一类新数据：人们使用ChatGPT的交互数据，以及他们对回答喜欢还是不喜欢之类的偏好信号。但现在有一种越来越有说服力的观点是：我们服务的中位模型，能力已经远远超过一个随机普通人能够给出的有效反馈。未经筛选的普通人类偏好，作为训练信号的价值可能已经很低。现在真正需要的是专家级的人类偏好。模型已经超过“普通路人”的通用反馈水平。
未来的数据形态，更像是给模型一个很难、但可以验证的任务，把它放进一个相对隔离的“训练场”，让它持续解决问题，并且随时获得“自己有没有向目标前进”的测量信号。编程问题属于这一类，数学问题也属于这一类。越来越多时候，我们甚至可以直接给智能体一台电脑，让它像人类员工一样使用电脑，然后只根据它有没有接近目标结果来反馈。这个环境本身，就变成了数据。这并不是什么特别独特的判断，但至少从我目前看到的情况，它确实非常有效。
主持人：这种路线会持续很久吗？还是它也像互联网数据一样，只是又一个巨大的数据块，终有一天会被“吃完”，然后我们再去找下一个来源？
Neil Movva：我认为它比互联网数据更深刻。如果你想走向通用人工智能，一种办法就是不断把不同领域的专门智能叠加起来，直到再也没有空缺需要填。这里真正的前提只有一个：任务必须可验证。你必须给模型一个能够自我评分的系统。只要这一点成立，你就拥有了让模型在任何任务上自我改进的基本配方。
从前沿实验室的支出变化也能看到这一点。过去大家把大量预算花在数据上，现在越来越多预算转向强化学习环境。这些环境实际上正是在可验证任务上建立递归自我改进关系。
主持人：我们刚才绕出去聊了不少东西，现在回到最初的问题：怎样通过软件，更充分地控制底层硬件，从而提高现有硬件效率。继续讲讲你们已经做了什么、接下来准备做什么，之后我们再进入硬件和能源。
Neil Movva：刚才提到内核。很多人会惊讶地觉得“内核已经做完了”。确实有像Tri Dao这样的优秀工程师写出了非常好的内核，现代深度学习很多能力都建立在FlashAttention上，现代Transformer也依赖这类技术。
但只要稍微偏离已有的“快乐路径（happy path）”，比如一个新模型改变了位置编码的方式，调整了旋转位置编码（RoPE），原有内核可能立刻不再适用，需要修改。我不会说现在还经常需要从零发明一个全新内核，但能够非常快地修改现有GPU内核依然非常重要。
顺便解释一下，内核就是运行在GPU上的一类程序。传统上，这些程序会被放进库里，每个内核承担一个非常明确的任务。比如矩阵乘法有一个内核，甚至两个张量相加也可能有另一个内核。现在越来越多时候，我们会做内核融合。比如先做一次矩阵乘法，接下来又要把结果加到另一个矩阵上，那就可以把两步融合成一个内核，不再先把数据写回DRAM，再重新读出来只为了做一次加法，而是直接在同一个流程里完成。
主持人：为什么这些事情今天还需要人做？听起来AI应该特别擅长寻找更高效的内核。也许只是今天还没完全做到，但这是不是最终方向？如果是，为什么现在Tri Dao这样的名字依然这么重要？
Neil Movva：我不替Tri Dao本人发言，但他让我学到的一件事是：其实已经不应该再纯手写内核了。
我喜欢说，我们是在“白板上写内核”。先去白板上描述机器应该做什么，然后把这个想法用自然语言非常简洁地告诉模型。模型再去执行：输入输出是什么，我们希望怎样把工作调度到GPU上，然后它负责把代码真正实现出来。
主持人：所以人负责概念设计。
Neil Movva：对。我也不确定模型为什么今天还没有在这件事上做到特别强，但我不认为它离我们非常遥远。也许6个月以后，做内核工程的模型就会好很多。我相信前沿实验室甚至会告诉你，它们现在已经有大量内核工程完全自动化。
主持人：那这样看，“软件优化能力”最终会不会不再是Sail Research这类公司的长期优势？因为所有人都可以借助越来越强的模型，把底层硬件逼近所谓“光速”。
Neil Movva：对。像Mythos或GPT-5.6 Sol这样的前沿模型，潮水上涨会抬高所有船。我甚至不认为专门训练一个模型，让它只擅长内核工程有什么特别大的意义。内核工程只是整个编程里的一个很小子集，不值得做得过度专门。也许可以在提示里注入一些特权信息，让通用模型更懂内核，但总体而言，我们所有人都处在前沿模型能力的下游。
主持人：我很喜欢能源史里的一个比喻。假设一块煤里包含固定数量的能量，能源史很大一部分其实是在研究：到底能把其中多少比例真正转化出来？也许最早只能利用10%，最后可以利用到95%。如果把Blackwell当成这块“煤”，今天我们到底已经能利用它多少？
Neil Movva：可以从很多角度衡量。
当GPU正在执行它最擅长的任务，也就是大规模矩阵乘法时，我们已经相当高效。这类操作大概可以达到峰值利用率的70%—80%，限制因素甚至不再是软件，而是电力和散热。Nvidia公布的峰值FLOPs其实略微乐观，因为现实里受功耗限制，不可能永远达到理论数字。
但问题是，一个Transformer的大部分运行时间，并不是都处在大批量、大矩阵乘法这种最理想的路径上。所以我们的工作，是围绕芯片搭一台“引擎”，尽可能始终给GPU喂大批量工作。
过去1年GPU世界里一个非常深刻的变化，就是编程对象已经不再是一块GPU。你应该把一整机架看成一台计算机，甚至把整个集群、整个数据中心看成一台计算机。
Nvidia也已经从卖单块GPU、单块主板，走到直接规定整套机架系统。比如NVL72，一套就是72个计算单元。Grace Blackwell 300也是以这种机架级系统出货。现在整个行业正在竞赛，谁能最高效地给这种机架级计算机编程。
我认为，这种计算形态同时代表了未来的效率和速度。至少今天，如果你想要最低延迟，Nvidia是很好的选择；如果你想要最高吞吐量，Nvidia目前大概也仍然是最好的选择。关键是，我们面对的是一种非常新的编程范式。
主持人：现在大家常说，顶级芯片尤其是Blackwell的市场，已经有点像“地下市场”，所有人都极度缺货，为了拿到尽可能多的芯片，各种事情都在发生。你觉得这个比喻准确吗？另外，如果我愿意接受不是最前沿、稍微差一点的芯片，那又是一个怎样的市场？
Neil Movva：先说Nvidia。他们对芯片分配一直有长期视角。
Blackwell的需求极其旺盛。理论上Nvidia完全可以像一些供应商以前做的那样，直接把价格不断往上抬，让供需曲线最终在更高价格上相交。但Nvidia会考虑，如果只是把所有芯片都卖给钱包最厚的客户，长期可能反而伤害自己。因为如果某个客户因此积累了过多算力和权力，生态结构可能会变差。他们很清楚，今天算力就是权力，所以在算力分配上非常战略化。
第二，人际关系和信用真的非常重要。没有人愿意突然接受一家刚成立几个月的创业公司发来的巨大芯片租赁订单，比如“我要租1万块Blackwell，租3年或者5年”。对方会问：你这家公司才成立多久，谁知道几年以后还付不付得起钱？今天说服别人给你大规模算力访问权非常困难，往往需要很强的行业关系，或者极其雄厚的金融支持。根本原因就是供给太稀缺、需求又高得离谱。
至于其他芯片，我甚至不喜欢把它们叫“更差的芯片”。我经常说：没有坏芯片，只有坏价格。只要价格合适，任何芯片我都愿意想办法让它工作。这也是公司的一个基本信条。比如AMD，我认为总体上芯片很好，问题更多在于很多人还不够懂怎样把它们编程到最佳状态。
前面说了，我们有很强的内核团队，非常认真地从硬件里榨性能。Nvidia已经为自家芯片做了大量工作，我们还能再挤出一些额外收益，但在其他芯片上，空间反而大得多，因为厂商默认提供的内核和软件优化往往不如Nvidia完整。
对我来说这反而是优势。如果其他人都觉得AMD不如Nvidia，我非常开心，最好大家都忽视它，让我多买一点。当然，现在这个情况已经没那么明显了。公开信息里，Meta、OpenAI也已经购买了大量AMD芯片，所以AMD的很多产能也开始被提前分配。
但市场上还有很多新公司正在出现，比如Etched、SambaNova、d-Matrix等。我认为它们最大的挑战是规模：能不能从TSMC拿到足够晶圆产能，把芯片真正大规模生产出来。只要市场上出现新芯片，我都希望第一时间知道，并判断能不能买下其中相当大的一部分供应。
主持人：所以这本质上是一种套利。如果你能比别人更擅长从那些被忽略的芯片里榨性能，就能用低价买入算力，再以更高价值卖出，形成不错的商业模式。
Neil Movva：完全正确。当然，我不是说别人只是“技术不行”。我们的团队确实很强，可能是世界上最擅长同时驾驭多种硅架构、并在不太显眼的地方追性能的团队之一。但更重要的是速度：我们愿意以非常快的速度围绕一块新芯片改造整套技术栈。
我们没有太多历史包袱，不会说“现有数据中心供应商只支持某种芯片，所以部署新芯片会特别痛苦”。我们有一些非常有创造力的数据中心合作伙伴，愿意快速行动，而且现在正在出现越来越多这种合作方。
最重要的是，我们不回避挑战。我们会说：TPU很好，我们就让TPU跑起来；Trainium很好，我们就让Trainium跑起来。如果某种芯片不能轻松进入现有系统，我们就给它找到异构推理服务系统里的位置。每一种芯片都有自己的比较优势，我们必须找到它，然后沿着那个方向把性能榨出来。
主持人：插一个投资者视角的问题。看看内存股，或者我最近特别喜欢的一张图：半导体公司占标普500市值的比例，历史上可能只有2%、3%、4%，现在已经到了19%、20%、21%。
如果熟悉市场史，会发现很多东西都曾经在短期内冲到一个极端高点，然后又回落到长期均值。这也是很多投资者现在担心的问题。Micron、SK hynix这些公司让很多人赚了很多钱，但大家长期还是会觉得，计算终归是一种商品，不应该永久占据全世界五分之一甚至四分之一的资本市场市值。所有人都承认眼下极度短缺，但很多人潜意识里觉得：“最后我们总会解决，估值和供需都会回到原来的位置。”你怎么看这种叙事？
Neil Movva：与其说我是历史的学生，不如说我是历史的一部分。我出生于1997年。我母亲在2000年前后的互联网泡沫时期就在Intel工作。我还记得Cisco曾经成为世界上最有价值的公司，Intel也紧随其后。所以，我确实经常拿25年前那段历史和今天比较。
我认为最大的区别是，当年的大量网络设备投资是投机性的。人们提前下注一个未来需求，但很多用户最终并没有真正出现。而今天Token消费、或者更广义的AI消费，已经不再只是投机。人们购买Token，是因为它立即对自己有价值。你不会囤积Token，而是买了就马上用。
甚至这和2年前都不一样。2023、2024年Hopper一代芯片也出现过供应紧张，但那时大量支出是围绕训练，而训练从本质上仍带有投机性质。今天的世界是，大家已经开始给Claude Code设定“最多允许花多少钱”的上限。这是一个完全不同的环境。
所以当我们讨论推理支出时，我确实认为它会持续单调上升。推理支出不像训练那样依赖对未来能力的下注，它对应的是今天就能拿到的价值。
主持人：回到硬件。我们已经从芯片聊到机架、集群，下一层就是数据中心。你提到你们有一些很有意思的合作伙伴，也在做不同的事情。你怎么看今天以及未来的数据中心？如果要支撑如此庞大的推理需求，这显然是一个必须继续创新的环节。
Neil Movva：我们这场对话里一直有一条主线：训练和推理到底有什么不同？为什么2年前世界围绕训练设计，而今天正在转向推理？
整个AI技术栈里，我觉得最保守的一批玩家就是基础设施提供商，数据中心是这样，更保守的甚至是TSMC这种芯片基础设施公司。
历史上所谓“AI数据中心”基本都是为训练构建的，而训练其实是推理工作负载的超集：任何训练集群基本都能拿来做推理，但反过来未必成立。两者的重要区别之一就是网络：芯片之间需要多大带宽，要把集群做得多大。
数据中心甚至存在某种规模不经济。把10万块GPU放到同一个数据中心，要比建一个1万块GPU的中心贵得多、也难得多；1万又比1000块难。现在大家喜欢用MW、GW来描述数据中心。但今天在美国，想轻易建一个1GW数据中心几乎已经不可能；100MW也越来越难，除非你属于极少数特殊客户；10MW大概已经接近现实边界；而1MW的资源反而到处都能找到。
市场里其实存在大量零散电力，但它们并不集中。过去建训练数据中心的人完全不在乎这些零散资源，因为训练希望所有计算都集中在一个地方，没人想跨多个数据中心做训练。所以市场存在滞后。
今天我仍然经常听到数据中心开发商说，要到处去“扫荡”100MW、10MW的大型站点。但已经有一些新的思考者意识到，推理非常适合分布式的1MW小型数据中心。我们非常认同这个方向，也非常愿意在美国各地购买一小块一小块的算力池，把它们汇聚成推理舰队。
主持人：给大家一个物理尺度上的感觉。1MW和10MW的数据中心到底有多大？
Neil Movva：液冷出现以后，这个问题变得很有意思。现在单个机架可以塞进惊人的功率密度。以前听到1MW算力，可能会想象一个巨大的数据大厅、一个大仓库。今天其实大约8个机架就可能达到1MW，每个机架差不多一台冰箱那么大。想象8台冰箱并排，大概就是这个量级。
主持人：所以你想推动的未来是，大量不同类型的芯片可以协同使用，你作为买家从每块芯片里榨出最多价值；这些芯片又能被部署在大量很小、专门用于推理的数据中心里。大量杂乱算力，其中一些被市场低估，再加上你们榨性能的能力和小型数据中心，最终组合成远远更便宜的智能。
Neil Movva：我确实这么认为。只要你愿意接受更加灵活的供给，就能找到很多更便宜的浮点计算资源。
我经常这样描述Sail Research：世界上任何地方、任何芯片、任何时长，只要价格合适，我们都可以买。这种灵活性和流动性，我认为今天几乎没有其他公司能做到。
我们非常愿意用真金白银证明自己说的话。任何容量，只要出现，我们都会想办法把它塞进自己的算力舰队。这是今天很重要的优势。长期看，我们还要通过投资那些别人会怀疑的数据中心，进一步扩大这个优势。
主持人：如果你真的建起1000个小数据中心，而不是一个1GW的超级数据中心，会发生什么？
Neil Movva：首先，很多时候不会有电力冗余。现场也不会配柴油备用发电机，那些都非常昂贵，我们会砍掉这部分开销。
很多站点甚至不会有冗余网络。我们会去电力条件好的设施，只接一个电源，再挖一条光纤进去，但不一定准备三条光纤做冗余、故障转移和SLA。也就是说，它有时就是会断。
事实上，有些站点做到95%可用率我都不会意外。对传统数据中心来说，95%是非常糟糕、甚至灾难性的指标。一个只有95%可用率的大型数据中心，几乎找不到买家。但我愿意当第一个买家，原因就在于后台智能体。
第一，我们有很强的控制平面。只要一个站点的故障不和其他站点相关联，我完全可以把工作负载搬去别处。故障按照某个概率发生，那么95%、98%、99%可用率对我而言就只是线性上的好坏，而不是“能用”和“不能用”的断崖。
第二，前面提到的异步工作负载非常关键。智能体可能连续运行数小时，如果其中一次请求因为某块GPU被拿走而失败，我只需要找一块新的GPU重新接上。对这一轮任务来说，也许额外多了1、2、3分钟，甚至10分钟延迟。但我的客户并不在意，因为智能体本来就在后台跑几个小时，用户甚至正在睡觉。偶尔一轮多花几分钟，没有关系。所以我们会直接告诉客户：平均吞吐量会很有竞争力，但P99延迟不会被严格控制，我们也不打算控制。作为交换，我们会给你无法匹敌的成本结构。我认为这正适合后台智能体。
主持人：那再谈谈电力。你现在看到哪些有意思的创新？这个方向会走向哪里？
Neil Movva：刚才说，我的数据中心只要95%可用率都可以。那如果价格足够便宜，80%可不可以？大概也可以。这意味着什么？
我是加利福尼亚长大的，我非常喜欢太阳能和风能。我认为美国的太阳能、风能远远没有被充分利用。它们过去最大的问题始终是间歇性。传统数据中心是持续的基础负载，而太阳能、风能本身是波动电源，所以很多人天然认为它们不适合数据中心。但我觉得我们已经离解决这个矛盾不远了。
我完全能够接受一个数据中心连续停机几天、甚至几周。对传统数据中心来说，这几乎是最恐怖的噩梦：风不吹了，云层或者大雾长时间压在某个山谷上，站点断电。但这种事情其实高度可预测。我可以建立天气模型，提前知道某个数据中心什么时候可能离线，再从世界其他地方调入容量，把数据和工作负载搬过去，就结束了。
真正的价值在于，我因此能够利用其他人根本不愿意碰的电力，因为这种供电太麻烦。如果芯片也足够便宜——它们大概率不会是最昂贵的Nvidia机架，我甚至不介意有些芯片闲置，因为资本成本已经足够低。
主持人：我听你把整个系统称作“拾荒者策略（scavenger strategy）”。
Neil Movva：对。我们先“捡”芯片，再给这些芯片“捡”电力。核心思想是，我不想和Anthropic或OpenAI正面竞价抢算力。我抢不过他们，而且我也不想抢。
我要更有创造性地利用他们今天看不懂、看不上或者不方便使用的供给。随着时间推移，我把足够多的零散供给聚合起来。我永远拿不到集中式供给，但我可以拿到巨大的总量。最后，我会建立一座在经济性上无法匹敌的“聚合工厂”。我们确实是在造工厂。可以想象我们要造世界上最好的钢铁厂，但不是靠一座单体超级钢厂，而是靠大量小型钢厂。
主持人：如果设想不同程度的垂直整合，最极端的一端就是你什么都拥有：自己拥有发电资产，自己建数据中心，自己设计芯片，自己控制能把芯片性能榨到极致的软件，最后把成品Token卖给用户。另一端可以极度轻资产，几乎什么都不拥有，只做这些资源之间的协调平面，成为一个“虚拟拾荒者”。你希望Sail Research最终成为哪一种公司？
Neil Movva：我心里其实有两个自己。一个是每天都必须让公司正常运转、尽可能快速且可持续增长的CEO。另一个是创始人。
创始人的我更有想象力，而且真的非常热爱这些东西。我这一辈子都在想芯片、电力、能源，这就是我最关心的事情。所以作为创始人，我当然想什么都做。我希望尽可能有野心，不想停。我想一直做到真正把从头到尾整套系统做到最高效率。
主持人：有点像现实世界里的Factorio。
Neil Movva：非常像。但从CEO的角度，就必须更务实。如果真要把所有东西都变成自有资产，需要的资本是疯狂的。软件的杠杆最高，所以必须从软件开始。至于最后是不是自己拥有发电资产，还是和公用事业公司签很好的购电协议，我会更倾向于先让那些历史上真正擅长这些事情的人继续专业化，然后等我们自己做到足够大。我把它理解成：要先达到某个规模，才“赢得资格”把某一层收进公司内部。
我确实相信，技术栈的每一层都有效率可以挖。如果你能打破上游供应商关于“客户是谁、客户需要什么”的既有假设，就可以重新做优化，而我们可能恰好和这些假设不同。
这当然是一种相当乐观的观点。之所以有可能成立，是因为我们面对的可能是计算史上最大的市场。未来会有数千亿美元、数万亿美元投入推理。既然这个市场足够大，为推理定制很多东西就会变得有意义。
我的工作就是不断寻找技术栈里哪些地方可以这样重做。当某个机会对我和合作伙伴变得足够清楚时，我会让合作伙伴为我定制；如果他们做不了，我就自己做。
主持人：如果把软件、硬件、能源整个系统拉远来看，按“今天生产真正有用的智能Token时，哪里最浪费、最不高效”做一个排序，你会怎么排？
Neil Movva：计算扩展本身其实已经很高效。你给我更多FLOPs，我确实会用掉更多FLOPs，而且现代模型在使用FLOPs时已经相当克制。
现在很少有模型还是超过10%稠密，也就是一次激活超过全部专家的10%。我猜真正前沿的模型甚至更接近1%。在混合专家模型这边，大家已经做了很多年，效率不算差。
真正不够高效的一个地方，是注意力机制以及它对内存的使用，尤其是KV Cache。
今天KV Cache还非常“没压缩”。从信息熵角度看，它远没有为自己占用的空间创造足够价值。我们每个Token可能要在KV Cache里存几KB数据，而这个数字很可能还高了一个甚至两个数量级。我不知道前沿实验室内部具体做到了什么程度，但DeepSeek公开了很多非常有意思的KV Cache压缩工作，而且进步很快。如果每隔大约1年都还能做出一个数量级的改善，那就说明这里还有大量空间。
再拉远一点，我觉得整个世界对算力的组织其实非常差。
今天全世界已经有这么多算力。Nvidia今年可能要生产500万块Blackwell。它们最后都去了哪里？是不是一直在满负载使用？我非常怀疑。我们需要更好的全球算力编排。
这个问题很难，因为大量算力进入了私人资源池，永远不会出现在公开市场上。里面的GPU可能长期闲置。每次看到这种情况我都真的会难受：已经投入了硅、投入了电，结果机器就放在那里。我想解决的，就是怎样把全世界算力组织起来，像共享资源一样更高效地装载工作。
大家经常拿xAI的集群总浮点利用率开玩笑，但现实是，世界其他地方可能更差。大量GPU放在仓库里，或者被分配到某个私有客户资源池，却没有真正使用。
主持人：而你们的业务几乎就是直接攻击这部分效率损失。那晶圆厂呢？你怎么看晶圆制造本身的未来？Micron、TSMC、Intel等公司怎样继续扩产？美国会不会承担更多产能？
Neil Movva：有意思的是，这些环节永远是平衡增长的。
即使打个响指把所有东西都翻倍，你可能解决了TSMC的瓶颈，马上又会撞到下一个瓶颈。芯片多20%，新的瓶颈很快就会出现。但我觉得很值得关注的是：上游厂商到底把哪些东西当成“必须交付”的不变量，也就是它们默认像我这样的客户永远都会要求什么，而哪些其实可以是更流动的取舍。如果晶圆厂愿意向我暴露更多这些权衡，我就能做更聪明的选择。
一个很有意思的例子是，任何晶圆厂从生产线上出来的“最差芯片”和“最好芯片”之间其实都有明显差异，制造天然存在很大波动。
TSMC会非常努力地收紧所谓工艺角，让最差芯片的特性尽可能接近最好芯片。他们会付出很大努力实现这一点，但这样做意味着制造过程中加入了大量控制，而这些控制我不一定都需要。也许我愿意给“最差那批芯片”找到用途。也许你根本不需要把工艺控制收得那么紧，因为这本身会增加时间和成本，甚至我可能愿意接受更多传统意义上的“次品”。
对我们而言，这是一个更整体的优化：裸片成本、裸片供应量、电力成本、可部署地点全部一起看。我的目标是把美国可用电力供给扩张得足够大，让很多原本“不够资格进数据中心”的芯片，也能有适合自己的位置。
主持人：聊聊你是怎么设计自己的公司吧。你从Nvidia学到了不少东西，那Sail Research的文化和组织方式是什么？怎样建立一支始终围绕这个北极星指标工作的团队？
Neil Movva：我们很重视一种“看极限”的思维。
当刚开始支持一个模型时，效率可能并不好，我们不会太在意眼下的状态，而会想1个月、6个月、1年以后最终能走到哪里。我们从不把当前机器状态视为固定不变。哪怕是Blackwell，如果我们认为某个瓶颈阻止自己达到理想性能，也必须把它理解得非常清楚、做出完整表征，并且写下来。一方面可以把这些问题告诉Nvidia或其他合作伙伴，另一方面这些认识会影响未来买什么芯片。我们希望学到的是一些长期不变、真正属于公司的规律，然后把它们折叠进未来每一次决策。
我们也非常强调协作。招聘时我们最看重的特质之一，就是一个人既是好学生，也是好老师。我们团队里很多人大学时做过助教，也很喜欢分享知识，经常做白板讨论。我认为，一个“每个人都有东西可以教别人、同时也有东西可以向别人学习”的学院式环境，对我们非常重要。
主持人：如果看3年以后，机器承担的工作会更多。你希望招聘什么样的人，才能在那种工作环境里仍然有韧性？
Neil Movva：好奇心，100%是好奇心。有一件事我教不了，就是对性能的热爱：愿不愿意追进机器工作的每一个微秒，理解那个时刻机器里到底发生了什么。这对性能工程师来说，是我认为最重要的特质，也是我招聘时真正寻找的东西。
我并不要求很多AI经验，甚至完全不会要求CUDA经验。把CUDA经验看得太重，其实是一个很大的误区。CUDA、GPU这些概念在过去5年里已经变化太多了，要求“10年经验”并没有什么意义。技术我可以教，但对性能工程的热爱没办法教。
主持人：谈谈你对主要前沿实验室的判断吧。除了分别怎么看这些公司，也谈谈闭源和开源这两个阵营之间的关系，以及未来会怎样演化。
Neil Movva：我会说，前沿实验室为了领先整个市场3—6个月，付出了极其昂贵的溢价。我认为今天这大概仍然值得，OpenAI和Anthropic现在选择的路线都完全说得通。
闭源和开源前沿之间有一个很敏感的话题，就是蒸馏。常见观点是，拿前沿模型输出做蒸馏本质上是一种“盗窃”，因为你在从前沿模型身上拿能力。我想提供另一种视角。
即使你根本没有这种意图，从来没有去抓取Anthropic的数据，今天互联网上越来越大比例的内容本身就是AI生成的。只看GitHub，过去1年新建的代码仓库里，有多少可能是Claude Code写出来的？这算不算蒸馏？也许这已经算了。我甚至不会意外，如果只拿GitHub上你认为高质量的开源代码，就能训练出一个达到Fable级别的模型。
如果我们的基本立场是，用户拥有自己和AI互动产生的输出，而很多用户又选择把这些内容放到GitHub，那么“潜在蒸馏”会长期存在。在我看来，从根本上阻止信息或者模型能力扩散几乎是不可能的。它一定会发生，真正的问题只是扩散得有多快。
主持人：那问题就变成：扩展和能力提升定律会不会长期成立？如果成立，那么始终领先3到6个月仍然非常有价值，前沿实验室就可以让最先进模型的Token相对廉价开源Token收取巨大溢价，只要这个领先窗口还存在。这样理解对吗？
Neil Movva：有可能，但我不知道“领先3—6个月”的溢价还能维持多久。
尤其看企业部署，企业根本不是按照3—6个月的节奏迁移。很多企业可能仍然停留在4.6、Opus 4.6或Opus 4.7这样的版本，不会快速采用最前沿模型。任何一次模型变更在企业内部都可能引出很多问题。而且我们现在才刚刚触及整个市场表面，所以我觉得完全没有办法宣布谁赢了。甚至我不认为这是一场最终能够被“决定”的竞赛，它会一直持续。
从根本上说，我不认为开源会消失。只要某个领先者退出留下真空，很快就会出现另一个领先者。这里的激励太强，而且有利因素很多：训练前沿级模型本身每天都在变得更容易。
主持人：那你最希望未来形成怎样的平衡？闭源和开源各占什么位置？模型公司会不会因为拥有整个技术栈而什么都做？比如Anthropic最后变成新一代Google？
Neil Movva：我想要的是充裕的Token，以及多样化的智能体harness。
我希望每个人都能搭自己的harness，每家公司、每个用户都能把智能体变成真正属于自己的东西。我们离这种定制化能力已经没有那么远了。我希望人们能够拥有自己的智能，而且这种智能可以高度定制。也许不一定通过模型权重微调，更可能通过上下文学习实现，这是比较技术性的细节。
但整个“智能充裕”未来最底层的输入其实还是便宜Token。我的工作就是把Token做到人类能够做到的最低价格，我会用整个技术栈里的每一层办法来实现。
我喜欢供给侧杠杆：每一种芯片都可以用，每一种电力来源都可以用，美国任何适合的土地都可以用。作为回报，人们才会真正有动力探索“智能极度充裕”是什么体验。
今天我们还是把智能体当成一个咨询费很贵的人，只有难题才找它。我认为这不是正确的智能使用方式。机器能够思考是极其不可思议的能力，我们应该尽可能把它交到更多人手里。
主持人：你坐在一个非常独特的位置，也拥有非常独特的观察视角。和那些同样非常了解、也非常关注这个领域的朋友相比，你有哪些最不同的世界观？
Neil Movva：大概还是芯片。比如我说想做定制芯片时，别人会问到底有什么不同。核心之一就是绕开HBM短缺，更多把数据卸载到闪存等其他存储介质上。
我对这个方向非常热情。团队所有人都知道，我一直在重复一个问题：模型架构需要做什么改变，才能更大规模地把KV Cache卸载到闪存？我一直在反复研究这个问题。
在推理基础设施社区里，我们对于“如果系统从一开始就围绕每秒1—10个Token的速度设计，到底可以做什么”有一些相当不同的看法。这其实也是我们的整体北极星。
更宏观地说，还有一个问题：一个人怎样每天消费1万亿Token？我们想创造的，就是让这种事情成为可能的能力。
主持人：1万亿Token到底是什么量级？给大家一个现实参照。
Neil Movva：按OpenAI今天的价格，至少值500万美元。以GPT-5.5、GPT-5.6这个量级看，至少如此。
主持人：用美元确实最容易理解。所以你设想的是，一个人每天能消费今天价值500万美元的智能。要走到那个世界，需要发生什么？
Neil Movva：每Token成本至少还要下降3到6个数量级。如果能先把这件事压到5000美元，也已经会有一些客户了。事实上，对某些较小模型来说，我们已经在接近“1万亿Token只需要几万美元”的范围了。这个量级已经可以想象，为了一个单独任务就直接运行这么多Token。
主持人：你会不会担心，普通人其实根本不会、也不想消费这么多智能？人今天甚至都不会让自己的大脑持续做这么多事。也许世界上对“智能”的真实需求并没有那么大？
Neil Movva：我永远不会相信这个判断。世界对智能永远有需求。真正的问题，是产品怎样给人搭好通往这些智能的入口。
我不是产品经理，所以不能说自己最懂最终产品应该长什么样。但我想做的是让产品团队不再受制于“免费用户不能用这个”或者“我承担不起给每个人这么多Token”这类成本约束。客户一直在跟我说这些问题，我们想把它解决。
主持人：反过来问一个问题，有哪些行业共识，你认为是错的？
Neil Movva：我一直会想到Nvidia。短期我看好Nvidia，而且永远不要轻易押注Nvidia会失败，他们总能重新发明自己。但一个经常让人惊讶的事实是，如果你从Hopper、Blackwell一路看到Rubin，做同类比较，比如看BF16矩阵乘法的每瓦性能，其实提升并没有很多人想象得那么夸张。甚至再往底层看TSMC，从5nm、4nm、3nm到2nm，芯片的每瓦性能也并不是每一代都发生巨大跃迁。
这个事实的一个后果是，人们谈到地缘政治时经常非常恐慌：如果因为任何原因失去TSMC，会发生什么？我的判断是，事情可能没有想象中那么糟。供给当然会受到巨大冲击，但西方现有的最好工艺，比如Intel，并没有落后到不可想象。最坏也许只是每瓦性能差大约2倍，至少差距远小于很多芯片行业讨论给人的印象。
主持人：整个AI世界里，还有哪些并不直接在你业务路径上、但最吸引你的事情？也就是它不一定是你们这整套系统里未来会亲自做的一层。
Neil Movva：我们完全处在模型的下游。模型团队决定架构怎么设计。我对OpenAI或Anthropic几乎没有影响力，只能希望它们往对我有利的方向演进，或者尽最大努力预测它们会走向哪里，然后据此设计自己的服务架构。它们在软件和硬件层面做出的选择都会直接影响我们。
这其实是一个非常有意思的游戏，因为机器能够思考这件事太重要了。一个看起来很小的选择，比如采用稀疏注意力还是稠密注意力，后果都非常大。
又比如数据类型。以前训练用BF16，现在可以用FP8、FP4这类更低精度数据类型。表面看只是一个模型设计选择，但它会深刻决定我能用哪些芯片，以及硬件应该怎么设计。
主持人：假设房间里坐着100个创业者，他们都想做新的计算公司，专门做芯片、系统、机架之类的硬件。你会给他们什么建议？不是具体押哪一种技术路线，而是应该怎样定位公司，才更有机会在未来的计算世界里成功？我猜未来会有很多路线都被尝试，其中一些会成功，这对整个世界是好事。
Neil Movva：一切都围绕供应链瓶颈。你首先要说服我，或者说服投资者，你真正理解决定现代芯片供给的3—5个关键瓶颈。包括TSMC的晶圆产能、HBM产能、先进封装，第四个也许就是电力：电从哪里来，机架怎么搭。你必须对这些瓶颈分别给出很好的答案：准备怎样绕开它们。
因为归根结底，这就是一场套利。你之所以想造新芯片，是因为你认为Nvidia做了一些很难迅速改变的选择。这个判断确实成立，Nvidia的很多选择都很难改。它并不完美，只是整体特别均衡。创业公司反而应该“尖锐”。挑一个方向，说：“我认为Nvidia低估了HBM会短缺到什么程度，所以我要朝另一条路线极端优化。”
顺便说一句，我觉得HBM可能就是最值得进攻的瓶颈之一。原因很简单：内存晶圆厂没有容易、快速的大扩产办法，这需要时间。那些做内存的人经历过太多周期，不会轻易为一个周期性的市场进行疯狂资本开支。
主持人：但也正因为短缺，整个世界会绕着它走，把系统其他部分做得更高效。
Neil Movva：我觉得更现实的情况是，整个系统里的其他东西可能会变得更贵。比如iPhone也许会减少内存配置，也可能直接涨价，整个市场就这样承担成本。
主持人：那Nvidia为什么不一路做到最下游，自己直接卖Token？
Neil Movva：Nvidia在这个问题上非常聪明：它不会轻易和自己的客户竞争，Nvidia对很多事情都有长期视角。
再往前问，为什么它不直接自己做新型云服务商（NeoCloud），为什么不从“后门”直接卖算力？因为Nvidia很擅长让自己的朋友变成亿万富翁。黄仁勋已经把CoreWeave这样的合作伙伴推成了价值数十亿美元的公司，没有必要为了多吃一层利润毁掉这种善意。
他真正想做的是培养一个多样化的NeoCloud和推理服务商社区。所有人都彼此竞争，但又都在为Nvidia创造需求。这样即使其中某一家决定垂直整合、转向AMD或其他路线，后面还有3家饥饿的买家随时可以补位。让自己的买家之间保持竞争，是非常好的生态结构。
主持人：我最喜欢用来结束每一期访谈的问题是：别人为你做过最善意的一件事是什么？
Neil Movva：我第一反应是，这些年遇到的所有导师。一个人愿意从自己的日程里拿出大量时间，把你的成长当成自己的事情，确保你真正理解某个问题，教会你某样东西，或者把一种价值观真正植入你心里，尤其当他看出你已经快理解了，只差最后一点，再推你跨过去，这种人非常少见。前面提到Nvidia的很多人，就是他们让我真正爱上性能工程。
大学老师也一样。我记得大二时，我是个非常没耐心的学生。有一次跑到导师的答疑时间直接说：“我就是想做AI芯片，我已经知道自己想干什么了，为什么还要浪费时间学这些基础课、网络、操作系统？”
他看着我，然后把整个技术栈都铺开给我看。他让我理解了一件事：真正把整个拼图里的每一块都理解透，是非常美的一件事。我原本只想盯着系统里的一个点，他却告诉我，真正能从门级硅一路理解到如何构建一个优秀的互联网规模服务的人，极其罕见。他希望我用一生去追求这种完整理解。
这种能力真的非常稀缺，而追求这种程度的专业知识本身，也是一件非常高尚的事情。这段话一直留在我心里。
https://www.youtube.com/watch?v=uyzqxIoiobU