从BERT到Gemini，AI大模型的进化之路像极了一场技术与认知的双螺旋竞速：一边是工程层面对规模、效率和通用性的极限挑战，另一边则是我们对“智能”本质理解的不断刷新。今天，我们正站在这样一个拐点：Transformer 已不再只是一个“架构名词”，而是演化为整个AI生态系统的技术基石；而Gemini，则是Google试图打造“通用操作系统”的最新答卷。 它不仅代表了AI能力的集成与重构，更是一次对模型形态、推理硬件、开发体验乃至组织协作方式的全面重塑。在这场由Jeff Dean亲自讲述的演进长河中，我们看见的不只是算法的跃迁，更是一整代计算范式的更替。

红杉AI Ascent是红杉资本主办的年度顶尖AI峰会，汇聚全球创始人与研究者，共同探讨智能体、基础设施与AI商业化的未来路径。此次嘉宾Jeff Dean，无需多言，是Google大脑计划的共同创始人、Transformer背后关键的工程设计师，更是推动BERT等开创性模型落地的核心人物。如今担任Alphabet首席科学家的他，不仅亲历了AI从边缘科研到主流技术的全过程，也在设计Gemini的进化路线中发挥着决定性作用。

此次对话的意义，在于以第一视角揭示过去十年AI发展的真实脉络，以及下一阶段技术范式变革的逻辑起点。以下是全文翻译。

Z Highlights

• AI工程师时代正在到来，未来一年内我们有望见到具备初级工程能力、可全天候运行的AI个体。

• 多模态输入输出、强化学习与Agent系统融合，正推动AI从语言模型迈向具备执行力的智能行动体。

• 大模型正在以百万倍加速重现复杂模拟过程，显著提升药物发现与气象预测等科研效率。

• 如果你手头有一个更强的模型，就可以把它压缩成一个规模更小、运行更快的版本，同时保留许多你希望拥有的属性。这个领域会出现很多不同类型的参与者。有些专注于模型形态的多样性，有些专注于垂直领域的任务。

• 最终的胜负不会取决于“谁的钱最多”，而是取决于谁能把优秀的算法和卓越的系统与基础设施建设结合起来。

Bill Korn：我们今天请到的是Jeff Dean。如果你看过Jeff的简历，就会知道他几乎参与了Google所有的重大工程项目，包括推动整个AI行业的兴起，以及那篇引发广泛讨论的BERT论文。我和Jeff合作多年，今天能和他一起出现在这里我非常高兴。我也为自己感到骄傲，哪怕到了现在，Jeff偶尔还愿意跟我聊天。有时候我们还会一起吃饭，真的挺有趣的。他现在是Alphabet的首席科学家。我们就直接开始吧。在座的很多人都对AI的发展充满期待。Google显然引入了许多这个行业赖以生存的技术，比如Transformer等。Jeff，你觉得Google内部，以及整个行业当前的发展趋势是什么？

Jeff Dean：我觉得这个趋势其实已经酝酿了挺长时间，虽然在公众视野中是最近三年才真正火起来的。也许可以说是四年了。但真正的起点其实要追溯到2012年，那时候我们有13个人，开始能用当时看起来非常庞大的神经网络来解决一些有趣的问题。而且我们也意识到，同样的方法不仅适用于语言，也适用于视觉、语音等模态。这是一个重要的转折点，因为它让人们意识到，很多过去靠人工规则解决的问题，其实可以通过机器学习来处理。2012年我们特别关心的问题是：能不能扩展神经网络的规模，去训练非常大的模型？于是我们做了一次尝试，训练了一个比当时任何已有方法都大60倍的神经网络，动用了大约16,000个CPU核心，那也是我们数据中心当时能提供的全部资源。结果非常好，这让我们更加坚定地认为，扩大模型规模是一条有效路径。我们有很多证据支持这一点，而且硬件的进步也帮助我们持续提升模型和数据规模的处理能力。我们以前常说一句话：“模型越大、数据越多，效果越好。”在过去12到15年里，这句话总体上是成立的。

当然，这些模型不可能解决所有问题，但它们能处理的问题范围的确在不断扩大。这是因为我们在算法上不断改进，能够在同等计算成本下训练出更强的模型。同时，硬件性能也持续提升，每单位算力能做更多事情。再加上强化学习和后训练方法，我们可以进一步优化模型表现，引导它以我们希望的方式运作。这真的非常令人兴奋。

另一个值得关注的重大趋势是多模态能力。也就是说，模型可以接收音频、视频、图像、文本，甚至代码作为输入，然后也能输出所有这些类型的信息。这种能力非常有用。现在整个行业都被Agent这个方向深深吸引。

Bill Korn：那你怎么看Agent？

Jeff Dean：Google最近确实发布了一个Agent框架，虽然其中一些内容不是我们直接开发的，但也有部分是我们主导的。我必须说，某些Agent项目给我一种“过度宣传”的感觉。对不起我说得有点直，但我确实认为这个领域前景广阔。因为我们已经看到了一条明确的发展路径：通过合适的训练流程，我们可以让Agent在虚拟计算环境中做越来越多的事情，像今天的人类一样操作系统。

当然，它们现在能做的事情还不算多，但能力提升的路径其实很清晰。只要持续通过强化学习让它们积累更多经验，它们的表现就会不断变好。你可以类比早期的Nent产品，它只能完成一些特定任务，但对人类来说仍然很有价值。我相信同样的转变也会发生在具身态的机器人Agent上。我们现在可能已经接近那个临界点。目前，机器人还无法在像这个房间这么复杂的环境中稳定工作，但可以预见，在未来一两年内，它们或许就能在这里完成20项有用的任务。那将催生出一批价格不菲的机器人产品，专注于这20项能力。我们再从中积累经验，不断优化成本，最终就能造出价格便宜10倍、功能却强大百倍、千倍的机器人产品。这是性能与成本的双重跃迁，非常令人振奋。

算力即战力：硬件竞争与模型精炼新范式

Bill Korn：但我想对很多年轻公司来说，另一个挑战可能是大型模型的现状。Google显然已经发布了Gemini 2.5 Pro，还有你们内部的很多深入研究。与此同时，像AAI这样的开源项目也在快速发展。关于开源和闭源的问题，目前有不少公开讨论。你怎么看这种格局的演化？毕竟Google是这个领域的强势玩家，我想你们肯定希望维持主导地位。

Jeff Dean：是的，很明显，构建最先进的模型需要巨大的资金投入。这意味着最终不会有50个此类模型的玩家，可能只有几个模型平台能真正长期维持领先地位。但一旦你拥有了这些强大的模型，就有机会将它们“提纯”，变成更轻量的版本，应用在更多场景里。比如可以使用distillation技术，我其实是最早那篇2014年Nurup distillation论文的共同作者，虽然那篇当年被拒稿了，没人认为它有用。但现在它似乎真的在像DeepSeek这样的模型系统中发挥了实际作用。所以说，如果你手头有一个更强的模型，就可以把它压缩成一个规模更小、运行更快的版本，同时保留许多你希望拥有的属性。这个领域会出现很多不同类型的参与者。有些专注于模型形态的多样性，有些专注于垂直领域的任务。

Bill Korn：我同意。我觉得一些强大的通用处理器未来会有不错的表现。而说到硬件，这确实是另一个非常有趣的战场。几乎每一家大型公司现在都在做自己的硬件。Google有TPU，Amazon有自己的方案，听说Meta也在做。还有传言称OpenAI也要造芯片。但说到底，整个行业现在似乎只谈Nvidia。你的办公室里应该不是这样吧？你怎么看专用硬件在这一波发展里的重要性？

Jeff Dean：这点非常明确。我们确实需要专门为机器学习设计的硬件。我常说，我们要的是那种能加速低精度线性代数操作的处理器。这些硬件要一代比一代强，还得能互联互通，以超高速网络把大模型的计算分散到尽可能多的节点上。这是至关重要的。我在2013年启动了TPU项目，当时我们已经非常清楚，推理阶段就需要大量算力。第一代TPU是专门为推理设计的，后来我们推出了TPUv2，它同时支持训练和推理，因为我们看到对训练的需求正在迅速上升。现在嘛，我们的命名策略变得有点奇怪，因为各种原因我们不再按数字编号了。当前版本叫Ironwood，之前是Trillium。听起来有点像Intel芯片的命名方式，说实话，效果并不怎么样，像Myium这种名字……嗯，有点一言难尽。

Bill Korn：哈哈，是啊，确实听着怪怪的。那我们或许可以开始接受现场提问了。我自己有很多朋友是物理学家。当Geoff Hinton和他的团队获得诺贝尔奖提名时，他们其实挺惊讶的。我认识的几位物理学家对非物理学出身的人开始获得诺贝尔奖，感到有点不舒服。你怎么看？你认为AI离全面进入各类科学领域还有多远？

Pathways与Gemini：重塑开发者体验的基础设施革命

Bill Korn：确实如此。我觉得这会从根本上改变科学研究的流程，帮助我们更快地发现新东西。现在如果现场观众有问题提出来会很有意思。我其实还有一个跟进的问题想问Jeff。嗯，其实我一直很好奇，在Geoff Hinton离开Google之后，他聚焦研究的是数字计算与模拟计算之间的差异，以及这两种计算在未来推理与学习任务中的潜力。你怎么看这个问题？推理硬件的未来，有可能是模拟的吗？

Jeff Dean：这是完全有可能的。模拟电路确实有一些非常理想的特性，比如极其节能。但与此同时，数字电路在推理方面也还有巨大的发展空间。通常来说，数字电路的可控性和可操作性更高。不过有一个明确的大方向：我们需要让推理硬件的效率提升10,000倍，甚至是20,000、50,000倍。如果行业下定决心，这个目标完全可以实现。事实上，我现在就正在研究这个问题。

观众提问者：你好，我想请问一下关于开发者体验和硬件的问题。我觉得TPU硬件非常强大，但从使用角度来看，很多人认为CUDA或其他技术栈比TPU更易上手。你怎么看？你平时会思考这类开发体验问题吗？

Jeff Dean：我们确实收到过很多这方面的反馈邮件。我本人其实不怎么直接与Cloud TPU客户沟通，但我完全同意目前的开发体验还有很多改进空间。我们从2018年开始开发一个名为Pathways的系统，目标就是让我们能更好地跨计算设备运行模型，同时提供优秀的抽象层。Pathways会由底层运行时来管理虚拟设备和物理设备之间的映射关系。这套体系我们在PyTorch和JAX里都实现了，Google内部主要用的是JAX。我们用的是一个JAX Python进程，它可以在表面上看起来像连接着一万个设备。你只需要像平常写代码那样，直接编写机器学习程序即可。一开始你可以用4个、8个、16个甚至64个设备原型开发，等准备好后，只需改一个常量，就能把训练部署到成千上万块芯片上运行。比如我们现在训练的最大Gemini模型，就是用一个Python进程驱动的系统。它控制着几千上万块芯片，而且运行得非常顺畅。所以从内部角度讲，我们的开发者体验其实非常好。但这套能力目前还没有开放给云端客户。不过我们最近在Cloud Next大会上宣布了：我们计划将更多Pathways能力开放给云用户，这样外部开发者也能体验“一行Python控制千卡集群”的快乐。我觉得这比你手动配置256块芯片上的64个处理器要轻松得多。

观众提问者：确实。为什么不能一直这样做？我现在喜欢直接使用Gemini API。如果我们能用一个API key来调用服务，而不是像现在这样还得去Google Cloud控制台设置复杂的凭据，那就方便多了。你们有没有计划把Google Cloud上的Gemini堆栈，与Gemini项目整合起来？现在Gemini主要还是测试环境。

Jeff Dean：是的，这方面确实有计划。我们正在推进一系列精简整合的工作。这是一个已知问题，我本人并没有特别多地参与解决过程，但我知道Logan和其他工程师们都很清楚这个问题的存在。我们的目标是让大家使用Gemini系统时能像“拧瓶盖”一样顺畅，丝滑接入。如果我们做对了，这就行得通。

Bill Korn：现在真的是计算领域最有意思的时刻之一。摩尔定律和Dennard scaling的传统逻辑已经不再适用，但AI却在快速爆发式增长。而你正好处在这些超级计算系统与基础设施的核心建设位置。你一直在做的一件事，就是把计算任务精确地映射到这些新型硬件上。这是一种非常独特的工程技能。从你的角度看，计算的未来会是什么样？特别是从“自动化思维实验”的角度来看，未来的计算基础设施会走向哪里？

Jeff Dean：我们已经大幅改变了我们希望运行的计算类型。过去五到十年里，我们的主要需求是在计算机上运行特定的一类计算任务。但现在的趋势已经非常清晰：我们希望以极高性能、极低功耗来运行超大规模神经网络。我们也希望能够高效地训练这些模型。训练与推理其实是两种完全不同的计算负载。所以我们应该分别针对这两类任务设计不同的解决方案，甚至是专用硬件。这也是为什么你会看到各种新的计算平台陆续涌现，它们正是在适应这种新现实。

现在我们想做的，是让这些强大的模型能灵活部署在不同场景：比如在手机上运行高性能、超大参数的模型——这样你对手机说一句话，它就能迅速响应，并且帮你完成各种任务。比如部署在机器人或自动驾驶汽车里。虽然我们已经在这方面做了一些探索，但更强大的硬件会极大简化系统构建流程，让这些“具身Agent”真正成为现实。当然，在数据中心，我们也希望以极高的速度运行这些模型，进行大规模的集中推理。同时，并不是所有问题都值得投入10,000倍的算力去解决，我们要做的是找出哪些任务值得计算力的重投入。这种“计算力旋钮”其实是个很有趣的新机制。我们可以借此让模型更强、答案更好，甚至让模型能完成过去根本无法完成的大计算任务。但我们也得认识到，不需要对每个问题都用上10,000倍的计算资源。

所以问题变成了：我们该如何让系统智能分配这些计算力？答案在于软硬结合。从硬件、系统、模型到算法技巧，整个栈都需要精雕细琢，才能在有限计算空间中造出惊人的模型。我们注意到一件事，过去我们分析算法和计算复杂度时，大多基于“操作数”来评估。但当我们回过头认真看硬件和系统设计的细节后，发现很多传统的算法分析方法其实并不贴合现实。比如你必须考虑内存带宽、网络带宽等底层限制，而不是只看浮点运算次数。很多传统计算理论，其实需要彻底重新思考，才能匹配今天的真实运行环境。

虚拟工程师将至：AI Agent的组织形态与未来能力边界

Jeff Dean：我研究生时代的一位同学曾做过关于“缓存感知算法”的研究。他指出，传统的Big-O复杂度分析其实并没有真正考虑到现实硬件中不同操作之间的性能差异。事实上，有些操作的性能可能比其他操作差上100倍。没错。在现代机器学习计算中，我们越来越关注的是数据在非常小范围内的移动成本，比如将数据从SRAM搬到累加器上。虽然这类操作在能耗上只消耗极少量的pico-joule，但仍然是需要计算和优化的真实成本。所以，现在能随时掌握pico-joule级别的数据流动优化技巧非常关键。

观众提问者：我有一个快速问题。你用过Vibe Code吗？

Jeff Dean：我用过一阵子，它的表现出乎意料地好。我们其实有个小型的演示聊天室，准确说其实有很多个。整个Gemini项目几乎都是靠聊天室协作运作的。我个人就维护着大概200个聊天室。每天早上刷牙的时候，手机上就跳出好几条提醒，因为我在伦敦的同事早早就开始干活了。我们之前有一个聊天室是专门分享酷炫demo的。比如我曾看过一个特别棒的案例：有人上传了一个YouTube教育视频，然后在prompt里让模型基于这个视频内容，生成一个具备图片和交互要素的教育小游戏。当然，这类提示并非每次都奏效，但大约有三成的成功率。而一旦成功，结果通常都很惊艳，可以用来讲解微分方程、火星探测、细胞结构等主题。这对教育来说是一个巨大的信号。我们现在手上的这些工具，还有未来几年即将诞生的那些工具，确实具备以积极方式改变世界的潜力。所以始终记住：这正是我们应该投入努力的方向。

Bill Korn：我们很想听听你对“搜索的未来”的看法。尤其考虑到Chrome已经是如此大规模的分发平台，而且它还控制着支付系统和Web凭证。你有没有想过，干脆把Gemini直接集成进Chrome，把浏览器变成原生的Gemini应用？这样不是比单独做个新产品更自然？

Jeff Dean：哈哈，确实，Gemini这样的基础模型肯定会有很多下游的应用可能。其中一个方向，就是它可以帮助用户在浏览器或整个桌面环境中完成更多任务。比如，它可以在标签页上进行OCR处理，或者访问原始网页内容来提取信息。这类功能会非常有价值。我们其实已经在这个方向上做了一些早期尝试，也发布过一些公开的视频demo。比如我们曾展示过Sailor系统等产品形态，看起来非常有前景。

观众提问者：谢谢你的分享，非常有见地。你之前提到未来基础模型的玩家数量可能很少，是因为巨大的基础设施投入门槛。那么随着这场竞争日益激烈，你怎么看它最终的走向？这会不会变成谁能砸出最多的钱、建出最大的集群谁就赢？还是如你所说，谁能更聪明地利用统一内存架构和系统优化？这场军备竞赛，到底会把我们带往哪里？

观众提问者：嗨，Jeff。谢谢你今天的精彩分享。我想问一个结尾问题。我实在想不到还有谁比你更适合回答这个问题了：你觉得，我们距离拥有一个能全天候运行、具备“初级工程师”能力的AI还有多远？

Jeff Dean：不远了。

Bill Korn：是六周，还是六年？

Jeff Dean：我会说，大概是一年左右。

观众提问者：你刚才谈到了扩展预训练，也提到了要扩展强化学习。我想知道：你觉得未来的AI模型，是会成为一个无所不能的超级大模型，还是会演变成一组彼此协作的小模型系统？你怎么看这个方向？

Jeff Dean：我其实一直很喜欢“稀疏模型”的思路，也就是让模型的不同部分具备不同的专业能力。从一个生物类比来看，这其实也能解释我们人脑为何如此高效。整个人脑只消耗大约20瓦的功率，却能处理极其复杂的任务。但当我们担心垃圾车要倒车撞上我们车的时候，我们大脑中负责莎士比亚诗歌的那一块是不会启动的。我们在早期就做过一些混合专家模型的探索。比如我们曾引入248个专家模块，结果发现模型的效率提升非常显著，每轮训练的质量能提升10到100倍。这是非常值得投入的方向。不过我觉得，现在整个领域对稀疏性的探索还不够深入。很多人现在的使用方式还太保守了。未来我们需要让模型中的不同路径具备不同计算权重，有些路径贵上百倍，有些便宜上千倍。有些部分应该计算很重，有些则非常轻，也许它们还应采用完全不同的结构。你甚至可以扩展模型的参数空间，添加新的子结构。你也可能希望压缩模型中的一部分，把它精炼成原来体积的四分之一。这时候，像内存管理器就会说：“太好了，我有更多空间可用了！”然后它就会把参数或内存字节重新分配到其他地方，在那里更高效地使用。这套方法看起来比我们现在的固定结构更灵活。但问题在于：我们现在这套方法其实已经很有效了。要打破它并不容易。但我相信，一种更加动态、结构自适应的模型系统，确实是更优解。

Bill Korn：今天的分享真的非常精彩。我想再问最后一个问题，我们就结束这场讨论。你刚刚提到“一年内实现初级工程师AI”的可能性。那么你觉得，为了实现这个目标，我们还需要在哪些方面取得突破？除了代码生成之外，还有什么是必须解决的？

Jeff Dean：核心在于两个方面：工具掌握能力和强大的规划能力。这个“假设中的虚拟工程师”，不能只是写代码那么简单。它得懂得如何运行测试、如何诊断性能瓶颈、如何调试代码等。这些事情，人类工程师是通过工具、经验、同事指导、文档阅读学会的。虚拟工程师也必须具备这种能力。它要能够阅读大量文档，并在虚拟环境中进行实际尝试。这是目前看来最可行的一种精进路径。我不知道我们最终能走多远，但现在的趋势看起来非常有希望。

Bill Korn：Jeff，谢谢你今天的分享。

Jeff Dean：谢谢，很高兴来到这里。

原视频： Google’s Jeff Dean on the Coming Era of Virtual Engineers

https://www.youtube.com/watch?v=dq8MhTFCs80

编译：Nicole Wang

请注意，本文编译自文末载明的原始链接，不代表Z Finance立场。如果您对本文有任何想法或见解，欢迎在评论区留言互动探讨。