本文作者：向阳乔木（@vista8）。版权归作者所有，未经授权禁止转载。
OpenAI 把谷歌的 Gemini 视为最大的竞争对手。
谷歌人工智能这个部门的领导者叫Jeff Dean，是一个传奇程序员。
我来讲讲这个程序员的传奇故事。
Jeffrey Dean: The 100 Most Influential People in AI 2025 | TIME
他的童年
1968年7月23日，杰夫·迪恩（Jeff Dean）出生在夏威夷。
这个太平洋上的群岛，以其火山、海滩和多元文化闻名，却很少被视为科技天才的摇篮。
他的父亲安迪（Andy）是一位热带病研究员。
他的母亲弗吉尼亚·李（Virginia Lee）是一位医学人类学家，会说六种语言。
这种家庭背景意味着他的成长伴随着全球迁徙。
从夏威夷到亚特兰大的疾病控制中心，再到日内瓦的世界卫生组织，最后定居明尼苏达。
十三岁时，他甚至跳过了八年级的最后三个月，去索马里西部的一个难民营帮助父母。
这种不断变换的环境。
培养了他对复杂系统的早期直觉： 无论是疾病的传播模式，还是后来计算机网络中的数据流动，都遵循着某种可以被理解、被建模、被优化的规律。
为了好玩，父子俩一起编程一台IMSAI 8080计算机。
他们给机器焊接升级部件，学习它的每一个部分。
这种从硬件层面理解计算机的经历，将成为迪恩职业生涯的基石。
在高中时，迪恩开始为流行病学家编写一个名为Epi Info的数据收集程序。
这个程序成为了实际工作的标准工具，最终分发了数十万份副本，支持十几种语言。
美国疾病控制与预防中心维护的一个网站"Epi Info的故事"中，至今还保留着杰夫高中毕业时的照片。
但这个成就，他从未主动提及。
多年后，他的妻子海蒂（Heidi）才知道这个程序的重要性。
"他从不吹嘘那些事，"她说。"你得从他那里套话。"
在明尼苏达大学，迪恩选择了计算机科学与经济学的双学位。
他在大学时认识了海蒂。
他们的第一次约会是去看一场女子篮球赛。
杰夫当时穿着地鼠吉祥物服装在做啦啦队。
1990年，他完成了本科论文——主题是神经网络。
二十年后回望，它像是命运埋下的伏笔。
那时的神经网络研究正处于"AI寒冬"的尾声，学术界对其前景普遍悲观。
年轻的迪恩仍在探索机器如何通过数据"学习"的奥秘。
毕业后，迪恩做了一个不同寻常的选择：他没有直接投身科技公司，而是前往日内瓦，为世界卫生组织的全球艾滋病规划署工作。
在那里，他开发流行病统计模型软件，用代码帮助人类理解和对抗致命疾病的传播。
这段经历塑造了他对"规模"的最初理解——不是服务器集群的规模，而是全球公共卫生危机的规模。
当你的软件需要处理涉及数百万生命的数据时，"失败"不再是一个抽象的技术术语，而是真实的人类悲剧。
第一幕：系统构建者的诞生
学徒时代：编译器的魔法
1996年，迪恩从华盛顿大学获得计算机科学博士学位。
他的博士研究专注于编译器。
将人类编写的代码转换成优化过的供计算机执行的机器语言指令的软件。
"就吸引力而言，编译器几乎是最无聊的东西了" 他后来的经理艾伦·尤斯塔斯说。
但另一方面，它们让你"非常接近机器"。
编译器是程序员与机器之间的翻译官，而优化编译器的人，必须同时精通人类的抽象思维和硅片的物理限制。
桑杰后来在描述杰夫时，用食指在太阳穴旁打转。
"在你写代码的时候，他脑子里就有一个模型在运行，"他说。
"'这段代码的性能会怎样？'他几乎是半自动地思考所有极端情况。"
博士毕业后，他加入了传奇的 DEC 西部研究实验室（后被康柏收购）。
在那里，他与一群顶尖工程师一起工作，专注于分析工具、微处理器架构和信息检索。
这三年的经历很重要：
分析工具教会了他如何理解系统的瓶颈，微处理器架构让他深入理解硬件的本质，而信息检索则是搜索引擎的核心问题。
杰夫曾发过一份名为"每个程序员都应知道的延迟数字"的列表。
事实上，这是一份几乎没有程序员知道的数字列表：
L1缓存引用通常需要半纳秒，从内存中顺序读取一兆字节需要二百五十微秒。
这些数字已深深烙印在他的大脑中。
桑杰：他的另一半大脑
在DEC，迪恩遇到了桑杰·格玛沃特（Sanjay Ghemawat）。
Sanjay Ghemawat - Faces of Open Source
桑杰于1966年出生在印第安纳州的西拉斐特，但在印度北部的工业城市科塔长大。
他的父亲马希帕尔是一位植物学教授。 他的母亲珊塔（Shanta）照顾桑杰和他的两个哥哥姐姐。
桑杰的哥哥潘卡伊是哈佛商学院有史以来获得终身教职的最年轻的教员。（他现在是纽约大学斯特恩商学院的教授）
潘卡伊和桑杰上同一所学校，并以博学多才闻名。
"我有点活在我哥哥的阴影下，"桑杰说。
成年后，他仍然保持着一种自我谦逊的天赋。
2016年，当他入选美国艺术与科学学院时，他没有告诉父母；是他们的邻居把消息告诉了他们。
桑杰直到十七岁去康奈尔大学才接触计算机。
在麻省理工学院读研究生时，他的导师是芭芭拉·利斯科夫，一位有影响力的计算机科学家，她的研究领域之一是复杂代码库的管理。
在她看来，最好的代码就像一篇好的文章。
它需要一个精心构思的结构，每个词都应该发挥作用。
以这种方式编程需要对读者有同理心。
这也意味着将代码不仅仅视为达到目的的手段，而是其本身就是一件艺术品。
"我认为他最擅长的是设计系统，"谷歌的第一位员工克雷格·西尔弗斯坦说。
"如果你只是看桑杰写的一个代码文件，它的美就像一座比例匀称的雕塑那样美。"
在DEC，杰夫会从他的研究实验室走两个街区到桑杰的实验室。
"中间有一家意式冰淇淋店，"杰夫回忆道。
桑杰高兴地说："所以是因为那家冰淇淋店！"
他们开始一起编程——不是各自在自己的电脑前工作，而是共享一台电脑，一个人操作键盘，另一个人在旁边引导和纠正。
这种合作方式在软件开发中并不常见。
其他领域则有不少案例。
正是 莫奈和雷诺阿 在1869年夏天并肩工作，才发展出了后来成为印象派的风格。
在催生立体主义的六年合作期间， 毕加索和布拉克 常常只在画布背面签名，以掩盖哪幅画是哪个人完成的。
"我不知道为什么没有更多人这样做，"桑杰谈到与伙伴一起编程时说。
"你需要找到一个与你的思维方式兼容的人来进行结对编程，这样你们俩在一起就能形成互补的力量，"杰夫说。
1999年中期，互联网泡沫正接近顶峰。
杰夫先离开DEC，加入了一个名叫"Google"的“小公司”。
当时的谷歌只有几十名员工，办公室设在加州山景城的一栋不起眼的建筑里。
十个月后，桑杰也跟随而来。
2000年3月：灾难与重生
2000年3月的一天，谷歌最优秀的六名工程师聚集在一个临时的作战室里。
公司正面临前所未有的紧急状况。
核心系统，负责抓取网页以建立"索引"的系统，停止了工作。
尽管用户仍然可以在google.com上输入查询，但他们得到的结果是五个月前的旧数据。
更糟糕的是，谷歌的联合创始人拉里·佩奇和谢尔盖·布林正在谈判。
他们要为为雅虎（Yahoo）提供搜索引擎支持，他们承诺交付一个比当时大十倍的索引。
如果他们失败了，google.com将继续停留在过去，雅虎的交易很可能泡汤，公司也将面临耗尽资金直至倒闭的风险。
克雷格·西尔弗斯坦，谷歌的第一位员工，坐在靠远墙的位置。
他和一位名叫波格丹·科科塞尔的罗马尼亚系统工程师经过四天四夜的奋战，一无所获。
"我们做的所有分析都毫无意义，"西尔弗斯坦回忆道。"一切都坏了，我们不知道为什么。"
西尔弗斯坦几乎没有注意到他左后方桑杰·格玛沃特的存在。
桑杰几个月前才加入公司，是跟随杰夫·迪恩从DEC过来的。
在作战室里，杰夫把椅子滑到桑杰的桌旁，留下自己的空位。
桑杰操作键盘，而杰夫则靠在他身边，像新闻主播耳边的制作人一样纠正和引导。
杰夫和桑杰开始仔细研究那个停滞的索引。
他们发现有些词丢失了——搜索"mailbox"（邮箱）却没有任何结果，而另一些词则顺序混乱。
几天来，他们一直在代码中寻找缺陷。
逐段检查，一切似乎都没问题。
他们找不到那个错误（bug）。
在作战室的第五天，杰夫和桑杰开始怀疑他们寻找的问题并非逻辑上的，而是物理上的。
他们将混乱的索引文件转换为其最原始的表示形式： 二进制代码。
他们想看看他们的机器看到了什么。
在桑杰的显示器上，出现了一列密集的1和0，每一行代表一个索引词。
桑杰指着：一个本应是0的数字变成了1。
当杰夫和桑杰把所有排序错误的词放在一起时。
他们看到了一个模式，每个词都出现了同一种小故障。
机器的内存芯片不知何故损坏了。
桑杰看着杰夫。
几个月来，谷歌经历的硬件故障越来越多。
问题在于，随着谷歌的发展，其计算基础设施也在扩张。
计算机硬件很少出故障，除非你拥有足够多的硬件。
电线磨损，硬盘崩溃，主板过热。
许多机器从一开始就不能工作；有些会莫名其妙地变慢。
奇怪的环境因素也开始起作用。
当超新星爆炸时，冲击波会产生高能粒子并向四面八方散射。
科学家认为，这些被称为宇宙射线的迷途粒子有极小的概率击中地球上的计算机芯片，将0翻转为1。
世界上最稳健的计算机系统，如NASA、金融公司等，使用能够容忍单位比特翻转的特殊硬件。
但谷歌，当时仍像初创公司一样运作，购买的是缺乏该功能的廉价计算机。
谷歌在加利福尼亚州圣克拉拉的一栋建筑里，将一千五百台裸露的主板和硬盘像三明治一样叠成六英尺高的塔架。
由于硬件故障，只有一千二百台能工作。
公司已经到达了一个拐点。
它的计算集群变得如此庞大，以至于即使是罕见的硬件故障也变得不可避免。
杰夫和桑杰一起编写了代码来补偿那些出问题的机器。
不久之后，新的索引完成了，作战室也解散了。
周末重写：弹性系统的诞生
这场危机成为了一个转折点。
杰夫和桑杰意识到，随着谷歌的增长，硬件失败不会是偶然事件，而是常态。
当你有成千上万台服务器时，每天都会有机器宕机、硬盘损坏、网络中断。
如果系统无法应对这些失败，谷歌就无法扩展。
他们需要构建一套全新的基础架构： 一套能够在混乱中保持秩序的系统。
这场周末重写的核心设计理念是 预期失败 （expect failure）。
与其假设硬件是完美的，不如假设硬件 一定会 失败。
系统需要能够自动检测损坏的数据，标记故障的机器，并绕过它们继续工作。
这种"容错"思想在今天看来是分布式系统的常识，但在2000年，它是激进的。
在三月份索引崩溃事件之前，谷歌的系统根植于其创始人在斯坦福大学读研究生时编写的代码。
佩奇和布林并非专业的软件工程师。
他们是进行搜索技术实验的学者。
当他们的网络爬虫崩溃时，没有提供信息的诊断消息——只有一句"Whoa, horsey!"（喔唷，小马！）。
早期员工将佩奇和布林编写的一个名为BigFiles的软件称为BugFiles（充满错误的文件）。
他们至关重要的索引代码需要数天才能完成，并且如果遇到问题，就必须从头开始。
用硅谷的行话来说，谷歌当时不具备"可扩展性"。
韦恩·罗辛曾在苹果公司参与麦金塔电脑前身的工作，于2000年11月加入谷歌，负责管理其百人工程师团队。
"他们是领导者，"他说。
杰夫和桑杰并肩负责了重建谷歌基础架构的工作。
他们每周工作九十个小时，编写代码，使得单个硬盘故障不会导致整个系统瘫痪。
他们在爬取过程中添加了检查点，以便可以在中途重新启动。
通过开发新的编码和压缩方案，他们有效地将系统容量翻了一番。
他们是无情的优化者。
当汽车转弯时，外侧轮子必须覆盖更多地面。
同样，旋转硬盘的外边缘比内边缘移动得更快。
谷歌已将最常访问的数据移到外部，以便数据位可以在读写头下更快地流动，但内部一半是空的。
杰夫和桑杰利用这个空间存储了常见搜索查询的预处理数据。
在2001年的四天里，他们证明了谷歌的索引可以使用快速的随机存取存储器（RAM）而不是相对较慢的硬盘来存储。
这一发现重塑了公司的经济模型。
佩奇和布林知道用户会涌向能够即时提供答案的服务。
问题在于速度需要计算能力，而计算能力需要花钱。
杰夫和桑杰用软件巧妙地解决了这个问题。
艾伦·尤斯塔斯在罗辛于2005年离开后成为工程团队的负责人。
"要解决规模化问题，矛盾的是，你必须了解最微小的细节，"尤斯塔斯说。
杰夫和桑杰在比特层面上理解计算机。
在他们帮助引领谷歌核心软件的几次重写过程中，系统的容量按数量级扩展。
与此同时，在公司庞大的数据中心里，技术人员现在沿着蛇形路线行走，遵循软件生成的指令更换硬盘驱动器、电源和内存条。
即使其部件磨损和失效，系统依然可以正常运行。
MapReduce：简化混乱
2004年，迪恩和格玛沃特发表了一篇论文，题为《MapReduce: Simplified Data Processing on Large Clusters》（MapReduce：大规模集群上的简化数据处理）。
这篇论文只有两位作者，但它将改变整个行业。
MapReduce的核心思想极其简洁： 将复杂的分布式计算抽象为两个函数——Map和Reduce。
Map 函数处理输入数据，生成中间键值对； Reduce 函数将相同键的值聚合在一起，生成最终结果。
BigData with PySpark: MapReduce Primer
程序员只需要定义这两个函数，系统会自动处理并行化、任务调度、机器间通信和失败恢复。
这种抽象的威力在于它的 简单性 。
在MapReduce之前，编写分布式程序需要深厚的系统知识——你需要手动管理线程、处理网络通信、应对机器失败。
这些复杂性将大多数程序员拒之门外。
但MapReduce将这些复杂性隐藏在系统内部，让没有分布式系统经验的工程师也能轻松处理TB级数据。
论文中的一个例子是计算大量文档中每个单词的出现次数。
Map 函数读取文档，输出 (单词, 1) 的键值对； Reduce 函数将相同单词的计数相加。
整个程序只需几行代码，但它可以在数千台机器上并行运行，处理整个互联网的网页。
MapReduce的另一个关键贡献是 容错性 。
系统会持续监控任务的执行，如果某台机器失败，系统会自动在另一台机器上重新执行该任务。
这种"重新执行"策略之所以可行，是因为 Map 和 Reduce 函数被设计为"功能性"的——它们不修改输入数据，只产生输出。
这意味着重新执行一个任务不会产生副作用，结果是确定的。
这种设计直接源于"2000年危机"的教训：硬件会失败，但系统必须继续运行。
MapReduce在谷歌内部迅速普及。
它被用于构建搜索索引、处理日志数据、生成报告、训练机器学习模型。
到2004年论文发表时，谷歌内部已经有数百个MapReduce程序在运行。
更重要的是，MapReduce的思想传播到了整个行业。
雅虎基于这篇论文开发了Hadoop，一个开源的MapReduce实现，它成为了大数据时代的基石。
Bigtable：存储的艺术
如果MapReduce解决了大规模计算的问题。
那么Bigtable解决的就是大规模存储的问题。
GCP 專欄】Google Cloud Bigtable 的介紹與應用(一) - iKala Cloud
2006年，迪恩和格玛沃特与其他几位谷歌工程师发表了《Bigtable: A Distributed Storage System for Structured Data》（Bigtable：结构化数据的分布式存储系统）。
Bigtable的设计目标是管理PB级的结构化数据，同时支持高吞吐量的批量处理和低延迟的实时查询。
这是一个看似矛盾的需求： 批量处理需要扫描大量数据，而实时查询需要快速返回单个结果。
传统的关系型数据库无法同时满足这两种需求。
Bigtable的解决方案是一个独特的数据模型： 它是一个"稀疏的、分布式的、持久化的多维排序映射表" 。
每个数据项由三个维度索引：行键（row key）、列键（column key）和时间戳（timestamp）。
这种设计提供了极大的灵活性：
- • 行键 ：数据按行键排序存储，相邻的行键会存储在同一台机器上。这使得扫描某个范围的数据非常高效。
- • 列族 ：列被组织成列族，每个列族可以独立设置访问控制和压缩策略。这允许系统根据不同的访问模式优化存储。
- • 时间戳 ：每个数据项可以有多个版本，由时间戳区分。系统可以自动保留最新的N个版本，或者保留最近T天的版本，旧版本会被垃圾回收。
Bigtable的另一个关键设计是它不是一个关系型数据库。
它不支持复杂的SQL查询，不支持跨行事务。
这些限制是有意为之的—— 它们允许系统在数千台机器上水平扩展，而不会被复杂的一致性协议拖累。
在谷歌内部，Bigtable被用于存储网页索引、Google Earth的地理数据、Google Analytics的用户行为数据等。
它的影响力同样扩展到了整个行业：亚马逊的DynamoDB、Facebook的Cassandra、Apache的HBase都受到了Bigtable的启发。
Spanner：全球一致性的巅峰
MapReduce和Bigtable奠定了谷歌基础架构的基石。
但它们都有一个共同的局限：它们主要设计用于单个数据中心。
随着谷歌的全球扩张，数据需要跨越洲际分布。
如何在全球范围内保持数据的一致性，成为了下一个挑战。
2012年，杰夫·迪恩和格玛沃特与其他工程师发表了《Spanner: Google's Globally-Distributed Database》（Spanner：谷歌的全球分布式数据库）。
Spanner是世界上第一个支持"外部一致性分布式事务"的全球分布式数据库。
Spanner的核心创新是 TrueTime API 。
在分布式系统中，时间是一个棘手的问题。
不同机器的时钟会有偏差，而网络延迟意味着你无法确定两个事件的真实顺序。
Spanner的解决方案是利用GPS和原子钟。
构建一个能够暴露时钟不确定性的API。
TrueTime不会告诉你"现在是12:00:00"，而是告诉你"现在是12:00:00，误差在±7毫秒之内"。
通过精确 知道 这种不确定性，Spanner能够为全球事务分配有意义的提交时间戳。
如果不确定性太大，系统会主动"等待不确定性过去"，这被称为"commit wait"。
这种等待通常只需几毫秒，但它确保了事务的外部一致性：如果事务T1在事务T2之前提交，那么T1的时间戳一定小于T2的时间戳。
Spanner的诞生标志着迪恩"系统三部曲"的完成。
从MapReduce（容错计算）到Bigtable（容错存储），再到Spanner（全球一致性）。
这三个系统共同构建了谷歌的技术护城河。
它们不仅支撑了谷歌的搜索、广告、Gmail等核心业务，也为后来的人工智能浪潮提供了基础设施。
2025年，Spanner获得了ACM SIGMOD系统奖。
表彰其"重新构想了关系数据管理，以在全球范围内实现具有外部一致性的可串行化"。
这是对迪恩和格玛沃特十多年前工作的最新认可。
系统哲学的顶峰
2013年，迪恩与格玛沃特发表了另一篇影响深远的论文：《The Tail at Scale》（规模的尾端效应）。
这篇论文探讨了一个在大规模系统中普遍存在但常被忽视的问题： 尾端延迟 （tail latency）。
在谷歌的系统中，一个用户请求可能需要调用数百台服务器。
即使每台服务器的平均响应时间很快，但只要有1%的服务器响应缓慢（例如因为垃圾回收、磁盘I/O或网络拥塞），就会导致大多数用户请求变慢。
这是因为用户请求需要等待 所有 服务器响应， 而最慢的那台服务器决定了整体延迟。
论文的洞见在于，试图消除所有延迟源头是"不切实际的"。
硬件会失败，网络会拥塞，操作系统会有抖动。
与其追求完美，不如构建"容尾"（tail-tolerant）系统，这与"2000年危机"后他构建"容错"系统的理念相呼应。
论文提出了一系列技术来应对尾端延迟：
- • 对冲请求 ：向多个副本发送同一请求，使用最快的响应。
- • 绑定请求 ：向多个副本发送请求，但一旦某个副本开始处理，就取消其他副本的请求。
- • 微分区 ：将数据分成更小的分区，使得负载可以更灵活地在机器间迁移。
- • 选择性复制 ：对热点数据创建更多副本，分散负载。
核心思想是： 在不可靠且速度不均的硬件之上，通过冗余和智能调度，构建出高性能的弹性服务。
杰夫·迪恩与桑杰·格玛沃特：传奇的合作
讲述迪恩的故事时，无法回避他与桑杰·格玛沃特的合作。
2012年，他们共同获得了ACM计算奖，表彰其"构思、设计并实现了谷歌革命性的软件基础设施"。
2009年，他们一起当选为美国国家工程院院士。
他们的合作被称为"拯救了谷歌，并发明了现代互联网的友谊"。
但这种合作关系也带来了一个有趣的文化现象："杰夫·迪恩梗"（Jeff Dean Facts）。
"杰夫·迪恩梗"：崇拜与遗憾
2007年愚人节前后，谷歌内部开始流传一系列关于杰夫·迪恩的玩笑，模仿"查克·诺里斯梗"的形式。
这些玩笑夸张地描述了迪恩的技术能力，例如：
- “杰夫·迪恩先直接写二进制；源码只是给别人看的文档。”
- “杰夫·迪恩的键盘没有 Ctrl 键——因为他一直都在控制中。”
- "编译器不会警告杰夫·迪恩。杰夫·迪恩会警告编译器。"
- “真空里的光速以前很慢，后来杰夫·迪恩用一个周末把物理优化了。”
这些梗在谷歌内部迅速传播，后来扩散到整个科技行业。
它们反映了工程师们对迪恩的敬佩。
他不仅是一位杰出的技术专家，更是一位能够解决任何问题的"代码之神"。
但这些梗也带来了一个问题：它们给人留下了"杰夫比桑杰更卓越"的印象。
事实上，迪恩和格玛沃特的贡献是平等的，他们的合作是互补的。
迪恩的传奇不是一个人的独角戏，而是一段持续二十多年的合作关系。
第二幕：AI的回归
厨房的偶遇：Google Brain的诞生
2011年初的某一天，杰夫·迪恩在谷歌的一个微型厨房偶遇了吴恩达（Andrew Ng）。
吴恩达当时是斯坦福大学的教授，正在谷歌进行一个名为"Project Marvin"的研究项目。
他向迪恩介绍了这个项目的目标： 使用大规模神经网络进行无监督学习。
这次对话点燃了迪恩的兴趣。
他决定利用谷歌著名的"20%时间"政策（员工可以将20%的工作时间用于个人感兴趣的项目），加入这个项目。
他邀请了格雷格·科拉多（Greg Corrado），一位神经科学家出身的工程师。
这个小团队最终演变成了 Google Brain ——谷歌的深度学习研究部门。
并非偶然。
迪恩在1990年的本科论文主题就是神经网络。
那时的神经网络研究正处于低谷，但迪恩对其潜力始终抱有信心。
二十年后，计算能力的提升和数据的丰富，使得神经网络的复兴成为可能。
迪恩意识到，他在系统领域积累的专长，如何构建大规模分布式系统，可以应用于神经网络的训练。
"猫论文"：规模的胜利
2012年，Google Brain团队发表了一篇论文，题为《Building High-level Features Using Large Scale Unsupervised Learning》（使用大规模无监督学习构建高级特征）。
这篇论文后来被称为"猫论文"。
Google Jeff Dean 2022年终报告，大模型、AI 绘画神器- 吴建明wujianming - 博客园
因为它的核心发现是：
一个足够大的神经网络，仅通过观看 未标记 的YouTube视频帧，就能 自发地 学会识别猫。
这个结果在今天看来或许不足为奇，但在2012年，它是革命性的。
传统的机器学习依赖于大量的标注数据，人类需要手动标记图像中的物体。
但"猫论文"证明了，神经网络可以在没有监督的情况下，从原始数据中提取有意义的特征。
论文的关键在于 规模 。
团队构建了一个包含10亿参数的9层稀疏自动编码器——这在当时是前所未有的。
为了训练这个“庞然大物”，他们使用了 DistBelief 系统（TensorFlow的前身），在16000个CPU核心上运行了三天。
正是这种压倒性的规模优势，使得网络能够"发明"出猫的概念。
"猫论文"的意义不仅在于技术突破，更在于它展示了迪恩的核心洞察： 规模改变一切 。
在系统领域，他通过MapReduce和Bigtable证明了，大规模分布式系统可以解决传统单机无法解决的问题。
在AI领域，他通过"猫论文"证明了，大规模神经网络可以学习到传统算法无法学习的特征。
Word2vec：语言的代数
2013年，迪恩与托马斯·米科洛夫（Tomas Mikolov）等人发表了一篇论文，题为《Efficient Estimation of Word Representations in Vector Space》（词向量空间的高效估计）。
这篇论文介绍了 Word2vec ——一种将词语映射到高维向量空间的技术。
Word2vec - Word embeddings used in NLP
Word2vec的核心思想是： 词语的意义可以通过其上下文来定义。
如果两个词经常出现在相似的上下文中，它们的意义就相似。
基于这个思想，Word2vec训练了一个神经网络，将每个词映射到一个向量，使得相似的词在向量空间中距离更近。
Word2vec的突破在于其效率。
通过移除传统神经网络语言模型中的非线性隐藏层，Word2vec能够在一个CPU核心上，一天之内处理完16亿个单词的训练数据。
后续优化的C++代码甚至能达到每小时数十亿词。
但Word2vec的真正魔力在于它产生的向量具有语义代数性质。
这意味着，机器不仅学会了词语的意义，还学会了词语之间的关系。
"国王"与"男人"的关系，类似于"女王"与"女人"的关系。
这种代数性质使得Word2vec成为自然语言处理领域的基石技术，被广泛应用于机器翻译、情感分析、问答系统等。
Word2vec的论文成为了迪恩被引用次数最多的论文之一，超过了MapReduce。
从"系统构建者"到"AI推动者"。
知识蒸馏：让AI更轻巧
2015年，迪恩与杰弗里·辛顿、伊尔亚·苏茨克维和奥里奥尔·维尼亚尔斯发表了一篇论文。
题为《Distilling the Knowledge in a Neural Network》（提炼神经网络中的知识）。
A Primer on Knowledge Distillation in NLP — Part 1 | by Neeraj Varshney | Analytics Vidhya | Medium
这篇论文解决了一个实际问题： 如何将一个庞大、笨重但高度准确的模型，压缩到一个更小、更快、更适合部署的模型中。
论文的核心技术是 知识蒸馏 （Knowledge Distillation）。
传统的模型训练使用"硬目标"——每个样本只有一个正确答案。
但大型模型（"教师"模型）的输出是一个概率分布，它不仅显示了正确答案，还揭示了模型认为哪些错误答案"更接近正确"。
例如，一个图像分类模型可能认为一辆宝马像奔驰，而不是像胡萝卜。
知识蒸馏的技巧是使用"软目标"。
通过提高教师模型的"温度"参数，输出的概率分布会变得更柔和，揭示更多的泛化信息。
这个分布被用作训练信号， 教导"学生"模型模仿教师的"思维方式"。
这使得小型模型能够实现远超其自身规模的准确性。
知识蒸馏的意义在于它解决了AI部署的关键瓶颈。
大型模型虽然准确，但需要大量的计算资源，无法在手机或嵌入式设备上运行。
知识蒸馏使得我们可以在保持准确性的同时，将模型压缩到可以在边缘设备上运行的规模。
这篇论文再次展现了迪恩对"效率"的执着追求。
无论是MapReduce的简化抽象，还是Word2vec的高效训练，还是知识蒸馏的模型压缩，他始终在寻找"更高效的方法"。
TPU：从系统洞察到AI硬件革命
2013年，Google Brain团队开发了一个新的语音识别模型，其准确性令人印象深刻。
但迪恩做了一个"餐巾纸背面的计算"：如果将这个模型部署到谷歌的所有用户，需要多少计算资源？
答案令人震惊：需要将谷歌数据中心的CPU数得翻倍。
这在经济上是不可行的。
迪恩意识到，"必须有更高效的方法"。
他利用自己深厚的硬件和编译器背景，得出了一个激进的结论： 需要设计专用的机器学习芯片。
他立即组建了一个团队，肩负起设计 TPU（张量处理单元）的任务。
TPU是一种ASIC（专用集成电路），专为神经网络的推理和训练优化。
第一代TPU1样子
与通用的CPU和GPU不同，TPU的架构针对矩阵乘法。——神经网络计算的核心操作——进行了深度优化。
TPU使用低精度的整数运算（而非浮点运算），并通过大规模的并行化和高带宽的片上内存，极大地提升了效率。
2015年，第一代TPU开始部署在谷歌的数据中心。
2017年，谷歌发表了一篇论文，题为《In-Datacenter Performance Analysis of a Tensor Processing Unit》（数据中心内张量处理单元的性能分析）。
论文披露了TPU的性能：它的效率是当时CPU/GPU的 30到80倍 。
TPU的诞生为谷歌在AI竞赛中提供了关键优势。
它不仅降低了成本，还使得谷歌能够训练更大规模的模型。
今天，TPU已经演进到第5代，支撑着谷歌的搜索、翻译、照片、助手等所有AI驱动的产品。
TensorFlow与Transformer：从工程师到领导者
2015年，谷歌开源了 TensorFlow ——一个用于机器学习的开源框架。
TensorFlow是DistBelief的继任者，由迪恩推动开发。
与DistBelief相比，TensorFlow更加灵活、更易于使用，并且支持从手机到数据中心的各种设备。
TensorFlow的开源是一个战略性的决定。
通过开源，谷歌不仅赢得了学术界和开发者社区的支持，还使得TensorFlow成为了事实上的行业标准。
今天，TensorFlow被广泛应用于研究、教育和生产环境，拥有数百万用户。
2017年，一个在迪恩监督下的团队发表了一篇论文，题为《Attention Is All You Need》（注意力机制就是你所需要的一切）。
这篇论文介绍了 Transformer 架构。
一种完全基于注意力机制的神经网络架构。
不再依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）。
Transformer的核心创新是 自注意力机制 。
它允许模型在处理一个序列时，同时关注序列中的所有位置，而不是像RNN那样逐步处理。
这使得Transformer能够捕捉长距离的依赖关系，并且可以高度并行化，极大地提升了训练效率。
Transformer的影响是深远的。
它成为了现代自然语言处理的基础架构，催生了BERT、GPT、T5等一系列突破性模型。
今天，几乎所有的大型语言模型都基于Transformer架构。
值得注意的是，迪恩 不是 Transformer论文的直接作者。
他从早期MapReduce或Word2vec时的"亲力亲为的合著者"。
转变为Google Brain研究机构的"研究领导者"和"方向指引者"。
他不再需要亲自编写每一行代码，而是通过组建团队、设定方向、提供资源，推动整个领域的进步。
Pathways：第三代AI架构
2021年，迪恩发表了一篇博客文章，题为《Introducing Pathways: A next-generation AI architecture》（介绍Pathways：下一代AI架构）。
文章阐述了他对AI未来的愿景，并介绍了 Pathways 。
继DistBelief和TensorFlow之后的第三代AI系统。
Pathways的核心愿景是克服当前AI模型的三个局限：
单一用途 ：今天的大多数AI模型只能完成一个任务。
例如，一个图像分类模型不能用于语音识别。
Pathways的目标是构建一个更通用的单一模型，能够同时处理成千上万种任务。
单一模态 ：今天的大多数模型只能处理一种类型的数据。
例如，语言模型只能处理文本，视觉模型只能处理图像。
Pathways的目标是构建多模态模型，能够同时理解文本、图像、语音等多种信息。
密集激活 ：今天的大多数模型在处理每个输入时，都会激活整个网络。
这意味着，即使任务很简单，也需要调用整个庞大的模型。
Pathways的目标是构建稀疏激活的模型，只激活网络中与当前任务相关的"路径"，从而提升效率。
Pathways不仅仅是一个理论概念，而是谷歌内部用于训练现代大型模型的实际系统。
它在Cloud上运行，使用JAX协调数千个TPU芯片。
包括PaLM、PaLM 2、Med-PaLM和AudioPaLM在内的模型都是建立在Pathways架构之上的。
Pathways的愿景受到了神经科学的启发。
人类大脑有大约860亿个神经元，但在处理特定任务时，只有一小部分神经元被激活。
Pathways试图模仿这种稀疏激活的机制，构建更高效、更通用的AI系统。
第三幕：领导者与愿景家
Google Brain与DeepMind的合并
2018年，迪恩被任命为谷歌AI的负责人，领导Google Brain团队。
在他的领导下，Google Brain成为了全球最顶尖的AI研究机构之一，发表了大量开创性的论文，培养了一批杰出的研究人员。
但谷歌内部存在着两个独立的AI研究部门：Google Brain和DeepMind。
DeepMind是谷歌在2014年收购的英国AI公司，以其在强化学习和AlphaGo方面的突破而闻名。
两个部门虽然都隶属于谷歌，但各自独立运作，有时甚至存在竞争关系。
2023年，迪恩推动了一个大胆的决定：将Google Brain和DeepMind合并，组建 Google DeepMind 。
这次合并的目标是集中资源，避免重复工作，加速AI的研发。
迪恩被任命为谷歌的首席科学家（Chief Scientist），与DeepMind的联合创始人德米斯·哈萨比斯（Demis Hassabis）共同领导新组织。
这次合并不仅仅是组织架构的调整，更是战略愿景的统一。
迪恩为合并诞生的AI模型命名为Gemini（双子座），象征着Google Brain和DeepMind这"双子"的融合。
Gemini：智能体时代的开端
2024年，谷歌发布了 Gemini 2.0 ——一个专为"智能体时代"设计的多模态AI模型。
Gemini 2.0不仅能够理解和生成文本、图像、音频、视频等多种模态的内容，还能够执行复杂的多步骤任务，充当用户的智能代理。
迪恩在2025年1月的年度总结博客中，重点介绍了Gemini 2.0的几个关键应用：
- Project Astra ：一个通用AI助手，能够通过视觉和语音与用户交互，理解用户的意图，并提供实时帮助。
- Project Mariner ：一个在Chrome浏览器中运行的行动代理，能够自动浏览网页、填写表单、完成在线任务。
- Jules ：一个AI编码代理，能够理解代码库，修复bug，甚至编写新功能。
- Deep Research ：Gemini Advanced中的一个功能，能够执行多步骤的研究任务，综合多个来源的信息，生成深度报告。
未来的愿景： AI不再仅仅是一个回答问题的工具，而是一个能够主动执行任务、代表用户行动的智能体。
对未来的展望：虚拟工程师与AGI
2025年初，迪恩在红杉资本的"AI Ascent"大会上发表演讲，分享了他对AI未来的预测。
他的核心观点是： AI在一年内（即到2026年初）将能胜任初级工程师的工作 。
他解释道："我们正在接近这样一个点：你可以让AI系统24/7工作，它们能够完成初级工程师能够完成的任务。
这将极大地提升软件开发的效率。"
但迪恩也强调，这并不意味着人类工程师会被取代。
相反，AI将成为人类的"虚拟同事"，处理重复性的、低创造性的任务，让人类工程师能够专注于更高层次的设计和创新。
关于通用人工智能（AGI）的时间线，迪恩保持谨慎乐观的态度。
他认为，AI能力的进步不会放缓，未来5年的飞跃将堪比过去5年。
领导风格：谦逊与赋能
在谷歌内部，迪恩以其谦逊和赋能的领导风格而闻名。
尽管他拥有传奇般的技术能力，但他从不居功自傲，而是将功劳归于团队。
他鼓励年轻工程师大胆尝试，容忍失败，并提供指导和支持。
一个经常被提及的例子是，迪恩会花时间与初级工程师一起审查代码，耐心解释设计决策，分享他的经验。
他不是高高在上的"技术大神"，而是愿意与团队并肩工作的导师。
迪恩的领导哲学可以总结为： 构建系统，也构建团队 。
他不仅关注技术架构的设计，也关注组织文化的塑造。
他相信，伟大的系统是由伟大的团队构建的，而伟大的团队需要信任、协作和共同的愿景。
学术影响力与荣誉
迪恩的学术影响力是深远的。
他的论文被引用超过30万次，h指数超过150（这意味着他有超过150篇论文，每篇至少被引用150次）。
他的工作不仅推动了工业界的进步，也深刻影响了学术界的研究方向。
他获得了无数荣誉：
- 2009年 ：当选美国国家工程院院士，表彰其"在大型分布式计算机系统的科学与工程方面的贡献"。
- 2012年 ：与格玛沃特共同获得ACM计算奖，表彰其"构思、设计并实现了谷歌革命性的软件基础设施"。
- 2015年 ：MapReduce获得USENIX名人堂奖。
- 2016年 ：Bigtable获得USENIX名人堂奖。
- 2022年 ：Spanner获得SIGMOD时间考验奖。
- 2025年 ：Spanner获得SIGMOD系统奖；《The Tail at Scale》获得SIGOPS名人堂奖。
- 2025年 ：被《时代》杂志评为"AI领域最具影响力的100人"。
这些奖项不仅是对他个人成就的认可。
更是对他所代表的技术理念的肯定： 规模、效率、容错、简洁 。
尾声：代码之神的遗产
杰夫·迪恩不是一个天才独行侠，而是一个团队构建者。
一个拥抱失败、从混乱中创造秩序的实用主义者。
他不是一个固守单一领域的专家，而是一个不断学习、不断转型的探索者。
从"2000年危机"到MapReduce，从Bigtable到Spanner。
从"猫论文"到Transformer，从TPU到Gemini。
迪恩的职业生涯跨越了计算机科学的多个领域，但始终围绕着一个核心主题：
如何在大规模系统中构建智能 。
他的第一幕是关于系统的 ：如何在成千上万台不可靠的机器上，构建可靠的分布式系统。
他的答案是MapReduce、Bigtable、Spanner——这些系统不仅支撑了谷歌的业务，也改变了整个行业。
他的第二幕是关于AI的 ：如何利用大规模系统训练大规模神经网络。
他的答案是Google Brain、Word2vec、知识蒸馏、TPU——这些工作不仅推动了深度学习的复兴,也为今天的AI浪潮奠定了基础。
他的第三幕是关于愿景的 ：如何将AI从一个回答问题的工具，转变为一个能够主动执行任务的智能体。
他的答案是Pathways、Gemini、虚拟工程师——这些概念正在塑造AI的未来。
今天，当我们使用谷歌搜索时，当我们与AI助手对话时，当我们训练一个深度学习模型时，我们都在使用迪恩及其团队构建的系统。
他的代码运行在全球数百万台服务器上，处理着数十亿用户的请求，支撑着现代互联网的基础设施。
2025年，57岁的杰夫·迪恩仍然站在AI革命的最前沿。
他领导着谷歌的AI研究，推动着Gemini的发展，探索着通向AGI的道路。
他的遗产不是代码，而是一种精神： 在混乱中寻找秩序，在失败中寻找机会，在规模中寻找可能。
这种精神将继续激励着下一代工程师，推动着技术的进步，塑造着人类的未来。
后记
在撰写这篇传记时，我深刻感受到杰夫·迪恩的故事不仅仅是一个个人的成功故事，更是一个时代的缩影。
他的职业生涯见证了互联网从泡沫到繁荣，见证了分布式系统从理论到实践，见证了AI从寒冬到复兴。
但最打动我的，是他始终保持的谦逊和好奇心。
尽管他已经取得了如此多的成就，他仍然在学习、在探索、在推动边界。
他的一个生活目标是"在每个大洲都打过篮球或踢过足球"
这像他的性格： 无论走到哪里，他都保持着对世界的好奇和对生活的热爱。
他的故事还在继续。
