查看原文
其他

乒乓球运动员与他的算力帝国

21记者 21世纪经济报道
2024-08-24

作 者丨倪雨晴

编 辑丨包芳鸣

图 源丨21世纪经济报道


1972年,一个9岁的中国台湾男孩,被家人送往美国。在肯德基的家乡,肯塔基州的一家乡村寄宿学校读书。这是一所类似少管所的学校,据说这里每个孩子都有纹身,他身上也有,不过是在他的公司股票达到100美元时,纹了NVIDIA的logo,少年时期的回旋镖刺青了左臂。


黄仁勋手臂上的纹身


虽然中文不好,但他一直发挥着华人优势。在体育方面是乒乓球,6年后,15岁的他获得美国乒乓球公开赛双打第三名。在事业方面则是计算机,20年后,他创立了这个世界上最伟大的半导体公司之一英伟达。50年后,他几乎统治整个算力世界。他是英伟达公司创始人兼CEO黄仁勋。


互联网宿命论的鼻祖书《异类》中提到,比尔·盖茨和史蒂夫·乔布斯出生于1955年,这并非巧合。在他们的青年时期就碰到了计算机基础能力大爆发的时代。1946年第一台电子计算机发明,1968年英特尔成立,AMD1969年成立,这些是“基础性的时代机缘”。可见,太早,会因为前置技术不成熟,无法支持更强大的产品能力,太晚,市场已经被领先者占据先发优势。可见,天才在出生时,世界就已开始忙碌地为他做着准备。


1960年到2000年的四十年之间,世界上最强大的芯片公司陆续成立。这些公司为后续整个互联网、人工智能、乃至整个人类文明世界的繁荣奠定基础,这一时期的技术爆发前无古人。



截至发稿,英伟达市值为22241亿美元。




游戏机男孩



1984年黄仁勋本科毕业,这一年第一台Mac电脑发布,个人电脑时代开启,相关领域就业蓬勃兴起,他将1984年称作“最适合毕业的年份”。正如2007年苹果手机发布,以及iPhone4发布后的几年,都是“最适合毕业的年份”。


黄仁勋先后于1983-1985年间和1985-1993年间在AMD(美国超威半导体公司)和巨积(LSI Logic Corporation美国电子公司),做芯片设计师。边工边读花了8年时间,于1990年获得斯坦福大学电子工程硕士学位。


1993年,30岁的黄仁勋,为兑现对夫人的承诺,也为避免被职场淘汰,成立了英伟达。相比之下,两位比他大8岁的前辈显得更加疯狂——社区双非大学生乔布斯20岁创办苹果,麻省波市大学肄业生比尔盖茨19岁创办微软。


黄仁勋去年曾在台大演讲,核心内容是回顾他创业历程中的三个故事。这三个故事对应英伟达乃至GPU市场的三个关键时期。分别可以总结为:游戏机男孩、计算平台雄心、算力有所不为。


游戏机时期是黄仁勋和比尔·盖茨的相爱相杀相助史。1995年,微软推出了PC史上划时代的Windows 95,并同时推出了以Direct3D为核心的DirectX标准。黄仁勋看准这个机会,全面支持微软的Direct X接口,推出了Riva128芯片,整机厂商开始集成英伟达。那时候显卡还不是主角,戴尔和惠普这样的组装机才是行业热门玩家。这是英伟达与微软的蜜月期,英伟达的角色就是配合好微软卖系统。


2000年,微软开始进军游戏机。希望通过Xbox与索尼、任天堂一决雌雄。为了这个项目,微软大手笔,仅单个项目订单就支付英伟达5亿美元,当时英伟达一整年的销售额才5亿美元。


2001年,微软大打价格战,每卖出一个Xbox就要亏126美元。微软开始向英伟达压价,彼时“皮衣哥”黄仁勋虽然弱小,但不肯向甲方妥协,并与微软对簿公堂。随后微软将订单转向英伟达的对手ATI,导致英伟达股价大跌90%。


皮衣哥虽然强势,但并不是莽夫。2003年,英伟达同意与微软再次合作Xbox。在一波三折的发展之中,算力平台的故事还在继续。



硬件雄心



英伟达的硬件产品总体沿着两个方向迭代,其一是产品线,其二是技术架构。


但这两条线并不完全划分清晰,英伟达的产品线像迷宫,堪称芯片领域的雅马哈。英伟达常见的产品线,GeForce系列,消费级GPU产品线就是消费者日常买的显卡;RTX/Quadro系列,即专业级GPU产品线;数据中心GPU,也即现在各家疯抢的核心AI芯片;Tesla系列,高性能计算和机器学习任务,已停止使用该名称;Tegra系列,移动处理器产品线,已经放弃,这属于算力有所不为的故事。


英伟达的架构演进相对清晰,这也侧面说明早期的黄仁勋更偏向技术玩家,近10年则对商业世界的理解愈发老辣。



2024年3月20日,英伟达GTC发布了Blackwell架构,数学家Blackwell在贝叶斯统计方面的开创性工作推动了人工智能领域的发展。



从这些架构的命名习惯看,黄仁勋的偏好逐渐转向计算机和人工智能人物。英伟达的架构也愈发比产品线更出名,换句话说,黄仁勋干脆就是把架构当成产品线。


自OpenAI发布ChatGPT以来,生成式人工智能技术一直是备受关注的热门趋势。这项技术需要强大的算力来生成文本、图像、视频等内容。


在这个背景下,英伟达先后推出V100、A100和H100等多款用于AI训练的芯片。A100和H100一方面是限制对象的典型,另一方面也是ChatGPT训练能力的核心芯片,这也让A100与H100在民间名声大噪。


英伟达A100的官网价是1万美元,H100是3.6万美元。以英伟达的A100芯片的性能指标作为限制标准。后来又修改为以综合运算性能和性能密度为指标。其实质都是核心传输和计算能力。


当前,算力焦虑成为新的焦虑类型,国内从投资人到程序员都逢人必谈A100和H100。也许从来没有一种电子产品像英伟达的显卡一样“你天天听说,但是又用不上”。在生成式AI突飞猛进之下,英伟达的产业链地位也进一步上升。



软件起飞



但英伟达可不只有硬件产品,英伟达官网上的软件目录比硬件还长。


黄仁勋高瞻远瞩之处在于,他知道硬件公司不能只做硬件,要做生态,生态的另外一只手就是软件,准确地说是算力操作系统。可以说英伟达CUDA(Compute Unified Device Architecture)是算力世界的“Linux+Windows”。


对比来看,Linux开发者社区强,商业社区弱,Windows商业社区强,开发者生态管控能力弱。而CUDA,有强大的社区开发者、有广泛的商业应用、还有云。


CUDA与英伟达GPU芯片的关系,更像是iOS与iPhone的关系。它们都提供了强大的开发者生态,对上层应用性能提供强有力保障,也都相当封闭,仅支持自家硬件。


虽然被诟病安装和维护繁琐,CUDA对开发者依然是友好的,特别是对于深度神经网络的资深玩家。对他们来说,最终的运算速度是痛点,其他麻烦都可以忽略。一位资深开发者告诉21世纪经济报道记者,实际上,目前几乎全部的深度学习框架都对CUDA进行了封装支持,包括pytorch,TensorFlow等,初学者学习pytorch的第一句话都是torch.cuda.is_available()。这几乎是深度学习领域的“Hello World”,甚至应该说是“Hello Nvidia”。


CUDA的前身之一是Brook项目。最初是由斯坦福大学博士在Ian Buck 在2000前后创立,他们计划开发一个新的编程系统,让GPU可用于除了图形计算外的其他领域。


这就是社区的力量,开发者社区有高水平的免费劳动力为你添砖加瓦,废寝忘食,而且还能省去招聘选人的成本,并在未来成为公司的核心员工。Ian Buck后来成为英伟达CUDA的负责人——加速计算部门的总经理,这个故事至今还被挂在英伟达的官网。


2000年,Ian Buck将32张GeForce显卡并行,将GeForce显卡改造成了一台超级计算机。这一经典操作收入了维基百科。底层逻辑很简单,英伟达一直抛弃其他任务,让芯片干活更纯粹,不断地堆叠并行计算,特别是并行乘法计算。


黄仁勋希望CUDA运行在每一张英伟达的显卡上,让大批天下寒士都可以使用GPU进行加速计算。天才的思路总是相似的,纳德拉对其扛鼎之作Windows10的KPI就是装机量,让更多的设备用上Windows10,而不是赚多少钱。这才使得Windows10在很多升级策略上采取了免费方案。



搭上AI



任何领域的突破都需要机缘巧合。而你要做的就是做好准备。2012年,当时还在谷歌的吴恩达和Jeff Dean训练了一个在图像中识别猫的神经网络。这一实验性的项目,对人工智能图像识别领域却是划时代意义的,人脸识别从此开始走入寻常生活。


上述工作使用了大约1.6万个CPU,而AI大拿Sutskever和Krizhevsky却仅用2块英伟达GeForce。他们所在的Geoffrey Hinton的研究小组,很早就开始使用英伟达CUDA平台训练神经网络。他们也是碰巧发现GPU竟然比CPU快这么多。


英伟达则是碰巧遇到人工智能的发展主要依赖算力。需求依然是第一位的,不然它也不得不滑入技术过剩的境地。


Sutskever和Krizhevsky都是大名鼎鼎的Geoffrey Hinton的博士。Geoffrey Hinton被誉为深度学习之父,他和另外两位神经网络先驱Yann LeCun、Yoshua Bengio获得了2018年的图灵奖。而Sutskever是OpenAI的技术总监。Krizhevsky则是斩获ImageNet第一名的图像识别神经网络AlexNet的第一作者。


任何产品的推广最好方式都是KOL带货。Geoffrey Hinton的推广和AlexNet的名声大噪使得GPU和CUDA开始出圈。到底是CUDA带火了英伟达的GPU,还是GPU带火了CUDA。就像到底是iOS让iPhone成功,还是iPhone让iOS成功。他们是孪生配套,缺一不可。


英伟达开发者项目副总裁Greg Estes回忆道:“黄仁勋在周五晚上发出了一封电子邮件,说一切都将转向深度学习,我们不再是一家图形公司(no longer a graphics company)。到了周一早上,我们就成为了一家人工智能公司。确实,就这么快。”



算力“新能源”



随着人工智能日新月异,黄仁勋缔造的算力帝国一路狂飙。而算力,也成为各家争夺的战略资源。


中国信通院算力指数发展白皮书2023显示,2022年中国算力规模达到180 Exa Flops(Exa是10的18次方),占全球总量的33%,其中基础算力为26%,智能算力分别为28%,超级算力为18%。美国占全球总量的34%,其中基础算力为27%,智能算力分别为45%,超级算力为48%。在存量算力上,中国和美国是唯二的世界强国。


近年来,中国也在加速算力网络的建设,2023年发布的《算力基础设施高质量发展行动计划》提出,到2025年,计算力方面,算力规模超过300 EFLOPS,智能算力占比达到35%。


其中,粤港澳大湾区就是建设全国一体化算力网络的重要枢纽,在2023年,中国算力网粤港澳大湾区调度中心正式上线,这是韶关市与鹏城实验室共同建设的“中国算力网”项目全国首个区域级资源调度中心。


算力资源的竞赛,已经拉开帷幕。一位IT资深从业者对记者分析道,首先,算力在任何项目上都是重要但又极度短缺的。其次,计算设备有存量算力,且可以进行分布式全球化的采集,比电力、石油更容易跨空间部署。同时,算力早已是一种比能源抽象,不易于普通人理解,重要性却不亚于能源的资源,因为它可以解决科技瓶颈的问题。


理论、实验、计算被称为现代科学研究中的三大手段。其中计算是最晚加入的小辈,但现在却起到核心驱动作用,很多理论可以用计算来验证,很多实验可以用算力来组织。


这就是为什么“我们需要的是飞行汽车,但时代却给我一个140字的推特”,“人类需要AI去洗碗,扫地,做家务。他们却在写诗画画搞音乐”,这类嘲笑不值一驳的原因。


假如没有社交网络,就没有那么多人在互联网上发表观点,就没有这么多的在线语料数据。没有语料数据,就没有大语言模型的数据基础,就没有ChatGPT的核心,也就没法和人类高智能的交互,迁移学习的思路也就不复存在,后面的洗碗扫地机器人也会大受影响。相反,自从有了大语言模型之后,很多家务机器人开始层出不穷。嘲笑并不都是坏事,这提供另一种角度,也为创造者提供动力。


目前人类文明发展的底座之一是人工智能。人工智能的发展底座是算力,算力的底座是电力,电力的底座是各类基础能源,这是科技树的逻辑链条也是现实掣肘。甚至有业内人士指出,算力是一种被编译的电力,或者从更大的角度来说,算力是一种被编译的能源。


黄仁勋说,从现在的角度看,要支持未来的算力需求,也许需要烧掉14个行星,3个星系,4个太阳来提供能源。但这不必,计算框架在提升,芯片的功耗在降低。


从观望者悲观的角度看,人类历史从来都是资源争夺的“零和博弈”。从人类走出非洲大陆开始,争夺地盘、食物、能源从未停止。


从探索者乐观的角度看,从木头中激发火,从石头中发掘硅,人类一直在做大增量市场,每次资源短缺,新的技术总能及时涌现。


《流浪地球2》中,周喆直富有深意地说“有人,在帮我们”。



SFC

本期编辑 黎雨桐 实习生 李洁

 21君荐读 

21深度|英伟达入局,人形机器人成科技巨头竞逐“新战场”


21深度丨“AI钢铁侠”黄仁勋,又进化了英伟达


英伟达Blackwell架构GPU,带热“铜缆高速连接”概念

继续滑动看下一个
21世纪经济报道
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存