AI与物理
出品｜虎嗅科技组 作者｜包校千 编辑｜陈伊凡 题图｜视觉中国 由OpenAI自主开发的聊天应用ChatGPT风靡全球后，立即在全球范围内掀起了大模型开发的热潮。但准备参战的玩家们很快便认清现实，这不过是一场由巨头主宰的游戏，其中的关键，就是能耗。 知名计算机专家吴军的形容并不夸张——ChatGPT每训练一次，相当于3000辆特斯拉的电动汽车，每辆跑到20万英里，约32.19万公里。而普通家用汽车年均行驶里程在1.5万公里左右，ChatGPT每训练一次，就相当于3000辆特斯拉在一个月走完了21年的路。 即便是对大模型跃跃欲试，准备“带资入组”的大佬，也不得不掂量下：腰包里的银两，究竟够花多久？ 过去一年，OpenAI的总支出是5.44亿美元。国盛证券估算，GPT-3的单次训练成本就高达140万美元，对于一些更大的LLM（大型语言模型），训练成本介于200万美元至1200万美元之间。 其中，“大模型训练成本中60%是电费，”华为AI首席科学家田奇在近日一场AI大模型技术论坛上强调，电力的降本增效已迫在眉睫。如果大模型普及，全球飞速运转的服务器，怕不会把地球烧了。 既然大模型训练的成本中，电费占主要部分，那么究竟是哪些环节在耗电？又能如何优化？ 大模型是“电老虎” OpenAI曾在其《AIandCompute》分析报告中指出，自2012年以来，AI训练应用的电力需求每3个月到4个月就会翻一倍。根据田奇给出的数据，AI算力在过去10年至少增长了40万倍。其中，拉高AI大模型能耗的一大要因，就是参数训练集的规模。 OpenAI首席执行官SamAltman在接受公开采访时表示，GPT-3的参数量为1750亿。最近发布的GPT-4 参数量是GPT-3的 20 倍，计算量是GPT-3的10倍。最快于2024 年底发布的GPT-5 ，参数量将达到GPT-3的100 倍，计算量将飙升至200到400倍。 根据斯坦福人工智能研究所（HAI）发布的《2023年人工智能指数报告》，训练像OpenAI的GPT-3这样的人工智能模型所需消耗的能量，足可以让一个普通美国家庭用上数百年了。GPT-3是目前大模型中有据可查的第一大“电老虎”，耗电量高达1287兆瓦时。 数据来源：Luccioni et al., 2022，虎嗅制图 即使是由人工智能初创公司 Hugging Face 搭建的更为高效的BLOOM模型，耗电量也达到433兆瓦时，足以为一个普通美国家庭供电41年。 参数训练集的规模，是拉高大模型能耗的主要因素。其中AI处理器和芯片，是产生能耗最主要的地方，一位信息和通信技术从业者告诉虎嗅，CPU 和GPU 的功耗通常占服务器整机的80%。不过和普通服务器750W到1200W的标准功耗相比，AI服务器由于配置多个系统级芯片，在运行AI模型时会产生更多的能耗。 以英伟达DGX A100服务器为例，搭载8颗A100 80GB GPU，最大系统功耗达到6500W，外形尺寸为6U，考虑42U的标准机柜，则单机柜可放置7个DGX A100服务器，对应功耗为45.5KW。 按照ChatGPT在今年1月日均1300万的UV标准，OpenAI需要3万多张A100 GPU，初始投入成本约为8亿美元，折算下来的电费每天是5万美元左右。 “如果大模型的使用者越来越多，为了保证时延，需要追加服务器订单，来提供更多的基础算力。假设有10万用户的并发计算量，差不多要30万到40万张GPU才够。”某头部数据中心业务负责人推算道。 数据显示，ChatGPT的总算力消耗约为3640PF-days，这需要七到八个投资规模30亿、算力为500P的数据中心才能支撑运行。根据半导体行业资讯机构SemiAnalysis估算，未来如果让ChatGPT承担谷歌搜索的全部访问量，至少也需要410万张英伟达A100 GPU。 OpenAI训练其模型所需的云计算基础设施规模是前所未有的，比业内任何人试图构建的GPU算力集群都要庞大 目前，微软在六十多个Azure数据中心部署了几十万张GPU，为ChatGPT提供超强算力。作为OpenAI最大的投资方，微软拿到了云计算基础设施的独家供应权，并开始下一代AI超级计算机的开发工作当中，数万张英伟达A100 GPU以及新一代H100 GPU都将被导入其中。 前所未有的算力规模，连业内专家都在感慨，这是一件多么疯狂的事。...
