文章主题：人工智能，大模型，Aurora genAI，英特尔
作者 | 凌敏、核子可乐
模型参数越大就越好吗？
1 英特尔公布 AI 大模型 Aurora genAI，具备 1 万亿参数
wccftech 报道，英特尔近日公布了旗下生成式 AI 大模型 Aurora genAI。
据报道，Aurora genAI的参数量达到了惊人的1万亿，这一数字的开发主要得益于Megatron和DeepSpeed框架的使用，这两个框架大大提升了模型的强度和容量。相比之下，ChatGPT模型的参数量仅为1750亿。这意味着，Aurora genAI的参数量竟然是ChatGPT的近6倍之多。
据消息报道，Aurora genAI 模型是由英特尔携手阿贡国家实验室和 HPE 共同研发的一款以科学为核心理念的生成式 AI 模型。这款模型的应用领域极为广泛，涵盖了诸如分子与材料设计、综合知识素材库等多个方面。借助这一模型，我们可以为系统生物学、高分子化学、能源材料、气候科学以及宇宙学等领域提供具有创新性的实验设计思路。此外，该模型还可以助力提升对癌症及其他疾病相关生物过程的识别速度，并能为药物设计提供目标靶点建议。
Aurora genAI 的应用领域不仅限于科研,其还在自然语言处理、机器翻译、图像识别、语音识别以及金融建模等领域展现出巨大的商业潜力。
阿贡实验室的副主任Rick Stevens表示，这个项目的目标是充分挖掘Aurora超级计算机的潜在性能，为能源部的各个实验室提供科研资源，并支持跨机构的协作计划。
Aurora genAI模型的构建过程将遵循多学科融合的方法，涉及生物学、化学、材料科学、物理学和医学等领域的常规文本、代码、科学文本以及结构化数据。阿贡实验室正在积极推动国际合作，以期促进这一项目的进展，其合作伙伴涵盖了英特尔、HPE、能源部下属实验室、美国及全球知名高校、非营利组织，以及RIKEN等国际合作伙伴。
Aurora genAI 模型正在运行在英特尔为阿拉贡国家实验室所设计的 Aurora 超运算平台上，这一平台的表现已经超越了目前排名前五的超算设备（TOP500），具体表现达到了惊人的 200 亿亿次浮点运算能力，这个数字甚至翻写了记录。最近，英特尔和阿贡国家实验室一同公开了 Aurora 的建设進展情况、硬件配置以及早期的性能测试成果。
英特尔已完成 Aurora 超级计算机 1 万多块刀片服务器的交付。
Aurora 的完整系统采用 HPE Cray EX 超算架构，将拥有 63744 个 GPU 和 21248 个 CPU，辅以 1024 个 DAOS 存储节点。Aurora 还将配备 HPE Slingshot 高性能以太网络。
早期性能结果显示，Aurora 超算系统在实际科学和工程负载上具有领先性能，性能表现比 AMD MI250 GPU 高出 2 倍，在 QMCPACK 量子力学应用程序上的性能比 H100 提高 20%，且能够在数百个节点上保持近线性的算力扩展。作为 ChaGPT 的有力竞争者，Aurora genAI 的公布预示着 AI 大模型赛道又迎来了新的重磅玩家，并极有可能在未来对各种科学领域产生重大影响。不过目前，Aurora genAI 更像是处于概念阶段，英特尔的目标是到 2024 年完成 Aurora genAI 模型的构建。
对于英特尔的万亿参数 AI 大模型 Aurora genAI，有网友表示：“我不相信仅仅增加参数数量就能改进模型，我认为我们不应该发布新闻稿追逐增加参数数量。我在研究中还发现，较大的模型通常不会表现得更好，但由于不负责任的营销，这变得越来越难以向非技术人员解释。如果我们对这些营销放任不管，我们会让很多人失望，并降低大家对 AI 未来增长潜力的信心——我们不想要另一个 AI 寒冬。训练这些大型模型会产生巨大的环境成本，而且理解、使用和控制这些非常大的模型（即使作为研究人员）也变得更加困难。”
2 AI 军备竞赛进入“万亿参数模型”对抗时代？
近几年，随着 AI 大模型赛道持续升温，越来越多的科技巨头加入进来，并不断打破参数规模记录。
2021 年 1 月，谷歌大脑团队重磅推出超级语言模型 Switch Transformer，该模型有 1.6 万亿个参数，是当时规模最大的 NLP 模型。同年 6 月，智源研究院发布悟道 2.0，该系统参数数量已超过 1.75 万亿，是当时全球最大的大规模智能模型系统。同年 11 月，阿里达摩院发布多模态大模型 M6，其参数已从万亿跃迁至 10 万亿，是当时全球最大的 AI 预训练模型。
有分析指出，中美 AI 军备竞赛的核心战场正是万亿级预训练模型。打造千万亿参数规模的预训练模型是人类的一个超级工程，可能会对国家甚至人类社会产生重大影响。
那么，模型参数越大就越好吗？
鹏城实验室网络智能部云计算所副所长相洋曾在接受 InfoQ 采访时指出：
我们最初见到的一些模型是几万个参数，后来就到了几亿、几十亿、百亿、千亿，还有可能上万亿。目前从事实来说，的确是模型越大数据越多，且质量越好，带来的性能是越高的。但是我个人认为，这个提升曲线可能会有一个瓶颈期，到了瓶颈或者平台期的时候，它的上升速度可能就会缓慢，或者说基本就达到稳定了。就目前而言，可能我们还没有到达平台期。所以说，“模型参数越大越好”这个说法在一定程度上是成立的。
但是，判断一个大模型是否优秀，不能只看参数，还要看实际表现。模型得出来的任务效果好，我们就可以认为这个模型是个好模型。参数不是问题，当机器无论是在存储还是计算能力都足够强的时候，大模型也可以变成小模型。
此外，还要考虑模型的可解释能力，以及是否容易受噪声的攻击。如果该模型有一定的解释能力，那这个模型就是一个好模型；如果该模型不易被噪声数据或是其他因素影响的话，那这个模型也是一个好模型。
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
