ChatGPT 背后的核心技术
架构师指南 我们都是架构师！ 架构未来，你来不来？ 缘起 输入几个简单的关键词，AI能帮你生成一篇短篇小说甚至是专业论文。作为上知天文下知地理对话语言模型，最近大火的ChatGPT在邮件撰写、视频脚本、文本翻译、代码编写等任务上强大表现，让埃隆·马斯克都声称感受到了AI的“危险”。 最近大火的ChatGPT的计算逻辑来自于一个算法名字叫Transformer。它来源于2017年的一篇科研论文《Attention is all your need》。本来这篇论文是聚焦在自然语言处理领域，但由于其出色的解释性和计算性能开始广泛地使用在AI各个领域，成为最近几年最流行的AI算法模型，无论是这篇论文还是Transformer模型，都是当今AI科技发展的一个缩影。 这也是我想在这里给大家分析这篇文章的核心要点和主要创新的初衷。 但我非AI（数学，计算机）专业，只是梳理并分享自己学习的体会和思考，与大家一起讨论，欢迎各位多提宝贵意见；所述并不专业，各位大牛可以绕行。 从Transformer提出到“大规模预训练模型”GPT（Generative Pre-Training）的诞生，再到GPT2的迭代标志Open AI成为营利性公司，以及GPT3和ChatGPT的“出圈”；再看产业界，第四范式涉及到多个重要领域比如生物医疗，智能制造纷纷有以Transformer落地的技术产生。在这个浪潮下，我的思考是： 一是，未来很长一段时间在智能化领域，我们都将经历“科研、算力、基础架构、工程、数据、解决方案”这个循环的快速迭代；流动性、创新性短期不会稳定下来，而是会越来越强。 我们很难等到科技封装好，把这些知识全部屏蔽掉，再去打磨产品。未来在竞争中获胜的，将是很好地“解决了产品化和科研及工程创新之间平衡”的团队。我们一般理解的研发实际上是工程，但AI的实践科学属性需要团队更好的接纳这种“流动性”。因此对所有从业者或者感兴趣智能化的小伙伴了解全栈知识成了一个刚需。 二是，通过对这篇论文的探讨，可以更直观地理解：在科研端发生了什么，以什么样的速度和节奏发生；哪些是里程碑？是科学界的梅西横空出世，带我们发现真理；哪些是微创新？可能方向明确了，但还有很多空间可以拓展；哪些更像炼金术？仍然在摸索，尚需要很长一段时间，或者一直会保持这个状态。 三是，在AI领域，由于技术原因，更多的论文是开源代码的，一方面，促进了更多人参与进来改进迭代；另一方面，科研跟工程实现无缝连接，一篇论文可以拉动从核心代码到平台，到具体应用很大范围的价值扩散。一篇论文很可能就是一个领域，一条赛道，甚至直接驱动业务价值和客户价值的大幅提升。 四是， AI技术发展有很多领域（感知，认知，感知又分图像、语音、文字等，认知也可以分出很多层次），之前这些领域的算法逻辑存在很大差别，Transformer的出现有一定程度上推动各个领域汇聚的迹象，介绍清楚这篇文章，对把握整体，可能有些作用。另外ChatGPT属于现象级应用，大家更有直观感受，未来这类应用的体验提升和更新速度只会更快，理解了其背后的逻辑，更有助于我们把握这个趋势。 论文介绍 下面步入正题，开始介绍这篇论文，会涉及一些技术细节及公式，可能还需要仔细看一下，相信一旦看进去，你会对AI的理解加深很多。 总体把握 这篇论文的结构非常精炼，提出问题，分析问题，解决问题，给出测试数据。顶刊文章讲究言简意赅，有描述，有代码，有结果；其中最核心的是以下这张图，作者团队提出Transformer的核心算法结构： 整篇文章就是围绕这张图来进行解释的，由于篇幅所限，我们聚焦在一条主线上：1、文章想解决主要问题是什么；2、如何解决的；3、从文章提出的解决方案作为一个案例来引发整体思考，因此我们将内容简化，主要关注核心部分。 这张图表达的内容如果理解了，那基本上你掌握了这篇论文85%的内容，也是最关键的部分。 《Attention is all your need》在编写时主要是为了考虑NLP任务，是由几个Google的科研人员一起完成的，其中一个背景是Google也在推广自己的并行计算芯片以及AI TensorFlow开发平台。平台主要功能特点是并行计算，这篇文章的算法也是在最大限度的实现并行计算。我们就以一个简单的例子来把这个算法串一遍。 核心内容 需求是我们需要训练一个模型，进行中文到英文翻译。 背景知识：这个需求要把“翻译：我爱你 to I love you”转置成一个y=f(x)问题，x代表中文，y是英文，我们要通过训练得到f()，一旦训练成功f()，就可以实现翻译。大家拼的就是谁的训练方法更准确，更高效，谁的f()更好用。 之前自然语言处理主要的算法叫RNN（循环神经网络），它主要的实现逻辑是每个“字”计算之后将结果继承给第二个字。算法的弊病是需要大量的串行计算，效率低。而且当遇到比较长的句子时，前面信息很有可能会被稀释掉，造成模型不准确，也就是对于长句子效果会衰减。这是这篇文章致力于要解决的问题，也就是说这篇文章有训练处更好的f()的方法。联想一下ChatGPT可以做论文，感受一下。 在Transformer里，作者提出了将每个字与句子中所有单词进行计算，算出这个词与每个单词的相关度，从而确定这个词在这个句子里的更准确意义。（这句话要是理解了，后面其实可以不看了。） 在此处，要开始进入一些技术细节，在开始之前，我们有必要再熟悉一下机器学习领域最核心的一个概念——“向量”。在数字化时代，数学运算最小单位往往是自然数字。但在AI时代，这个最小单元变成了向量。这是数字化时代计算和智能化时代最重要的差别之一。 举个例子，比如，在银行，判断一个人的信用额度，我们用一个向量来表示： 向量是一组数据的集合，也可以想象成在一个超高维度空间里的一个点。一个具体的信用额度向量，就是在8个特征组成的高维空间的一个点。数据在高维空间将展现更多的数学性质比如线性可分，容易让我们抓住更多隐藏的规律。 向量的加减乘除是计算机在进行样本训练是最主要的计算逻辑。第四范式一直强调的高维，实时，自学习，其中高维就是把企业信息拉升到一个非常高维的空间，变成向量。...
