ChatGPT工作原理（中英文对照）
原文英文作者：史蒂芬·沃尔弗拉姆，计算机科学家 作者简介：史蒂芬·沃尔弗拉姆（Stephen Wolfram）英美籍计算机科学家， 物理学家。他是Mathematica 的首席设计师，《一种新科学》一书的作者。沃尔夫勒姆1959年出生于伦敦，父亲是相当成功的作家，母亲是牛津大学的哲学教授。他幼年聪慧，13岁入伊顿（Eton）公学，15岁发表首篇粒子物理方面的学术论文，到17岁，他的科学论文发到了《核物理》（The Nuclear Physics）杂志上。在获得牛津大学的奖学金并在牛津学习一年之后，即到了美国阿格纳国家实验室的理论高能物理小组）工作。1978年19岁的沃尔夫勒姆受著名物理学家穆雷·盖尔曼之邀去到加州理工学院，从事基本粒子物理学方面的研究，取得显著成就，一年内获得理论物理学博士学位。1980年沃尔夫勒姆成为加州理工学院一员，与费曼（Richard Feynman）共事。1988年6月23日他创立的公司发布了一种著名的数学软件“数学”（Mathematica），该软件使得人们可以随心所欲地进行各种复杂的数学运算，解方程、求导数、1979年和1981年之间，斯蒂芬领导加州理工学院物理系的计算代数系统（Symbolic Manipulation Program，SMP。即符号操作程序） 项目的开发。1986年，斯蒂芬在伊利诺伊大学香槟分校建立了复杂系统研究中心，并开始开发计算代数系统Mathematica，第一个版本于1988年发行。 摘要：ChatGPT 能够自动生成一些读起来表面上甚至像人写的文字的东西，这非常了不起，而且出乎意料。但它是如何做到的？为什么它能发挥作用？我在这里的目的是大致介绍一下 ChatGPT 内部的情况，然后探讨一下为什么它能很好地生成我们认为是有意义的文本。 英文地址：https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/ 中文版本参考Ai研究局，可以中英文对照阅读理解。 目录 1前言 2随机概率从何而来？ 3什么是大型语言模型？ 4类人脑那种任务模型 5典型模型工作是基于神经网路 6机器学习和神经网络的训练 7神经网络训练的实践与理论 8嵌入的概念-附近的事由附近的数字表示 9CHATGPT 内部转化器 10CHATGPT 的训练 11基本训练之上 12是什么真正让 CHATGPT 工作？ 13意义空间和语义运动法则 14语义语法和计算语言的力量 15那么CHATGPT 在做什么， 16IT’S JUST ADDING ONE WORD AT A TIME（英文原文） 16.1Where Do the Probabilities Come From? 16.2What Is...
