文章主题：ChatGPT, 工作原理, 统计学规律, 预测下一个词
对于 ChatGPT 的工作原理，一个常见的解释是根据统计学规律预测下一个词。
但最近一位叫 Jacob Bayless 的工程师用数学方法得出惊人结论：
若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。
这一数据量是500008000，根据贝肯斯坦上限 ( Bekenstein bound ) 原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。
而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。
而 ChatGPT 与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。
但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。
什么是 ” 随机鹦鹉 “
一个流传很广的说法，所谓大语言模型实际上相当于一个 ” 随机鹦鹉 ” ——
在观察其输出过程时，我们会发现语言模型的行为与我们的预期恰好相反。它并非将训练数据中的语素有序地组合在一起，而是随意地将这些语素拼接在一起，从而生成文本。更令人费解的是，语言模型在完成这些操作时并未揭示文本背后的任何深层含义，仿佛它只是在随机地模仿鹦鹉的叫声。
在一篇名为《On The Dangers of Stochastic Parrots: Can Language Models Be Too Big》的论文中，作者探讨了随机鹦鹉的 dangers，并质疑语言模型是否可能过大。在这篇论文中，作者指出，随着语言模型的不断发展和复杂化，它们可能会变得越来越像人类语言的使用者，从而产生一些潜在的危险。例如，由于语言模型的学习过程是基于大量的文本数据，它们可能会学会使用一些不道德或有害的语言，如广告语、政治宣传语等。此外，语言模型的过大可能会导致它们在处理复杂问题时变得不够准确和可靠。因此，作者建议我们需要密切关注语言模型的发展，以确保其在实际应用中的安全性和可靠性。
这对过去的语言模型，或许确实成立。比如曾经流行的 n-gram 算法。
比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。
具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT …
n = 1: REPRESENTING AND SPEEDILY IS AN GOOD …
n = 2: THE CHARACTER OF THIS POINT IS THEREFORE …
不难看出，随着 n 值的升高，文本越来越接近人类语言。
而 n-gram 模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。
据此有人猜想，GPT-4 会不会也只是一种高级的 n-gram 呢？
Bayless 提出，GPT 必须学会抽象才能有如今的效果，至少 GPT-4 肯定如此。
GPT-4 不只是 ” 随机鹦鹉 “
要证明这一点，可以先看下棋机器人的例子。
如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。
那它就能通过 ” 背谱法 ” 模仿其他任何棋手或程序的下法。
在众多国际象棋程序中，Stockfish 堪称是最先进的棋手。要判断 Stockfish 是否具备背谱能力，仅仅通过棋局对弈是难以得出结论的。
但实际上，包含所有情形和步骤的棋谱数据量可能超到 2154。
而 Stockfish 的程序只占用了不到 50MB 的空间，根本不可能存下需要的所有棋谱。
所以 Stockfish 肯定是通过更高级的方法来实现下棋的。
人类语言的复杂度远超过棋类游戏，因此 GPT 的数据量更是同理。
仅在是上一代的 GPT-3 的 token 字典中就有超过 5 万 token。如果对每个词都逐一建立统计信息，n-gram 模型中 n 值将高达 8000。
届时，需要存储的情景数量将达到 500008000。
正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。
因此，GPT 是 ” 随机鹦鹉 ” 的猜测在理论上得到了一定程度的批驳。
” 随机鹦鹉 ” 达不到的高度
为了更加全面地了解这个问题，研究人员不仅进行了理论性的阐述，还设计了两个实验来验证大模型在学习过程中是否已经抽象出了算法。
第一个实验关于一道经典的农夫过河问题。
在这篇充满智慧和巧妙解决问题的文章中，我们讲述了一个农夫在面对独特挑战时所展现出的机智。农夫拥有一条船，他的任务是将狼、羊和白菜这三种物品安全地运送至河的另一边。然而，农夫每次只能载运一种物品，同时必须确保在场的另一种物品不会受到攻击。在这种情况下，农夫如何才能完成任务呢？首先，我们可以发现狼、羊和白菜之间存在一种相互制约的关系。为了防止狼吃掉羊，农夫需要在运输过程中始终将羊留在船的一侧。同样地，为了保护白菜，农夫需要将狼留在船的另一侧。这样一来，只要农夫在驾驶室里，这两种动物就无法同时靠近对方。在这个基础上，农夫可以利用船的灵活性，分步骤地将狼、羊和白菜运送到对岸。首先，农夫可以将羊带到对岸，然后返回；接着，农夫再将狼带到对岸，并把羊带回原岸；最后，农夫再次将羊带到对岸，完成所有物品的运送。在这个过程中，农夫不仅成功解决了问题，还巧妙地利用了限制条件。他通过智慧和策略，成功地完成了这个看似不可能的任务。这充分展示了人们在面临困境时，可以通过创新思维找到解决问题的方法。
研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。
狼、羊和菜则分别换成火星人、金星人和月球人。
替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果 GPT 不是 ” 随机鹦鹉 “，那么它至少不会犯下只有 ” 随机鹦鹉 ” 才会犯的错误。
GPT-4 针对替换后的问题给出了正确的回答，GPT-3.5 则没有。
但它们并没有犯研究人员预想的 ” 鹦鹉 ” 错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。
这些现象都证明了现在的大语言模型的生成方式已经超越了 ” 概率预测 “。第二个实验则是数字排序。
如果让 GPT 学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？
其实只要从 GPT 的输出当中就可以看出来了。假如从 1-100 中随机选择 10 个数字，并将其顺序打乱，将一共有这么多种情形：
如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要 GPT 能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。
在人工智能领域，研究人员成功地训练了一款名为nanoGPT的先进语言模型，该模型由特斯拉前AI总监Andrej Kaparchy设计。经过严谨的训练，nanoGPT展现出了卓越的数字排序能力，这无疑是一项令人瞩目的成就。
结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。
虽然在训练步数达到 16 万左右时突然出现了大量错误，但也很快得到了纠正。
这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。
这个测试只是在一台笔记本电脑、算力非常有限的 GPU 上进行的。更不必说 GPT-4 了。
参考链接：
https://jbconsulting.substack.com/p/its-not-just-statistics-gpt-4-does
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
