通用人工智能的涌现:从认知科学到物理学的探索
这篇文章探讨了人工智能的发展现状和未来趋势。文章指出，目前artificial general intelligence（AGI）已经在路上，很多人却不愿意承认这一点。这主要是因为人们对AGI指标的合理怀疑，对替代人工智能理论或技术的意识形态承诺，以及对人类（或生物）例外论的热爱。此外，人们还担心AGI的经济影响。文章接着介绍了Karl Frisson的自由能理论，以及GPT和Transformer在人工智能中的应用。GPT可以看作是一种以模型参数体现的隐式知识图谱，而Transformer则是足够强大的特征提取器。通过训练，GPT可以获得长程关联与推理能力，降低信息熵，使信息更可预测。GPT构建了海量自然语言和代码的概率分布空间，被注入足够的信息量后，可以形成各种复杂关联的模式，涵盖自然语言和代码中各种知识与结构。这些知识和结构，体现为概率分布的距离与关系，从而为对比、类比、归纳、演绎等推理步骤提供支撑，也就是"涌现出"这些推理能力。最后，文章提到了Eric DeGiuli关于人类语言语法的研究。他认为，人类语言语法最简单的类型被称为无上下文文法（CFG），可以被视为物理对象，其"表面"包括所有可能的单词排列方式。随着语料不断被嵌入到这个语言空间，空间的密度发生了改变，信息熵也随之改变，引发了语言空间的对称性破缺与重建。
