AI与物理
这篇文章探讨了人工智能的发展现状和未来趋势。文章指出,目前artificial general intelligence(AGI)已经在路上,很多人却不愿意承认这一点。这主要是因为人们对AGI指标的合理怀疑,对替代人工智能理论或技术的意识形态承诺,以及对人类(或生物)例外论的热爱。此外,人们还担心AGI的经济影响。文章接着介绍了Karl Frisson的自由能理论,以及GPT和Transformer在人工智能中的应用。GPT可以看作是一种以模型参数体现的隐式知识图谱,而Transformer则是足够强大的特征提取器。通过训练,GPT可以获得长程关联与推理能力,降低信息熵,使信息更可预测。GPT构建了海量自然语言和代码的概率分布空间,被注入足够的信息量后,可以形成各种复杂关联的模式,涵盖自然语言和代码中各种知识与结构。这些知识和结构,体现为概率分布的距离与关系,从而为对比、类比、归纳、演绎等推理步骤提供支撑,也就是"涌现出"这些推理能力。最后,文章提到了Eric DeGiuli关于人类语言语法的研究。他认为,人类语言语法最简单的类型被称为无上下文文法(CFG),可以被视为物理对象,其"表面"包括所有可能的单词排列方式。随着语料不断被嵌入到这个语言空间,空间的密度发生了改变,信息熵也随之改变,引发了语言空间的对称性破缺与重建。