文章主题：自然语言处理, 大语言模型, 信息动力学, 人工智能发展
导语
ChatGPT 的横空出世是一个大事件，可能引发一场新的科技革命浪潮，甚至被认为是人类语言出现以来最深刻的变革。为什么大模型如此备受关注甚至引发焦虑？我们该如何理解这场 AI 革命的深刻意义？人类历史上的农业、工业革命，是能量利用层面的革命，而人工智能则是信息层面的革命。信息动力学（information dynamics），即信息的传播和演化过程，是理解这一变革的关键视角。
本次圆桌活动，物理学家祁晓亮从信息动力学的角度分析，认为 AI 革命的标志是信息处理复杂度的临界点。同时我们邀请了来自物理学、范畴论、大模型、语言学、认知和脑科学等领域的学者以及来自业界的研究者进行跨学科交流和碰撞，期待能扩展科研思维，从不同视角共同探讨 AI 未来的发展。
内容简介
大语言模型的诞生被视为一个重要的事件，它可能会促进技术奇点的到来。那么，我们应该如何理解这个临界点的重要性呢？为什么这次技术突破首先出现在语言模型领域？当前的大语言模型与人类智能之间存在着哪些本质差异？未来，人工智能的下一个突破口究竟会在哪里？为了回答这些问题，我们将从信息动力学的角度进行深入探讨。
这次分享将主要涵盖这三个部分：
1. 为什么说大语言模型的诞生是一个临界点（critical point）？这是一个怎样的临界点？
祁晓亮教授指出，临界点在于信息处理复杂度。他解释道，”信息动力学”揭示了信息的传播与演变过程。从这个视角看，大语言模型的技术革新源于在输入信息、处理信息和输出信息这三个关键环节都实现了与人类相媲美的复杂性。
2. 为什么是语言模型在复杂性上实现了突破？
在人类历史长河中，信息动力学的 two 要素——DNA 的遗传与变异，以及语言的传播与演进，共同塑造了我们的认知世界。其中，语言所达成的复杂性，代表了人类思维的最高境界。因此，对于人类而言，信息动力学便等同于语言动力学。鉴于语言在人类社会中的核心地位，它也相应地在人工智能领域占据了特殊的地位。
3. 今天的大语言模型和人类智能最本质的区别是什么？人工智能下一步的发展方向是什么？
在认知心理学领域，人类的思维过程可以分为两个主要系统：快速直觉判断系统（System 1）与慢速语言思考系统（System 2）。大语言模型的核心本质正是对System 1的模拟，它能够运用自然语言与人类展开互动，然而，其内部实际上并未运用语言进行真正意义上的思考。当前，我国人工智能研究领域的众多尝试都是致力于使语言模型具备类似于人类系统的2，即具有长期记忆能力并能够从经验中吸取教训。
分享大纲
为什么说大语言模型的诞生是一个临界点？
什么是信息动力学
信息复杂度的三个方面
为什么是语言模型在复杂性上实现了突破？
从信息动力学视角看待语言
人工智能下一步的发展方向是什么？
什么是系统 1 和系统 2？
为大模型构建系统 2，是下一步的突破方向吗？
圆桌讨论问题
1. 大语言模型达到一个临界点，如何刻画这个临界点？
是信息复杂度的临界点？是实现自指，具备自我意识？和量子信息领域的纠错编码有关？
2. 人工智能下一步的发展方向是什么？
如何理解系统 1 和系统 2？为大模型构建系统 2，是下一步的突破方向吗？
3. 范畴论如何帮助改进大语言模型？
在我们的生活中，存在着各种各样的语言描述，从具体的物体到抽象的概念，它们都遵循着各自的规则和逻辑。而在数学领域，范畴论则是一种用于描述数学结构及其关系的理论。那么，这两者之间究竟存在着怎样的联系呢？是否有可能通过范畴论来更好地理解和改进我们的大语言模型呢？首先，我们需要明确的是，语言和数学虽然都属于形式系统的范畴，但它们所涉及的范围和层次却有所不同。语言主要关注的是表述和沟通，它涵盖了我们生活中的各个方面，包括思维、情感、价值观等等。而范畴论则是数学的一个分支，它主要关注的是数学结构本身，如集合、函数、图灵机等等。然而，尽管它们在内容和范围上存在差异，但我们仍然可以尝试寻找它们之间的联系。在语言的理解和生成过程中，范畴论提供了一种有效的理论和工具。例如，通过范畴论，我们可以将语言中的概念和语法规则抽象成数学结构，从而更好地理解和处理语言。同时，范畴论也可以帮助我们构建更加精确和高效的语言模型，以实现更准确、更自然的语言交互。至于如何具体地应用范畴论来改进大语言模型，这可能需要我们在未来的研究中进一步探讨。但可以确定的是，范畴论作为一种强大的数学工具，其在语言领域的应用前景广阔，有望为我们提供更多的思路和方法来解决实际问题。
讲者简介
祁晓亮，斯坦福大学物理系终身教授。2003 年本科毕业于清华大学基科班，2007 年博士毕业于清华大学高等研究中心。此后于斯坦福大学和加州大学圣塔芭芭拉分校从事博士后研究。2010 年加入斯坦福，2014 年获得 tenure。祈晓亮教授的早期研究方向为凝聚态理论，他是拓扑绝缘体理论和拓扑超导理论的开创者之一。近期集中关注量子信息、量子多体与量子引力之间的关系。曾获得包括物理学新视野奖和斯隆奖金在内的多项国际奖项。
个人主页：https://profiles.stanford.edu/xiaoliang-qi
圆桌嘉宾简介
尤亦庄，2013 年博士毕业于清华大学高等研究院，之后分别于美国加州大学圣塔芭芭拉分校和哈佛大学从事博士后研究。现为加州大学圣地亚哥分校助理教授，主要研究领域：量子多体物理，及其演生现象和临界现象。
个人主页：https://everettyou.github.io/
张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人、曾任腾讯研究院特聘顾问，复杂系统、人工智能的研究者与布道者。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。
个人主页：https://jake.swarma.org/
刘泉影，南方科技大学生物医学工程系助理教授，博士生导师，神经计算与控制实验室 PI。研究方向：机器学习算法、多模态神经信号处理、神经计算建模、医学人工智能等等。
个人主页：https://faculty.sustech.edu.cn/liuqy/
贾伊阳，日本成蹊大学助理教授。研究重点是计算复杂性，算法，以及范畴相关理论。
王庆法，1995-2001 清华本硕，统计力学方向，22 年从事数据领域工作，先后服务于 Schlumberger, IBM, Microsoft Bing, Amazon 供应链，现在负责联想供应链数字化转型，也在参与推动集团大模型战略。长期研究深度学习、神经网络、以及现在大模型的物理原理，分享在自己的公众号 ” 清熙 ” 上。
活动信息
时间：2023 年 6 月 3 日（周六） 上午 10:00-12:00
参与方式：
1、扫描预约
欢迎加入我们的学习小组！我们为您提供了一个优质的学习平台，您可以通过以下链接加入我们：https://pattern.swarma.org/study_group_issue/480?from=wechat。在这里，您可以与志同道合的朋友们一起探讨学术问题，分享学习心得，共同提高自己的能力。期待您的加入，让我们携手共进，共创美好未来！
扫码参与读书会，加入群聊获取本系列读书会的视频回放权限、资料权限，与社区的一线科研工作者和企业实践者沟通交流。
2、视频号预约
推荐文章
AI 何以涌现：复杂适应系统视角的 ChatGPT 和大语言模型
让 ChatGPT 拥有意识，冯 · 诺依曼会怎么做？——自指机器的奥秘
” 后 ChatGPT” 读书会启动
集智俱乐部的” 后 ChatGPT” 读书会由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理 ChatGPT 技术，并发现其弱点与短板。同时，结合集智俱乐部常年来积累的各种人工智能技术讨论，展望后 GPT 时代的人工智能都有哪些可能性？读书会自 2023 年 3 月 3 日开始，每周五晚上举办，持续时间预计 6 周，欢迎对本话题感兴趣的朋友报名参加！
详情请见：
” 后 ChatGPT” 读书会启动：从通用人工智能到意识机器
集智俱乐部因果涌现社区
跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。
集智俱乐部特别组织「因果涌现」系列读书会，深入研读相关文献，激发科研灵感。目前已经进行了两季，聚集了 500+ 成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，并解锁对应录播权限。
读书会详情与报名方式请参考：
因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索
集智学园最新 AI 课程，
张江教授亲授：大数据驱动的人工智能
理解人类语言、创作艺术品、下围棋、蛋白质结构预测、新质子模型的发现、辅助数学定理证明，所有这些不同领域的难题都正在被新兴人工智能技术逐一攻破。人工智能， 特别是以大数据、机器学习、神经网络等技术为主体的智能技术，近年来获得了迅猛的发展，它正在与各个学科发生交叉、融合，逐渐演化为一种解决各种复杂系统问题的跨学科方论，成为支撑复杂系统分析与建模的重要新兴技术。
本课程面向具有一定理工科背景和编程技术基础的学生，全面介绍基于大数据技术驱动为主的人工智能技术的最新进展，包括但不限于：神经网络、深度学习、强化学习、因果推断、生成模型、语言模型、面向科学发现的 AI 等前沿领域。
https://campus.swarma.org/course/5084?from=wechat
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
