文章主题:人工智能, 大模型, ChatGPT, 语言理解

666AI工具大全,助力做AI时代先行者!

「高见」是高山书院公众号专为“观点分享”设立的栏目,在这里,我们将“原汁原味”推送高山书院朋友们的思考和洞见。

赠人玫瑰,手留余香,知识分享之后才会更有价值。这里天地广阔,畅所欲言。

沈康

Hash Global 创始人

高山书院 2017 级同学

近期听了陆奇博士和

张宏江院士关于大模型和 ChatGPT 的分享

,收获很大。整理了一些感想,和 Web3 从业者共勉:

1. 和家里宠物待的时间足够长,你会意识到猫只是比你简单几个维度的一个大模型或者说模型组合

2. 模型的演化会很像基因和生命的演化,本质是一样的。Transformer 模型架构的出现就像分子第一次“无意”搭成了可复制的 RNA ;GPT-1、2、3、3.5、4,以及后面的模型发展演化只要没有慧星撞地球般的事件,可能就像生命爆发一样,越来越快,越来越“失控”。模型自身有不断复杂化的“内驱力”,这是宇宙规律。

在上世纪八十年代初期,史蒂芬·平克提出一个颠覆性的观点——人类的语言能力并非后天习得,而是与生俱来的本能。这一发现让我们重新审视了语言学习的本质,也揭示了我们在模型训练中追求的泛化能力的真正来源。

为什么以前搞人工智能和语言研究走不通,因为路走反了!语言是人大脑神经元系统足够复杂之后涌现出来的本能,至于是演化成汉语、英语还是鸟语,和环境及部落有关。

在人工智能领域,泛化模型与其他模型的结合确实可以产生出强大的智能体。然而,若想设计和构建具有高度智能的个体或人工通用智能(AGI),反而需要更加谨慎和深入地思考。这是因为,如果过于草率地进行尝试,可能会遇到比预期更为复杂的问题,甚至可能是无法解决的。换句话说,我们需要认识到构建智能体或AGI的过程并非易事,而是一项极具挑战性的任务。

在我们存在的宇宙中,假设存在着高维智慧生物或神明,当我们回溯到地球生命史上的寒武纪大爆发时期时,他们或许会对那个时代的突然井喷式的生命演化感到震惊,这类似于我们现在初次接触ChatGPT时的惊奇。对于这一现象,我们目前还无法找到充分的解释,只能逐步探索和学习,努力去理解那个神秘世界的奥秘。

AGI可以被拆分为六个核心能力,包括Reason、Plan、Solve problems、Think abstractly、Comprehend complex ideas以及Learning。其中,GPT-4目前具备的能力包括前五个,即Reason、Plan、Solve problems、Think abstractly和Comprehend complex ideas,但Learning方面仍存在一定的局限性。值得注意的是,由于GPT-4是基于预训练模型,因此它无法实现实时学习。

人脑的进化学习能力相对较慢,然而,一旦硅基智能找到了正确的发展方向,其发展速度可以呈指数级增长(可以参考GPT4与GPT3.5之间的差距)。

大模型的发展依赖于大量的数据、强大的计算能力和高效的算法,这使得其成为了一个高度专业的领域,仅美国和我国具备这样的能力。在构建大规模模型时,最大的挑战在于设计和开发出高效的芯片,以及积累CUDA(GPU的编程平台)开发经验、进行工程构建,并获取大量高质量的数据用于训练、调整参数以及对齐。其中,对齐的工作包括两大部分:一方面,需要对齐人类大脑的模型和表现形式;另一方面,还需要符合人类的道德准则和利益需求。

国内至少有两个方向的垂直模型赛道很有机会:医疗和教育。

GPT-4 仍存在一定的不足之处,然而正如人类大脑一样,在得到明确指令或提示后,其能力得以显著提升。借助其他辅助工具,GPT-4 的表现可圈可点,类似于人类在处理自身不擅长的任务时需要依赖计算器等外部工具。

大模型的参数量应与人脑神经元的突触数相比较,而这个数字高达100万亿。虽然目前GPT4的参数量尚未公开,但从趋势来看,随着大模型的快速发展,其参数量很可能会逐渐接近甚至超过这个数字。

10. GPT4 目前的幻觉率( hallucination )大概在 10%-14%,必须降下来。幻觉率是“类人”模型必然会出现的特征。这个比例和人相比,还是太高。能否有效降下来,决定几年后 AGI 发展是继续一路向上还是进入阶段性低谷期。

11. 对我个人来说,ChatGPT 最大的意义在于它最直接、毫无争议地证明了基于简单的计算节点和函数,只要数量足够多,模型足够大,就可以生成足够复杂的思考模式,而这个系统是有限的,不是无限的。

人类语言以及驱动语言的思考的背后可能并不是什么灵魂,可能就是 100 万亿的神经突触连接后,被环境的演化不断调教,“涌现”出来的东西。这一切非常符合人类最近两百年对“人来自于哪里”这个问题的突飞猛进般的各类研究。

12. 单细胞到人的形成,所有证据链条已经足够完备;关于复杂系统的形成,基因的存在和“动机”也已有完备的理论;但人能不能依据所有科学理论,设计出硅基的 AGI 呢?

有人认为是几年,有人认为是几十年,更多的人认为永远不会(即使在看到 AlphaGo 在围棋领域的表现后),但 ChatGPT 用铁一般的事实给出了最明确的答案。Sam 团队应该打心眼里没觉得人类大脑有什么了不起,才能如此坚定地走大模型的AGI路线,一个月烧1亿美元还是很考验信念的。

13. 由于底层硬件不同,所以 ChatGPT 的“策略”很可能和人的大脑是很不同的,而且是低效的,但令人惊讶的是,“Her” 产生的结果是如此像人的思考。人的思考本质上可能就是由简单规则驱动的。

14. 语言和思考的“规则”,可能并不是我们能够完全按“语法”总结出来的,这个规则目前来看是隐含,无法完全简约和总结的。所以目前只能用大模型来干出来,毕竟人的大脑架构也是从单细胞自然演化来的,即使有造物主,也应该是“开辟”了宇宙后,就撒手不管了,否则怎么会有这么多的 bug 和缺点,哈哈。

15. 我很佩服史蒂芬·平克,他可以在几十年前只用观察和推理,就令人信服地说明语言是所有人类的本能,是“刻”在我们基因里的。我不知道 Sam 有没有读过《语言本能》这本书,但他证明了 ChatGPT 这样的人造网络可以非常好的完成语言创立工作。

语言本能和逻辑思考没有想象中的复杂,ChatGPT 已经“默默地”地发现了语言背后隐含的逻辑。语言也会是所有硅基 AGI 区别其他硅基计算器和AI的“本能”。

16. 人脑和碳基大脑都喜欢做 generalize 提炼(可能是残酷的进化所逼),所以极其高效(能量使用方面);但不擅长做 irreducible 的计算和处理,而我们知道很多计算模式可能只能一步一步做。

GPT4 的架构肯定还不是最优,没有太多的 generalization 和简化,所以能耗极高。但“此路可通”的全球共识已经形成,后面应该会看到美国和中国的多个团队在各方面加速推进:芯片算力,数据质量,算法优化,和工程架构等

17. 人的大脑的价值评估体系应该是碳基分子形成的 DNA 和遗传基因“为了”最大化地提高自己的复制概率,通过自然演化的力量,给神经元的突触设置好权重,逐步演化确定下来。

这个碳基计算节点支撑的“模型”远非完美,演化速度缓慢,“权重”和“算法”调整极其低效,完全跟不上环境变化。所以我们才会有各种宗教提到的人的欲望和痛苦。

18.Why Buddism is True 一书里提到,人大脑至少有7个模块(应该是多模态并行大模型)。哪一个思维模块占据“当下”的主体,人的“决策”如何做出,其实都由“感觉”决定。而这个“感觉”就是由“人”进化带来的“陈旧”的价值评估体系来决定(载体之一可能是肠道细菌,哈哈)。建议大家可以读下我几年前写的读书笔记的第 6,7,9 部分。

【附】沈康同学读书笔记

(1)

禅是给诗人的,藏传佛教是给艺术家的,内观冥想是给心理学家的

(2)

如果爱因斯坦学习佛学,在“觉悟”的道路上应该是精进的

19. 畅想一下,如果人类真的把硅基 AGI 和机器人创造出来了,驱动机器人大脑的价值评估体系是什么?机器人会不会也很困惑“我来自于哪里,我往哪里去”?人类有释迦摩尼,机器人为什么不能有?机器人觉醒会是怎样?某个机器人会不会某天写一本 Why Machinism is True 来呼吁机器人觉悟,呼吁机器人进入涅槃,来摆脱人类给他们设置的“轮回”?

20. 能量限制会是模式演化的硬顶。但未来硅基 AGI 的能量消耗模式应该会比现在高效很多,碳基人脑的模式毕竟迭代演化了十亿年,才到了乌鸦大脑般的能量高效。

未来硅基 AGI 的能耗可能是现在人类能使用能量的几亿倍甚至更高量级,但能处理的计算和完成的事情也会是几亿倍。可能可控核聚变技术信手捏来了也不一定。这样的话,地球上的能量可能就够了,更何况还有太阳系,银河系和更广袤的宇宙。

ChatGPT 和 AGI 很伟大,应该说超级超级伟大!我们有幸活在这个年代,不但肯定能搞懂人来自哪里,可能还能搞懂人往哪里去。

AI的快速发展,会极大地促进我们对 Web3 技术的需求:内容创作如何确权;如何确立人的身份(Sam在搞worldcoin);Prompt 和开源代码能否做成NFT授权使用;价值如果不能在互联网上自由流动,生产力那么强有什么用?你能想象所有的内容订阅,还要用银行体系来完成转账和跨境划款吗?你能给一个物联设备开银行账户吗?你能同时给 1 万个用户转 0.01 分美元吗?…我上次说接下来三年是 Web3 的 iPhone 时刻,Web3 用户三年后肯定能突破1亿,甚至远远超过。大家可以看我们画的飞轮:

一直很喜欢看生命科学,复杂系统,(作为哲学的)佛教方面的书籍,推荐几本给大家,按我个人建议的阅读次序:《生机勃勃的尘埃》,《奇妙的生命》,《自私的基因》,《自下而上》,The Social Conquest of Earth,《语言本能》,《深奥的简洁》,《失控》,和 Why Buddism is True。我觉得这些作者如果还健在,还有能力写,都应该看着 GPT 未来的发展,把书都写个新版。

人的生命太短暂,很多伟大的想法都极其可惜地永远地遗失在了历史的长河里。书籍,音乐和影视的记录应该只是很小很小的一部分。即使记录下来,那么多的伟大的著作和真理其实一直都在那里,但一个人又能读多少呢?硅基 AGI 则完全没有这个问题。

是时候再把电影 The Matrix 里 Mopheus 和 Neo 的对白找出来再读一遍了。

关于Hash Global

Hash Global 成立于 2018 年,专注于投资 Web3 领域的华人创业团队。我们在寻找 Web3 和 AI 交叉领域的项目,可通过 Twitter 账号 @longwinsk 与作者联系。

关于高山书院

高山书院以“科学复兴”为愿景,以“没有受教,求知探索”为理念,以“公心大用,智识生活”为共识,引导企业家、创业者及各界知名人士学习科学,同时向社会传播科学精神和科学知识。(

高山书院是一个什么样的地方?

人工智能, 大模型, ChatGPT, 语言理解

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

Leave a Reply

Your email address will not be published. Required fields are marked *