文章主题：人工智能, 深度学习, 自然语言处理
在2022年的11月30日，全球范围内的人工智能领域迎来了新的突破，OpenAI正式推出了ChatGPT。这一革命性的技术引发了全球范围内的关注和讨论，它不仅开辟了人工智能应用的新篇章，更为未来的人机交互提供了无限的可能性。ChatGPT，全名聊天生成式预训练转换器，是一种基于深度学习的自然语言处理工具。它的核心功能是通过与人类的实时对话，能够理解和回答各种问题，不仅可以进行即时的文本交流，还可以理解并生成计算机代码，甚至能撰写和修改文案、脚本、大纲和策划。此外，ChatGPT还能快速生成新闻报道和创作诗歌，展示出了强大的创造力和生产力。ChatGPT的出现，无疑为人工智能的发展注入了新的活力。它的出现，不仅仅是一个技术上的突破，更是人类探索科技未知领域的又一步。我们期待着ChatGPT在未来能够带来更多的惊喜，让人工智能真正成为人类生活的得力助手。
创新困境者的突围
自人类诞生以来，我们始终在不断探索和改变自然。然而，当我们意识到自身生理功能存在局限性时，技术便应时而诞生。技术不仅强化了人类的生理能力，它的本质是人类的一种延伸。首先，体力的延伸催生了机械化的产生。人类的肢体（手、脚和躯干）的功能得以扩展，从而推动了机械设备的发展。其次，感知力的延伸促使信息化时代的到来。人类的感官（眼睛、耳朵、鼻子、舌头和身体）的功能得到增强，这为信息的获取和处理提供了便利。从工具的出现，如蒸汽机，到汽车、个人电脑，再到人工智能助手AlphaGo和聊天机器人ChatGPT，都是认知力（即大脑）的延伸推动着科技的发展。总之，技术的发展与人类生理功能的提升密切相关。随着技术的不断进步，我们的认知能力、肢体能力和感知能力都得到了极大的拓展，从而极大地推动了社会的发展。
在AI技术的视角下，ChatGPT所呈现的人类意图，源于机器学习、深度学习、转换器和多层感知机模型的复杂技术架构与模型累积，最终构建了一个大规模的自然语言处理模型，能学习并理解人类的反馈信息。据2023年1月的数据显示，ChatGPT的用户数量已超过1亿，成为史上最快的消费应用程序。这得益于人们对主观认知和表达的需求，以及对实质内容的追求，因为只有内容才能支撑起人类文明的发展。ChatGPT的500多名开发科学家正是通过突破“内容”这一难题，才实现了这样的成就！
突破困境往往能够引发质的变化。据数据显示，ChatGPT仅用了5天时间就成功吸引了100万的粉丝，相比之下，苹果公司则花费了74天的时间，而推特则花了2年的时间，而奈飞则耗时了3年半。这些案例充分说明，当企业或个人面临困境时，实现快速突破并成功转型，往往能够带来显著的变化和发展。
理想主义者的坚持
ChatGPT 是由 OpenAI 团队精心打造的一款人工智能助手。OpenAI 公司由 SpaceX 的创始人埃隆·马斯克、Y Combinator 总裁阿尔特曼以及 PayPal 创始人彼得·蒂尔等知名创业家于 2015 年在旧金山共同创立。该公司的宗旨是与其他研究机构展开 AI 相关的研究工作，并将研究成果公开透明地分享出来，以此推动 AI 技术的快速发展。
ChatGPT经历了多种技术路径的演变,逐渐走向成熟和完善。其中,它的GPT(Generative Pre-trained Transformer)模型是一种自然语言处理模型,采用转换器预测下一个单词的概率分布,并通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。
自1950年AI奠基人图灵提出基于规则的少量数据处理方法，以及随后的图灵测试，AI技术便 embarked on a long and arduous journey. It wasn’t until 30 years later, with the advent of machine learning, that machines were able to perform parameter classification based on a limited range of data. However, due to technological limitations, AI was restricted to only small-scale experiments.The turn of the century saw the emergence of a new field within machine learning, known as deep learning. This neural network algorithm, inspired by the structure of the human brain, saw development in conjunction with the increase of model depth and the improvement of big data and computing capabilities. As we entered the 21st century, breakthroughs in convolutional neural networks (CNNs), recurrent neural networks (RNNs), and their subsequent development of generative adversarial networks (GANs) allowed for the imitation of human brain processes in the marking and training of large amounts of data. These advancements have been widely adopted in the fields of computer vision and natural language processing, driving the flourishing growth of the AI industry.
在深度学习的推动下，我们终于得以窥见并逐步逼近人工智能的至高境界。在此过程中，AI从仅限于实验性的阶段转向实用性阶段，然而这一转变却受到算法瓶颈的限制，使得AI尚无法直接实现内容生成。
2017年，Ashish Vaswani et.al的论文《Attention Is All You Need》中，提出了一种新的简单架构——转换器（Transformer），彻底颠覆了过去的理念，没用到卷积神经网络和循环神经网络，它完全基于注意力机制，不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并且需要的训练时间明显更少。该论文被评为自然语言处理领域的年度最佳论文。
Transformer出现以后，迅速跻身主流模型架构基础，使深度学习模型参数达到了上亿的规模。AI技术的发展也呈现出模型之争，重大研究方向就是自然语言处理任务。随之，自然语言处理任务就转入了两大流派的竞赛，按转换器架构可分OpenAI的自回归系列（例如GPT-3，偏好生成性任务）；谷歌的双向Transformer+Mask的自编码系列（例如BERT，偏好自然语言理解）。
从2018年开始，谷歌率先提出了3亿参数模型BERT，陆续又推出了ELNet、RoBERTa、T5等，到了2021年则推出高达1.6万亿的参数量的Switch Transformer模型。2023年2月4日，谷歌注资3亿美元投资Anthropic，Anthropic 开发了一款名为Claude的智能聊天机器人，据称可与ChatGPT相媲美（仍未发布）。
而OpenAI也在两年左右的时间，先后推出了GPT- 1到GPT- 3，再到ChatGPT，参数实现了从亿级到上千亿级的突破，并能够实现作诗、聊天、生成代码等功能。作为OpenAI最大投资方的微软，开始利用ChatGPT提高产品竞争力，将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams程序等产品中。
此外包括微软、Meta、英伟达、华为、百度、阿里等巨头在内的全球领先企业纷纷参与其中，预训练大模型已经成为整个AI领域的竞争焦点。
混沌和近临界边缘者的冲浪
2022年，在ChatGPT温和聚变式的科技革命中，人工智能生成内容后来居上，以超出人们预期的速度成为科技历史上的重大事件，迅速催生了全新的科技生态。
在国内，2021年成为中国AI大模型的爆发年。众多公司和研究机构正在积极开展对大模型的研发。代表性的有华为云联合循环智能发布的基于昇思MindSpore打造的1000亿参数盘古NLP模型、联合北京大学发布2000亿参数的盘古α模型；百度推出基于PaddlePaddle 开发的2600亿参数ERNIE3.0 Titan模型；而阿里达摩院联合清华大学发布的中文多模态模型M6参数达到10万亿，将大模型参数直接提升了一个量级。
2022年，基于清华大学、阿里达摩院等研究成果以及超算基础实现的“脑级人工智能模型”——八卦炉（BAGUALU）完成建立，其模型参数模型突破了174万亿个，完全可以与人脑中的突触数量相媲美。
目前，大模型参数规模最高可达百万亿级别，数据集达到TB量级，且面向多模态场景（同时支持文字、图像、声音、视频、触觉等两种及以上形态）的大模型已成为趋势。大模型生态已初具规模。
值得期待的是，百度宣布将在2023年3月的某个时候推出一项中文名为“文心一言”或英文名为“ERNIE Bot”的ChatGPT式服务。
新一轮认知力延伸的竞赛是否又开始了呢？
《Attention Is All You Need》几位作者的选择或许有一定的代表性：时隔5年，8位作者仅有一位还留在谷歌。其中6人选择创业或加入创业公司，还有一位去了OpenAI。
2022年4月26日，一家名为Adept的公司官宣成立，以Ashish Vaswani为首的共同创始人有9位，Ashish Vaswani在南加州大学拿到博士学位，师从华人学者蒋伟和黄亮，主要研究现代深度学习在语言建模中的早期应用。2016年，他加入了谷歌大脑并领导了Transformer的研究。
Adept是一家致力于用AI来增强人类能力并最终实现通用智能的公司。在阐述公司创立初衷时，Ashish Vaswani写道：“在Google，我们训练出了越来越大的Transformer，梦想着有朝一日构建一个通用模型来支持所有ML用例。但是，这其中有一个明显的局限：用文本训练出的模型可以写出很棒的文章，但它们无法在数字世界中采取行动。你不能要求GPT-3给你订机票，给供应商开支票，或者进行科学实验”。
因此，他们打算创建一个通用系统，“你可以把它想象成你电脑里的一个overlay，它和你一起工作，使用和你一样的工具。使用Adept，你能专注于你真正喜欢的工作，并要求模型承担其他任务”。
也许，对于国内大多数在混沌和近临界边缘上冲浪的人来说，都应该好好思索一个问题：“是沿着Transformer和ChatGPT竞赛，还是换一个类似Adept的新赛道呢？”
人工智能, 深度学习, 自然语言处理
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
