文章主题：自然语言理解, 人工智能, 机器翻译, NLP
在商业化和资本的风潮下，ChatGPT引领了工业界对自然语言处理（NLP）科学研究的挑战，使得NLP再次成为科研热点。然而，以ChatGPT为代表的规模性预训练语言模型对其形成了冲击，这使得NLP技术的重构和未来走向面临新的挑战。因此，我们需要深入探讨ChatGPT如何改进NLP技术，以及NLP未来的发展趋势。
在2月24日举行的一场由深圳人才研修院和鹏城实验室共同举办的第四届OpenI/O启智教育开发者大会上，知名专家张民教授深入探讨了语言智能与机器翻译的关系。
张民教授在1991年至1997年间，在哈尔滨工程大学取得了学士、硕士和博士学位，专注于自然语言处理（NLP）、计算机翻译以及人工智能领域的研究。在最近的演讲中，他深入探讨了ChatGPT背后的NLP技术，并指出ChatGPT是一个集技术性、数据信息、计算效率和工程架构设计于一体的复杂系统。这个系统的强大性能源于其基本模型、命令学习和增强学习等技术。因此，从事NLP工作的人需要具备复杂系统的思维方式。
他指出，ChatGPT给NLP领域带来的并非压力，反而为其开启了新的机遇与研究方法，能够更有效地应对NLP所面临的挑战。此外，它还拓展了NLP的研究方向，为该行业提出了许多待解决的问题，例如：研发新一代的语言模型、保证模型的可靠性与安全性、增强模型的复杂逻辑推理能力与可解释性、提升模型对人类意志的学习能力、探索多模态大模型的发展趋势等。
以下属于张民专家教授此次主题演讲的全文，AI高新科技评价做了不更改本意的编辑：
1ChatGPT：NLP 科技的一大步开启了通用性AI大门
在讨论此次总结报告以前，我就先就ChatGPT谈一些见解。
第一，要一致认可、相拥、追踪而非盲目跟风跨世代以ChatGPT为首的新一代NLP/AI技术性。
在深入探讨之后，我们需要在OpenAI的小型模型基础上开展创新性科学研究。许多人对此表示担忧，认为在模型时代，自然语言处理（NLP）将不再必要，然而事实并非如此。实际上，我们面临着许多工作要做，而且其中许多任务都依赖于NLP技术。
在思考我们人类如何学习外语时，我们需要关注一些有趣的数据。比如，尽管三岁的小孩已经拥有相当强大的表达能力，但实际上，我们的大脑中只有五 percent 的神经细胞被激活与语言表达相关活动有关。那么，孩子是如何实现举一反三的呢？这里，我们需要强调的是，学习外语并不仅仅是死记硬背单词和语法规则的过程，而是要真正理解和掌握知识。这就需要我们采用自顶向下和自底向上相结合的学习方法，这种方法不仅包括解释和整理知识，还需要具备逻辑推理、批判性思维以及灵活运用知识的能力。相比之下，ChatGPT采用的是自底向上的学习方式，这种方式虽然能够有效地提高语言表达的准确性，但是它缺乏对知识的深刻理解和逻辑推理能力。因此，我们可以预见，未来的语言表达模型并不会像ChatGPT那样简单，它们将会更加人性化，更能够理解和把握人类的语言表达需求，提供更为准确、流畅、自然的语言服务。
在本次报告中，我们将探讨在未来5至10年，乃至20年里，以ChatGPT为代表的自然语言处理（NLP）领域所面临的挑战与机遇。首先，让我们来了解一下ChatGPT的基本概念，以及它如何影响NLP的发展。
ChatGPT是一种人工智能技术,旨在让机器具备与人对话和交流的能力。作为一种自然语言处理工具,ChatGPT能够理解和回应人类的语言输入,并以类似于人类的思维方式生成回复。这种技术与人类使用的交流方式非常相似,因此受到了广泛的欢迎和使用。ChatGPT的出现标志着人工智能技术的重大进展,其在自然语言处理领域的应用为人类提供了一种全新的沟通方式。人们可以通过与机器的对话来获取信息、解决问题、交流想法和情感等。这种交互方式不仅方便了人们的生活和工作,也为人类社会的发展提供了新的思路和可能性。ChatGPT之所以受到广泛欢迎和使用,也与它被选为人类网络投票的结果有关。这表明ChatGPT已经成为了人工智能领域的重要代表之一,其技术和应用前景备受期待。综上所述,ChatGPT是一种非常有用的技术,它能够帮助人类更轻松地进行交流和获取信息。随着人工智能技术的不断发展,ChatGPT的应用范围也将不断扩大,为人类社会带来更多的便利和创新。
ChatGPT本质上是规模性预训练语言表达模型，是一个统一的、简约大模型，这也是第二点。
第三个关键环节，便是ChatGPT做出来的是一个NLP难题，可是大家一定要意识到了它是一个技术性数据信息算率工程结构的复杂系统。
常常有人问，ChatGPT带给我们的经验是什么？我简单地讲，自然语言理解干三件事：让机器听得懂人话（了解）、讲人话（形成）、干人事部门（运用）。随之，ChatGPT的震撼之处是什么？第一，比较强的语言逻辑能力和形成能力，了解人类的用意，随后高谈阔论，娓娓而谈；第二，它会把伦理道德、社会道德等方面不合理具体内容除掉，同时可拒绝回答；第三，它用了三项技术性，包含表示学习、注意力机制与学习人类信念，没有这种技术性就没有大模型，也没有ChatGPT。
非严苛讲，“学习培训人类信念”是ChatGPT这种模型所特有的，这一说法听上去逼格很高，本身就是根据优化算法调节模型主要参数，从而让机器知道究竟需要设备干什么、如何可以做好。
ChatGPT理论基础是什么？也是从语料库当初中物品。语料库数据信息里边能蕴含是多少专业知识，ChatGPT较多就能有着是多少专业知识。从这一点来看，ChatGPT所以也是一个知识工程。因此词库应用语言学、认知语言学和计算语言学是ChatGPT的语言学理论基本。如果你相信语言表达可以表述专业知识，那样ChatGPT就能学好在其中的基础知识。
因此我们对ChatGPT的一个评价是：NLP科技的一大步，打开了AGI（通用人工智能）的一扇门。
2ChatGPT 其背后的语言表达模型
只需登过初中、学习过汉语或英文，大家也就都懂，语言表达模型包含词、语句、语法结构、词义和章节等各个方面。从另外一个角度来讲，语言表达模型包含好几种表明方式，例如产生式、逻辑性、谓词、架构这些。从专业知识描述的角度来看，语言表达模型则包括标准、统计和神经元网络的办法。
抽象化讲，语言表达模型是电子计算机表明与处理自然语言理解的数学模型。语言表达模型是一个单一的、统一的、抽象的流于形式系统软件，自然语言理解通过语言表达模型的描写，就能被电子计算机解决了，因而语言表达模型针对自然语言理解至关重要。
那样ChatGPT所使用的语言表达模型是啥？它语言表达模型其实在上个世纪七八十年代也就有了，即那时候语音识别技术行业常用N-gram语言表达模型。ChatGPT是一种基于N-gram的生成式语言表达模型。例如，在一个句中，第二个词汇的几率以第一个词为基本，第三个词汇的几率之前两个词语为载体，如此类推。公式计算极为简易，ChatGPT所做的唯一一件事，便是学一堆神经网络参数，给出前N个词，预测分析下一个词是什么。例如“Where are we （going）”这句话，ChatGPT会让全部很有可能的词汇的几率开展由低到高的排列，依据它模型推算出第四个词是going的几率较大。
大伙儿想一想，为何就做这一件事就能够完成繁杂会话？仅仅这么简单地预测分析下一个词，为什么它就能那么震撼，可以发表文章、会话、程序编程、造表这些？有一个经典“小猴子打印机谬论”，假如你给一个猴子无尽长一段时间，让它在电脑键盘上敲击，它就能在某个时间点写下一部莎士比亚全集。这是没有错的，从数学课的角度讲一定能完成。
ChatGPT就等于是一只猴子，把词随意地组合在一起，但ChatGPT的好处是什么？小猴子必须无尽长一段时间，它还并不了解搞出哪个字最好是，而ChatGPT有比较强的预测分析下一个词汇的能力，只需给他前文，它就能为下一个词开展免费预测。ChatGPT写一篇论文时，给人的感觉是一气呵成，事实上此刻它绝不是简单的给出前一个N个词预测分析下一个词，反而是早已暗含在英语模型中地编号了本文的构造。写一篇期刊论文一定要合理布局好结构，ChatGPT就是按照这一合理布局来相关工作的。ChatGPT最擅长的事情便是创作，高谈阔论，“编童话故事”。
那样ChatGPT的基本原理究竟是什么？有三个方面：基本模型，命令学习培训，增强学习。
基本模型使ChatGPT具有强悍的能力。拥有能力便是拥有力量，但是有了力量还不清楚究竟能干什么，命令学习是为了让模型了解做什么，增强学习乃是让模型干的更强。还有一个人类意见反馈，即奖赏模型，就是为了加强学习用的，用奖赏模型去干增强学习，期待ChatGPT保证跟人类一样、合乎人类的信念。如同高文老师教的，ChatGPT太取悦人类，表面看都是这样，但因为我觉得难点在于训练数据、奖赏模型和增强学习的指引及其社会道德的影响因素，造成它太像人类。
ChatGPT的核心技术主要有两个，一个是基本模型，一个应该是基本模型的人类信念两端对齐调整。至少从互动的角度来看，调整是非常有效的。调整可以做到什么效果？从互动的角度讲，它会使本来13B的模型特性做到175B模型的水准，提升10倍。但从专业知识的角度讲，13B的模型专业知识贫乏，讲的再甜言蜜语也无济于事。
3大模型时期，NLP 如何做？
目前来说，ChatGPT不可以做的、干错的，比它能干的多得多。但大家要坚信一点，ChatGPT技术性刚发生，这些不可以做的许多问题能很快处理。
与此同时，我们也要见到ChatGPT有其吊顶天花板，它确实是各种各样的问题，说一千道一万，ChatGPT自身模型能力比较有限，例如会有弹冠相庆问题。像针对“11=2”，ChatGPT并不是用计算器去算出来，反而是运用模型去预测分析11相当于几，2发生的几率大，因此它称之为2。假如你授予ChatGPT测算能力，那样所有数字四则运算难题他们都会。
我们要见到，ChatGPT天花板极低，可是在到达吊顶天花板以前，我们有很多收益。科学合理的发展终归是波浪形的。
再去谈一谈ChatGPT与语言智能和计算机翻译。正确的方向我已经进行了几十年了，但我觉得计算机翻译是比较容易被ChatGPT刷新的，一定是。人类做翻译情况下通过语言逻辑和产生的全过程，ChatGPT刚好具有极强的语言逻辑和形成能力。现阶段计算机翻译模型严苛依靠双语教学数据信息，把计算机翻译看作是一个投射全过程，而非认知和形成全过程。现阶段计算机翻译模型遭遇许多无法解决问题，关键在于双语教学数据信息少，也有精确性、章节、泛指、低网络资源行业领域语言、噪音等各种问题。各种问题理论与技术层面都能被大模型非常好处理。
再回答一下学界广泛关注的问题，在模型的年代怎么去做NLP？我归纳了12种情况，任何一个问题解决了我觉得都具有跨世代的价值。
一、新一代语言表达模型。Masked LM and GLM模型能力强，但模型的描写能力十分有限，本质上似乎是全部LM中叙述能力较弱的模型（除开BOW模型）。下一代可计算性比较强、叙述能力更强大的语言表达模型是啥？最少不仅具有强大形成能力。
二、大模型时代的发展自然语言理解深度了解（NLU）。最少从今天开始，每一个自然语言理解每日任务都不容易避开大模型。根据联接观念的符号主义方式应当是一个发展趋势。
三、可靠NLP。模型输出结果可靠、可验真。
四、可以信赖NLP。价值观念、社会道德、政冶、个人隐私、伦理道德等。
五、具备繁杂逻辑推理能力和可解释性NLP。联接主义和符号主义结合的方式。
六、知识建模、获得与使用。模型立即融进结构化知识，或是做为作用软件。
七、具备增量学习、不断学习、人们在控制回路能力的NLP。
八、小模型、模型编写、行业融入、行业模型、面对特殊运用和任务模型、人类迅速可干涉。
九、人类信念学习与两端对齐（物理学、人类系统软件与信息智能社会的两端对齐）。
十、NLP推动的多模态大模型。自然语言理解多形式偏重认知能力，但是其他多形式偏重认知。除开NLP大模型，多模态大模型更需要以NLP为指引或是基本。
十一、NLP大型工程和复杂系统的发展理念认知：优化算法模型、算率、数据信息、工程项目。
十二、开源系统、对外开放、分享、产业链、优秀人才、资产、政府部门、社会发展……
最终总结一下，一是特别感谢表示学习，有了这个以后NLP从离散数学模型进到持续数学课模型时期，获得强悍的数学软件的大力支持，例如可微、可微、神经元网络等随意持续数学函数；二是专注力和人机对战两端对齐体制，专注力线性拟合NLP的前后文。三是大，模型大、主要参数多、数据量大，由量变产生质变，不断涌现各种各样能力。但是这些刚刚开始，考试成绩多，难题大量，我们可以干的事很多。下一代模型的创新将高速发展，真真正正迈进通用人工智能。大家也期望下一代电子计算机可以解决算率难题。学、产、研、用、资、政，大家一定要一起来做。
自然语言理解, 人工智能, 机器翻译, NLP
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
