文章主题：关键词：郭全中，张金熠，中国传媒科技，ChatGPT，技术特征，应用前景
原创 郭全中 张金熠 中国传媒科技
郭全中先生（1976年出生于安徽临泉）是一位才华横溢的学者，现任中央民族大学新闻与传播学院教授以及江苏紫金传媒智库的高级研究员。他的研究领域主要集中在传媒经济和传媒管理两个领域，凭借丰富的知识和深厚的理论功底，为我国传媒行业的发展提供了有力的支持。同时，他还积极参与各类学术活动，与业界保持着紧密的联系，不断推动传媒领域的创新与进步。张金熠女士是中央民族大学新闻与传播学院的硕士研究生，她具有很高的学术素养和扎实的专业基础。在攻读学位的过程中，她对传媒经济和管理领域产生了浓厚的兴趣，并致力于深入研究和探讨这一课题。通过不断努力，她已经成为该领域的佼佼者，为未来的职业生涯奠定了坚实的基础。
ChatGPT 的技术特征与应用前景
在2022年的11月30日，人工智能研究实验室OpenAI推出了一款最新的对话式自然语言处理（NLP）模型——ChatGPT。这款模型的出现，立即引起了科技界的热烈讨论，并在短短的5天内迅速吸引了大量的用户。ChatGPT的表现无疑让人印象深刻，它展示出了对话生成式NLP模型在多种场景、多个行业和领域中的巨大应用潜力。然而，随着人工智能技术的广泛应用，我们也必须看到其背后所隐藏的风险。利用人工智能技术生成内容（AI Generated Content，简称AIGC）以及所有的深度合成内容，都可能存在经济、文化和社会等方面的风险。因此，我们有必要对ChatGPT的技术特点以及GPT（Generative Pre-Training）的发展历程进行深入的整理，同时也要关注其中所存在的风险，并开始思考如何对其进行有效的治理。总的来说，ChatGPT的推出无疑是一个重要的里程碑，它展示了人工智能技术在自然语言处理领域的最新进展。然而，我们必须警惕其可能带来的风险，并开始思考如何对其进行合理的治理和管理。
郭全中 张金熠
01
ChatGPT技术特征及GPT发展历程
ChatGPT是一种由人工智能驱动的聊天机器人,虽然它在专业知识和对基础知识的理解上可能存在错误,但在与人类交流的过程中却能够展现出非常流畅、连贯且具有逻辑性的思维方式,以及极快的响应速度。这些出色的表现都归功于其强大的技术支持——GPT-3.5和整个GPT系列。
1.1
技术特征
ChatGPT 是 OpenAI 公司推出的一款具有革命性的自然语言处理技术,它代表了 OpenAI 技术路线的一个方向性转变。ChatGPT 不仅继承了前几代 GPT 的技术优势,还具有独特的特点。这些特点包括:
GPT系列一直以语言模型为核心任务,而其单一的模态类型则是仅限于文字语言,没有涉及到视觉、听觉等多模态类型,这与OpenAI的另一项知名多模态研究领域人工智能图像生成器DALL-E2有所不同。在GPT-2时期,任务适用范围逐渐狭窄,开始专注于语言模型的应用。因此,ChatGPT所采用的模态类型也仅仅是文字语言,没有涉及到其他模态类型。
其次，海量数据对于AI模型的构建至关重要。其逻辑推理和结果输出的能力均基于此基础。以GPT系列为例，其模型训练的规模大小即可反映出来，从GPT-1的1.17亿到GPT-2的15亿，再到GPT-3的1750亿，参数量从亿级别提升至千亿级别。至于以GPT-3.5为基础模型微调生成的ChatGPT，其当前的训练参数尚未公开。然而，我们可以预见，一直秉持“指数力量”的OpenAI，在即将推出的GPT-4上，至少可以达到千亿级别的训练参数量。虽然ChatGPT的训练策略与GPT系列所采用的半监督学习或无监督学习有所不同，它更加注重参数的标注和强化学习，但在零样本学习（Zero-Shot Learning，ZSL）尚未成熟之前，人工智能依然依赖于海量数据来实现模型训练和迭代的进步，这是其发展路线的基石。
第三，人工标注。GPT全称为Generative Pre-trained Transformer，即生成型预训练变换模型。预训练模型的显著特征是先运用大规模语料训练语言模型，将训练结果参数保存并作为之后的模型初始化参数，从而使新的模型以小规模训练与少量时间得出较好模型。OpenAI的GPT系列都是采用Transformer的预训练模式，以避免NLP模型训练过程中需要大规模高质量标注数据且泛化能力不足等局限。但ChatGPT在GPT系列技术路线上发生了颠覆式迭代，在GPT-3.5大规模语言模型的基础上，开始依托大量人工标注数据，通过专业标注人员（据OpenAI称，是40位专业博士）为ChatGPT提供人类指令的高质量答案，从而优化GPT-3.5无法理解人类指令含义、无法判断输入的情况。
第四，强化学习。在如何更好理解人类指令方面，ChatGPT还采用了来自人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）进行训练。强化学习，即通过奖惩分明的系统打分，来更新参数以产生越来越高质量的回答。据OpenAI官网Blog介绍，其创建了一个强化学习的奖励模型：通过人工智能培训师对两个或多个模型基于同一问题的对话响应进行排序。运用这些奖励模型，OpenAI可以采取近端策略优化对ChatGPT进行微调，并对这一过程进行了多次迭代。因此，在与ChatGPT的互动过程中，人们发现它会承认错误、修复自己的答案，这是源于它从RLHF训练中获取的强化学习并重新思考的能力。
1.2
GPT系列发展历程
ChatGPT不是凭空出现的，而是建立在OpenAI对于语言模型，尤其NLP模型领域的持续研究与创造性探索。ChatGPT已经再次引爆社会对人工智能的多方讨论，但对于生成式AI而言，ChatGPT不是开始，也不会成为终点。生成式AI的应用将如何展开，会带来怎样的影响，可以从GPT系列发展历程中窥得些许启示。
第一，GPT-1：选择半监督学习模式。2018年，OpenAI推出了第一代生成式预训练模型GPT-1，该模型采取的是生成式预训练Transformer模型，这是由谷歌公司在2017年提出的一种采用自注意力机制的深度学习模型。目前发布的整个GPT系列（包括GPT-1、GPT-2、GPT-3、GPT-3.5）都贯彻了这一预训练模式。在GPT-1之前，NLP任务需要通过大规模、高质量标注数据集来进行有监督的学习。而GPT-1采取了一种截然不同的深度学习模式，即半监督学习。半监督学习是先通过无监督学习的预训练，运用大量未标注数据增强模型的语言能力，再进行有监督的微调，与大规模数据集集成以提高模型在NLP任务中的表现。这种方式减少了模型训练对数据标注工作的依赖，使GPT-1仅需要极少微调，就能够强化其NLP任务能力，但也存在明显的数据局限与泛化能力不足。
第二，GPT-2：验证无监督学习模式的力量。相信数据力量的OpenAI在2019年推出的GPT-2中，并没有转变技术策略，而是重点关注上一代出现的泛化能力不足问题，在训练数据与参数量上进行调整，使用了更大的数据集WebText（取自Reddit上高赞的文章，约40GB文本数据、800万个文档），为模型添加了更多参数（达到15亿个，是GPT-1的近13倍），提升了数据质量与数据规模，从而使得GPT-2在任务迁移方面展现出更优性能以及更惊人的生成能力。GPT-2的出现与性能提升，进一步验证了无监督学习的力量，即通过海量数据与大规模参数训练而成的NLP模型能够无需额外训练具备迁移到其它类别任务的能力。
第三，GPT-3与GPT-3.5：在海量训练参数基础上加入人工标注与强化学习。2020年发布的GPT-3被认为是目前最强大的语言模型，能够撰写人类难以判别的文章，甚至编写SQL查询语句。而其强大性能依赖于海量训练参数的喂养。相比于GPT-2，GPT-3则是将大规模数据的力量发挥到极致，OpenAI为其提供了1750亿的参数量，是GPT-2的10倍、GPT-1的100倍以上，45 TB的训练数据以及1200万美元的训练费用更是不在话下。在技术路线上，GPT-3删去微调步骤，直接输入自然文本作为指令，提升了GPT在阅读文本后可接续问题的能力以及任务主题的广泛性。GPT-3.5的主要杰作就是近期大火的ChatGPT。ChatGPT使用了微软Azure AI超级计算基础设施上的文本和代码数据进行训练，在训练参数上增加到GPT-3的10倍以上，延续了OpenAI对大规模数据的追求。此外，颠覆性地使用大量人工标注数据与有人类反馈的强化学习，使得ChatGPT表现出出色的上下文对话能力甚至编程能力。
纵观GPT系列的发展，OpenAI始终贯彻了大规模数据与生成式预训练Transformer模型的技术路线，并通过不断微调进行模型迭代优化，创造了ChatGPT的一鸣惊人。正如前文所说，ChatGPT不会是终点，OpenAI即将发布的GPT-4会将生成式AI带向何方，还需拭目以待。
02
ChatGPT的应用前景
ChatGPT尽管在自然语言文本的处理上仍有不足，会写出看似合理但不正确且荒谬的答案，例如将刘强东写作阿里巴巴集团的联合创始人，但其所表现出的强大基础模型能力，能够通过针对特定专业或行业进行微调，以提供优质的专业性服务。因此，ChatGPT的应用前景包括但不限于智能机器人、行业智能助手、舆情分析等领域。
2.1
智能机器人
在2C场景中，智能机器人基于NLP的人机交互能力是产品发展的刚需。其中人形机器人在现实场景中与人对话，对流畅的语言交互能力更加依赖。只有机器人能够理解人类指令并做出准确合理的需求响应，才能推动人形机器人完成后续的各项任务，因此NLP技术水平直接影响着人形机器人的技术发展与产品落地。
然而NLP模型的构建与训练需要花费大量时间、精力以及算力，持续优化NLP模式所需的算法、算力、算据都较为庞大，对于专注于实体机器人领域的技术来说，在保证人形机器人的各项软硬件技术发展前提下投入大量成本进行NLP模型的迭代并不现实。而ChatGPT的出现，进一步提升了NLP技术前沿，若接入人形机器人应用后，有望为人形机器人的2C场景提供更加仿真的人机互动，加速人形机器人的产品落地。
此外，虚拟空间中的智能机器人也能够依靠更为前沿的NLP技术增进其与用户的聊天体验，如游戏NPC、虚拟智能主播等，从而以此为基点探索新的用户交互服务。
2.2
行业智能助手
从GPT-3两年的商业化尝试可以看出，GPT系列并不能彻底取代某些职业，而更适合作为辅助生产力工具展开商业化实践。在人工智能助手领域，智能客服、语音工作助手、智能翻译等产业正在不断成熟，但当前的人工智能助手面临着逻辑性不强、响应不准确等问题。这正是NLP技术能够补足的行业短板。
在实践过程中，大量用户表示ChatGPT的对话体验要明显优于QQ小冰、Siri等智能助手的交互体验，尽管在生活常识性问题的准确性上远不及后者，ChatGPT能够通过强化学习的方式进行自我纠错，在后续对话中纠正之前的错误。此外，作为前沿NLP技术的模型代表，ChatGPT在代码纠错、文学创作等方面表现出的生成性能与需求响应能力，体现出其发展为行业智能助手的潜力。各行各业能够通过对ChatGPT的微调实现特定行业的专业化迭代，从而基于NLP能力提供更准确的助手服务。
2.3
舆情分析
ChatGPT的最大优势在于全球领先的NLP处理能力。出色的上下文对话能力背后的词向量模型性能能够适应NPL任务，这也就意味着ChatGPT在最基础的文本分类、词性判断、命名实体识别等NLP任务上表现不俗。对于舆情分析而言，由于中文文本语义多元、语法特殊、寓意隐晦等特点，准确判断文本色彩是舆情分析的重要难点。
利用强化学习模型，ChatGPT基于用户互动与反馈能够对文本属性进行更新，优化其内容理解与生成能力。这不仅为智能舆情分析提供了更为前沿的NLP技术，也为智能舆情分析模型的搭建提供参考思路。
参考文献
[1] Romera-Paredes B，Torr P H S. An Embarrassingly SimpleApproach to Zero-Shot Learning [M].Visual Attributes.Cham:Springer International Publishing，2017：11-30.
著录格式
郭全中，张金熠.ChatGPT 的技术特征与应用前景[J].中国传媒科技，2023（01）：159-160.
基金项目
本文为北京市社会科学基金规划重点项目“首都互联网平台企业社会责任与协同治理体系研究”的阶段性成果，批准号（项目编号：22XCA002）。
《传媒瞭望|郭全中：ChatGPT的爆火，来看看和您的行业有什么关系？》
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
