文章主题：零点有数科技, ChatGPT, 语言模型, 应用前景
图片来源 @视觉中国
文 | 零点有数科技
ChatGPT 作为 OpenAI 最新的语言模型，具备与其他大型语言模型相似的生成文本能力，且在准确度、叙述细节以及上下文连贯性方面具有更为出色的表现。当前，ChatGPT 在众多领域展现出广阔的应用潜力。然而，任何技术的应用都需要遵循一定的原则，深入理解其背后的运作机制及存在的局限性，才能使这项技术发挥出最大的价值。
01 ChatGPT 概述
ChatGPT 是 OpenAI 最新的语言模型，较其前身 GPT-3 有大幅提高。与其他大型语言模型一样，ChatGPT 能够以不同的样式和目的生成文本，并且在准确度、叙述细节和上下文连贯性方面表现更加优异。作为 OpenAI 最新一代的大型语言模型，ChatGPT 的设计非常注重交互性。为了调优 ChatGPT，OpenAI 使用了监督学习和强化学习的组合，其中强化学习的组件使其独一无二。OpenAI 使用了 ” 人类反馈强化学习 “（RLHF）的训练方法，该方法在训练过程中利用人类反馈，以最小化无用、失真或有偏见的输出。
目前来看，ChatGPT 在很多领域都有广泛的应用前景，并且它的操作简单，对用户非常友好。但任何工具的应用都是有前提的，了解其背后的工作机制和局限之处，才能更好地利用这项技术，零点有数数据科学家将基于此谈谈 ChatGPT 在应用时需要注意的几个方面。
02 ChatGPT 的局限之处
多场景问题一是标注数据。诸如回答内容存在事实性错误，对于确定的事实，其给出的答案无法达到高置信度，对于常识性的知识问题不能高效地给出符合日常认知的答案。大模型训练所需语料涉及面非常广，仅就人文学科而言，就存在非常庞杂的知识的语料，因此，在标注过程中，相关任务对标注人员的知识面、逻辑思考能力等都有极高的要求。在此基础上，还需要针对更多语料中提及的知识进行自动抽取，反复校验，才可一步步改进。如下图，关于古诗《登鹳雀楼》的提问，ChatGPT 未能给出符合常识的回答，包括古诗的原文和作者信息。
二是数据理解。对于简单的数据说明可以顺利地进行比较分析，但面对略复杂的语义理解要求回答比较困难，对于中文丰富的词汇体系、语法和句法的特点，特别是涉及近义词之间的差别和近义程度的区分，还需要补充更多更广泛的训练数据、做进一步的训练和优化，才能修正相应问题。示例如下图。三是数据分析能力。由于数据理解和分析能力暂未完善，ChatGPT 目前无法正确有效地进行数理逻辑计算。如下图所示，针对四人四天喝四桶水，八人八天喝多少桶水的数据计算问题，并没有一次性形成合理的计算逻辑链路，给出正确的计算结果。
答复的生成内容不具备实时性
知识库信息未能实时更新。由于 ChatGPT 目前的版本仅支持 2021 年之前的语料信息提问，其回答的内容没有进行实时信息关联。训练一个模型的人力成本较大、时间周期较长，短期内难以有效地更新学习即时性的知识信息。
俄乌战争起始于 2022 年 2 月，而 ChatGPT 使用的最新训练数据只截止到 2020 年，因此对于最近发生的俄乌战争事件，无法给出具有时效性的情况分析。模型能力覆盖广，但专业深度仍有提高空间模型复杂度，丰富性和通用性足够高，但对于某个专业领域方向的资深知识信息结构认知仍有提高空间。在上述的问答中，ChatGPT 对于网络通信中的信息增益率公式只给出了概述性的描述，并未有效地展示公式的符合化表示及解释说明。
03 ChatGPT 场景应用问题
ChatGPT 的广泛应用虽然在各个领域中都展现出了其强大的适应性，但也带来了一些需要我们关注的问题。首先，在教育教学的领域中，ChatGPT 的出现使得学生在学习过程中过于依赖 direct query，缺乏深度思考的能力，这对于学生掌握知识以及提升问题解决能力都是不利的，甚至可能导致学生产生过度依赖，这对于学生的创造力和教育的发展都是不利的。其次，在公共安全领域，ChatGPT 的应用也存在一定的风险。例如，它可以模仿不同人员的对话习惯，结合语音合成功能，实现高仿真的人类交流和互动。如果这种功能被应用于诈骗等场合，可能会助长违法犯罪行为，影响社会的稳定。此外，由于 ChatGPT 模型训练所使用的大量的可公开数据和知识，可能存在一定的安全隐患，如涉及国家安全、商业机密、个人隐私等敏感数据的泄漏。最后，在伦理道德层面上，ChatGPT 的应用也需要我们深入思考。虽然 ChatGPT 可以为我们提供便捷的信息获取服务，但我们也需要警惕其可能带来的负面影响，如信息过载、虚假信息的传播等。因此，我们需要建立完善的管理体制和技术手段，确保 ChatGPT 的应用能够在伦理道德的框架下进行，服务于人类社会的发展。
在伦理道德层面上，个人、社会和国家都受到相应的影响。对于未成年人以及许多成年人来说，由于他们心智尚未成熟且稳定，因此在使用 ChatGPT 时，其个人观点容易受到直接或间接的影响，从而导致不适当的行为。从社会和国家的视角来看，如果 ChatGPT 被视为文化冲击的工具，可能会对社会和国家产生负面影响。
以上这些方面，都亟待相关技术方在技术层面对相关内容进行完善，对各种使用方进行权限的控制和监控，同时相关职能部门应从国家层面进行立法，进行合理的限制和管控。
04 关于 ChatGPT 算法的拓展构想
站在数据智能垂直应用的角度上，零点有数数据科学家基于丰富的业务经验，从以下四个方面谈了关于 ChatGPT 算法的拓展构想：
一是行业训练数据优势。ChatGPT 还需要进一步整合各行业历史沉淀数据，并将数据转换为高质量、有效的训练数据集，才能更好地提升行业应用模型的精度。
要提高推理能力,我们需要深入了解业务场景,并利用这些知识对未知业务场景进行推理和学习。为此,我们可以采用一种基于规则和向量表示的推理方法,将其转化为prompt的多层次学习推理过程。这种方法能够帮助我们更好地理解和解决复杂的问题,从而提高我们的推理能力。
三是实施动态的更新机制。通过实时收集网络上的相关数据，然后立即进行模式化更新，将更新的结果动态地反馈到模型之中，从而构建一个能够长期进行反馈学习和优化的模型机制。
四是合理挖掘发现行业应用场景。通过更深层次地将 GPT 技术与垂直行业的业务做融合，构建行业化的 GPT 模型，并服务于业务实际需求。（本文首发钛媒体 APP）
更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体 App
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
