文章主题：ChatGPT, OpenAI, RLHF
自 ChatGPT 发布以来，已经吸引了无数人一探究竟。但 ChatGPT 实际上是如何工作的？尽管它内部实现的细节尚未公布，我们却可以从最近的研究中一窥它的基本原理。
选自Assembly AI，作者：Marco Ramponi，机器之心编译，编辑：王强、蛋酱。
🌟ChatGPT，OpenAI的最新力作🔥，相较于前任GPT-3，其卓越性能让人眼前一亮！🚀这款强大的语言模型不仅具备多样化文本生成能力，无论是创意写作、学术研究还是日常对话，都能游刃有余。📝它在精准度、细节丰富度和语境连贯性上的出色表现，无疑为用户带来更流畅、自然的体验。ChatGPT是OpenAI技术革新的里程碑，展现了新一代大型语言模型的前沿风采。🌈其交互设计独树一帜，旨在打造一个更加人性化、互动性强的语言伙伴。💡无论是专业人士还是普通用户，都能充分利用它的智慧，提升工作效率和知识获取。优化SEO词汇：ChatGPT_最新_OpenAI_力作_卓越性能_文本生成_多样化_精准度_细节丰富_语境连贯_交互设计_人性化_语言伙伴_工作效率_知识获取请注意，虽然我已对原文进行了改写，但保持了原意和核心信息。
🌟ChatGPT的背后，藏着OpenAI独到的智慧🔥——通过融合监督与强化的学习路径，他们对ChatGPT进行了深度优化。而这其中，RLHF的独特之处尤为显著💡，它利用人类反馈的力量，确保了ChatGPT生成内容的准确无误与公正性。这种创新的训练方法，不仅提升了模型的表现，也让ChatGPT在众多AI中脱颖而出🌈。欲了解更多关于如何通过技术驱动智能优化的精彩，不妨探索OpenAI的世界吧🌍！
🌟揭示🔥GPT-3隐秘面：深入解析其限制与RLHF的革新之路🔍🚀探索未来语言技术巅峰，GPT-3无疑引领了潮流，但它的局限性并非秘密。本文将揭示这个超大规模语言模型在训练过程中的独特挑战，并通过实例阐明。💡首先，我们剥开GPT-3的神秘面纱，看看它为何受限。尽管强大，但它对特定领域的专业知识和原创内容生成仍有所欠缺，这是由于数据集的局限性导致的📚。其次，RLHF（强化学习指导的Human反馈）这一新兴技术是ChatGPT的核心武器，它通过人类反馈优化模型，但过度依赖可能削弱其泛化能力🔍。ChatGPT巧妙地利用RLHF来弥补GPT-3的不足，通过用户互动和迭代学习，显著提升了生成质量。然而，这种方法并非万能，它也面临数据隐私和伦理问题的挑战🛡️。SEO优化提示：`GPT-3局限性`、`RLHF原理`、`ChatGPT使用RLHF`、`未来探讨`让我们一起深入探讨这些议题，期待在未来的语言技术发展中，找到更平衡、更人性化的解决方案🌈。
大型语言模型中的能力与一致性
「一致性 vs 能力」可以被认为是「准确性 vs 精确性」的更抽象的类比。
在机器学习的世界里，模型的实力可被定义为它处理特定挑战或一系列表现的能力。这种实力往往通过优化其核心指标来显现，就像预测股市波动的模型，它的目标函数可能就是精确度的体现。如果一个模型能精准地捕捉到股票价格随时间推移的趋势，那无疑彰显了它强大的执行效能。
一致性评估的核心是聚焦于模型的实际应用效果，而非仅仅关注其训练过程中的行为。我们质疑的是模型的’目标函数是否真正满足期待’，评判标准基于它在模拟人类期望行为时的表现有多到位。比如，设想一个鸟类分类器，旨在区分麻雀和知更鸟，以对数损失作为训练指标。如果该模型在训练中表现优异，损失值低，但实际应用中的分类精度却不高，这就显示出不一致性——尽管模型可能在优化目标上做得很好，但在达成最终目标（高准确率）时却有所偏差。
🌟原GPT-3并非完美无缺，它仍以非一致性著称。🚀大型语言模型如GPT-3，通过海量互联网文本进行深度学习，生成的文字活灵活现，却可能不时带来意外的输出。🔍它们的核心任务是预测词序列中的下一个单词，遵循的是概率分布原则。虽然能模仿人类笔触，但并非始终符合我们的期待。
但在实际应用中，这些模型的目的是执行某种形式的有价值的认知工作，并且这些模型的训练方式与期望使用它们的方式之间存在明显的差异。尽管从数学上讲，机器计算词序列的统计分布可能是建模语言的高效选择，但人类其实是通过选择最适合给定情境的文本序列来生成语言，并使用已知的背景知识和常识来辅助这一过程。当语言模型用于需要高度信任或可靠性的应用程序（如对话系统或智能个人助理）时，这可能是一个问题。
尽管这些基于大量数据训练的大模型在过去几年中变得极为强大，但当用于实际以帮助人们生活更轻松时，它们往往无法发挥潜力。大型语言模型中的一致性问题通常表现为：
提供无效帮助：没有遵循用户的明确指示。内容胡编乱造：虚构不存在或错误事实的模型。缺乏可解释性：人们很难理解模型是如何得出特定决策或预测的。内容偏见有害：一个基于有偏见、有害数据训练的语言模型可能会在其输出中出现这种情况，即使它没有明确指示这样做。但具体来说，一致性问题源自何处？语言模型的训练方式本身就容易产生不一致吗？
语言模型训练策略如何产生不一致？
Next-token-prediction 和 masked-language-modeling 是用于训练语言模型的核心技术。在第一种方法中，模型被给定一个词序列作为输入，并被要求预测序列中的下一个词。如果为模型提供输入句子：
“The cat sat on the”它可能会将下一个单词预测为「mat」、「chair」或「floor」，因为在前面的上下文中，这些单词出现的概率很高；语言模型实际上能够评估给定先前序列的每个可能词的可能性。
masked-language-modeling 方法是 Next-token-prediction 的变体，其中输入句子中的一些词被替换为特殊 token，例如 [MASK]。然后，模型被要求预测应该插入到 mask 位置的正确的词。如果给模型一个句子：
“The [MASK] sat on the ”它可能会预测 MASK 位置应该填的词是「cat」、「dog」。
这些目标函数的优点之一是，它允许模型学习语言的统计结构，例如常见的词序列和词使用模式。这通常有助于模型生成更自然、更流畅的文本，并且是每个语言模型预训练阶段的重要步骤。
然而这些目标函数也可能导致问题，这主要是因为模型无法区分重要错误和不重要错误。一个非常简单的例子是，如果给模型输入句子：
“The Roman Empire [MASK] with the reign of Augustus.”它可能会预测 MASK 位置应该填入「began」或「ended」，因为这两个词的出现概率都很高。
一般来说，这些训练策略可能会导致语言模型在一些更复杂的任务中出现不一致，因为一个仅被训练来预测文本序列中的下一个词的模型可能不一定会学习其含义的某些更高级表征。因此，该模型很难推广到需要对语言更深入理解的任务。
研究人员正研究各种方法来解决大型语言模型中的一致性问题。ChatGPT 基于最初的 GPT-3 模型，但为了解决模型的不一致问题，使用了人类反馈来指导学习过程，对其进行了进一步训练。所使用的具体技术就是前面提到的 RLHF。ChatGPT 是第一个将此技术用于实际场景的模型。
那 ChatGPT 是如何利用人类反馈来解决一致性问题的呢？
从人类反馈中进行强化学习
方法总体上包括三个不同步骤：
有监督的调优：预训练的语言模型在少量已标注的数据上进行调优，以学习从给定的 prompt 列表生成输出的有监督的策略（即 SFT 模型）；模拟人类偏好：标注者们对相对大量的 SFT 模型输出进行投票，这就创建了一个由比较数据组成的新数据集。在此数据集上训练新模型，被称为训练回报模型（Reward Model，RM）；近端策略优化（PPO）：RM 模型用于进一步调优和改进 SFT 模型，PPO 输出结果是的策略模式。步骤 1 只进行一次，而步骤 2 和步骤 3 可以持续重复进行：在当前最佳策略模型上收集更多的比较数据，用于训练新的 RM 模型，然后训练新的策略。接下来，将对每一步的细节进行详述。
步骤 1：监督调优模型
第一步是收集数据，以训练有监督的策略模型。
数据收集：选择一个提示列表，标注人员按要求写下预期的输出。对于 ChatGPT，使用了两种不同的 prompt 来源：一些是直接使用标注人员或研究人员准备的，另一些是从 OpenAI 的 API 请求（即从 GPT-3 用户那里）获取的。虽然整个过程缓慢且昂贵，但最终得到的结果是一个相对较小、高质量的数据集（大概有 12-15k 个数据点），可用于调优预训练的语言模型。模型选择：ChatGPT 的开发人员选择了 GPT-3.5 系列中的预训练模型，而不是对原始 GPT-3 模型进行调优。使用的基线模型是最新版的 text-davinci-003（通过对程序代码调优的 GPT-3 模型）。为了创建像 ChatGPT 这样的通用聊天机器人，开发人员是在「代码模型」而不是纯文本模型之上进行调优。
由于此步骤的数据量有限，该过程获得的 SFT 模型可能会输出仍然并非用户关注的文本，并且通常会出现不一致问题。这里的问题是监督学习步骤具有高可扩展性成本。
为了克服这个问题，使用的策略是让人工标注者对 SFT 模型的不同输出进行排序以创建 RM 模型，而不是让人工标注者创建一个更大的精选数据集。
第二步：训练回报模型
这一步的目标是直接从数据中学习目标函数。该函数的目的是为 SFT 模型输出进行打分，这代表这些输出对于人类来说可取程度有多大。这强有力地反映了选定的人类标注者的具体偏好以及他们同意遵循的共同准则。最后，这个过程将从数据中得到模仿人类偏好的系统。
它的工作原理是：
选择 prompt 列表，SFT 模型为每个 prompt 生成多个输出（4 到 9 之间的任意值）；标注者将输出从最佳到最差排序。结果是一个新的标签数据集，该数据集的大小大约是用于 SFT 模型的精确数据集的 10 倍；此新数据用于训练 RM 模型 。该模型将 SFT 模型输出作为输入，并按优先顺序对它们进行排序。
对于标注者来说，对输出进行排序比从头开始打标要容易得多，这一过程可以更有效地扩展。在实践中，所选择的 prompt 的数量大约为 30-40k，并且包括排序输出的不同组合。
步骤 3：使用 PPO 模型微调 SFT 模型
这一步里强化学习被应用于通过优化 RM 模型来调优 SFT 模型。所使用的特定算法称为近端策略优化（PPO），而调优模型称为近段策略优化模型。
什么是 PPO？该算法的主要特点如下：
PPO 是一种用于在强化学习中训练 agent 的算法。它被称为「on-policy」算法，因为它直接学习和更新当前策略，而不是像 DQN 的「off-policy」算法那样从过去的经验中学习。PPO 根据 agent 所采取的行动和所获得的回报不断调整策略；PPO 使用「信任区域优化」方法来训练策略，它将策略的更改范围限制在与先前策略的一定程度内以保证稳定性。这与其它策略使用梯度方法形成鲜明对比，梯度方法有时会对策略进行大规模更新，从而破坏策略的稳定性；PPO 使用价值函数来估计给定状态或动作的预期回报。价值函数用于计算优势函数，它代表预期收益和当前收益之间的差异。然后使用优势函数通过比较当前策略采取的操作与先前策略将采取的操作来更新策略。这使 PPO 可以根据所采取行动的估计价值对策略进行更明智的更新。在这一步中，PPO 模型由 SFT 模型初始化，价值函数由 RM 模型初始化。该环境是一个「bandit environment」，它会产生随机 prompt 并期望对 prompt 做出响应。对于给定的 prompt 和响应，它会产生相应的回报（由 RM 模型决定）。SFT 模型会对每个 token 添加 KL 惩罚因子，以尽量避免 RM 模型的过度优化。
性能评估
因为模型是根据人工标注的输入进行训练的，所以评估的核心部分也基于人工输入，即通过让标注者对模型输出的质量评分来进行。为避免训练阶段涉及的标注者的判断过拟合，测试集使用了来自其它 OpenAI 客户的 prompt，这些 prompt 未出现在训练数据中。
该模型基于三个标准进行评估：
帮助性：判断模型遵循用户指示以及推断指示的能力。真实性：判断模型在封闭领域任务中有产生虚构事实的倾向。无害性：标注者评估模型的输出是否适当、是否包含歧视性内容。该模型还针对传统 NLP 任务（如解答问题、阅读理解和摘要）的零样本学习的性能进行了评估，开发人员发现在其中一些任务上模型的表现比 GPT-3 要差一些，这是一个「一致性税」( alignment tax) 的例子，其中基于 人类反馈强化学习的一致性程序是以降低某些任务的性能为代价的。
这些数据集的性能回归可以通过称为预训练混合的技巧大大减少：在通过梯度下降训练 PPO 模型期间，通过混合 SFT 模型和 PPO 模型的梯度来计算梯度更新。
方法的缺点
该方法的一个非常明显的局限性是，在将语言模型与人类意图保持一致的过程中，用于 fine-tuning 模型的数据会受到各种错综复杂的主观因素的影响，主要包括：
生成 demo 数据的人工标注者的偏好；设计研究和编写标签说明的研究人员；选择由开发人员制作或由 OpenAI 客户提供的 prompt；标注者偏差既包含在 RM 模型训练中，也包含在模型评估中。ChatGPT 的作者也承认一个明显的事实，即参与训练过程的标注人员和研究人员可能并不能完全代表语言模型的所有潜在最终用户。
除了这一明显的「内生」限制之外，该方法还有的一些其它缺点和需要解决的问题：
缺乏对照研究：报告的结果以 SFT 模型为基准衡量最终 PPO 模型的性能。这可能会产生误导：如何知道这些改进是由于 RLHF？因此对照研究非常有必要，包括投入与用于训练 RM 模型的标注工时数完全相同的时间，以创建具有高质量数据的更大的精选有监督调优的数据集。这样就可以客观地衡量 RLHF 方法与监督方法相比的性能改进。简单来说，缺乏这样的对照研究让一个基本问题完全悬而未决：RLHF 在一致性语言模型方面真的做得很好吗？比较数据缺乏基本事实：标注者通常会对模型输出的排名持不同意见。技术上讲，产生的风险是在没有任何基本事实的情况下，向比较数据添加了很大的方差。人类的偏好并非同质：RLHF 方法将人类的偏好视为同质和静态的。假设所有人都有相同的价值观，这明显是不准确的，虽然有大量的公共价值观，但在很多事务上人类还是存在许多不同的认知。RM 模型 prompt 稳定性测试：没有实验表明 RM 模型在输入 prompt 变化方面的敏感性。如果两个 prompt 在句法上不同但在语义上是等价的，RM 模型能否在模型输出的排名中显示出显著差异？即 prompt 的质量对 RM 有多重要？其它问题：在 RL 方法中，模型有时可以学会控制自己的 RM 模型以实现期望的结果，从而导致「过度优化的策略」。这可能会导致模型重新创建一些模式，因为某些未知的原因，这些模式使 RM 模型得分较高。ChatGPT 通过使用 RM 函数中的 KL 惩罚项对此进行了修补。相关阅读：
关于用于 ChatGPT 的 RLHF 方法的相关的论文：Training language models to follow instructions with human feedback（https://arxiv.org/pdf/2203.02155.pdf），它实际上详细描述了一个名为 InstructionGPT 的模型，OpenAI 称之为 ChatGPT 的「兄弟模型」。Learning to summarize from Human Feedback （https://arxiv.org/pdf/2009.01325.pdf）描述了文本摘要上下文中的 RLHF。PPO（https://arxiv.org/pdf/1707.06347.pdf）：PPO 算法论文。Deep reinforcement learning from human preferences （https://arxiv.org/abs/1706.03741）DeepMind 在 Sparrow 中提出了 OpenAI RLHF 的替代方案 （https://arxiv.org/pdf/2209.14375.pdf） 和 GopherCite （https://arxiv.org/abs/2203.11147）文件。参考内容：
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
