《ChatGPT数学能力再升级：与竞争对手一较高下》

编辑：蛋酱、杜伟

ChatGPT 的人气持续走高，OpenAI也在不断努力提升它的能力。与此同时，随着ChatGPT的竞争对手越来越多，如何更精确地识别其生成的文本也变得越来越重要，这已经成为了近期学术界的一个主要研究焦点。

自 ChatGPT 问世以来，其潜在的能力一直在被逐步发掘。例如，它在撰写神经网络以及打造智能音箱方面展示出了卓越的才华。然而，在使用过程中，人们逐渐发现 ChatGPT 在数学方面的表现并不理想，甚至对于一些基础的数学题目，如“鸡兔同笼”，也出现了错误计算的情况。

大概是考虑到了这一点，ChatGPT 刚刚宣布了一次重要更新：提升了「真实性」和「数学能力」。

打开凤凰新闻，查看更多高清图片

自从去年11月ChatGPT推出以来，它已经进行了三次重要更新。然而，在此次更新中，「更新说明」较为含蓄，导致用户需要花费一定时间去探索和熟悉新的功能。

几天前，著名计算机科学家和Wolfram语言的创造者Stephen Wolfram将理工科利器Wolfram|Alpha与ChatGPT相结合，以期赋予ChatGPT强大的计算能力，从而形成互补关系。这一尝试取得了令人满意的结果。

那么，这次更新之后的 ChatGPT 数学能力可与其一战吗？

看起来…… 对比的结果不尽如人意：

「只能说神经网络不是用来干这个的」，Sebastian Raschka 都觉得无奈了。

还有人发现，升级后的 ChatGPT「脾气逐渐暴躁」：

「你数学是哪位老师教的？」面对一道十以内加减法的题目，它的语气像极了辅导孩子作业的家长。

这也许是「偶然现象」？看来数学是真难。

不管怎么说，我们可以期待一波后续的有趣 Demo 了。

太卷了：ChatGPT 和它的竞争者们

在接下来的六到十二个月里，我们将见证实验性的快速增长。当公司能够运用OpenAI的API在ChatGPT之上构建时，这一进程将会加速。届时，可能会出现一些具有颠覆性的用例，主要集中在生成式AI对知识管理产生的影响方面。

Nicola Morini Bianzino。

最近一次公开活动中，安永全球首席技术官Nicola Morini Bianzino表示，目前尚未在企业中看到ChatGPT的“颠覆性”应用案例。然而，这种情况可能会迅速改变，他预计在未来6到12个月期间，我们将见证大量实验的出现，特别是随着公司能够利用OpenAI的API在ChatGPT上构建应用程序。

Bianzino 将生成式 AI 对知识管理的影响阐述为「AI 的辩证法」。知识公司往往采用一种过于扁平的二维方式来储存知识，这种方式使得知识的访问、互动以及对话变得极具挑战性。我们在20、30、40年前试图建立专家系统，然而这一过程并非一帆风顺，因为这些系统过于僵化。Bianzino 认为，生成式 AI 有可能解决专家系统所面临的诸多问题。

近年来，随着ChatGPT的迅速发展，各种类似的AI模型如雨后春笋般涌现，使得这个领域竞争愈发激烈。从Anthropic公司的Claude、DeepMind公司的Sparrow、谷歌公司的LaMDA到Character AI，每天都有一到两个新的竞争对手加入战场，形成了一场激烈的竞赛。

Anthropic 是一家旧金山的初创公司，由几位离开 OpenAI 的研究人员于 2021 年创立。公司成立不到一年后就宣布了高达 5.8 亿美元的融资，上周五还被报道即将增加 3 亿美元融资。

这家公司开发了一个名为「Claude」的 AI 聊天机器人，目前通过 Slack 集成在封闭测试版中可用，据报道它与 ChatGPT 相似，甚至有一些改进。Anthropic 描述自身的使命为「致力于构建可靠、可解释和可操纵的 AI 系统」。

DeepMind 同样是这条赛道上不可忽视的力量。这家公司在 9 月份的一篇论文中介绍了 「Sparrow」，被誉为「朝着创建更安全、偏差更小的机器学习系统迈出的重要一步」。Sparrow 是「一种有用的对话智能体，可以降低不安全和不适当答案的风险」，旨在「与用户交谈、回答问题并在有助于查找证据」。

不过，DeepMind 的安全研究员、 Sparrow 论文的主要作者 Geoffrey Irving 表示，DeepMind 认为 Sparrow 是一个基于研究的概念验证模型，尚未准备好部署。

在两周前的《时代周刊》文章中，该公司的首席执行官兼联合创始人 Demis Hassabis 表示，DeepMind 正在考虑在 2023 年的某个时候发布其聊天机器人 Sparrow 的「私人测试版」。如此一来，公司就可以开发基于强化学习的功能，比如引用来源 —— 这是 ChatGPT 所没有的能力。

再说到谷歌的 LaMDA，这一模型曾在去年夏天引发过热议 —— 谷歌工程师 Blake Lemoine 因声称 LaMDA 具有感知能力而被解雇。

即使不像 Lemoine 认为的那样，LaMDA 仍被认为是 ChatGPT 最大的竞争对手之一。谷歌在 2021 年发布的博客文章中表示，LaMDA 的对话技巧「已经酝酿多年」。与 ChatGPT 一样，LaMDA 建立在 Transformer 架构之上，也接受过对话方面的训练。

根据谷歌的说法，「在训练期间，LaMDA 发现了一些将开放式对话与其他形式的语言区分开来的细微差别。」

《纽约时报》在 1 月 20 日的一篇报道中提到，谷歌创始人 Larry Page 和 Sergey Brin 上个月会见了公司高管，讨论了 ChatGPT 可能对谷歌 1490 亿美元的搜索业务构成的威胁。谷歌发言人在一份声明中表示：「我们继续在内部测试我们的 AI 技术，以确保它有用且安全，我们期待尽快与外部分享更多经验。」

另外一位颇具实力的玩家则是 Character AI，这家公司由 Transformer 论文作者之一 Noam Shazeer 创办，逐渐为人熟知。

该公司推出的 AI 聊天机器人技术允许用户与任何人聊天或进行角色扮演，比如模仿伊丽莎白女王和莎士比亚等历史人物。目前该技术是免费使用的，Character 正在「研究用户如何与之互动，然后再制定具体的创收计划。」

传百度将发布类似 ChatGPT 的聊天机器人

更能引起国内 AI 从业者关注的是，据路透社、彭博社等多家外媒报道称，百度公司计划在 3 月份推出类似于 OpenAI 的 ChatGPT 的人工智能聊天机器人服务。

消息人士称，百度计划在用户提出搜索请求时整合聊天机器人生成的结果，而不仅仅是链接。「该工具尚未命名，将嵌入在主搜索服务中，用户将返回对话风格的搜索结果。」

在去年 12 月在一次内部讨论中，百度 CEO 李彦宏曾分享自己对 ChatGPT 的看法：「把这么酷的技术变成人人需要的产品」才是最难的，希望百度新的一年「至少能有一个高成长、有创新的业务，真正的 above and beyond our expectation」。

而据《科创板日报》1 月 30 日报道，百度内部确有推出类似 ChatGPT 聊天机器人的规划，但具体时间并不精确。百度 CEO 李彦宏对于该项目的定位是「引领搜索体验的代际变革」。他在内部指出，相关技术已达到临界点，百度在其中有较大的机会。

检测利器：让大型语言模型生成的文本无处隐藏

ChatGPT 的能力纵然强大，但同时它在学校作业、论文发表等领域的滥用已经引发了人们广泛的担忧。因此，学界开始探索检测 ChatGPT 等大型语言模型（LLM）生成文本的方法和工具。

马里兰大学几位研究者对 ChatGPT 等语言模型输出的水印进行了研究。在论文《A Watermark for Large Language Models》，他们提出了一种高效水印框架，水印的嵌入对文本质量的影响忽略不计，可以使用高效的开源算法进行检测，而无需访问语言模型的 API 或参数。

本文方法可以检测到比较短的合成文本（少至 25 个 tokens），同时使得人类文本在统计学上不可能被标记为机器生成。

斯坦福大学几位研究者在论文《DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature》中，证明了从 LLM 中采样的文本倾向于占据模型对数概率函数的负曲率区域。利用这一观察结果，他们定义了一个基于曲率的新标准，来判断一段文章是否由给定的 LLM 生成。

研究者将他们的方法称为 DetectGPT，它不需要训练单独的分类器、收集真实或生成段落的数据集以及显式地为生成文本加水印。DetectGPT 仅使用感兴趣模型计算的对数概率和另一通用预训练语言模型（如 T5）生成段落的随机扰动。

结果发现，DetectGPT 比当前模型样本检测的零样本方法更具辨别力，尤其是将 20B 参数 GPT-NeoX 生成的假新闻报道检测从最强零样本基线的 0.81 AUROC 提升到了 0.95 AUROC。未来将公布代码和数据。

DetectGPT 检测 GPT-3 生成文本的示意图。

除了以论文形式展现的检测方案，也有个人推出了强大的检测工具。比如一位来自 Hive AI、致力于 ChatGPT 检测器研究的 ML 工程师，其方案能够识别 ChatGPT、GPT-3 和其他流行 AI 引擎生成的文本。

从内部基准测试结果来看，该方案效果明显优于 GPTZero 和 OpenAI GPT2 Output Detector 等类似方法。在内部数据集上，模型平衡准确率 > 99%，而 GPTZero 的准确率约为 60%，OpenAI GPT2 Output Detector 的准确率为 84%。

最后，GPTZero 也迎来了更新 ——GPTZeroX，一个专为教育者打造的全新 AI 检测模型。该模型可以混合处理 AI 生成和人类文本，并突出显示最有可能由 AI 生成的文本部分。此外构建了一个 pipeline 来处理 PDF、Word 和.txt 格式的文件批量上传，从而轻松运行多个文件。

总之，随着 AI 生成文本检测工具的日益丰富和日加完善，ChatGPT 等大型语言模型在应用时势必会越来越正规，帮助人们更高效地释放 AI 的能力。