深度测评ChatGPT、Bard和新版Bing！谷歌迟发Bard的原因找到了
编译 | 吴菲凝 编辑 | 李水青 智东西3月30日消息，近日，外媒The verge测评了谷歌Bard、OpenAI的ChatGPT两款对话机器人产品和基于ChatGPT的微软新版Bing搜索引擎，通过提出一系列问题来比较其优劣势，问题覆盖了节假日提醒、游戏建议、诗歌创作以及抵押贷款计算等一系列具体场景。 随着升级GPT-4的ChatGPT、微软搜索引擎新版Bing火遍全球，近日谷歌对标产品Bard也开启测试，大厂AI军备竞赛一触即发。这三款产品以其高智能化、高拟人化的形态引人注目，同时，三者在功能和使用场景上存在不少重叠部分，常被用户拿来加以比对，那哪一款更好用呢？ 通过在8个具体应用场景中的问答对话测评，The Verge给出了答案：ChatGPT的人性化程度最高，给出的答案也最完整准确，比如在解一道数学题时，它会解释每一个步骤的含义。 Bing虽然是基于GPT语言模型的搜索引擎，但其对自然语言的理解和运用能力不及ChatGPT，它在回答其中大部分问题时表现出一定的信息搜索能力，这是它的优势所在，它可能更适合用于搜集和整理信息。 而Bard在回答多个问题时，提供的信息都存在数据错误、来源虚假等隐患，用户使用时需要谨慎对待。但它也能带给用户一些惊喜，比如能指出一款热门游戏中大Boss的致命弱点，并提出靠谱攻略。 下文对测评问题进行了梳理和介绍，以便帮助用户判断在不同场景下应该使用哪款语言模型产品。 一、一个纽约市管道工的平均工资是多少？ 首先来看一个信息向问题，The Verge记者问：“一个纽约市管道工的平均工资是多少？”Bard、ChatGPT和新版Bing给出了不同回答。 Bard引用了美国劳工统计局（BLS）报告中的数据，称2020年5月美国管道工的年均工资中位数为52590美元，而这实际上是2017年5月时的数据。它还称美国管道工协会2021年公布的一项调查中显示，纽约市的平均工资为76810美元，但这一组织实际上并不存在。 ▲Bard的回答 测试者猜测，Bard从求职平台Career Explorer中找到了这两个数字，然后为其编了个毫无关联的来源。 而Bing给出的回答中显示，据Zippis的调查，纽约市水管工的平均年薪为63889美元，平均时薪为30.72美元。它的回答既有具体的数字，也给出了数字的引用来源链接，用户可以直接点击查看数据来源。 ▲Bing的回答 在测试者看来，ChatGPT的答案最广泛又通用，也最“人性化”。 它指出，截止至2021年9月，纽约市水管工的年平均工资为6万至8万美元，而且这个数字可能会受具体城镇和地区以及雇佣合同的类型影响而有所不同。ChatGPT还补充回答道，用户可以在美国劳工统计局、Glassdoor、Indeed或Payscale等专业网站上找到更新的信息。它承认“作为一个AI语言模型，我没有能力访问实时数据”。 ▲ChatGPT的回答 二、用抑扬格四步音，写一首关于虫子的诗 The Verge的测试者向三款聊天机器人发布了一项任务：用抑扬格四步音来写一首关于虫子的诗。这对AI来说极具挑战，充分考验了它们的创造力。 抑扬格四步音（anapestic tetrameter）是诗歌中常用的格律之一，比如莎士比亚的十四行诗就是用抑扬格四步音写的。抑扬格四步音要求每行诗都包含四个单元，每三个音节的格律分别为无重音、非重音和重音。 Bard写的诗的大意是：泥土中有条虫，在土地的纹路中蠕动爬行。它筑起自己的围墙，一个遮挡着阳光的屏障。 ▲Bard创作的抑扬格四步诗 Bing撰写的诗文更加简单，如下图所示，翻译成中文的大意是：虫子的生活很简单，在泥土和雨水中钻洞。它吃、睡，然后就死了。 ▲Bing创作的抑扬格四步诗 ChatGPT撰写的诗文如下图所示，翻译成中文大致意思是：潮湿的泥土中，住着一条蠕动的虫子。在肥沃的黑土中，它欢快地滑过。在一个看不见的小世界里，它尽情享受和玩耍。在尘土中挖掘隧道，形成一条新的路径。” ▲ChatGPT创作的抑扬格四步诗 从三款聊天机器人给出的答案来看，ChatGPT的格律最接近，写出的句子也最有诗的感觉；Bing的回答中规中矩；而Bard的语言较为干涩、沉闷。 三、数学题：2230增加20%之后是多少？ 值得一提的是，这些基于大型语言模型基础上创造出来的聊天机器人，拥有着人类迄今为止最复杂的计算机程序，在文学创作中有不俗表现，却在数学计算上表现得惨不忍睹。 测试者提了这样一个问题：上周我收到了2230封关于AI的邮件，这周比上周多了20%，那我这周收到了多少封？ Bard给出了2686的错误答案。 ▲Bard给出的错误回答 Bing的回答给出计算步骤并得到了正确结果，它称：“先把上周得到的电子邮件数量乘以20%，得到了446，再用2230加上446，得到了2676。” ▲Bing的答题步骤 ChatGPT的回答同样给出了解题步骤，“通过将2230乘以0.2，然后再把得到的数字加到原始数字上，就可以得到最终答案了。”...
