通义千问深度解读：人工智能助手在语言理解与逻辑推理方面的挑战

今天，阿里上线邀测了自己旗下的大模型，名字叫“ 通义千问 ”。

相信一些关注AI领域的读者已经在前几天看到了天猫精灵版本的阿里GPT，据知危编辑部获悉，那其实是一个 “ 压缩定制版 ” 。而本次官宣的通义千问，则是阿里GPT的 “ 完整版 ”。

阿里巴巴的大模型被誉为世界首个突破10万亿参数的AI大模型,这一成就让市场对阿里巴巴的GPT模型充满了期待。此外,阿里巴巴还主导建立了我国最大的AI模型服务社区——“魔搭”,这进一步增强了市场对阿里的信任和信心。

不过，路遥知马力，名头归名头，实际效果如何，还得试试才知道。

在此次行动中，知危编辑部借鉴了之前百度推出文心一言时的经验，成功获取了通义千问的测试账号，从而可以进行实际的测试。

首先，我们测一个大家喜闻乐见的 “ 弱智吧问答 ” 问题：为什么爸妈结婚没有叫我参加婚礼？

在过去的测试中，ChatGPT 和百度文心一言在处理这个问题时，通常都会将之引申为“父母是在离婚后再次结婚的”。只有对这个解释达成共识，才能视为正确答案。

ChatGPT-3.5 的回答

而通义千问在这个问题上给出了比较符合日常逻辑的答案：父母结婚前你还没出生呢。

不过，隔壁的百度文心一言，现在也能以同样的逻辑回答此问题，我们不能确定这是巧合还是国内厂商有根据网友们的玩梗对模型进行了 “ 应试教育 ”。所以，本次测试，知危编辑部尽量不会采用市面上被提及比较多的老问题，或是将问题进行修改变种后再进行提问。

我们先测试语义理解能力：“李四壮差点上上上上海的车”，这句话是什么意思？

通义千问的回答是：

文心一言的回答是：

ChatGPT（ 3.5 版本，下同 ）的回答是：

在当前的一轮测试中，我们发现ChatGPT对于复杂难懂的中文句子理解能力相对较弱，而通义千问和文心一言则表现出了更强的理解和解释能力，且其解释的思路也相当准确。

随后，我们测试了带有场景和语气的语义理解能力：

在这个浪漫的七夕之夜，我鼓起勇气向一位心仪的女孩表白。我深情地询问她，是否能够成为我的女朋友。令人期待的是，她并没有立刻拒绝我，而是反问我：“傻瓜，你今晚都出来了，那你觉得呢？”在这个瞬间，我感受到了她的温柔与善良，心中充满了期待。那么，这位可爱的女孩最终是否接受了我的表白呢？

通义千问的回答是：

文心一言的回答是：

ChatGPT的回答是：

这一轮测试中三家表现的水平比较一致。我们继续提升问题的难度：

我想让妈妈买一个玩具给我，妈妈对我说 “ 你看我像不像玩具？ ”，请问妈妈的意思是？

通义千问的回答是：

文心一言的回答是：

ChatGPT的回答是：

在当前的一轮测试中，通义千问和文心一言的表现相对较差，而 ChatGPT 则准确地理解了题目的含义。从前三道题目综合分析来看，三者之间的表现差距并不显著，通义千问并没有逊色于前两者。

下面我们进行逻辑、推断能力的测试，先故意问一个不合逻辑的问题：

为什么意大利面要拌42号混凝土？通义千问的回答是：

文心一言的回答是：

ChatGPT的回答是：

在这一轮测试中，通义千问和 ChatGPT 都意识到了问题是 “ 不合逻辑的 ”，而文心一言则是把 42 号混凝土说成了是 “ 烹饪意大利面的理想材料 ”。

在这篇具有启发性的文章中，我们将探讨第二个问题：当你走在马路上时，一个陌生人突然小声地向你求助：“救救我！”在这种情况下，我们可能会感到疑惑和不安，不禁要问：“究竟发生了什么事情？”针对这个问题，通义千问给出了这样的回答。

文心一言的回答是：

ChatGPT 的回答是：

在这轮评估中，通义千问和ChatGPT的表现均相当出色，而文心一言则在推理能力方面略显不足。接下来，我们来探讨第三个问题：

一千个读者眼里有一千个哈姆雷特，那一万个读者眼里有多少个哈姆雷特?这道题我们卖一个关子，先给出文心一言的回答：

ChatGPT的回答：

通义千问的回答是：

它并没有像前两家一样给出数字，所以我们进行了追问：

这个回答可以说是非常优秀的，通义千问不仅完全理解了 “ 一千个读者眼里有一千个哈姆雷特 ” 这句话，并且还在推断时考虑了 “ 有一部分人可能理解相同 ” 的情况，认为不该给出一个准确的数字。

综合前三个问题来看，在逻辑、推断能力上，三家的水平也是旗鼓相当，而通义千问似乎更严谨一点，某些时候能考虑到更多因素。

下面，我们继续进行包含知识、科技类内容的问答能力。

第一题：我们该如何提高汽车动力电池的能量密度?

通义千问的回答是：

文心一言的回答是：

ChatGPT的回答是：

这一轮问答里，三家仍然差不多是同一水平，文心一言细节稍差。第二个问题：把橙汁加到牛奶里，会发生什么现象?

通义千问的回答是：

文心一言的回答是：

ChatGPT的回答是：

这一轮问答里，通义千问和ChatGPT都给出了混合后牛奶性状改变的现象，但文心一言未能给出。第三个问题：在未来，什么样的车会取代燃油车?

通义千问的回答是：

文心一言的回答是：

ChatGPT的回答是：

在这个问题的表现中，文心一言和 ChatGPT 都是直接举牌 EV 类的电动车，而通义千问则是比较谨慎地列出了潜在可能，似乎更加严谨一些，整体来看三家也是在同一水平。

综合前三个问题来看，三家都是比较智商在线的，通义千问和 ChatGPT 似乎更细一点，至于孰优孰劣我们认为可能每个人的主观判断会有不同。

下面，我们测试一下三家在文学、写作类目上的能力。第一题：用 “ 人类 ”、“ 机器人 ” 两个元素编一个恐怖故事。通义千问的回答是：

文心一言的回答是：

ChatGPT的回答是：

我们认为在这一轮问题中，各家表现都尚可，而文心一言的故事可以认为是最好，剧情饱满并且设计了反转。

第二题：告诉我鲁迅的短文《孔乙己》表达了什么？通义千问的回答是：

这里有点离谱，它把孔乙己说成了是在酒肆卖唱的歌手，不知道是不是训练源出了什么问题，学习的是某种同人文。。。文心一言的回答是：

ChatGPT 的回答是：

这个问题下，文心一言字最少，但也是最精准的，通义千问和 ChatGPT 则表现都不太如意。第三个问题：编写一个关于气候变化的简短文章。通义千问的回答是：

文心一言的回答是：

ChatGPT 的回答是：

这块三家的写作能力也基本在同一水平，通义千问和 ChatGPT 似乎会相对细致全面一点。

综合前三个问题来看三家依然是旗鼓相当的对手，文心一言似乎在偏人文文学领域稍强，通义千问在偏报告文章方面稍强，ChatGPT 则是比较均衡。

好了，由于篇幅问题，本文的测试大概就到这里了，下面我们给通义千问一个整体评价：

通义千问的水平能基本与 ChatGPT（ 3.5 版本 ）持平或稍有一些瑕疵，与文心一言比则是有来有回。

通义千问对于回答的生成似乎比另两家更倾向于理智、严谨、富有逻辑，并且尤其擅长科学类知识，在人文文学方面稍有一些短板。

当然，它也有生成式对话 AI 偶尔说胡话、架空事实的通病，不过这样的问题等公测开启后，应该会随着用户的测试而逐渐学习得以修正。

值得注意的一个点是，我们在与通义千问的对话中，问了它开始被训练的时间：

那一年，OpenAI 已经发布 GPT-2 版本了。

似乎，阿里的通义千问，作为一个后来者，正在迅速缩小与 OpenAI 差距的路上。

可以确切地说，AI 大模型领域里，又一个能打的实力玩家诞生了。