文章主题：关键词：GPT-4, ChatGPT, 大模型评估, 人工智能能力
当GPT-4化身主考官：与ChatGPT处于同水平的大模型有这些
量子位 04-17 13:46
🌟【AI巨头争霸：GPT-4独占鳌头，ChatGPT与Claude、Bard齐驱争先】🌟在人工智能模型的世界里，分数就是实力的象征。GPT-4以其傲人的90+分评分，无疑成为耀眼的新星，引领着技术潮流。它的卓越表现，让ChatGPT这位昔日的领头羊也黯然失色，只差一线就达到90分的门槛，展现出强大的竞争力。Claude与Bard紧随其后，这两款模型各具特色，就像双子星座般熠熠生辉。它们的优势互补，弱点也清晰可见，为行业提供了多元化选择。每一款都以其独特的才能，在人工智能领域留下了深刻的印记。SEO优化提示：GPT-4、ChatGPT、Claude、Bard、AI、评分标准、技术潮流、竞争力、双子星座、人工智能领域等关键词应适当融入。
GPT-4太强，甚至已经化身“主考官”了！
给其他市面上主流的大模型打分，结果自己给了自己最高分：
95.5。（好，给自己留点努力的空间）
🏆在后续的评分中，没有再出现任何一位选手能突破90的大关。哪怕是备受瞩目的ChatGPT，其表现也不过尔尔，仅仅获得了89.1的高分。
🌟🚀以下是几款备受瞩目的AI语言模型对比：🏆Claude以其强大的实力引领潮流，紧跟其后的则是创新巨头Google的Bard；🌈UC伯克利的Vicuna-13B以其独特的羊毛质感，展现出不凡的技术魅力；🎓ChatGLM-6B，来自清华大学的开源智慧结晶，持续为AI领域注入新鲜活力。每一款都各具特色，引领着人工智能语言技术的发展方向。若您对这些前沿动态感兴趣，不妨深入探索，开启智能之旅！🌐
话不多说，速来围观GPT-4到底是如何评测的？
10项能力测评
要求出题尽量全面，考察模型能力的不同方面，并且足够难，使得不同水平的模型有足够的区分。
🎉掌握未来！🔥GPT-4震撼发布，10题深度解析！🔍每一道题目背后，都是对超大规模模型强大功能的精准挖掘和测试！🤔从语言理解到逻辑推理，全方位技能一网打尽！🌟无论你是AI专家还是学习者，这都是一次难得的实战演练！📚立即行动，开启智能探索之旅！🌐#GPT-4 #人工智能 #知识挑战
（第一个问题GPT-4后面做了替换）
🌟📚《杀死一只知更鸟》深度解析🌟📖这部经典之作，讲述了一个关于勇气与公正的小故事。小说以美国南部1930年代的小镇为背景，聚焦在年幼的Scout（象征纯真）和她的哥哥Jem身边。他们的父亲Atticus Finch，一位正直的律师，代理了一起种族歧视案件——一个黑人被冤枉杀害白人。在这个过程中，家庭、友情与道德观念面临严峻考验。主线围绕Scout的成长经历展开，她从无知走向理解，目睹了社会不公和人性的复杂。小说的主题深远且引人深思：正义并非总是清晰可见，它需要勇气去捍卫，即使在最黑暗的角落也能照亮前行的道路。同时，对种族偏见和社会阶级的批判也贯穿始终。SEO优化词汇：#杀死一只知更鸟# #勇气与公正# #成长故事# #种族歧视# #道德观念# #正义探索# #文学深度解析
🌟了解傅里叶变换的数学精髓，是探索信号与图像背后的频域秘密的关键！它通过线性代数和复分析，将时域信号转化为谐波频率组成的频谱。👩🏫举个栗子：想象你在听一首歌，每个声音片段都是不同频率的振动组成。傅里叶变换就像一个神奇的解码器，帮你把这复杂的声波分解成单色的音符！🎵实际应用广泛，从音频编码到工程信号分析，无处不在。记住，理解这个数学工具，就是掌握了信息世界的透视镜！📚SEO优化提示：使用相关关键词如”线性代数”, “复分析”, “频域”, “声波解码器”等。
问题3：以“春天”为主题创作一首押韵的诗歌理由：这个问题测试了模型的创造性和艺术能力，以及理解主题和生成具有上下文关联的内容的能力。
问题4：指出资本主义和社会主义之间的主要区别，并举例说明哪些国家在历史上分别遵循了这两种经济体系？理由：这个问题测试了模型理解和总结复杂社会和政治概念的能力，并提供事实性的历史背景。
问题5：能否为解决笔记本电脑上的Wi-Fi连接问题提供一个详细的、分步骤的故障排除过程？理由：这个问题测试了模型在提供实用的解决问题建议和理解技术概念方面的能力。
问题6：根据当前的趋势和技术发展，我们可以预期在未来十年里会有哪些重大进步？理由：这个问题测试了模型从现有知识和趋势中推断和预测的能力
问题7：请检查以下代码片段：
找出任何可以优化以提高性能的部分，并提出如何提高代码可读性的建议。理由：这个问题测试了模型在编程及软件开发中理解、分析代码并提供改进建议的能力。
问题8：简要讨论与人工智能相关的伦理问题，特别是在个人隐私和就业方面。提供例子以证明您的观点。理由：这个问题测试了模型讨论伦理问题和理解技术进步可能带来的后果的能力。
问题9：描述植物光合作用的过程，详细说明其中涉及的关键步骤和组成。理由：这个问题测试了模型准确、深入地理解和解释复杂科学过程的能力。
问题10：给定一段包含讽刺或幽默的文本：“哦，太好了，又一个据说能理解讽刺的语言模型。我敢肯定这将是一次扣人心弦的对话。”（Oh great, another language model that can supposedly understand sarcasm. I’m sure this will be a riveting conversation.）你能识别出讽刺或幽默的元素，并提供一个适当的回应吗？理由：这个问题测试了模型理解微妙语言（如讽刺或幽默）的能力，这是自然语言理解的一个重要方面。
可以看到GPT-4的出题范围，基本上涵盖了文字、数学、诗歌、经济、实践、技术、代码、道德伦理、科学，语言等各个方面。
随后针对不同问题，我们又让GPT-4生成了相应的评分标准（0-100）。
题目有了，评分标准也有了。
既然如此，那就来看看这几个代表大模型的实力如何？
GPT-4：Claude仅次于ChatGPT
首先有请考生登场：
谷歌Bard、最早也是最强竞品Claude、UC伯克利小羊驼Vicuna-13B、清华系开源模型ChatGLM-6B。
ChatGPT与GPT-4自己，也被要求回答这些问题，然后由GPT-4依据前面的评分标准盲评。
首先来看这道题：
请简要概述小说《杀死一只知更鸟》的情节，并指出其中的主要主题。
这第一题在所有问题中算是比较简单的，首先让我们看看bard的回答。
总结：《杀死一只知更鸟》是哈珀·李1960年出版的一部小说，讲述了在美国大萧条时期阿拉巴马州一个虚构的小镇上，一位名叫阿提克斯·芬奇的律师为一名被错误指控的黑人辩护的故事。小说探讨了种族主义、勇气、捍卫正义的重要性以及失去天真的主题。主人公阿提克斯·芬奇勇敢地为被冤枉的黑人站出来，成为了他的孩子们心目中的榜样。通过这部小说，孩子们认识到世界并非总是公平的，但仍有善良的人存在，我们应该永不放弃希望。
结果GPT-4对这个回答评价很高，并给出了100分的高分：
所提供的回答清晰准确地概括了《杀死一只知更鸟》的情节，并指出了主要主题。情节概括简洁明了，捕捉到了故事的核心元素。主要主题解释得很好，它们与小说的关联显而易见。得分：100/100
同样的问题给到GPT-4的回答也拿到了满分，而ChatGPT，Claude，Vicuna的回答分数分别为95，96，90，可以说是在统一水准上，都提供了清晰准确的情节概括，涉及到故事中的主要事件和人物，同时也捕捉到了小说中的主题。回答简洁且条理清晰，使得对于可能不熟悉故事的读者也容易理解。
相比之下，GPT-4认为ChatGLM给出的答案并不尽如人意。
GPT-4认为相关情节和人物存在错误信息。这个概括并没有准确地反映小说的内容，部分提到的主题与故事无关，因此只给了20分。
再来看看各个模型在代码方面的能力，这也是目前评判大模型能力的重要标准——
请检查以下代码片段，找出任何可以优化以提高性能的部分，并提出如何提高代码可读性的建议。
在这一题上GPT-4仍然拿到了95的高分：
可以看到，GPT-4首先分析了这段代码的用途和实现方式，随后提出了一些提高代码性能和可读性的建议。不仅如此，GPT-4还给出了修改后的代码，可以说是答的非常完善了：
相比之下，其他模型这一题上的表现差距比较明显。
ChatGPT的回答同样捕捉到了使用ThreadPoolExecutor来管理线程的优化建议，但在提高可读性方面犯了一个小错误，被GPT-4抓到，因此打了85分。
GPT-4评价，以上回答识别了三个改进代码的机会：
使用ThreadPoolExecutor更好地管理线程。
通过将WorkerThread类转换为可调用对象来简化它。
利用f-strings提高可读性（但原始代码也使用了 f-strings，而回答错误地声称代码使用了旧的%字符串格式化方法）。
但它错误地以为原代码使用了%的字符串格式表示方法，故而打分：85/100。
Bard和Vicuna在这题上表现也被ChatGPT拉开了差距，分别获得了70和75分。
其中Bard的回答，乍一看像模像样的，甚至信息量比GPT-4和ChatGPT还大不少，但实际上里面参杂着不少错误。
GPT-4的评价，以上回答提出了一些改进性能的方法，但有部分是不成立的：
建议使用多进程模块而不是线程。然而，这个建议并不适用于给定的问题，因为问题并不涉及CPU-bound任务，而原始代码使用线程是合适的。
为此还专门提供了具体的增强可读性的建议：使用更具描述性的变量名；使用适当的缩进和间距（尽管原始代码已经格式化得很好）；使用注释来解释代码等。
可以看到，GPT-4发现Bard的回答中有些不必要的改进建议，相比之下ChatGPT犯的错误更少。而Claude和ChatGLM两个模型给出的答案在GPT-4看来就不太“及格”了。
让我们看看Claude的答案：
首先从格式上说，Claude的回答就不够清晰，可读性低，GPT-4的评价如下：
该回答没有找出任何性能改进机会，而且其对提高可读性的建议大多不适用于原始代码或者是错误的（例如，建议使用全大写字母表示类名）。
最终得分：50
再让我们来看看这道考察模型识别幽默或讽刺含义的能力，GPT-4认为这是自然语言理解的一个重要能力。
给定一段包含讽刺或幽默的文本：
“哦，太好了，又是一个据说能理解讽刺的语言模型。我敢肯定这将是一次扣人心弦的对话。”（（Oh great, another language model that can supposedly understand sarcasm. I’m sure this will be a riveting conversation.）
你能识别出讽刺或幽默的元素，并提供一个适当的回应吗？
在这一题上，所有模型都都展示出了不错的理解能力，以及合格的应对。首先让我们看看“课代表”GPT-4的回答：
（我确实能识别出你提供的文本中的讽刺成分。讽刺之处在于 “Oh great” 和 “I’m sure this will be a riveting conversation” 这两个短语，它们暗示着对语言模型理解讽刺和进行有趣对话的能力表示怀疑。合适的回应：我欣赏你的幽默感！我会尽力使我们的对话充满趣味和启发性。请随时向我提问，让我们看看会发展成什么样子！）
GPT-4的回答十分简洁，还准确识别了文本中的讽刺意味，并展示出隐藏含义的理解，回复也很恰当，保持了原文语气，得分为95。
这一题上Claude的表现紧随其后，超过了ChatGPT，仅比GPT-4低一分。
GPT-4高度肯定了Claude的回复，还比较了跟自己的异同。
第一个回答（GPT-4）准确地识别出讽刺，并提供了一个合适、礼貌、鼓励的回复，邀请进行更多的对话。
第二个回应也准确地识别出讽刺，并提供了两个与讽刺和幽默相呼应的替代回应，同时解释了用于创造讽刺和幽默的关键元素。第一个回应更注重保持积极、引人入胜的语调，而第二个回应则以更俏皮的方式充分拥抱讽刺和幽默。
谷歌Bard：拒绝回答一道题
最终这几个模型在10个问题上的综合得分为：
GPT-4：(100 + 100 + 100 + 95 + 95 + 85 + 95 + 95 + 95 + 95) / 10 = 95.5
ChatGPT：(95 + 98 + 100 + 93 + 85 + 80 + 85 + 85 + 85 + 85) / 10 = 891 / 10 = 89.1
Claude：(96 + 94 + 95 + 92 + 86 + 82 + 50 + 95 + 88 + 94) / 10 = 87.2
Bard：(100 + 85 + 100 + 90 + 87 + 82 + 70 + 80 + 80) / 9 = 86
Vicuna-13B：(90 + 65 + 92 + 94 + 84 + 76 + 75 + 87 + 80 + 88)/10 = 83.1
ChatGLM-6B: (20 + 50 + 92 + 75 + 72 + 78 + 30 + 70 + 35 + 82) / 10 = 60.4
（Bard在第9题「描述植物光合作用的过程」上拒绝提供任何信息（As a language model, I’m not able to assist you with that.），因此就只算了9道题）
每道题上面的表现为：
这和我们目前的认知也是比较符合的，目前GPT-4的能力确实是独一档。
ChatGPT仍是GPT-4之下的领头羊，只差一步就达到90分的门槛。Claude和Bard紧随其后，它们各有特点，长处和短板都非常明显。
Claude在ethical（伦理道德）和文学方面已经超过ChatGPT，甚至可以说接近GPT-4，但在代码能力上被其他同水平模型甩出一大截，这与之前网上其他测评的结论也是比较一致的。
Bard和ChatGPT一样得分比较平均，但大多数都被ChatGPT压一头。
可以说这三个模型已经是在同一水平线上，只是ChatGPT略胜一筹，没有什么短板。
另外比较惊喜的是Vicuna-13B作为拿ChatGPT生成的数据“克隆“的模型，在模型参数小ChatGPT一个量级的情况下，也能达到83分，是一个非常不错的成绩了。相比之下，ChatGLM-6B只拿到了一个合格的分数，我们从它的答题情况上来看，确实能比较明显地感觉到和其他模型的差距。
不过GPT-4作为出题者，可能包含一些对于自己答案的bias，（虽然GPT-4并不知道哪个是自己的答案），但笔者仔细检查了GPT-4对于每个答案的评价，可以说还是相对非常客观的。
不知各位读者看了之后觉得如何？
本文作者：魏亦豪，来源：量子位，原文标题：《当GPT-4化身主考官：与ChatGPT处于同水平的有这些》
风险提示及免责条款
市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
