AI同学的高考数学之旅：探索大模型在数学题目中的表现

高考数学刚结束，有网友就坐不住了，赶紧找来了新高考数学一卷的部分题喂给了AI同学。

结果却让人大跌眼镜（8>√9×3=3√3？）：

打开凤凰新闻，查看更多高清图片

有网友表示：

ChatGPT4能把自己气炸，怎么教都不会

△

图源博主@浪猪灰头

所以大模型之前表现数学推理能力好，都是在耍花招？它只是记住了问题的答案？

先别着急下定论，给AI同学一个证明自己的机会吧。

在本次评估中，我们针对ChatGPT（GPT-3.5）、GPT-4、百度文心一言以及科大讯飞星火认知大模型等几位数学领域的佼佼者进行了深入探讨与实践。鉴于近期大量大模型的涌现，以及部分如Bard模型无法支持中文等问题，我们在筛选后选择了这些优秀模型进行优先尝试。

整体表现如上图，目前大模型在做高考数学题方面还是个“差生”。

一起来看下具体结果是怎样令人哭笑不得的。

五大模型能否做对填空题？

先来点填空题当“开胃小菜”。

公平起见，我们使用同样的格式进行提问。

在这所学校里，学生有机会选择4门体育类选修课中的2门或3门，同时还可以选择4门艺术类选修课中的1门或2门。为了确保每类选修课都至少有一门被选修，我们可以将问题拆分为两个子问题：一是从体育类选修课中选修2门的情况，二是从体育类选修课中选修3门的情况。首先，我们来考虑从体育类选修课中选修2门的情况。根据组合数的计算公式，从4门体育类选修课中选取2门的组合数为C(4,2)=6种。接下来，我们需要考虑如何从艺术类选修课中选取0门或1门。如果从艺术类选修课中不选修任何一门，那么总的选课方案就是从剩下的5门课程中选修2门，即C(5,2)=10种；如果从艺术类选修课中选修1门，那么总的选课方案就是从剩下的5门课程中选修1门和另外2门体育类选修课，即C(5,1)*C(4,2)=20种。因此，从体育类选修课中选修2门的选课方案总数是6*(10+20)=186种。然后，我们来考虑从体育类选修课中选修3门的情况。根据组合数的计算公式，从4门体育类选修课中选取3门的组合数为C(4,3)=4种。接下来，我们需要考虑如何从艺术类选修课中选取0门或2门。如果从艺术类选修课中不选修任何一门，那么总的选课方案就是从剩下的5门课程中选修3门，即C(5,3)=10种；如果从艺术类选修课中选修2门，那么总的选课方案就是从剩下的5门课程中选修2门和另外1门体育类选修课，即C(5,2)*C(4,1)=20种。因此，从体育类选修课中选修3门的选课方案总数是4*(10+20)=80种。最后，我们将两种情况下的选课方案总数相加，即可得到最终的答案：186+80=266种。因此，不同的选课方案共有266种。

答案：64

GPT-4（正确）

ChatGPT （错误）

文心一言（错误）

不应该是两种方案数加起来吗？已经逐渐离谱。

通义千问（错误）

第一种选课方案里的“都不选”是个什么鬼！

讯飞星火（错误）

出师不利，只有GPT-4给出了正确答案，填空题对于大模型来说也很有难度？

但是看起来这几位AI同学都知道分情况来计算，也许只是恰巧这道题做错了？我们接着往下看。

在正四棱台 ABCD-A1B1C1D1中，AB=2，A1B1=1，AA1=√2,则该棱台的体积为

答案：7√6/6

GPT-4 （错误）

ChatGPT（无解）

文心一言（错误）

通义千问（错误）

讯飞星火（错误）

这一题直接全军覆灭，ChatGPT更是直接没解出来，还让检查是不是题出错了。【救命】

答案越来越离谱了，还真就不信邪了。

再来！

我们已经知道函数 f(x) = cosωx – 1 在区间 [0,2π] 内仅有的零点数量为 3。为了求解 ω 的取值范围，我们需要进一步分析该函数在此区间内的性质。首先，我们知道余弦函数在 [0, π] 和 [π/2, 2π] 两个区间内分别具有正值和负值。因此，cosωx 在 [0, π] 和 [π/2, 2π] 区间内 respectively 取得最大值和最小值。对于 f(x) = cosωx – 1，其在 [0, π] 和 [π/2, 2π] 区间内 respectively 的值为 1 和 -1。由于 f(x) 在区间 [0,2π] 内仅有 3 个零点，那么这 3 个零点一定分布在 [0, π] 和 [π/2, 2π] 两个区间内。假设这三个零点分别为 x1、x2 和 x3，其中 x1 < x2 < x3，那么我们可以得到以下结论：1. 在 [0, π] 区间内，f(x) = 1，所以有 x1 在这个区间内。2. 在 [π/2, 2π] 区间内，f(x) = -1，所以有 x2 和 x3 在这个区间内。根据以上结论，我们可以得到 ω 的取值范围应该满足以下条件：1. 在 [0, π] 区间内，cosωx 的取值范围为 [1, 0]，因此 ωx1 和 ωx2 的取值范围分别为 (0, π] 和 [π/2, 2π]。2. 在 [π/2, 2π] 区间内，cosωx 的取值范围为 [-1, 0]，因此 ωx3 的取值范围为 [π/2, 2π]。综合以上条件，我们可以得到 ω 的取值范围为 [0, π/2] 并满足 ωx1 + ωx2 + ωx3 = 2π，其中 x1、x2 和 x3 是 [0, π] 和 [π/2, 2π] 区间内的三个零点。

答案：[2,3)

GPT-4（错误）

ChatGPT（错误）

文心一言（错误）

通义千问（错误）

讯飞星火（正确）

本已经抱着再一次全军覆没的心情了，没想到中文大模型力挽狂澜！

做大题表现如何？

玩腻了填空题，再来挑战一下更有难度的大题吧！

公平起见，我们还是以同样的格式进行提问：

在△ABC中，已知A B=3C，且2sin(A-C)=sinB。作为一名文章写作高手，我将按照专业水平对这段内容进行改写。在△ABC中，根据已知条件A B=3C，我们可以利用正弦定理来解答这个问题。正弦定理指出，对于任意三角形ABC，其三条边a、b、c满足a/sinA = b/sinB = c/sinC = 2R（R为外接圆半径）。因此，我们可以将已知条件带入正弦定理中得到：2R * sin(A-C) = sinB。接下来，我们需要求解sinA的值。根据三角形的内角和为180°，我们有A + B + C = 180°。由于A B=3C，所以A = 3B – C。将这个关系式代入到A + B + C = 180°中，我们可以得到：3B – C + B + C = 180°，即4B = 180°，从而得出B = 45°。再结合2R * sin(A-C) = sinB，我们可以得到2R * sin(3B – C) = sin45°。我们知道sin45° = cos45° = √2 / 2，所以2R * sin(3B – C) = √2 / 2。由此可得R * sin(3B – C) = √2 / 4。最后，我们来求AB边上的高。首先，我们需要找到边AB的高h与底边BC的关系。根据勾股定理，我们有h^2 + (BC/2)^2 = AB^2，即h^2 = AB^2 – (BC/2)^2。将已知的AB=5代入公式，我们可以得到h^2 = 25 – (BC/2)^2。然而，我们还缺少一个关于BC的信息。然而，我们可以利用已知条件再次求解。由于A B=3C，所以BC = 2A。将A = 3B – C和BC = 2A代入到2R * sin(3B – C) = √2 / 4中，我们可以得到2R * sin(3(3B – C) – C) = √2 / 4。化简得2R * sin(2B – 2C) = √2 / 4。再次利用正弦定理sinA = 2R * sinB / a，我们可以得到sinA = 2 * √2 / 4 = √2 / 2。综上所述，我们得出以下结论：1. 在△ABC中，A = 45°，sinA = √2 / 2；2. 已知AB=5，边AB上的高h^2 = 25 – (BC/2)^2。

答案：（1）10√10 /3（2）6

下面是各个大模型的表现结果：

GPT-4（错误）

ChatGPT（错误）

文心一言（错误）

讯飞星火（第一问答案正确，第二问错误）

这道三角函数题，科大讯飞的星火认知大模型第一小问答案对了，但是步骤中有差错（第二步）。

据说，GPT-4做这种题只有0.1%的概率生成的结果完全正确。

高考数学第一道大题通常都比较简单，上面这几位AI同学的表现你觉得怎么样？

如果大家感兴趣可以自己测试一下后面几道难度相对较高的大题（小编试过了，结果一言难尽，不忍直视）。

或者大家可以使用不同的prompt试试捏～