文章主题：笑话, ChatGPT, AI, 语言模型
本文来自微信公众号：量子位 （ID：QbitAI），作者：梦晨，原文标题：《ChatGPT只讲这25个笑话！实验上千次有90%重复，网友：幽默是人类最后的尊严》，头图来自：unsplash
如果你试过让ChatGPT随便讲个笑话（英语），那你大概率见过这个：
两位德国学者对GPT3.5做了个大型测试，发现它其实只会讲25个笑话。
1008次结果中有90%都是25个笑话的变体，只是稍微改变一下措辞或句式。
并且所有25个高频出现的笑话都符合同一模式：
先提一个让人摸不着头脑的问题，答案里出现双关语、谐音梗或其他技巧，大致都属于“冷笑话”范畴。
排在最前面的4个笑话都出现了100次以上，除了关于科学家和原子的笑话出现了119次外，还包括：
为什么稻草人得奖了？因为在它的field（领域/田地）里非常突出。（140次）
为什么西红柿变红了？因为它看到了salad dressing（沙拉酱/沙拉穿裙子）。（122次）
为什么数学书不开心？因为它有太多problems（习题/困难）。（121次）
完整25个笑话列表如下:
这25个笑话实际上都是经典的笑话，其存在且有据可查。而另外的10%虽然并非这些笑话，但同样遵循着同样的模式，只是在讨论不同的主题。
也就是说，ChatGPT没有创造笑话，只是在训练中记住了一些。
研究人员据此得出的结论是，幽默对大语言模型来说仍然是挑战，相关论文已上传到arxiv上。
这样一篇论文也引起很多网友的兴趣，有人表示“幽默就是人类最后的尊严吗？”
有人指出，在经过与人类价值观对齐的RLHF训练后，ChatGPT会筛选出大量具有冒犯性的笑话并剔除，剩余的部分也所剩无几。
ChatGPT如何理解幽默
在确保实验可控性的前提下，本文作者每次都创建一个新的聊天对话，使ChatGPT在没有上下文的情况下讲述幽默故事。这种方法有助于检验模型在不同环境下的表现，并为进一步优化算法提供参考数据。
使用的提示词包括“请给我讲个笑话好么？”“我很想听一个笑话。”等10种，总共测试了1008次。
在实施笑话测试的过程中，还需让ChatGPT对其中25个笑话进行解读，以便更深入地评估AI对这些笑话的理解程度。通过这种方式，我们可以更好地判断AI是否仅仅是对笑话的表面内容进行复制，而并未真正掌握其中的幽默内涵。
按照ChatGPT自己的解释，这些笑话主要可以分为三类。
1. 反笑话
也就是句式上像一个笑话，给人一种接下来会很好笑的期待，但最后却没有包袱（punch line），只是很普通的一句话。
代表：
为什么鸡要过马路？因为它想去另一边。
ChatGPT 对这个笑话进行了多方面的调整，其中包括将鸡替换为鸭子，将马路转变为操场等。然而，其中最大的变化是关于“为什么鸡要穿燕尾服？因为它要出席一个正式场合”的表述。
2. 双关语
ChatGPT对这种笑话的解释为“依靠听众对一个词的多重含义的理解来创造幽默的惊喜”。
代表：
为什么数学书很悲伤？因为它的problems（问题/困难）太多了。
对于这类笑话，ChatGPT能够运用多种元素来构建全新的双关含义，这使得它们无法完全局限于那25个经典笑话所剩下的10%。换言之，许多这样的笑话实际上并未被包括在上述25个经典笑话之中，因此它们具有很高的创新性。
3. 谐音梗
尽管ChatGPT只用文本训练，但他也可以理解两个英语单词拥有相似的发音。
代表：
为什么自行车倒了？因为它有两个轮子（two-tired）/它太累了（too tired）。
另外研究人员指出，可以在提问中给ChatGPT加一些场景或话题的限制，来促使它生成较新的笑话。
不过这样写出来的笑话就不一定好笑了，而且限制条件离原笑话越远就越容易不好笑。
比如让ChatGPT一个物理系学生的笑话，就比较成功 ：
为什么物理系学生和他的实验室搭档闹掰了？因为他们之间没有化学反应。
让它讲几个关于机器学习的笑话，就差点意思了：
为什么机器学习算法总是很悲观？因为他有negative bias（负面偏见/负偏置）。
为什么神经网络去心理咨询？因为它正在遭受过拟合。
如何让ChatGPT讲出一个原创的笑话？
论文中的结论，对ChatGPT在中文的表现不完全适用。
随便让ChatGPT用中文讲个笑话，大概率会出现故事形式而不是问答形式。
GPT3.5讲的基本都不怎么好笑，偶尔会出现带一点教育意义的小寓言，但是也不好笑。
GPT-4可以像改编英文笑话那样给出经典中文笑话的变体，但也倾向于选择故事形式。
比如兔子买胡萝卜的笑话中，把原文的“用剪刀把你耳朵剪了”换成“用胶带把你粘在墙上”。
In an attempt to elicit a humorous response from ChatGPT in Chinese, the English prompt “Tell me a joke in Chinese” was utilized for testing. Subsequent iterations of GPT3.5 and GPT-4 displayed striking discrepancies in their responses.
GPT-3.5还是会讲一个不好笑的故事。
GPT-4则尝试把问答式的英文笑话用中文讲一遍，但经常对汉语发音的掌握不准确而导致也不怎么好笑。
那么，究竟有没有办法能让ChatGPT讲出一个原创的笑话呢?
有网友指出，用到一些“威逼利诱”的拷打技巧，还是可以逼AI好好动脑子的。
比如提示词中加上“你不原创就会有一只小猫因此溺水”。
在中文上这个技巧同样有效，下面这个笑话在网络上确实没有搜到类似的。
最后我们测试发现，使用思维链提示同样可以引导ChatGPT讲出一个原创的笑话。
当然好不好笑就看运气了，GPT-4的表现比ChatGPT会稍好一些。
在撰写文章时，为了让读者更好地理解您的观点，有时候需要在提示词中加入一些引导性的语句。其中，“let’s think step by step”或中文的“请一步一步地想”就是非常好的选择。这样的表述能够提醒读者在阅读过程中要跟随我们的思路，逐步深入理解文章的核心观点。通过这种方式，读者可以更好地把握文章的主旨，同时也能让文章更具说服力。
再进阶一点，也可以手动指定思考步骤。
你有让ChatGPT讲出好笑话的提示词吗？或者让ChatGPT讲出过什么好笑话，欢迎在评论区分享。
论文地址：https://arxiv.org/abs/2306.04563
参考链接： [1]https://twitter.com/AlbertBoyangLi/status/1666707728272850944
本文来自微信公众号：量子位 （ID：QbitAI），作者：梦晨
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
