《坐马桶上就能看完的简单科普：翻译与自然语言处理》

坐马桶上就能看完的简单科普:

第一步:什么是transformer

在理解文字含义的基础上，我们进行翻译的工作，可以给你一个例子来说明。假设我们有这样一个句子：(self-)attention，我们需要从中提取关键信息，并据此生成一段文本。这恰恰是我们翻译工作的核心任务所在。

第二步:什么是自回归模型

我们来做句子补充

有一天，导师突然对你大声喊道：“年轻人，快些起床吧！还在梦周公呢！”在这样突如其来的呼唤中，小明坚定地离开了校园，踏上了新的征程。

第一句,小明走出了学校,碰到了______. 好,补充了第一个词,下一个

第二句,小明走出了学校,碰到了小王,______. 好,补充了第二个词,下一个

第三句,小明走出了学校,碰到了小王,然后被小王_____. 好,补充了第三个词,下一个

第四句,小明走出了学校,碰到了小王,然后被小王狠狠打了一顿. 好,句子完整了

自回归模型的工作原理就是将前一个时刻的输出作为下一个时刻的输入，通过不断迭代实现预测。你或许会好奇，那么我们该如何对其进行补充呢？

作为一名文章写作高手，我理解到阅读对于提高写作能力的重要性。正如 write an essay 一样，只有通过大量的阅读，我们才能更好地理解和掌握写作技巧。正如古人所说，“熟读唐诗三百首，不会作诗也会吟”，这意味着通过不断阅读优秀的文学作品，我们可以从中汲取灵感，提高自己的文学修养。因此，多读书是提高写作能力的必经之路。同时，我们还可以通过观察和模仿优秀作者的写作风格来进一步提升自己的写作水平。总之，要想成为一名出色的文章写作高手，我们需要不断地阅读、学习和实践。

第三步:什么是GPT模型

GPT(Generative Pre-Training) 预训练模型,本质上还是transformer.所以可以四舍五入一下:

GPT-1 非常大的transformer模型

GPT-2 非常非常大的transformer模型,划重点(zero-shot)

GPT-3 超级无敌大的transformer模型,划重点(one/few-shot)

shot是啥,说白点叫提示

比如说,

输入—-你走在大街上,突然被一个人甩了一巴掌,你怎么办?

提示—-揍他啊.

上面就是一个问题-答案的处理模板

下次通过语义类似的比对:

输入—你走在大街上,突然被一个人揍了一拳,你怎么办?

因为之前有了类似的提示,所以模型会输出—-当然是揍他啊.

如果我们收集无比多的方案,我们可能会得到下面的统计结果:

输出可选项

1.揍他啊.(80%的人选择)

2.忍了.(19%的人的选择)

3.给他100块钱(1%的人的选择)

为了防止模型每次都回答得过于暴力，我们可以在系统中加入一个随机数，使得模型的回答更具人性化。具体而言，大部分情况下模型会给出较为激烈的回应，但也有少数时候它会选择妥协。例如，当用户提出“油猫饼”的问题时，模型会再次给予100元的奖励，以示鼓励。这样的设计可以使得模型的回答更加贴近人类的思维方式，减少 users 感到不适的可能性。

当然,这个参数可以设置,比如:

temperature(越大回答越离谱)

top k,top p(为了封印模型自我放飞的灵魂,让回答不至于太离谱设置的参数)

第四步:啥是ChatGPT

GPT-3模型是一个庞大的语言对话模型,其参数量之巨大几乎让人难以置信。该模型的制作者利用这款模型开发了一款应用级语言对话应用,其大小之巨更是超出了人们的想象。如果没有足够的计算资源,甚至无法支付训练所需的电费。

你可能会问了,就这?大力出奇迹?没别的了?

是的,毕竟机器学习的白皮书,又叫<<money is all you need>>