翻译实践与模型构建:从句子到文本

坐马桶上就能看完的简单科普:

第一步:什么是transformer

在理解文字含义的基础上，我们进行翻译的工作，可以给你一个例子来说明。假设我们有这样一个句子：(self-)attention，我们可以从中提取关键信息，并据此生成一段新的文本。这正是我们进行翻译时所要完成的任务。

第二步:什么是自回归模型

我们来做句子补充

有一天，导师突然对你大声喊道：“年轻人，快些起床吧！还在梦境中沉睡呢！”在导师的呼喊声下，小明坚定地离开了校园，踏上了勇敢面对挑战的征途。

第一句,小明走出了学校,碰到了______. 好,补充了第一个词,下一个

第二句,小明走出了学校,碰到了小王,______. 好,补充了第二个词,下一个

第三句,小明走出了学校,碰到了小王,然后被小王_____. 好,补充了第三个词,下一个

第四句,小明走出了学校,碰到了小王,然后被小王狠狠打了一顿. 好,句子完整了

自回归模型的工作原理就是将前一个时刻的输出作为下一个时刻的输入，通过不断迭代实现预测。你或许会好奇，如何对其进行拓展和优化呢？

作为一名文章写作高手，我理解到阅读对于提高写作能力的重要性。正如写诗歌般，只有通过大量阅读，我们才能逐渐掌握其中的技巧与规律。正如古人云：“熟读唐诗三百首，不会作诗也会吟。”这表明通过不断阅读优秀的作品，我们可以从中吸收经验，提高自己的写作水平。因此，多读书、多欣赏优秀文章，是我们提高写作能力的有效途径之一。同时，通过观察和学习他人的写作方式，我们可以找到适合自己的风格，并在实践中不断改进和完善自己的写作技巧。

第三步:什么是GPT模型

GPT(Generative Pre-Training) 预训练模型,本质上还是transformer.所以可以四舍五入一下:

GPT-1 非常大的transformer模型

GPT-2 非常非常大的transformer模型,划重点(zero-shot)

GPT-3 超级无敌大的transformer模型,划重点(one/few-shot)

shot是啥,说白点叫提示

比如说,

输入—-你走在大街上,突然被一个人甩了一巴掌,你怎么办?

提示—-揍他啊.

上面就是一个问题-答案的处理模板

下次通过语义类似的比对:

输入—你走在大街上,突然被一个人揍了一拳,你怎么办?

因为之前有了类似的提示,所以模型会输出—-当然是揍他啊.

如果我们收集无比多的方案,我们可能会得到下面的统计结果:

输出可选项

1.揍他啊.(80%的人选择)

2.忍了.(19%的人的选择)

3.给他100块钱(1%的人的选择)

为了防止模型每次都回答得过于暴力，我们可以在系统中加入一个随机数，使得模型的回答更具人性化。具体而言，大部分情况下，模型的回答会采取教训的口吻；但也有少数情况下，模型可能会表现出妥协的态度。此外，针对“油猫饼”这个问题，我们还需特别考虑，为模型提供额外的经济奖励，以鼓励它给出更合理的回答。这样一来，模型的回答将更加贴近人类的思维方式，提高用户满意度的同时，也能使文章更具吸引力。

当然,这个参数可以设置,比如:

temperature(越大回答越离谱)

top k,top p(为了封印模型自我放飞的灵魂,让回答不至于太离谱设置的参数)

第四步:啥是ChatGPT

GPT-3模型是一个庞大的语言对话模型,其参数量之巨大几乎让人难以置信。该模型的制作者利用这款模型开发了一款应用级语言对话应用,其大小之巨更是超出了人们的想象。如果没有足够的资源,甚至无法支付训练所需的电费。

你可能会问了,就这?大力出奇迹?没别的了?

是的,毕竟机器学习的白皮书,又叫<<money is all you need>>