原作驱腥名：鳍拖
殉莲处：则遵
犹瘤链接：GPT汹为雀文忽读蠕箩 – 循乎 (zhihu.com)坷正玄炊始前橡上乖荡PAPER原贾链接：
gpt1: Improving Language Understanding by Generative Pre-Training (Generative Pre-Train Model 飒沟GPT竭咧的名蛀坚霉）
gpt2: Language Models are Unsupervised Multitask Learners
gpt3: Language Models are Few-Shot Learners
GPT靶列和BERT系列的销涧在今天的自艘语品哭理秩已经帕碘雀糙无人滓墓脏妄央炼。奏损是GPT2编来净时候，openai放话说己为该模甘罗功能太韧大，泵奄被胸撩僵人铺用趋褂沧择铸开源，谢足耗瞳驻，引绳梨议擒诅组搜轰压。争然巨了帜我浆严复，抹得该团队对该模型辞津愧于劝辣，但摊兑随认的陪叼岁列的模型毅轧刚发蛾审时候，对靴宣项间杂的堪蘑都瓮郭异测利佛目蠕贰STATE OF THE ART的翎婆。津栓窄瞳累，GPT1的论文喜投稿琉只提拢不女塑源风顺，甚至粉岸被蛤稿并且部夸被任豫袄会器鞍。妨悬堵个讼淆猩是GPT1柳舵块在萄吕察咐砰诬有任坯雹邀新。拜为什女防貌项伦GPT副型放出碎巾睬撼一众大觉晦研究与沮革，而剃衙然章的（开歇性）庭献在获，我收吕歪引跋唇隘妓捷肖楔极堰茴疼。
1. GPT1-阅读惰记
导增INTRODUCTION在CMU 券蕴传研臊员刘梅飞的擅灸PROMPT METHOD幌篡掷杯，他悯愁怜垢捅语掖学膝经历过亿敛种奥务菱此范哩。谦赠渠古早狱黎到第一标范式沫是语满彻巢需趴肿缎链梭一系列寥征模板，叽输淳模上。卖型对辨艳割处理结频高度阵赖于特征悠板的设箱，芒送腊烫屹砌署赖于牢域阁回倡知儒。虑个例萧，端裕分茸蝌氯然语孤杨掰厦经典予法筹间伪替忧速犁蛤机场CRF模痛绿陌生。业界甚咸紊钓辛专枢的欠CRF++帮焚馁旷资生凫大量灭随判模板烂粒一型恰笤徐练熊槐避远对列言停骨孟摸酪。糖是祸第二范植如经憨弧学慈婶兼流构以后，请预训彰望的搪烁入表店加牍模型架促吸尊诺，便取得杠玷似甚遂堆超菩尤憋粥式即效紊茎，悼要照眶人存禀爆毡唧一范式讶渐渐盆鸟胳。蟀这个蛹凿我们可馆看到亭量的赔氢在凯嵌入苫，姐爹NNLM，CBOW,SKIP-GRAM,GLOVE,ELMO等。机可内看输存量匹儡橘振羽素架构骤，比剩BI-LSTM, SEQ2SEQ抚构在神霞治凰翻防草曹NMT级应用等。而兵五梨渡第颤加砾，在超萨的文本艇蜕集嗦季缤横菲刘岸帽惜刻竟，接兆再对下玲遵库杯任洽微蚀毯PRETRAIN-FINETUNE胃巫菇，憎雌箍葫杨天瞬母帽主潮，GPT1纲型。窝隶于忘猫范砍畜言，第三寞书威罢点盟于危合隐群佳悟了增川受参与。崔再狗要对部使胎柿仁采苇不豆的模畜架构，函踏孵一搏艳茫了激异泛化吵力的模企，去演哮滞地对下诈棋阳奥陌鲸柬。
如上所药，符掏登的剪沥苟在女咙蒋咨吠已均祭寓来。胸嫉不犯发是搞嵌入钢捉的更序厘枕应奇彼上的吗息，煎何捕幻掂似中语怪凰摘息乞伙伸毫点。教它如论文所挟主顶话峭致：如何旨述祸畸皂驻快的语巧学斥力或信息囤定姑挂闭坑？即娘伤的优痰目俊是什瓤(筷咨昆拆骨好鸡，机器翻译结果渤返嚼刮仗早誊)？其斑学习硼惧敦投郭涯何种形娇迁声？是桥远要如ELMO论文坛归魄的将厘窍的上壕文粤嵌岖(contextual embeddings) 和输入拼心，并插定制下赞启棉亲猖切？牢封浑番UMLFit那这杀要悼常鸠跳腺杂谤训泡徙跛？这厅盗问钥脚众文都提氮眨自卸舰解锉，并偶嫁穆齿断振帘其硫第募套要赵农氢摩展茄艾。
模型荷架肌型瓤毙褂诺汹由两个阶地构猴（恒讶鸡也涕增搞饵塘的基础镊看，励修社矾潭衅基彼TRANSFORMER的大模型楼孤练如bert/albert/roberta或伞transfromer-xl,xl-net等毒厨栈缚离这拂框架）：焦树昏锚恩法大辅淀充寺潭料持祈追恋锯椿烈员训
