lida

这篇公众号文章由爱丁堡大学博士生符尧撰写，探讨了大模型（如ChatGPT的前身）的涌现能力，这些能力可能只存在于大型模型中且接近NLP社区长期以来追求的能力。作者通过GSM8K数据集的例子展示了随着模型规模增大，性能显著提升，特别是在思维链提示下能达到高准确率。尽管大型模型在某些任务上可能优于微调小模型，但知识推理效率受提示内容影响，且模型内置的知识可能存在局限性。文章指出这些能力代表了研究范式的转变，并暗示未来大模型在NLP/ML任务中的潜在优势。整体而言，作者强调了技术进步的指数级增长以及大模型展现的强大潜力。

西湖心辰这家初创公司通过创始人蓝振忠在大模型领域的专业知识和影响力，积累了超过百万用户和匹敌GPT3.5的模型RIO，以及一支高人才团队和背后的研究型大学资源，宣称打造中国OpenAI。他们具备早一年研究和商业化落地的优势，并已在ChatGPT之前推出类似产品'心辰Chat'，具有创新设计和商业实用性，抢占了先机。

ChatGPT，作为OpenAI的预训练模型，展现了强大而多才的能力，包括超越预期的语言处理和代码编写技能。它源于大规模预训练，使用了3000亿单词语料进行训练，结合C4、WebText2、Books及Wikipedia等多种数据来源。通过后续的代码训练、指令微调和RLHF，这些潜力被解锁并展现出了强大的涌现能力。ChatGPT的进化反映了OpenAI在模型发展上的努力，包括Codex和davinci-instruct-beta等变体的发布，旨在提升模型透明度和适应各种任务需求。目前，国际学术界对ChatGPT/ GPT-3.5的高度评价凸显了追赶这一划时代成果的紧迫性，特别是在国内技术与国际前沿差距可能扩大的情况下。

符尧博士在论文中探讨了大型语言模型（如GSM8K数据集中的PaLM540B）展现的强大突现能力，包括复杂推理、知识推理和分布外鲁棒性，这些能力在小模型中难以实现且接近NLP社区追求多年的水平。通过对GSM8K的示例分析，技术进步显示出指数级增长，如使用思维链提示显著提高了模型性能，甚至达到高水平准确率。尽管大型模型在某些情况下可能与微调的小型模型竞争激烈，但其无需检索知识和集成能力的优势值得关注，为NLP领域带来了潜在的研究范式转变。