AI学科教育

RLHF (人类反馈强化学习)是ChatGPT超越前代模型的关键因素，它在预训练后阶段关注输出准确且有益的结果，通过监督学习、奖励排名和近端策略优化等步骤微调LLM。OpenAI的研究引用了Natasha Jaques在社交强化学习方面的早期工作，她开发的算法结合社交学习与多智能体训练，旨在提升AI的学习能力和交互能力。Natasha近期的观点强调了RLHF方法的成本效益和从隐含信号中学习的潜力，这与ChatGPT的工作理念相呼应。

本文介绍了最近大火的聊天AI ChatGPT，由OpenAI公司发布，用户量迅速增长，甚至导致服务器压力过大。ChatGPT是基于旗舰GPT系列的语言模型，专门用于对话交互，它的成功反映了无监督学习领域的巨大进展和相关问题。尽管该模型在生成连贯文本和应急能力上有出色表现，但也存在缺乏常识、逻辑处理等缺陷，且容易误解用户意图。为解决这些问题，OpenAI采用了人类反馈强化学习技术，并对InstructGPT进行微调，以改进其理解和响应指令的能力。然而，ChatGPT的训练过程和所需人力资源仍然是关注点，关于模型信任度的程度也尚待探讨。

去年11月面世的聊天机器人ChatGPT在全球范围内引发热议，其创作和学习能力在多个领域得到体现，北密歇根大学哲学课论文、美国众议员演讲稿以及BuzzFeed等机构的合作都显示出其影响力。然而，ChatGPT对教育体系构成冲击，教授们调整教学策略以应对，一些学校甚至禁止使用。随着其用户量激增，资本如Meta和微软纷纷投资OpenAI，ChatGPT的渗透力引发担忧与创新并存。

谷歌柏林工业大学团队发布了超大规模视觉语言模型PaLM-E，参数量高达5620亿，集语言与视觉控制于一身，是VLM而非LLM，对物理世界有感知。谷歌长期技术投资多领域成果显著，面对ChatGPT威胁，加快了“生成式人工智能”集成产品计划，并推出Switch Transformer、Multilingual Language Model和NLG等新模型以抢占优势。外界积极评价谷歌的技术实力，但也指出模型复杂度与隐私等问题需要解决。PaLM-E基于Transformer架构，尽管基础相同，但其改进如瓶颈层和语言模型增强目标显示出优势，被视为transformer AI的代表作。