AI学科教育

文章主要讨论了ChatGPT引发的全球技术热潮，以及由此带来的高算力需求。在面临摩尔定律逼近物理极限的情况下，硅光、CPO、液冷等新技术逐渐受到关注，它们可以实现高算力低功耗。此外，随着设备性能的提升，数据中心耗能占社会总耗能的比例越来越大，因此降低能耗成为当务之急。针对这一背景，文章推荐了硅光/CPO技术和液冷技术的相关厂商。同时，深圳市近日印发的《深圳市极速先锋城市建设行动计划》也引发了市场关注，该计划旨在建设高速率、大容量、低时延的超级宽带网络，成为国内第一、世界领先的极速先锋城市。

为响应我国《新一代人工智能发展规划》，科技的部门已启动“人工智能驱动的科学研究”专项部署工作，聚焦药物研发、基因研究等领域，同时推广6G技术，推进光伏发电产业发展。此外，先正达集团的上市审议会议被取消，可能是出于对市场稳定的考虑。而航天宏图的“宏图一号”分布式干涉SAR高分辨率遥感卫星星座也在太原卫星发射中心成功发射。不过，一些公司的减持行为引发了市场关注。

本文探讨了人类反馈强化学习（RLHF）在语言模型中的应用及优势，特别是在ChatGPT中的具体实践。RLHF通过结合强化学习和人类反馈，使语言模型在预训练阶段学习关于世界的一切，并在RLHF阶段专注于输出正确、有益的答案。具体而言，它分为三大步骤：1）用监督学习微调LLM；2）由人工评估员对答案进行排名，用于训练奖励模型；3）用近端策略优化（PPO）模型优化LLM的奖励模型。RLHF的技术和理念在很大程度上推动了ChatGPT的成功，而 Natasha Jaimes 的研究成果为其提供了理论支持。此外，Natasha 还关注社交强化学习领域，旨在提高 AI 智能体的学习、泛化、协作以及人机交互能力。

本文介绍了OpenAI新发布的聊天AI ChatGPT，这款基于GPT系列的大型语言模型在短短几天内用户量冲破百万级，引发了广泛关注。ChatGPT是一个专门用于对话交互的模型，其训练采用了无监督学习技术， large language models (LLMs) 可以生成更长的连贯文本序列，并且可以应对大规模的应急能力。然而，大型语言模型仍存在一些基本缺陷，如在需要常识、逻辑、规划、推理和其他知识的任务中无法预测。为了优化大型语言模型的表现，OpenAI 使用了人类反馈强化学习 (RLHF) 技术，将其应用于 InstructGPT，以提高其对用户指令的响应能力和减少有害输出。