文章主题：个人经历, 杨格, 大模型, 微软研究院
马斯克组局xAI” 钻研宇宙本质 “，创始成员高深又神秘。
相比专注于 AI 领域本身，这些成员大多具有基础学科背景，接触 AI 之前或是在研究基础数学，或是在搞物理。
这家公司究竟要做什么？就在这两天，丘成桐弟子杨格（Greg Yang），成为第一个以 “xAI 创始成员 ” 身份在国内会议上发言的人。
在国际基础科学大会的 ” 基础科学与人工智能 ” 论坛上，他谈及了自己一直以来、也是接下来要进行的数学 AI 工作，以及对大模型当前发展现状的看法。而他的个人经历也再次浮出水面，为更多人所关注。
接下来要进行什么研究？
在国际基础科学大会上，杨格就自己正在研究的方向进行了一场演讲。
演讲主题，主要与AI 和数学交叉学科有关——
从数学角度出发，建立一种描述神经网络架构的统一编程语言Tensor Programs。
自從他在微軟研究院開始致力於該領域以来，至今已有 7 篇與此相關的學術論文發表。此外，他於 2019 年連續獨立發表了两篇關於此領域的論文，顯示出他在這個領域中的深入研究。
具体来说，Tensor Programs 项目有一个 ” 短期目标 ” 和一个 ” 长期目标 “。短期来看，这个编程语言能实现在设计新神经网络架构时，自动进行初始化条件分析，并给出其中最优的超参数初始化条件，从而让模型训练更顺利。毕竟此前，这一领域的初始化设置几乎 ” 全靠经验 “。
长期而言，Tensor Programs 项目的目标是开发大规模深度学习的 ” 万物理论 “。
这也与杨格在推特说的、他在 xAI 要进行的研究方向一致：目前无论是大模型还是其他 AI 研究方向，都依旧没有真正意义上解决 AI” 黑箱 ” 的问题，换而言之，AI 究竟走哪种研究方向（堆叠更大参数量的模型、还是 MoE）收益更高，还没有一个明确的结论。因此，Tensor Programs 最终目标是找到一种理论上的规则，可以真正理解 AI 大模型的行为。
Tensor Programs的最新动态来自微软与OpenAI共同发表的论文Transfer，其中杨格以共同一作的身份参与了这项研究。
这项研究的重点在于协助大型模型寻找到最适合的超参数设置，以此来降低更多的模型的训练时间与计算资源消耗。否则，对于大型模型而言，重新训练将是一个极其宝贵的资源浪费行为。
目前这项研究已经开源，杨格也在这次的演讲中着重以 Transfer 为例，介绍了 Tensor Programs 项目的进展。从这几篇研究论文侧重的 AI 模型来看，大模型如今已经是杨格研究的重点方向之一。一个值得关注的点就是，μ Transfer 已经用到 GPT-4 中了。
公众号 ” 安迪的写作间 ” 作者在杨格（Greg Yang）演讲结束后，和他聊了聊：
下台我问了他关于GPT-4 用到 μ Transfer 了吗，给出肯定回答。
所以，他究竟如何看待大模型的未来？
在这次论坛的圆桌对话上，杨格也提到了自己对大模型发展方向的看法。
他认为，继续堆叠大模型参数可以让模型效果越来越好，但这有个前提，即数据集的质量和数量必须要上升。
以前收集网络数据就行，如今训练集必须变得更偏向数学、科学、更有逻辑性，才能提高模型的科学和数学推理能力。
杨格对于当前致力于科研和交叉创新的AI研究人员提出了一条建议：“追求梦想”。
这一阶段的很多杰出的搞 AI 的人，像工程师、研究人员，有几个都是像我这样没有读博士，只是就想去干，拼一下就拼出结果的，像 Alec Radford，GPT-1、GPT-2 都是他自己做的，后来 OpenAI 就开始砸钱了。
曹操曾说过：“乱世出英雄”。这意味着在一个动荡的时代，人们更容易展现出非凡的才能。在这个充满机遇与挑战的新世界中，我们应勇敢地迈出第一步，不要过分担忧外部环境的影响。只有充满热情，才能在探索中找到属于我们的那一份光亮。
没错，当年的杨格，打破了微软研究院 ” 只招博士生 ” 的惯例，本科毕业就进入了这一机构工作。
他在学术经历上究竟有什么过人之处？
换而言之，为何他会成为马斯克选中的 “12 人 ” 之一？
杨格是谁？
杨格出生于湖南省，在北京读完小学后，就去了美国，本科考上了哈佛数学系。
在哈佛的头两年，杨格参加了鼓手团、咨询团等众多活动。
在大学二年级结束之际，他怀揣着对音乐的热爱与执着，勇敢地选择了退学，以便全心全意地投入到电子舞曲音乐制作和DJing的事业中。为了实现这个梦想，他给自己取了一个充满神秘感的艺名——“Zeta”。
也是在此期间，杨格接触到了人工智能。
一年半后，杨格发现自己的 ” 真爱 ” 终归还是数学，于是又回到了哈佛。
在完成春季学期课程之后，他选择了休学两年，此次休学的期间，他并未坚持音乐的学习，反而迅速掌握了数学、理论计算机科学以及人工智能领域的前沿知识。除此之外，他还广泛涉猎了物理学、生物学和神经科学等学科。
此外，他还研究起了神经图灵机，并结合可微拓扑学中的思路，提出 “Lie Access Neural Turing Machine”，发表于 ICLR。再次回哈佛，杨格师从丘成桐教授。
△杨格与丘成桐，图源：杨格推特在2017年，杨格成功毕业于哈佛大学，荣获了数学学士学位和计算机科学硕士学位。此外，他还荣获了2018年摩根奖荣誉提名，该奖项旨在表彰 outstanding research in mathematics by an undergraduate student，体现了他在数学领域的杰出成就。
毕业后，老师丘成桐曾问杨格 ” 你毕业去哪儿 “，他说 ” 我要去谷歌 “。
丘成桐说 ” 谷歌这种很差的公司就不要去了，我有个朋友叫沈向洋，我马上给他打电话 “。
后来，沈向洋让菲尔兹奖获得者 Michael Freedman 面试了杨格：
在面试结束后，Michael表示对这个年轻人非常印象深刻，尽管他当时刚从本科毕业，但他在哈佛的排名却位于前五名之列，这无疑是一个非常了不起的成就。
我（沈向洋）当时就跟杨格讲，你把谷歌的 Offer 拿来给我看一看，我给你加一块钱，就来微软吧。
最后杨格选择了微软。而进入微软后杨格也获得了沈向洋的高度评价：
微软研究院平时只招博士生的，杨格作为一个本科毕业生进了微软研究院，不仅进了微软研究院，过去这五年还做得无比优秀，特别是在 GPT 发展过程中做了举足轻重的贡献。
进入微软后，杨格的重要成果之一就是持续开发上面提到的 “Tensor Programs” 框架，其中还用 GPT-3 对所提出的超参数迁移方法进行了验证，相关论文已收录于 NeurIPS、ICML 等顶会：
此外，谷歌学术数据显示，杨格从 2015 开始发布论文，至今已有 34 篇。其中引用量最高为 415，这也是他在微软的工作，杨格在这个项目中担任主要指导（Primary mentor）。目前，杨格个人主页和推特主页等均已更新，已离开微软研究院，加入 xAI，接下来将继续做数学工作。杨格做出了新一轮的选择，但从第一次休学过后，他再也没有放弃对数学的热爱。在这次的论坛上，杨格也被问到，当时去从事音乐后又转到数学研究，是怎样一直坚定走到现在的？
杨格回答道：
其实就是个人爱好，在我大二休学之前，我一直都是数学比较好的人，可能会觉得一辈子在这种（数学研究中）。之后虽然我去搞音乐，但有段时间自己思考后，发现其实我个人还是很热爱数学。
这里面可能有外在动机（motivation extrinsic）和内在动机（motivation intrinsic）。像数学答卷老师给你 100 分，你觉得很高兴，这是外在的。这种外在和内在混在一起，可能感觉不到自己真心的爱好，但是后来休息一段时间以后，感觉（对数学）是发自内心的热爱，之后就走了这么长的路。
One More Thing
还记得前段时间杨格给大伙儿推荐的 300 多本（大部分是数学）书吗？
不少网友看过之后，表示 ” 书单实在太长了，不是普通人能看完的 “，还有网友调侃 ” 能不能用 GPT 帮我总结一下 ” ……论坛结束后，我们也和杨格聊了聊，了解了他对 ChatGPT 等大模型的一些看法。
提问：看到您前段时间推荐了大概 300 本多书，有很大一部分是数学书，您认为 AI 是否有可能把它直接总结成一个核心的要点给我们？平时在日常生活中，您是不是也会用 GPT-4 一样的模型，去帮助做一些数学的基础研究什么的？
杨格：我觉得 AI 的总结能力（summarization）现在应该挺好的了，做简单的总结应该没问题。但你要再深入理解它里面的道理，像是一些数学道理的话，可能 AI 现在的帮助还不是那么大。
日常生活的话，是会经常用到（大模型）。
提问：可以透露一下主要是用在哪些方面吗？
杨格：我觉得最有用的方法就是写程序吧。比如有些程序你确实可以自己写，但自己写的话，一是可能要花几个小时，二是觉得这种东西不是特别有趣，所以像这种工作你就可以用 ChatGPT 来帮你做。
提问：相当于您完成核心思考，然后 ChatGPT 帮您实现代码的工作。
杨格：其实就是实现它已经在网上看到很多很多遍、所以它能写得很好的一些程序。
但如果现在你想写一个复杂的程序、像是有什么逻辑性的程序的话，让 ChatGPT 来做可能还不一定做那么好。但如果是那种你写了几百遍的程序了，你不想再写，就可以用 ChatGPT 完成。
参考链接：
[ 1 ] https://arxiv.org/abs/2203.03466
[ 2 ] https://github.com/microsoft/mup
[ 3 ] https://mp.weixin.qq.com/s/s7MGUCHoEfyXhUcQAScltw
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
