AI论文助手

随着AIGC席卷全球，资本市场也随之火爆。面对GPT-4的颠覆性技术引发创业赛道和商业逻辑的变化，投资人们既担心汹涌的剧变，又对新机遇感到欣喜和好奇。在今年诺亚CIO办公室发布的《把握小确幸，投资大趋势》2024诺亚CIO报告全球篇中指出，GPT类应用风靡全球，新技术革命正在发生，将全面影响以教育，科学，文化为核心的智力工作，彻底改变知识生态开启。智能信息处理和信息资源管理之颠覆性变革。 6月11日，抓住风口AI前沿趋势专题思想会邀请了来自谷歌、博枫等重磅一线实战嘉宾齐聚香江，探索未来投资风口，为现场企业家们带来全新技术与应用落地和关于人工智能的深度见解以及投资领域的前沿趋势。 谷歌云咨询大中华区总监David Chow先生带来题为《人工智能发展历程以及未来趋势》的精彩分享。他深入分析了AI技术的发展历史、当前状态以及未来趋势，特别强调了从数据分析（analyzing existing data）到生成式AI（generative AI）的转变。 谷歌云咨询大中华区总监David Chow先生 谈到AI发展潜力及可能取代人工的问题，David表示未来AI将在更多行业和实际应用场景中发挥作用，特别是在财务分析、客服、艺术创作及医疗领域，它能帮助整合信息、分析数据、记录内容、协助沟通等，极大提高了工作效率。同时他也强调AI并不能完全取代人工的存在。 歌斐国际私募一级基金部总经理Andy先生指出：当今世界，由于地缘政治等因素，市场存在很大的不确定性。人工智能是一个可能贯穿未来10年、20年的一个很大的投资主题，存在机遇的同时也是一个巨大变量。因此，在投资领域，我们给出了三个基本原则。 歌斐国际私募一级基金部总经理Andy先生 第一个原则为高度分散。人工智能的发展会对现有行业的领导者产生巨大的颠覆，因此即便再看好某个资产，也要遵循投资分散原则。 第二个原则是优质资产。优质资产有几个特性？第一，这些资产是高度分散的；第二是刚需类的资产；第三是能够抗周期打击的资产。 第三个原则就是强者恒强。未来优秀的资源，不管是资金项目还是人才。逐渐都会向行业里的龙头企业集中。从投资的角度，只跟市场最头部的机构和市场最头部的企业打交道。 投资首先就是要判断和抓住核心资产。我们把核心资产大致分为四类：人工智能相关、核心实物资产、优质赛道头部企业和市场周期中的机会。它们都是符合人口、科技和政策这大趋势或者三大趋势交汇处的资产。 谈及今天的主题人工智能话题，Andy表示：人工智能的落地主要在To B企业端和To C个人端两个方向。目前，个人端的杀手级应用仍在孵化中，而企业端的则将快速落地并开始变现。AI将会降低很多行业的准入门槛，并对行业产生颠覆作用。 人工智能领域的核心投资机会，在模型和算力这两个层面，现在所剩的机会已经并不多了。目前机会主要集中在应用层，以高度分散的形式去投资，争取抓住一些未来的超级独角兽。同时在人工智能的核心周边，也有很多确定性的机会，比如数据中心、包含电信网络等AI发展核心相关的基础建设领域及提供AI完整生态系统解决方案的美国地产。 对话大咖：全球头部管理人如何布局投资风口 本次私享会我们很荣幸邀请到了全球头部管理人博枫（Brookfield Asset Management）的CEO John Sweeney，展开有关人工智能领域未来投资风口的对话。博枫拥有125年历史，擅长基建、可再生能源，房地产投资，管理资产规模已经将近一万亿美金，是世界非常领先的私募管理人。日前，博枫宣布，已与微软签署协议，将投资100多亿美元开发可再生能源发电能力，以满足人工智能和数据中心日益增长的需求。 博枫CEO John Sweeney先生（右） 歌斐国际私募一级基金部总经理Andy先生（左） 歌斐Andy：在这个数字化的整个大潮下，从基础设施的角度来看，未来投资的机会在哪里，博枫都做了哪些布局？ 博枫John：首先机会层面的三大机会是数据中心、信号塔和光纤网络。其中数据中心的逻辑是当今的科技大爆发以及AI公司的发展。以及数据中心背后的电力能源，尤其是绿色电力能源。近期博枫和微软签订了100亿美元的绿色电力供给协议，之后越来越多的科技公司为了碳中和目标也将更多的购买绿色电力。这些都是博枫目前正在布局的资产。 歌斐Andy：在新能源领域，博枫的资产将如何判断？ 博枫John：博枫觉得目前新能源领域一定要注重：1.是否是刚需；2.是否垄断或是否有竞争对手；3.是否有稳定现金流。近期博枫投资了全球最大的核电发电企业Westinghouse，核电设施既属于绿色可持续能源可24小时发电，该企业分布在美国及欧洲市场前景广阔，并且都是有长达20年周期的长租约协议，提供了极其稳定的现金流。 歌斐Andy：基础设施现在也进入了一个大建设周期。这个周期到底能有多长，主题是什么？ 博枫John：博枫在2022年提出了全球基建超级周期，长达30年。包含了三大主题：去碳化，数据化和去全球化。其中去全球化的案例是博枫和英特尔建造的芯片工厂，受到美国政府的芯片法案和全球市场变动，未来去全球化将是一个基建主题。 歌斐Andy：在资本端，未来会不会造成基建资产的泡沫？基建资产的合理估值会不会持续？ 博枫John：博枫目前已投资的基建资产都是大型项目，且运营能力优秀。博枫不会利用高杠杆，看中的是稳定可预期基建项目。 歌斐Andy：基础设施类的资产，跟经济波动没有太大关联，它的回报是否跟市场环境、经济环境没有那么高的相关度？ 博枫John：基建的投资是一个穿越周期的投资，其与股票债券的相关度几乎为零。它第一带来了稳定性和确定性；第二给整个投资组合带来分散风险的作用；第三提供一个很好的下行风险的保护。 现场观众：博枫是如何尽量规避投资风险的？ 博枫John：规避风险的第一个方式就是刚才说的高度分散。不管是从每个资产的资本结构上，还是从地域市场上，博枫在不同的赛道，从几个维度做了资产的分散。博枫会选择在估值非常合理的时候买入，然后也不去做高杠杆。利率风险方面，对于大型项目的融资，博枫用的都是固定利率的贷款，不受加息周期的影响。另外博枫很多大型项目是直接和发达国家OECD国家政府进行合作，交易对手风险也是相对可控的。 海量资讯、精准解读，尽在新浪财经APP

来源：机器之心 作者：思源 知乎： 机器之心：从2019 AI顶会最佳论文，看深度学习的理论基础258 赞同 · 4 评论文章 公众号： 从2019 AI顶会最佳论文，看深度学习的理论基础​mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650779288&idx=1&sn=567101f96b9711cb4d23e9cdaffe0276&chksm=871a6ae6b06de3f0c49cdc673bac49e055bd5d93b08330bc7bebe4f90538b1d346767ff6902e&mpshare=1&scene=1&srcid=&sharer_sharetime=1580134445921&sharer_shareid=3097eea32dc0f009bcb869a036183b0f&key=68f6c88a59057261d95b26332ec36313854f63d5cb55ac963dc6f58b2903590fe7bbee11d741abdabd5ae653069119fce3c76b9920621d6a1f1dd3b3520c58dcef08ec385f50f48bb9ff36c4ec62494a&ascene=1&uin=MTg2ODcwMjIyMQ%3D%3D&devicetype=Windows+7&version=6208006f&lang=zh_CN&exportkey=Acx12t%2F%2FX8axE3JSNmOes8I%3D&pass_ticket=NHpGDy5M5Ac00abWiLMZjDg6EK5xexe3FN%2BKN9RanddA2cKEKBdQQy5JmHVauk%2Fw 如同物理大时代寻求统一的量子力学，深度学习也许也需要一个统一的理论框架。 如果能有一种理论告诉我们什么样的模型架构、运算方式能最好地表示某种数据，什么样的损失函数、迭代方式能最高效地学习到某种能力，什么样的设置又使这种能力能处理各种意外情况。那么，这样的深度学习，乃至机器学习，才是理论基础圆润的大学科。 令人惊喜的是，我们可以看到近来很多前沿研究都越来越系统，越来越有洞见。最明显的是近年举行的 AI 顶会，我们可以看到很多获奖论文都尝试从更基础、更深刻的角度为 DL 打下地基。本文将从 2019 年人工智能顶会的获奖论文出发，为你介绍深度学习的理论基础到底是什么样的，当前又有哪些新发现。 数学基础 ≠ 理论基础 在入门深度学习的过程中，我们经常会听到各种数学名词，线性代数和矩阵微分、概率论与随机过程，似乎要想理解各种模型，首先必须理解这些数学概念。那么这些数学描述不正是深度学习的「理论基础」吗？ 这里我们需要明确的是，数学是一种语言、一种工具，使用它描述深度学习并不一定等于构建 DL 的理论基础。这是一种数学基础，而不是整理领域的理论基础。很多深度模型确实都是从数学推导出发，然后得出某些很好的性质，但这只能说明模型是有理论保证的，它们并不能组成深度学习的理论基础。 比如说图卷积网络或变分自编码器，它们最开始都是从数学的角度推导某些性质，后来才根据这样的性质构建整个模型。我们可以说这些模型的理论基础非常坚实，如果我们需要理解它们，同样也需要对应的数学基础。此外，在实际建模时，我们并不一定完全遵循理论推导，可以稍微修改以获得更强的计算效果。 在深度学习中，有很多模型的数学推导都非常优美。也有很多模型从实验与直观概念出发，描述整个学习过程的数学表达。它们都非常重要，但并不能解决深度学习最基本的疑问：为什么深度模型能够高效学习？为什么深度模型要比浅层模型的性质好？为什么深度学习泛化性也不错？ 就像上个世纪初发现各种量子现象与解释，物理大时代艰难地寻求统一的「量子力学」。现在深度学习也有各种非常高效的模型，各种惊艳的结构，我们也许也需要一种统一的底层理论框架。 DL 的理论基础知多少 谈到深度学习的理论基础，可能读者首先想到的就是通用近似定理（Universal approximation theorem），其表示拥有无限神经元的单层前馈网络能逼近紧致实数子集上的任意连续函数。通俗来说，只要神经元足够多，单层前馈神经网络「有潜力」逼近任意复杂的连续函数。 在 1989 年提出通用近似定理以来，至少我们有了最基本的一个理论基础，即神经网络有潜力解决各种复杂的现实问题。 MIT 教授 Tomaso Poggio 曾在他的系列研究中 [1] 表示深度学习理论研究可以分为三大类：...

译者：AI研习社（季一帆） 双语原文链接：‘Must-Read’ AI Papers Suggested by Experts – Pt 2 我们之前写了一篇文章，向大家推荐了一些AI必读论文，引起很好的反响。现在，我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满，各位推荐者都认为自己推荐的论文是AI人员必读的经典之作，不知各位读者怎么看。现在，我们来看看这次入选的是哪些论文吧！ 不过在这之前，我还是向您推荐我们之前的那一篇文章，那篇文章也绝对值得一读。 推荐人：MILA博士研究员，Alexia Jolicoeur-Martineau 推荐论文1：f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization （f-GAN: 使用变分散度最小化训练生成神经采样器）- Sebastian Nowozin et al. https://arxiv.org/pdf/1711.04894.pdf Alexia提出可以将若干分类器视为估计f散度，于是，GAN可以被解释为最小化估计和散度。在论文中，Microsoft Research的研究人员详细介绍了相关工作、论文方法和实验验证。阅读原文获取更多信息。 推荐论文2：Sobolev GAN – Youssef Mroueh et al. https://arxiv.org/pdf/1711.04894.pdf 本文将WGAN-GP中的梯度范数惩罚视为约束鉴别器，从而使其unit-ball具有梯度。论文的数学论证极其复杂，但我们只要记住，关键在于可以对鉴别器添加各种各样的约束。这些限制条件可以防止鉴别器过分严格。论文中的Table1非常重要，我曾数次翻阅该论文，只为查看Table1，该表显示了可用的各种不同约束。阅读原文获取更多信息。 推荐人：DeepMind高级研究员，Jane Wang 老实说，我并不会觉得有哪篇论文要比其他论文更重要，因为我认为所有论文都是相互依存的，而科学是协作的成果。但还是要说，就我个人而言，还是会更加偏爱一些论文的，从这些论文中我受益匪浅，但这并不是说其他论文不好。这只意味着，我个人比较喜欢以下两篇论文。 推荐论文1：Where Do...

今天Flood和大家分享一下Chelsea Finn的博士论文赏析。 Chelsea Finn，想必很多人还是很熟悉的，可以说是AI圈最牛逼的博士之一吧。我也算是自来粉，虽然曾经的paper还被她弊了，但是她的paper我都看啊。 所以我们来看看她的博士论文，吊炸天的博士论文，应该还是可以有所启发的。 她的博士论文名称叫Learning to Learn with Gradients，大家Google一下可以找到原文。 看到这个名称，我的第一感觉是她真的对自己的MAML及之后基于MAML的各种应用有一个非常深刻的理解。MAML的方法可以说是Meta Learning三大方法之一，另外两个方法就是conditional neural network条件神经网络及neural network parameter generator神经网络参数生成，具体我们可以单独开一个blog说。MAML的特点在于通过梯度下降的方法来Learning to Learn。想来还是蛮特别的，所以很多应用本来加个条件神经网络加以处理，改用MAML就显得很fancy。 现在我们来说说Chelsea Finn的工作。她的工作给人的感觉就是非常的完整solid，简单的说就是： 1）选择一个新问题 2）构造一个新的方法论 3）基于新的方法论做应用 Chelsea Finn完美的做到了。她的博士论文简直就是一个Meta Learning或者MAML的教程。MAML现在的影响力非常大，虽然方法论看起来真的非常简单。但可能也是正因为简单，所以大家都在用。某种程度上，MAML可以类比Ian Goodfellow提出的GAN，都是各种领域的一个全新方法，并且基本原理都非常简单，只是GAN可以做出很酷炫的视觉效果，而MAML在Meta Learning上相对比较局限，特别是Chelsea Finn只是在Robot Learning领域上做，不过也足够酷了。这确实是一个顶级PhD做出来的事情，很佩服。 那么看她的博士论文，我们应该思考什么问题呢？ 1. 为什么选择Meta Learning这一研究方向？ 2. 为什么构造出MAML这一通用Meta Learning算法？ 3. 为什么选择做这些robot learning的应用？ Meta Learning一开始只是在Few-Shot Learning问题上做，然后当时Reinforcement Learning这块大家最大的质疑恐怕就是测试集就是训练集本身（比如玩Atari游戏，就只是在Atari这个游戏本身上玩高分）。那Reinf