lida

来源：机器之心 作者：思源 知乎： 机器之心：从2019 AI顶会最佳论文，看深度学习的理论基础258 赞同 · 4 评论文章 公众号： 从2019 AI顶会最佳论文，看深度学习的理论基础​mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650779288&idx=1&sn=567101f96b9711cb4d23e9cdaffe0276&chksm=871a6ae6b06de3f0c49cdc673bac49e055bd5d93b08330bc7bebe4f90538b1d346767ff6902e&mpshare=1&scene=1&srcid=&sharer_sharetime=1580134445921&sharer_shareid=3097eea32dc0f009bcb869a036183b0f&key=68f6c88a59057261d95b26332ec36313854f63d5cb55ac963dc6f58b2903590fe7bbee11d741abdabd5ae653069119fce3c76b9920621d6a1f1dd3b3520c58dcef08ec385f50f48bb9ff36c4ec62494a&ascene=1&uin=MTg2ODcwMjIyMQ%3D%3D&devicetype=Windows+7&version=6208006f&lang=zh_CN&exportkey=Acx12t%2F%2FX8axE3JSNmOes8I%3D&pass_ticket=NHpGDy5M5Ac00abWiLMZjDg6EK5xexe3FN%2BKN9RanddA2cKEKBdQQy5JmHVauk%2Fw 如同物理大时代寻求统一的量子力学，深度学习也许也需要一个统一的理论框架。 如果能有一种理论告诉我们什么样的模型架构、运算方式能最好地表示某种数据，什么样的损失函数、迭代方式能最高效地学习到某种能力，什么样的设置又使这种能力能处理各种意外情况。那么，这样的深度学习，乃至机器学习，才是理论基础圆润的大学科。 令人惊喜的是，我们可以看到近来很多前沿研究都越来越系统，越来越有洞见。最明显的是近年举行的 AI 顶会，我们可以看到很多获奖论文都尝试从更基础、更深刻的角度为 DL 打下地基。本文将从 2019 年人工智能顶会的获奖论文出发，为你介绍深度学习的理论基础到底是什么样的，当前又有哪些新发现。 数学基础 ≠ 理论基础 在入门深度学习的过程中，我们经常会听到各种数学名词，线性代数和矩阵微分、概率论与随机过程，似乎要想理解各种模型，首先必须理解这些数学概念。那么这些数学描述不正是深度学习的「理论基础」吗？ 这里我们需要明确的是，数学是一种语言、一种工具，使用它描述深度学习并不一定等于构建 DL 的理论基础。这是一种数学基础，而不是整理领域的理论基础。很多深度模型确实都是从数学推导出发，然后得出某些很好的性质，但这只能说明模型是有理论保证的，它们并不能组成深度学习的理论基础。 比如说图卷积网络或变分自编码器，它们最开始都是从数学的角度推导某些性质，后来才根据这样的性质构建整个模型。我们可以说这些模型的理论基础非常坚实，如果我们需要理解它们，同样也需要对应的数学基础。此外，在实际建模时，我们并不一定完全遵循理论推导，可以稍微修改以获得更强的计算效果。 在深度学习中，有很多模型的数学推导都非常优美。也有很多模型从实验与直观概念出发，描述整个学习过程的数学表达。它们都非常重要，但并不能解决深度学习最基本的疑问：为什么深度模型能够高效学习？为什么深度模型要比浅层模型的性质好？为什么深度学习泛化性也不错？ 就像上个世纪初发现各种量子现象与解释，物理大时代艰难地寻求统一的「量子力学」。现在深度学习也有各种非常高效的模型，各种惊艳的结构，我们也许也需要一种统一的底层理论框架。 DL 的理论基础知多少 谈到深度学习的理论基础，可能读者首先想到的就是通用近似定理（Universal approximation theorem），其表示拥有无限神经元的单层前馈网络能逼近紧致实数子集上的任意连续函数。通俗来说，只要神经元足够多，单层前馈神经网络「有潜力」逼近任意复杂的连续函数。 在 1989 年提出通用近似定理以来，至少我们有了最基本的一个理论基础，即神经网络有潜力解决各种复杂的现实问题。 MIT 教授 Tomaso Poggio 曾在他的系列研究中 [1] 表示深度学习理论研究可以分为三大类：...

译者：AI研习社（季一帆） 双语原文链接：‘Must-Read’ AI Papers Suggested by Experts – Pt 2 我们之前写了一篇文章，向大家推荐了一些AI必读论文，引起很好的反响。现在，我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满，各位推荐者都认为自己推荐的论文是AI人员必读的经典之作，不知各位读者怎么看。现在，我们来看看这次入选的是哪些论文吧！ 不过在这之前，我还是向您推荐我们之前的那一篇文章，那篇文章也绝对值得一读。 推荐人：MILA博士研究员，Alexia Jolicoeur-Martineau 推荐论文1：f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization （f-GAN: 使用变分散度最小化训练生成神经采样器）- Sebastian Nowozin et al. https://arxiv.org/pdf/1711.04894.pdf Alexia提出可以将若干分类器视为估计f散度，于是，GAN可以被解释为最小化估计和散度。在论文中，Microsoft Research的研究人员详细介绍了相关工作、论文方法和实验验证。阅读原文获取更多信息。 推荐论文2：Sobolev GAN – Youssef Mroueh et al. https://arxiv.org/pdf/1711.04894.pdf 本文将WGAN-GP中的梯度范数惩罚视为约束鉴别器，从而使其unit-ball具有梯度。论文的数学论证极其复杂，但我们只要记住，关键在于可以对鉴别器添加各种各样的约束。这些限制条件可以防止鉴别器过分严格。论文中的Table1非常重要，我曾数次翻阅该论文，只为查看Table1，该表显示了可用的各种不同约束。阅读原文获取更多信息。 推荐人：DeepMind高级研究员，Jane Wang 老实说，我并不会觉得有哪篇论文要比其他论文更重要，因为我认为所有论文都是相互依存的，而科学是协作的成果。但还是要说，就我个人而言，还是会更加偏爱一些论文的，从这些论文中我受益匪浅，但这并不是说其他论文不好。这只意味着，我个人比较喜欢以下两篇论文。 推荐论文1：Where Do...

今天Flood和大家分享一下Chelsea Finn的博士论文赏析。 Chelsea Finn，想必很多人还是很熟悉的，可以说是AI圈最牛逼的博士之一吧。我也算是自来粉，虽然曾经的paper还被她弊了，但是她的paper我都看啊。 所以我们来看看她的博士论文，吊炸天的博士论文，应该还是可以有所启发的。 她的博士论文名称叫Learning to Learn with Gradients，大家Google一下可以找到原文。 看到这个名称，我的第一感觉是她真的对自己的MAML及之后基于MAML的各种应用有一个非常深刻的理解。MAML的方法可以说是Meta Learning三大方法之一，另外两个方法就是conditional neural network条件神经网络及neural network parameter generator神经网络参数生成，具体我们可以单独开一个blog说。MAML的特点在于通过梯度下降的方法来Learning to Learn。想来还是蛮特别的，所以很多应用本来加个条件神经网络加以处理，改用MAML就显得很fancy。 现在我们来说说Chelsea Finn的工作。她的工作给人的感觉就是非常的完整solid，简单的说就是： 1）选择一个新问题 2）构造一个新的方法论 3）基于新的方法论做应用 Chelsea Finn完美的做到了。她的博士论文简直就是一个Meta Learning或者MAML的教程。MAML现在的影响力非常大，虽然方法论看起来真的非常简单。但可能也是正因为简单，所以大家都在用。某种程度上，MAML可以类比Ian Goodfellow提出的GAN，都是各种领域的一个全新方法，并且基本原理都非常简单，只是GAN可以做出很酷炫的视觉效果，而MAML在Meta Learning上相对比较局限，特别是Chelsea Finn只是在Robot Learning领域上做，不过也足够酷了。这确实是一个顶级PhD做出来的事情，很佩服。 那么看她的博士论文，我们应该思考什么问题呢？ 1. 为什么选择Meta Learning这一研究方向？ 2. 为什么构造出MAML这一通用Meta Learning算法？ 3. 为什么选择做这些robot learning的应用？ Meta Learning一开始只是在Few-Shot Learning问题上做，然后当时Reinforcement Learning这块大家最大的质疑恐怕就是测试集就是训练集本身（比如玩Atari游戏，就只是在Atari这个游戏本身上玩高分）。那Reinf