深度学习的艺术:如何提高效率
这篇文章由MIT电子工程及计算机科学系助理教授韩松撰写,他曾是斯坦福大学电子工程系的博士,并师从NVIDIA首席科学家Bill Dally教授。文章讨论了如何提高深度学习效率的问题,主要涉及三种方法:利用深度压缩实现更小的模型大小,利用DSD正则化实现更高的预测准确度,以及利用EIE加速实现快速、能耗低的推断。韩松提出了“深度压缩”算法,包括剪枝、量化训练和可变长度编码等步骤,能在不损失预测准确度的前提下将模型大小减小18-49倍。他还提出了dense-sparse-dense训练技术,可以提高多种深度学习模型的预测准确度。此外,韩松还研究了一种名为EIE的高效推断机,能在压缩后的模型上直接执行推断,提高速度的同时降低能耗。