揭秘！你真的了解人工智能吗？

文章主题：

@jingyihiter 推荐

#Text Generation

🌟🚀文章改写大放异彩！🚀💡🚀基于国防科大和微软亚研院的创新研究，我们揭示了一种革命性的encoder-decoder架构，专为pre-training大显身手！🔥🔍BERT赋能的encoder，犹如魔术师手中的魔杖，将输入的有序列表转化为深邃的context向量，信息处理能力无人能敌！💡🤖decoder部分更是巧妙绝伦，两阶段设计独具匠心：首先，transformer的解码力量催生出伪输出序列，每一笔都蕴含着潜在的秘密。 generaración ✨接着，对这些“猜测”进行mask操作，让BERT这位语言大师来揭示真谛。🔍🔮最后，输入序列与伪输出序列的联合处理，犹如侦探破解案件，精准预测出解码输出序列，逻辑严密，效果显著！🕵️‍♂️🎯这样的框架不仅技术含量高，而且SEO优化潜力十足，让搜索引擎轻松找到我们的智慧火花！🌍🌐记得关注我们，获取更多前沿科技动态和深度解析！👇💡

BERT在文本生成领域崭露头角，其卓越性能在CNN/Daily Mail和New York Times数据集上展现出了引领潮流的SOTA成绩。🚀通过创新应用，它为该任务带来了前所未有的精准与流畅，优化了语言模型的表现，显著提升了整体生成质量。🏆

论文链接：https://www.paperweekly.site/papers/2855

@QAQ 推荐

#Language Model

🌟🚀新锐力量崛起！🔥揭秘OpenAI的GPT-2语言巨匠，它以卓越的文本生成技艺震惊业界——论文撰写、幻想故事接龙，无人能敌！📊在多项数据挑战中傲视群雄，其无与伦比的表现力让现有技术黯然失色。无需特殊训练，它已展现出翻译与阅读理解的强大潜力，仿佛拥有超凡的理解力。🌍然而，值得注意的是，尽管它熠熠生辉，偶尔也会出现重复文本的小瑕疵，以及对复杂世界情境的模拟（如水下火灾）还需改进。🔥未来可期，GPT-2正引领语言模型的新篇章，让我们期待它在AI领域的更多突破与创新！🌐

论文链接：https://www.paperweekly.site/papers/2822

源码链接：https://github.com/openai/gpt-2

@rico93 推荐

#Attention Mechanism

原文改写如下：🚀研究新突破！出自Cornell和Facebook AI的重量级论文揭示，轻量级Convolution模型不仅在效能上与Transformer旗鼓相当，而且操作简易，效率爆表！相较于Transformer，它能以更快20%的速度运转，为AI领域带来革命性改变。欲了解更多高效算法背后的科技秘密？快来探索这创新力量吧！🔍💻

论文链接：https://www.paperweekly.site/papers/2801

源码链接：https://github.com/pytorch/fairseq

@Ttssxuan 推荐

#Auto ML

🌟🚀【神经网络新突破】🔍Google Brain引领，创新动态障碍搜索！🎯🚀论文揭秘：Progressive Dynamic Hurdles (PDH)架构，智慧动态资源分配！🔥通过精巧设计，它能敏锐地聚焦在表现优异的候选者上，释放潜能，铸就了卓越的Evolved Transformer。🌟🏆在四大翻译挑战中（WMT 14英德、法英、捷克语，及LM1B），Evolved Transformer展现强大实力，与原始Transformer一较高下！🏆不仅效能提升显著，计算效率飙升，而且参数量更精简，绿色节能，未来可期！🌍这不仅是技术的进步，更是智能优化的胜利，为机器翻译开启新篇章！🌐欲了解更多详情，敬请关注相关领域的深度研究和前沿动态。💡#神经网络搜索 #EvolvedTransformer #翻译任务提升

论文链接：https://www.paperweekly.site/papers/2817

@paperweekly 推荐

#Dialog System

🌟🚀原文改写：🏆AI杰作！微信AI与上海交大合作，AAAI 2019上的革新研究聚焦于生成对话背后的智慧。利用指针生成与注意力机制，论文独创地结合历史对话与背景知识，创造出更具深度和价值的回复。作者创新性地设计了通用性强的实体复制指针，跨越两源信息流，实现高效内容提取。别忘了，他们还巧妙运用Cluster-based Beam Search算法，动态分类相似语义，防止生成千篇一律的答案。🚀🏆📝SEO优化词汇：#对话生成AI #AAAI2019研究 #背景知识驱动回复 #指针生成与注意力 #实体复制创新 #ClusterBeamSearch算法 #深度对话优化

论文链接：https://www.paperweekly.site/papers/2845

@VanceChen 推荐

#Multimodal Sentiment Analysis

本文是 CMU 的 MultiComp Lab 发表在 AAAI 2019 上的工作。多模态情感分析是 NLP 的一个新的核心研究领域，研究从语言、视觉和声学模态表达的说话人情绪。多模式学习的核心挑战涉及可以处理和关联这些模态信息的推断联合表示。然而，现有工作通过要求所有模态作为输入来学习联合表示，因此，学习的表示可能对测试时的噪声或丢失模态敏感。

随着机器翻译中 Seq2Seq 模型的成功，有机会探索在测试时可能不需要所有输入模态的联合表示的新方法。论文提出了一种通过在模态之间进行转换来学习鲁棒联合表示的方法。论文的方法基于 Key Insight，即从源到目标模态的转换提供了仅使用源模态作为输入来学习联合表示的方法。

论文使用周期一致性损失来增加模态转换，以确保联合表示保留所有模态的最大信息。一旦翻译模型使用配对的多模态数据进行训练，我们只需要在测试时从源模态获得最终情绪预测的数据。这确保了我们的模型在其他模态中不受扰动或缺失信息的影响。

我们使用耦合的翻译预测目标训练我们的模型，并在多模态情绪分析数据集上实现新的最新结果：CMU-MOSI，ICT-MMMO 和 YouTube。另外的实验表明，我们的模型学习越来越多的判别性联合表示，具有更多的输入模态，同时保持对丢失或扰动模态的鲁棒性。

论文链接：https://www.paperweekly.site/papers/2789

源码链接：https://github.com/hainow/MCTN

@paperweekly 推荐

#Object Detection

本文来自中国科学院大学和图森未来。检测任务中存在目标尺寸多样化的问题，为了解决这一问题，涌现了很多包含 SSD、FPN、SNIP 等在内的经典算法。基于感受野对不同尺度目标的检测影响，作者提出了一个全新的三叉戟网络（TridentNet）。

为了使模型对不同尺寸目标的“表达能力”近似，作者借鉴了 SNIP 的特征提取网络，采用了“scale-aware”的并行结构。为了加快模型的推理速度，作者采用了 dilated convolution 得到不同感受野的特征图，从而实现检测不同尺度目标的目的，取代了 SNIP 中的特征金字塔生成不同尺度目标的做法。

论文链接：https://www.paperweekly.site/papers/2833

@paperweekly 推荐

#Human Pose Estimation

本文来自旷视科技，夺得 COCO Keypoints 2018 比赛冠军。本文旨在设计出一个好的 multi-stage 的人体姿态检测方法，随着网络 stage 数目增加，模型的预测能力能够逐步提高的网络。而不会像 Hourglass 及其它网络一样，增加 stage 数目并不会显著提高模型的预测能力。作者采用了 top-down 的解决思路，将重心放在对单人关节点的检测上。针对 multi-stage 算法存在的问题，作者分别进行了不同的探索。

论文链接：https://www.paperweekly.site/papers/2834

@Phil 推荐

#Object Detection

本文来自香港中文大学、商汤科技、Amazon 和南洋理工，论文提出了一种新的 anchor 生成方法——Guided Anchoring，即通过图像特征来指导 anchor 的生成。通过预测 anchor 的位置和形状，来生成稀疏而且形状任意的 anchor，并且设计了 Feature Adaption 模块来修正特征图，使之与 anchor 形状更加匹配。

论文链接：https://www.paperweekly.site/papers/2806

@afei 推荐

#Image Segmentation

本文提出了一种新的分割网络——BOWDA Net。基于此网络，作者在 MICCAI 2012 前列腺分割竞赛中排行第一，结果为 state of the art。创新点有两点：1）针对前列腺 MR 图像边界不清晰的问题，提出了边界加权分割 loss，平滑了边界；2）针对数据集小的问题，作者借鉴了迁移学习以及 GAN 的思想，解决了 source domain 和 target domain shift 的问题，值得阅读。

论文链接：https://www.paperweekly.site/papers/2851

@paperweekly 推荐

#Image Inpainting

本文来自安大略理工大学，论文提出了一种全新图像修复方法，能重构出图像的精细细节。具体而言，作者提出了一种两阶段的对抗模型 EdgeConnect，该模型由一个边生成器和一个图像补全网络组成。边生成器将图像确实区域的边生成，而后图像补全网络以边为先验填补图像。

论文链接：https://www.paperweekly.site/papers/2832

源码链接：https://github.com/knazeri/edge-connect

@JasonZHM 推荐

#Image Compression

利用卷积自编码器进行图像压缩需要同时优化压缩率和重构图像质量，但由于用于表征压缩率的编码比特率不可微，因此不能直接反向传播。现有研究普遍采用额外训练熵估计器的方法解决这个问题。

该研究则引入了来自神经网络架构搜索领域的网络剪枝方法，提出了 CAE-ADMM 模型，直接对压缩后的编码进行剪枝，在保持编码速度的情况下，SSIM 及 MS-SSIM 的表现均超越了使用熵估计器的现有模型和传统编码器（JPEG、JPEG 2000 等）。该研究同时对引入的剪枝方法在模型中的效果进行了检验。

论文链接：https://www.paperweekly.site/papers/2803

源码链接：https://github.com/JasonZHM/CAE-ADMM

@zhangjun 推荐

#Bayesian Deep Learning

DNN 的不确定性量化是当前一大研究热点，在小数据机器学习、自动驾驶、强化学习、贝叶斯优化、主动学习等领域应用广泛。一种经典的方法是将模型参数视为随机变量，用近似推断的方法（比如：MCMC 类和 VI 类）扎实地求出每个参数的后验分布，这种方法相对准确，但计算效率较差，尤其对于参数数以亿计的复杂结构网络更加困难；另一种方法是朝着实用方向的，训练还是基于传统的 SGD + Dropout，在测试时对参数后验分布进行近似，使得模型在预测时可考虑到不确定性的影响。

本文属于第二种思路，基于一种叫做 Stochastic Weight Averaging （SWA）的方法，即将 T 个 Epoch 中的参数作为统计数据，求平均作为参数后验分布的均值，方差作为分布的方差（仅考虑后验分布为高斯的情况，也是大多数方法的假设。）。思路比较简单，相对传统的贝叶斯推断方法，计算效率非常高。这类方法中另一个典型代表是 Oxford 的 Yarin Gal 提出的 MC Dropout。

论文链接：https://www.paperweekly.site/papers/2815

源码链接：https://github.com/wjmaddox/swa_gaussian

@paperweekly 推荐

#Recommender Systems

本文是明尼苏达大学和京东发表于 WSDM 2018 的工作。当前大多数推荐系统更注重用户和商品之间的宏观交互（如用户-商品评分矩阵），很少有人会结合用户的微观行为数据（如浏览商品的时长、对商品的阅读和评论）进行推荐。

本文从微观行为的角度对推荐系统进行改进，作者将用户的固有数据视为用户和商品之间的宏观交互，并保留了宏观交互的顺序信息，同时，每个宏观交互都包含一系列微观行为。具体来说，论文提出了一个全新模型——RIB，它由输入层、Embedding 层（解决数据稀疏和数据高维的问题）、RNN 层（建模时序信息）、Attention 层（捕捉各种微观行为影响）和输出层组成。

论文链接：https://www.paperweekly.site/papers/2549

@paperweekly 推荐

#Deformable Convolution

本文来自牛津大学，论文提出了一种分布偏移卷积 DSConv，可以轻松替换标准神经网络体系结构，并实现较低的存储器使用和较高的计算速度。DSConv 将传统的卷积内核分解为两个组件：可变量化内核（VQK）和分布偏移。通过在 VQK 中仅存储整数值来实现较低的存储器使用和较高的速度，同时，通过应用基于内核和基于通道的分布偏移来保持与原始卷积相同的输出。

作者在 ResNet50 和 34 以及 AlexNet 和 MobileNet 上对 ImageNet 数据集测试了 DSConv。通过将浮点运算替换为整数运算，本文方法在卷积内核中实现了高达 14x 的内存使用量减少，并将运算速度提高了 10 倍。

论文链接：https://www.paperweekly.site/papers/2835

@Rcypw 推荐

#Network Embedding

本文是 UIUC 和 HEC Montreal 发表于 WSDM 2018 的工作，论文开创性地将强化学习思想应用到星型异构网络节点表示学习当中，利用马尔科夫链去获取最优的节点之间边的序列。作者将奖励计算作为节点表示的外部任务的性能作为特征，目标是采取一系列行动来最大化累积奖励，基于长短记忆网络利用深度强化学习模型，完成网络表示学习。

论文链接：https://www.paperweekly.site/papers/2590

@Layumi 推荐

#Person Re-identification

现在行人重识别高准确率模型真的鲁棒么？是不是像传统分类问题一样容易被攻击呢？本文提出的方法，将目前行人重识别上较高的 baseline Recall@1=88.56%, mAP=70.28% （layumi/Person_reID_baseline_pytorch）降到 Recall@1=0.68%, mAP=0.72%。

对抗样本存在于很多任务中，但如何在不同任务中构造对抗样本是一个问题。对于 reID 来说，攻击的方式与正常的分类不同。因为 reID 在测试的时候的类别与训练时类别不同，没有相同的类别（也就是测试的人和训练的人不是同一批，Open-set）。那么在构造对抗样本时，传统的降低预测概率回传梯度方法就受限。在实验中也有相应结果。文章提出了一种新的方法来攻击图像检索（reID 是图像检索的一个子问题）。