Dynamic ReLU：微软推出提点神器，可能是最好的R

Introduction

ReLU是中很重要的里程碑，简单但强大，能够极大地提升的性能。目前也有很多ReLU的改进版，比如Leaky ReLU和 PReLU，而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到，如果能够根据输入特征来调整ReLU的参数可能会更好。

Definition and Implementation of Dynamic ReLU

Relation to Prior Work

Variations of Dynamic ReLU

论文提供了三种形态的DY-ReLU，在空间位置和维度上有不同的共享机制：

Experimental Results

图像分类对比实验。

关键点识别对比实验。

与ReLU在ImageNet上进行多方面对比。

与其它激活函数进行实验对比。

可视化DY-ReLU在不同block的输入输出以及斜率变化，可看出其动态性。

Conclustion

论文提出了动态ReLU，能够根据输入动态地调整对应的分段激活函数，与ReLU及其变种对比，仅需额外的少量计算即可带来大幅的性能提升，能无缝嵌入到当前的主流模型中。前面有提到一篇APReLU，也是做动态ReLU，子网结构十分相似，但DY-ReLU由于的存在，可能性和效果比APReLU更大。

声明：文章收集于网络，版权归原作者所有，为传播信息而发，如有侵权，请联系小编删除，谢谢

声明：本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。

上一篇：Jürgen Schmidhuber发文纪念10年前的研究，网友：转
下一篇：RNN 其常见架构：一文带你了解RNN家族知识点

网友评论：

发表评论