欢迎光临散文网 会员登陆 & 注册

论文阅读1.2:addernet小实验,权重分布和推断速度

2021-04-19 19:38 作者:克莱登大学宅学博士  | 我要投稿

使用两层卷积网络,一开始训练了40多个epoch没收敛,检查一下网络,没加bn。。。,加了bn之后很快收敛,如图

可视化一下权重,挺符合拉普拉斯分布的,epoch训的比较少。

论文中的weights分布图

同时用同样结构的CNN训练一下,准确率百分之99左右,差不多就是高斯分布,和论文所说一致,原因在上次addernet里讲过。

然后addernet的FLOPs和正常CNN的FLOPs,我找到MAC,换算一下就好了


Addnet确实推断速度会快。


论文阅读1.2:addernet小实验,权重分布和推断速度的评论 (共 条)

分享到微博请遵守国家法律