CNN网络中卷积核初始化时使用正交阵的好处是啥
【CNN网络中卷积核初始化时使用正交阵的好处是啥】 这应该是最近比较流行的提法，也看过一些论文，说一下浅显的理解: 目前有一种对网络的新的理解，认为网络学习到的weight之间有很大的相关性或者说冗余，从信息熵的角度来看，网络的表达能力因为这个现象受到了很大的限制，导致很容易出现overfit，因此有人提出如果可以让这些weight不那么相关就可以降低overfit，一种做法就是正交初始化，另外一种就是加明确的正则化来使得学习到的weight之间的相关性尽量小。另外还有一些研究认为学习到的feature之间也有这个现象，对一些类似于分类问题不那么好，也在做去相关的事。个人理解，有错误之处请指正
■网友
可以体会一下SVDnet、cosine归一化、层旋转这三篇
■网友
初始化不都是xavier么？
推荐阅读
- 郑州警方查获一盘踞境外网络赌博犯罪集团冻结资金逾5亿元
- 『徐州』徐州这群留守儿童的纯净声音抚慰人心 “6秒童声合唱团”走红网络
- 长春评选“网络奋斗者”：互联网成更多普通人创业工具
- 西藏首台5G网络车载移动CT仪器投用
- 诈骗钱财|冒充专家高价兜售“特效药”、谎称卖口罩骗定金……警惕这些网络诈骗
- 媒体聚焦网络知产保护：强化企业社会责任，完善行业监管体系
- 京东的客服+网络安全啥水平
- 网络银行牌照到底可以做啥
- 怎样评价北京信息科技大学网络速度奇慢无比
- 一点科技|2020中国网络安全产业高峰论坛：360斩获工信部三大殊荣