江苏龙网

  1. 首页 > 生活 > >

怎样形象的解释为啥神经网络层数越多效果越好( 二 )


=========================
花书上这样写的，诶。。好多看不懂啊

■网友
理论上，如果不同深度的网络各自拥有最佳参数，那么更深层的网络会比更浅层的网络效果稍好，如果把好的程度的差值用delta表示，对于特征等级高的问题， delta也越大，换言之，如果特征等级极低，比如二分类问题，深层网络和浅层网络的效果应该是差不多的，delta接近0.
而实际上，“最佳参数”是很难找到的，尤其是网络越深越大，参数的最优解就越难找到，所以实际调参时会发现，很难使得深层网络的效果好于浅层网络。所以对于实际问题，不要盲目的上深层网络，建议先估计特征等级，然后从浅层网络开始实验，直到找到自己认为合适的深度和规模的网络。

■网友
只是说越深越可以更好的拟合出任意的函数，但是会伴随着出现vanishing and exploring gradients types of problems.也就是可能会导致overfitting 问题

■网友
首先深层次的网络，表示能力不会比浅层次的网络差。证明可参考何凯明在resnet中的构造法。实际上对于relu 激活， 猜测可能是严格强于，当让对于sigmoid是一样强的，这个已经被证明了。另外，深层次网络可能更容易优化，即它的表示能力越容易发挥出来。尤其是在某些特定结构下，比如resnet。想象一下，有一个很深的网络，即使其中有一部分dead neuron, 但是如果整体上不影响梯度的流动，那么它的拟合效果不太会受影响。而对于一个浅层次的网络，一共就那么几层，若出现dead neuron整体的梯度流受影响的可能性或许就更大。
■网友
【怎样形象的解释为啥神经网络层数越多效果越好】 不是说仅仅层数越多效果越好，这个还取决于你的激活函数，还有各种超参数的设置等等。同意 @Eslavill 的观点，层数多了，网络表达能力更强了，第一层学习个直线，第二层学习个基本的几何图形，第三层再学习个更复杂的图形。


推荐阅读


上一篇：毕业后工作了几年，不想打工了，想创业。手里一共6万块钱，可以做点啥生意

下一篇：陌陌是怎样识别并封禁ios设备的