训练深度学习网络时候,出现Nan是啥原因,咋才能避免( 三 )



■网友
有一次的情况是,从训练一开始loss就已经是nan,推测是网络设计的问题,加了BN做归一化,解决了。

■网友
1. 梯度爆炸,解决方法:调学习率、梯度剪裁、归一化
2. 计算loss的时候有log0,可能是初始化的问题,也可能是数据的问题


推荐阅读