训练网络出现loss突然上升或者直接NaN...... - 好文

粗略写一下：

解决方式，把初始化方式换掉。。。我们之前用的切断正态分布，，现在考虑下：

http://blog.csdn.net/shuzfan/article/details/51338178

经验说：

1.一般我们都会用优秀的modelzoo参数初始化我们的参数，可能是这个参数值过大的问题。

2.不恰当的loss函数。

待续......