资 源 简 介
本文档的主要内容详细介绍的是深度学习网络训练技巧汇总,总结训练网络的各种经验和技巧
训练技巧对深度学习来说是非常重要的,作为一门实验性质很强的科学,同样的网络结构使用不同的训练方法训练,结果可能会有很大的差异。这里我总结了近一年来的炼丹心得,分享给大家,也欢迎大家补充指正。
参数初始化。
下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度,影响收敛结果,甚至造成Nan等一系列问题。
数据预处理方式
· zero-center ,这个挺常用的。
X -= np.mean(X, axis = 0) # zero-center
X /= np.std(X, axis = 0) # normalize
·PCA whitening,这个用的比较少.