神经网络batch_size调参

batch_size 是神经网络训练的一个重要参数,batch_size最大时就是整个训练集的大小,这时使用整个训练集进行Gradient decent,但这样非常容易对训练集过拟合,最好的办法是使用mini_batch gradient decent,这是batch_size就成了一个影响训练结果的重要参数。


batch_size调参方法:以128为界限,向上(*2)和向下(*0.5)在验证集上比较结果好坏进行调参。大的batch_size会受限于内存(使用cpu训练)或显存(使用gpu训练)。小的batch_size往往训练时间极慢,所以大batch_size受限于空间,小batch_size受限于时间。

评论

精彩评论
Live Sex Cams Free