深度学习中的批量梯度下降优缺点及优化方法

ProminentGarnet avatar
ProminentGarnet
·
·
Download

Start Quiz

Study Flashcards

4 Questions

将以下优点与其描述进行匹配:

矩阵运算 = 每次在一个batch上优化神经网络参数并不会比单个数据慢太多 随机选择样本 = 有助于避免对学习没有多大贡献的冗余样本或非常相似样本的干扰 batch_size小于训练集大小 = 会增加学习过程中的噪声,有助于改善泛化误差 收敛到的结果更加接近批量梯度下降的效果 = 每次使用一个batch可以大大减小收敛所需要的迭代次数

将以下缺点与其描述进行匹配:

不当选择的batch_size = 可能会带来一些问题 代价函数越接近最小值时 = 需要增强学习衰减、降低学习 batch_size大于训练集大小 = 可能会导致过拟合 每次使用一个batch = 可能会导致局部最小值

将以下描述与其相关优点进行匹配:

优化神经网络参数不会比单个数据慢太多 = 矩阵运算 避免对学习没有多大贡献的冗余样本或非常相似样本的干扰 = 随机选择样本 增加学习过程中的噪声,有助于改善泛化误差 = batch_size小于训练集大小 大大减小收敛所需要的迭代次数 = 收敛到的结果更加接近批量梯度下降的效果

将以下描述与其相关缺点进行匹配:

可能会带来一些问题 = 不当选择的batch_size 需要增强学习衰减、降低学习 = 代价函数越接近最小值时 可能会导致过拟合 = batch_size大于训练集大小 可能会导致局部最小值 = 每次使用一个batch

「深度学习中的批量梯度下降」的优缺点是什么?了解如何通过使用批处理大小来优化神经网络参数,减少迭代次数和噪声,并改善泛化误差。

Make Your Own Quizzes and Flashcards

Convert your notes into interactive study material.

Get started for free
Use Quizgecko on...
Browser
Browser