吴恩达深度学习:第二课第二周:优化算法

文章目录Mini-batch 梯度下降法符号定义前向传播后向传播理解mini-batch 梯度下降法J代价函数的不同用1个样本为一个mini-batch和全部样本为一个mini-batch举例合理的簇大小指数加权平均理解指数加权平均指数加权平均的偏差修正动量梯度下降法优化成本函数RMSprop算法Adam 优化算法算法公式:该算法的超参数学习率衰减局部最优的问题 Mini-batch 梯度下降法 首先需要将数据集取为子集Mini-batch,然后进行训练 符号定义 引入了大括号t来代表不同的mini-batch,所以我们有X{t}X^{\{t\}}X{t}和Y{t}Y^{\{t\}}Y{t}