《动手学深度学习》Task03 Task05

过拟合、欠拟合及其解决方案 训练误差:模型在训练数据集上表现出的误差。 泛化误差:模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似——机器学习模型应关注降低泛化误差。 损失函数 (1)平方损失函数 (2)交叉熵损失函数(CrossEntropy Loss)——度量两个概率分布间的差异性,在机器学习中表示为样本的真实分布和模型所预测的分布之间的差异,反复训练使预测分布接近真实分布。 交叉熵公式: 其中p为真实概率分布,q为预测概率分布。交叉熵在分类问题中常常与softmax一起用,softmax将输出的结果进行处理,使其多个分类的预测值和为1,再通过交叉熵来计算