DataWhale Task03&Task04&Task05

过拟合欠拟合及其解决方案 概念: 欠拟合(underfitting):模型无法得到较低的训练误差。 过拟合(overfitting):训练误差远小于它在测试数据集上的误差。 主要的影响因素是模型的复杂度和训练数据集的大小,通常模型复杂度低容易欠拟合,复杂度高容易过拟合;数据集小容易过拟合。 常用的解决方案: 从数据集角度:K折交叉验证,提高数据的利用率。 从模型复杂度角度:可以才用权重衰减正则和dropout。权重衰减即为增加一个模型参数的范数作为惩罚项来表征模型的复杂度,L1,L2皆可,其中L2正则较为常用。dropout策略是即为使网络中的节点随机失活,为了保证训练集和验证集的结果期望一致