伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记

伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记 Task 06:批量归一化和残差网络;凸优化;梯度下降 微信昵称:WarmIce 批量归一化和残差网络 BN和ResNet都没什么特别好说的。 DenseNet久闻其名,但是一直没有细节了解过其实现。这一次大开眼界,原来文章里面那么密集的连线是由于concat导致的啊。 可以想象一下作者当初提出这个网络的时候是什么想的。第一,像ResNet那样子在skip之后使用加法直接把得到的特征和原特征相加会不会破坏好不容易搞出来的特征啊,要不还是concat吧。好,这是第一步,但是concat也有问题,你特娘的一直concat下去