《动手学深度学习》pytorch版笔记2

《动手学深度学习》pytorch版笔记2 Task3 过拟合、欠拟合及其解决方案 这部分内容比较简单,写下问题吧,再挖几个坑 1.模型复杂度如何改变,三阶到一阶等 2.L2范数正则化为什么是权重衰减的一种方式? 梯度消失,梯度爆炸 1.初始化过程 2.标签偏移的概念 3.数据处理过程 循环神经网络进阶 GRU,LSTM中的门结构实现起来还挺复杂的,有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络,印象中一般不会堆叠很多层,有空再研究一下吧 Task4 机器翻译及相关技术 机器翻译是一个多对多的一个过程 1.seq2seq模型training与inference之前的差别(de