《动手学习深度学习》之二:注意力机制和Seq2seq模型(打卡2.2)

2.注意力机制和Seq2seq模型 2.1.注意力机制 2.1.1.概念 2.1.2.框架 •不同的attetion layer的区别在于score函数的选择,在本节的其余部分,我们将讨论两个常用的注意层 Dot-product Attention 和 Multilayer Perceptron Attention;随后我们将实现一个引入attention的seq2seq模型并在英法翻译语料上进行训练与测试。 import math import torch import torch.nn as nn import os def file_name_walk(file_dir):