深度学习d4:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

机器翻译 指将一段文本从一种语言自动翻译到另一种语言 读取和预处理数据 # 将一个序列中所有的词记录在all_tokens中以便之后构造词典,然后在该序列后面添加PAD直到序列 # 长度变为max_seq_len,然后将序列保存在all_seqs中 def process_one_seq(seq_tokens, all_tokens, all_seqs, max_seq_len): all_tokens.extend(seq_tokens) seq_tokens += [EOS] + [PAD] * (max_seq_len - len(seq_tokens) - 1)