变压器 源码

使用Pytorch的机器翻译的简约变压器实现 客户群 预处理: bpe_cli :了解BPE模型 vocab_cli :建立词汇 网络: create_cli :创建网络 learn_cli :运行学习 translate_cli :运行推理 使用-h选项运行客户端,以获取可用选项的详细说明。 用法示例: 在下文中,我们将$TRAIN , $VALID和$TEST变量包含各自的train / valid / test文件的后缀,其中$SS和$TT变量指示源语言和目标语言方面的文件扩展名。 训练/有效/测试文件的格式为每行未标记(原始)文本一句话。 (1)代币化 标记化表示对原始文本文件执