TransCoder:TransCoder研究项目的公开发布https 源码

转码器 Pytorch TransCoder在原始实现 依存关系 的Python 3 (生成并应用BPE代码) (仅用于清理和标记文本的脚本-无需安装) (用于fp16培训) (用于C ++标记化) (在远程计算机上运行预处理管道) ( pip install sacrebleu=="1.2.11" ) 如果您libclang.so是不是在/usr/lib/llvm-7/lib/ ,更换路径libclang.so在正确的路径clang.cindex.Config.set_library_path('path_to_libclang')在code_tokenizer.py 如果运行数据预处理管道,则必须编译fastBPE。 进入XLM / tools / fastBPE并执行描述的步骤。 翻译 Java,C ++和Python之间的反编译3。 可以使用translat