transformer pytorch:简单的pytorch变压器实现示例 源码

变压器 中简单的变压器pytorch实现。 模型 model ᄂ transformer.py ... 트랜스포머 모델 ᄂ util.py ... 모델에 사용되는 유틸 ᄂ visualization.py ... 모델의 각 부분 시각화 train_translation.py... 한국어-영어 번역 학습 run_translation.py ... 한국어-영어 번역 테스트 例子 1.掩盖语言模型 在掩盖语言模型任务上进行预训练转换器,并在korquad 1.0数据集上进行微调测试。 korquad 1.0是韩国队数据集。 模型 完全符合 f1分数 变压器-mlm 56.47 83.04 科伯特 51.75 79.15 2. Ko-En翻译 使用AI Hub Ko-En翻译数据集。 数据 1AI Hub Ko-En翻译样本数