bert_distill:BERT蒸馏(基于BERT的蒸馏实验) 源码

基于BERT的蒸馏实验 参考论文《从BERT提取任务特定的知识到简单神经网络》 分别采用keras和pytorch基于textcnn和bilstm(gru)进行了实验 实验数据分割成1(有标签训练):8(无标签训练):1(测试) 在情感2分类服装的数据集上初步结果如下: 小模型(textcnn&bilstm)准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91 蒸馏模型准确率在0.87〜0.88 实验结果与论文某些基本一致,与预期相符 后续将尝试其他更有效的蒸馏方案 使用方法 首先finetune BERT python ptbert.py 然后把BERT的知识蒸馏到小模型里