1. 首页
  2. 行业
  3. 互联网
  4. mtdnn kd.pdf

mtdnn kd.pdf

上传者: 2020-08-19 08:50:50上传 PDF文件 303.58KB 热度 9次
蒸馏Ensemble BERT:模型架构:BERT;目标函数:soft prob+hard prob;方法:MT-DNN。该论文用给每个任务训练多个MT-DNN,取soft target的平均,最后再训一个MT-DNN,效果比纯BERT好3.2%
下载地址
用户评论