1. 首页
  2. 人工智能
  3. 机器学习
  4. 动态BERT(Dynamic BERT with Adaptive Width and Depth)【华为诺亚实验室】.pdf

动态BERT(Dynamic BERT with Adaptive Width and Depth)【华为诺亚实验室】.pdf

上传者: 2020-05-27 13:12:05上传 PDF文件 1.22MB 热度 16次
在本文中,我们提出了一种新的动态BERT模型(简称DynaBERT),它可以在自适应的宽度和深度上运行。DynaBERT的训练过程包括首先训练一个宽度自适应的BERT,然后通过从全尺寸的模型中提取知识到小的子网络中,允许自适应的宽度和深度。
下载地址
用户评论