TextBrewer:基于PyTorch的知识蒸馏工具包用于自然语言处理 源码

| TextBrewer是用于自然语言处理的基于PyTorch的模型提炼工具包。 它包括来自NLP和CV领域的各种蒸馏技术,并提供了易于使用的蒸馏框架,使用户可以快速试验最新的蒸馏方法,以压缩模型的代价相对较小。性能,提高推理速度并减少内存使用量。 通过或检查我们的论文。 新闻 2020年11月11日 更新到0.2.1 : 更加灵活的蒸馏:支持将不同批次的物料喂给学生和老师。 这意味着学生和老师的批次不再需要相同。 它可以用于提取具有不同词汇表的模型(例如,从RoBERTa到BERT)。 更快的蒸馏:用户现在可以预先计算并缓存教师的输出,然后将缓存提供给蒸馏器以节省教师的前行时间。