fastformers:FastFormers 用于NLU的高效变压器模型 源码

FastFormers FastFormers提供了一组配方和方法来实现对自然语言理解(NLU)的Transformer模型的高效推断,其中包括演示模型,该演示模型显示了233.87倍的提速(是的,使用多头自我关注的Transformer架构在CPU上的233x提速) 。这不是LSTM或RNN)。 有关方法和分析的详细信息,请参见《 FastFormers:自然语言理解的高效转换器模型》一。 笔记 (2020年11月4日)我们正在与Hugging Face和onnxruntime团队进行积极合作,以便您可以利用汉化Face的变形金刚和onnxruntime的功能。 敬请期待。 使用此存储库,您可以复制FastFormers论文中显示的结果。 FastFormers的演示模型是通过基准测试实现的。 数据处理管道基于Alex Wang的实施,该来自HuggingFace的存储库。 这个