cuBERT:直接在NVIDIA(CUDACUBLAS)和Intel MKL上快速实现BERT推理 源码

直接在NVIDIA(CUDA,CUBLAS)和Intel MKL上快速实现BERT推理 直接在NVIDIA(CUDA,CUBLAS)或Intel MKL上进行高度定制和优化的BERT推理,而无需tensorflow及其框架开销。 仅支持BERT(变压器)。 基准测试 环境 特斯拉P4 28 * Intel(R)至强(R)CPU E5-2680 v4 @ 2.40GHz Debian GNU / Linux 8(jessie) gcc(Debian 4.9.2-10 + deb8u1)4.9.2 CUDA:版本9.0,V9.0.176 MKL:2019.0.1.20181227