performer pytorch:Pytorch中Performer(基于线性注意的转换器)的实现 源码

表演者-火炬手 的实施,线性注意力基于变压器的变体与A F AST甲ttention V IA正O rthogonalřandom特征的方法(FAVOR +)。 安装 $ pip install performer-pytorch 用法 表演者语言模型 import torch from performer_pytorch import PerformerLM model = PerformerLM ( num_tokens = 20000 , max_seq_len = 2048 , # max sequence length dim = 512 , # dimension depth = 12 , # layers heads = 8 ,