omn​​inet pytorch:在Pytorch中实现OmniNet(来自变压器的全向表示) 源码

Omninet-Pytorch 在实现 (来自变压器的全向表示)。 作者建议,我们应该关注先前各层的所有标记,并利用最近的有效关注进展来实现此目标。 安装 $ pip install omninet-pytorch 用法 import torch from omninet_pytorch import Omninet omninet = Omninet ( dim = 512 , # model dimension depth = 6 , # depth dim_head = 64 , # dimension per head heads = 8 , # number of heads pool_l