OmniNet:“ OmniNet:用于多模式多任务学习的统一体系结构”的Pytorch官方实现| 作者:Subhojeet PramanikPriyanka

OmniNet:用于多模式多任务学习的统一架构 OmniNet是用于多模式多任务学习的Transformer体系结构的统一和扩展版本。 单个OmniNet体系结构可以对几乎任何现实领域(文本,图像,视频)的多个输入进行编码,并能够跨多种任务进行异步多任务学习。 OmniNet体系结构包含多个称为神经外围设备的子网,用于将特定于域的输入编码为时空表示形式,并连接到称为中央神经处理器(CNP)的通用中央神经网络。 CNP实现了基于变压器的通用时空编码器和多任务解码器。 该存储库包含用于的官方Pytorch实施(Pramanik等)。 本文演示了OmniNet的一个实例,该实例经过联合训练以执行