《Deep Modular Co Attention Networks for Visual Question Answering》论文笔记

1. Abstract 协同注意力机制在最近几年广泛用于 VQA 领域,以往的协同注意力多是先计算各模态的注意力分布信息,再建立不同模态间的相关性,这样忽略了模态内的相关性。本篇论文在 Self-Attention 机制的基础上,应用 Transformer 设计 MCA 模块,通过级联的方式搭建深层模块化网络 MCAN 2. Model 2.1 MCA Self-Attention (SA) 用于发掘模块内的关系,Guided-Attention (GA) 用于发掘模块间的关联,模块的设计遵循 Transformer 一文中的 scaled dot-product attention 模块