Visual Question Answering with Memory-Augmented Networks

Motivation：

虽然 VQA 已经取得了很大的进步，但是这种方法依然对完全 general，freeform VQA 表现很差，作者认为是因为如下两点：

　　1. deep models trained with gradient based methods learn to respond to the majority of training data rather than specific scarce exemplars ; 

　　用梯度下降的方法训练得到的深度模型，对主要的训练数据有较好的相应，但是对特定的稀疏样本却不是；

　　2. existing VQA systems learn about the properties of objects from question-answer pairs, sometimes indepently of the image.

　　选择性的关注图像中的某些区域是很重要的策略。

我们从最近的 memory-augmented neural networks 以及 co-attention mechanism 得到启发，本文中，我们利用 memory-networks 来记忆 rare events，然后用 memory-augmented networks with attention to rare answers for VQA. 

The Proposed Algorithm : 

本文的算法流程如上图所示，首先利用 embedding 的方法，提取问题和图像的 feature，然后进行 co-attention 的学习，然后将两个加权后的feature进行组合，然后输入到 memory network 中，最终进行答案的选择。

Image Embedding：用 pre-trained model 进行特征的提取；

Question Embedding：用双向 LSTM 网络进行语言特征的学习；

Sequential Co-attention：

这里的协同 attention 机制，考虑到图像和文本共同的特征，相互影响，得到共同的注意力机制。我们根据 视觉特征和语言特征的平均值，进行点乘，得到一个 base vector m0 ：

我们用一个两层的神经网络进行 soft attention 的计算。对于 visual attention，the soft attention 以及 加权后的视觉特征向量分别为：

其中 Wv， Wm，Wh 都表示 hidden states。类似的，我们计算加权后的问题特征向量，如下：

我们将加权后的 v 和 q 组合，用来表示输入图像和问题对，图4，展示了 co-attention 机制的整个过程。 

Memory Augmented Network：

The RNNs lack external memory to maintain a long-term memory for scarce training data. This paper use a memory-augmented NN for VQA. 

特别的，我们采用了标准的 LSTM 模型作为 controller，起作用是 receives input data，然后跟外部记忆模块进行交互。外部记忆，Mt，是有一系列的 row vectors 作为 memory slots。

xt 代表的是视觉特征和文本特征的组合；yt 是对应的编码的问题答案（one-hot encoded answer vector）。然后将该 xt 输入到 LSTM controller，如：

对于从外部记忆单元中读取，我们将 the hidden state ht 作为 Mt 的 query。首先，我们计算 搜索向量 ht  和 记忆中每一行的余弦距离：

然后，我们通过 the cosine distance 用 softmax 计算一个 read weight vector wr：

有这些 read-weights, 一个新的检索的记忆 rt 可以通过下面的式子得到：

最后，我们将 the new memory vector rt 和 controller hidden state ht 组合，然后产生 the output vector ot for learning classifier. 

我们采用 the usage weights wu 来控制写入到 memory。我们通过衰减之前的 state 来更新 the usage weights ：

为了计算 the write weights，我们引入一个截断机制 来更新 the least-used positions。此处，我们采用 m(v, n) 来表示 the n-th smallest element of a vector v. 我们采用  a learnable sigmoid gate parameter 来计算之前的 read weights 和 usage weights 的 convex combination：

A larger n results in maintaining a longer term of memory of scarce training data. 跟 LSTM 内部的记忆单元相比，这里的两个参数都可以用来调整 the rate of writing to exernal memory. 这给我们更多的自由来调整模型的更新。公式（12）中输出的隐层状态 ht 可以根据 the write weights 写入到 memory 中：

Answer Reasoning：

有了 the hidden state ht 以及 那个外部记忆单元中得到的 the reading memory rt，我们将这两个组合起来，作为当前问题和图片的表达，输入到分类网络中，然后得到答案的分布。

--- Done ！