[TOC]

# 机器阅读理解MRC和视觉问答VQA任务相通之处

> 机器阅读理解（Machine Reading Comprehension, MRC）
> 视觉问答（Visual Question Answering, VQA）

【MRC参考资料】

博客：
[MRC技术研究](https://www.jiqizhixin.com/articles/2019-12-20-6)

[MRC中的多答案抽取](https://zhuanlan.zhihu.com/p/101248202)

论文：
[MRC综述](https://arxiv.org/abs/1907.01118)

【VQA参考资料】

博客：
[基于深度学习的VQA技术](https://zhuanlan.zhihu.com/p/22530291)

论文：
[VQA开山之作](https://openaccess.thecvf.com/content_iccv_2015/papers/Antol_VQA_Visual_Question_ICCV_2015_paper.pdf)

[VQN综述论文](https://arxiv.org/ftp/arxiv/papers/2105/2105.00421.pdf)

【用MRC的思路实现VQA】

[参考论文](https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Visual_Question_Answering_as_Reading_Comprehension_CVPR_2019_paper.pdf)

## MRC介绍（todo lza）

## VQA介绍（todo nyk）

1. VQA的SOTA方法介绍
由于VQA涉及到CV和NLP两个领域的内容，那么很自然的一种VQA解决方案就是将在CV和NLP中应用非常成功的CNN和RNN结合构造组合模型。下面介绍一些具有代表性的研究中提到的比较好的模型组合。

- Deeper LSTM Q + norm Ⅰ模型

- VIS + LSTM模型

- Neural-Image-QA模型

- mQA模型

2. VQA面临的挑战及可能的改进方向

## 用MRC的思路实现VQA （todo yyx）

### 简介

研究者[1]提出用自然语言明确表示图像内容，也即通过将图像转换为自然语言，将VQA问题转换为MRC问题。使用这种转换的方法不仅可以处理面向基于观察的（observation based）问题的VQA数据集，且有助于探索大规模的外部知识库，可以自然地扩展到处理基于知识的（knowledge based）VQA。研究者认为，这是朝着能够利用大量的文本和自然语言处理技术来解决VQA问题迈出的一步。

### 技术方案
研究者使用的方法建立在为MRC任务新提出的QANet[2]上。在本小节，首先概述QANet及其模块，然后提出两类模型来分别处理开放式VQA（open-ended VQA）和多项选择VQA（multiple-choice VQA）。

#### 1. QANet
QANet是一种快速、准确的用于MRC任务的端到端模型。它由嵌入模块（embedding encoder）、嵌入编码器（embedding encoder）、上下文查询注意力模块（context-query attention block）、模型编码器（model encoder）和输出层组成。QANet的encoder仅使用卷积层和自注意力层处理序贯文本，而不使用RNN。在这之后，使用上下文问题注意力层来学习它们之间的相互作用。所得到的特征被再次编码，最后被解码到答案在上下文中的位置。

嵌入模块：将上下文和问题中的每个单词嵌入到向量中。
嵌入编码器：应用了多头注意机制来建模全局交互作用。
上下文查询注意力模块：用于提取上下文和问题词之间最相关的特征。

#### 2. 开放式VQA模型

VQA的主要关注点之一是评价系统中语义水平的视觉理解能力。考虑到在自然语言中可以描述不同范围的语义视觉信息，研究者尝试将图像完全转换为一个描述性的段落，以便为语义问题保留尽可能多的语义信息。由于所有输入在文本域都是统一的，该方法方法避免了隐藏空间中多模态特征融合的挑战任务，可以直接扩展到处理基于知识的VQA。

研究者所提出的模型的体系结构如下图所示。除了QANet中使用的基本模块外，还添加了另一个输入预处理块，并修改了开放式VQA的输出块。通过用将图像转换为嵌入语言，研究者将VQA转换为MRC任务。由于处理为相同的模态（语言），额外的知识可以自然地添加到模型中。


根据任务，输入预处理模块可以包括图像描述模块和外部知识检索模块。图像描述模块的目的是用一个文本段表示图像信息。

对于需要图像之外的辅助知识的VQA，需要一个支持性事实检索模块。要求从一般的大规模知识库中提取相关的支持事实，而忽略不相关的事实。

输出层也是特定于任务的。如果答案包含在文本段落中，则可以沿用QANet中的输出层，并预测上下文中答案的开始和结束位置。然而在某些情况下，答案可能不会明确地显示在上下文中。为解决该问题，研究者将输出层构建为多分类层，基于三个模型编码器的输出特征预测预定义答案类的概率。

### 参考文献
[1] VQA+MRC
[2] QANet,原文36