本文共 1012 字，大约阅读时间需要 3 分钟。

贴一下汇总贴：

论文链接：

一、摘要

在众多试图从文本中挖掘结构化事实的信息抽取系统中，关系分类是一个至关重要的组成部分。我们提出了一种新的卷积神经网络结构来完成这项任务，它依靠两个层次的注意力来更好地识别异构环境中的模式。这种体系结构允许从特定于任务的标记数据中进行端到端的学习，而不需要外部知识，如显式的依赖结构。实验表明，我们的模型优于以前最先进的方法，包括那些依赖于更丰富形式的先验知识的方法。

二、结论

我们提出了一个CNN架构，它有一个新的目标和一种新的注意力机制，应用于两个不同的层次。我们的结果表明，这种简单但有效的模型能够超越以往的工作，依赖于丰富的先验知识的形式，结构化模型和自然语言处理资源。我们希望这种架构也能超越关系分类的特定任务，我们打算在未来的工作中探索这一点。

三、模型结构

这篇文章主要提出了卷积神经网络模型与注意力机制(Attention)结合的关系抽取方法，其中attention机制加了两层，一层是输入层的，一层是池化层的，模型网络结构如下。

• Input Representation：
  这里也是使用了词向量和位置向量拼接的方式，其中位置向量与上面模型一样，都是当前词到两个实体的相对距离转换为向量表示，为了获取更加更加丰富的信息，对拼接后的特征采用滑动窗口。
• Input Attention Mechanism：
  这是文中的第一个attention层，主要目的是计算句子中的词语与实体之间的相关性权重，这部分的结构图如下图，如图中所示，建立了与实体对应的两个对角矩阵，对角矩阵中的各个元素是该位置的词语与实体的相关程度，具体是通过该词语实体之间的向量内积而来。对于两个对角矩阵有三种处理方式，分别是对应位置平均，拼接以及求对应位置向量之间的距离，结果乘上输入向量，作为输入层的输出，此处便考虑了实体对词的相关权重。

• Secondary Attention：
  经过上面的处理之后，经过卷积神经网络，此后未经过常规的最大池化层，而是采用第二个注意力机制(attention-Based Pooling)，作者认为利用这个方法能够获取有意义的n-gram信息，文中构建了一个相关性特征矩阵，其目的是捕捉卷积层的输出与实体关系矩阵之间的密切联系。将该相关性特征矩阵经过softmax转为混合层的注意力机制特征矩阵，并用该矩阵与卷积层的输出相乘，然后和常规的最大池化一样获取每一维度的最大值。