本文共 930 字，大约阅读时间需要 3 分钟。

贴一下汇总贴：

论文链接：

一、摘要

目前，神经网络在关系分类中发挥着重要的作用。在本文中，我们提出了一种新的基于注意力的卷积神经网络结构来完成这一任务。我们的模型充分利用了单词嵌入、词性标注嵌入和位置嵌入信息。词级注意机制能够更好地确定句子的哪个部分相对于两个感兴趣的实体最有影响。这种体系结构能够从特定于任务的标记数据中学习一些重要的特性，而不需要外部知识，例如显式的依赖结构。在SemEval-2010 Task 8基准数据集上的实验表明，我们的模型比几个最先进的神经网络模型获得了更好的性能，并且可以通过最少的特征工程实现具有竞争力的性能。

二、结论

本文提出了一种用于语义关系抽取的基于注意力的卷积神经网络结构。这里，使用卷积神经网络架构来提取句子的特征。我们的模型可以充分利用单词嵌入、词性标注嵌入和位置嵌入信息。同时，词级注意机制能够更好地确定句子的哪个部分相对于两个感兴趣的实体最有影响。在SemEval-2010 Task 8基准数据集上的实验表明，我们的模型比几个最先进的系统获得了更好的性能。在未来，我们将致力于在关系抽取中探索更好的特征抽取神经网络结构。同时，由于端到端的关系抽取也是一个重要的问题，我们将寻求更好的方法来共同完成实体和关系抽取。

注意力的可视化：

三、模型结构

这篇文章提出了一种基于注意力机制的卷积神经网络模型结构，该模型利用了词、词性和位置等信息，词级别的注意力机制能够更好地确定句子中对两个实体影响最大的部分，模型结构如下图。

• Sentence Convolution：

  这部分是通过卷积神经网络获取句子的特征向量，输入特征包含预训练的词向量以及词相对实体的相对位置向量，还加入了词的词性特征向量，三部分的特征向量拼接，作为模型的输入，之后经过卷积神经网络与最大池化层获取句子向量。

• Attention-based Context Selection：

  第二部分是文章主要应用了注意力机制，目的是为了获取与句子中那部分对实体更加重要，这部分的模型结构如下图，主要思路是利用多层感知器网络层以及softmax计算句子中实体与每个词的相关程度，然后与正常的注意力机制一样，乘以每个词的向量表示，获取这部分的句子表示。