＼＼＼ 文章编号：１００７—１４２３（２０１７）０９—００５８—０３ ＤＯＩ：１０．３９６９￣．ｉｓｓｎ．１００７—１４２３．２０１７．０９．０１５ 卷积神经网络在关系抽取中的应用研究 罗少伟 （四川Ｉ大学计算机学院，成都６１００６５） 摘要： 自２００６年Ｈｉｎｔｏｎ提出新的神经网络学习算法以来，卷积神经网络（ＣＮＮ）在图像识别、语音识别等领域取得巨大成 功，引发一股深度学习热潮。伴随着基于海量文本的词向量表示技术的进步。卷积神经网络逐渐在自然语言处理领域 取得超越传统机器学习算法的识别效果。综述ＣＮＮ在关系抽取领域的最新研究成果，介绍其发展历程、基本框架，并 对ＣＮＮ在该领域的发展方向进行总结和展望 关键词： 卷积神经网络；词向量：关系抽取 １ 卷积神经网络模型 卷积神经网络是一种重要的前馈神经网络模型． 它通过卷积操作提取输入的更高维度特征．在图像识 别和语音识别领域都取得巨大成功 理解卷积神经网 络的关键在于局部感知、权值共享和池化三个概念：局 部感知受启发于生物学里面的视觉系统结构．视觉皮 图：全连接层将所有池化特征展开并连接，作为下层输 入；分类层利用池化后的特征进行分类，一般采用Ｓｏｆｔ— ｍａｘ概率化或打分等方法。 ’ｌ‘唧 ～啪 Ｉｎ ｔ｝．Ｂ ｔｒｍｍｉｔ，￣ ｍｅ＜ｏｌ＞Ｐｒｅｓ￣一 ＜／ｏｌ＞ｔｒａｖｅｌｅｄ ｔｏ＜ｅ２￣，Ｄｅｔｒｏｉｔ＜／ｅ２＞ 层的神经元就是局部接受信息的．我们只需要对局部 进行感知．然后在更高层将局部的信息综合起来就得 到了全局的信息 这种特征提取的过程类似自下而上 的方法，一层层接收局部的输入．最后不断聚合：权值 共享通过局部相邻区域使用相同权重的方法大幅减少 卷积神经网络参数数量．降低了模型复杂度：池化操作 通过对卷积结果的聚合统计．提取出最显著的影响因 素．降低了模型复杂度．同时提高了模型的泛化能力 从模型结构上说．一个最简单的卷积神经网络应 包括四个部分：卷积层、池化层、全连接层、分类层。卷 积层包括多个卷积核．每个卷积核与输入进行矩阵卷 积．得到一个新的特征图．特征图的尺寸与输入特征图 Ｌｏｏｋ．ｕｐ ｔａｂｌｅｓ Ｃｃｅ￣ｌｕｔｌｏｎａｌ ｌａｙｅｒ Ｍａｘ ｐｏｏｔｉｎｇ Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ ｗｉｔｈｍｕＩ呻－．ｗ￣ｎｄｏｗ。 髓 ｆｏｒ Ｕｉｔｅｎｓ ｍｄｒｏｐｏ￣ａｎｄ ｓｏ￣ｍｘｏｕｆ￣ｔ 图Ｉ关系抽取卷积神经网络基本结构（文献【６】） ２ 基于大规模语料的词向量表示 词是承载语义的最基本单元．卷积神经网络应用 于自然语言处理任务的第一个障碍就在于如何表示 尺寸、卷积核的大小和卷积滑动窗口大小都有关系；池 化层将卷积后的特征图划分为数个不相交的区域．然 后对每个区域取最大值或平均值作为池化后的新特征 词。Ｈａｒｒｉｓ在１９５４年提出词的分布假说：上下文相似的 ＠ 现代计算机２０１７．０３下 词．其语义也相似．这是目前主流词向量表示方法的理 自动提取特征．避免了复杂的特征工程和错误传播问 题。 论基础 到目前为止，基于分布假说的词表示方法．根 据建模的不同，主要可以分为三类：基于矩阵的分布表 示、基于聚类的分布表示和基于神经网络的分布表示。 基于矩阵的分布表示需要构建一个“词一上下文” 矩阵．矩阵中的每个元素对应相关词和上下文的共现 ｅｎｇ ｅｔ ａ１．２０１４１提出采用卷积神经网络进行关 系抽取 他们采用词汇向量和词的位置向量作为卷 积神经网络的输入．通过卷积层、池化层和分类层得 到句子表示 通过考虑实体的位置向量和其他相关 的词汇特征．句子中的实体信息能够被较好地考虑到 关系抽取中。ｆＳａｎｔｏｓ ｅｔ ａ１．２０１５１改进了卷积神经网络 的损失函数．通过采用了正确类别相对错误类别的 Ｐａｉｒ—Ｗｉｓｅ损失函数．间接地增加训练样本．能够有效 次数．通过词与上下文的共现统计来度量词和词之间 的距离：基于聚类的分布表示通过聚类手段构建词与 上下文之间的关系．根据两个词的公共类别判断两个 词的语义相似度：基于神经网络的分布表示通过构建 神经网络语言模型．使得该模型对训练文本的概率估 计最大化来获取词的向量表示 地提高不同关系类别之间的区分性。『ＮＴ Ｖｕ ｅｔ ａ１．２０１６１ 通过融合ＣＮＮ和ＲＮＮ两种模型．使得识别效果进一 步提高。 无论上述哪种方法．目前的研究现状表明：在大规 模语料上训练出的词向量可以很好地表达词与词之间 的语义相似度．同时．相比于传统的Ｏｎｅ－ｈｏｔ表示方 法．词的分布表示维度大大降低，为深度神经网络的应 用创造了有利条件 对于不同识别算法的对比评价基于Ｓｅｍｖａ１２０１０一 Ｔａｓｋ８数据进行．评价标准采用去除０ｔｈｅｒ类的宏平均 Ｆ１值（官方评价标准），下图为主要关系抽取算法识别 效果对比： 表１主流关系抽取算法识别效果对比 ＳⅦ ３ 卷积神经网络在关系抽取领域的应用 关系抽取（Ｒｅｌａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ）是信息抽取的关键 技术之一．它的目的是在实体识别的基础上．抽取出这 些实体之间存在的语义关系 实体间的关系可被形式 化描述为关系三元组＜Ｅｎｔｉｔｙ１，Ｒｅｌａｔｉｏｎ．Ｅｎｔｉｔｙ２＞．其中 ［Ｒｉｎｋ ａｎｄ Ｈａｒａｂａｇｉｕ，２０１０］ ［Ｓｏｃｈｅｒ ｅｔ ａＬ，２０１２］ ［Ｓｏｃｈｅｒ ｅｔ ａＬ，２０１２］ ［ｚｅ醒ｅｔ ａ１．２０１４］ ［Ｄｏｓ Ｓａｎｔｏｓ ｅｔ ａ１２０１５］ ．，１６ ｔｙｐｅｓ ｏｆ ｆｅａｔｕｒｅｓ ＋ＰＤｓ。ＮＥＲ，ＷｏｒｄＮｅｔ ＋ＰＯＳ，ＮＥＲ，ＷｏｒｄＮｅｔ ＋Ｗｏｒ ｅｔ．ｗｏｒｄＳ ａｒｏＩⅡｌｄ ８２．２％ ７７．６％ ８２ ４ ８２．ｌ ｌＩ＼ｒｌ｝ｊＮ Ｅｎｔｉｔｙ１和Ｅｎｔｉｔｙ２是实体类型．Ｒｅｌａｔｉｏｎ是关系描述 关系抽取即从自然语言文本中抽取出关系三元组 ＜Ｅｎｔｉｔｖｌ，Ｒｅｌａｔｉ０ｎ，Ｅｎｔｉｔｙ２＞，从而提取文本信息。 目前主流的关系抽取算法主要包括两大类：基于 知识工程的方法和基于机器学习的方法 基于知识工 Ｃ ｎｏｍｉｎａｌｓ ＋ＰＯＳ，７％ ＣＲ＿ｃＮＮ Ｒａｎｋ ８４．１％ ８４．［ＮＴ ｖｕ ｅｔ ａＬ２Ｏｌ６］ ，Ｅｌ卜ＣＮＮ＋Ｒ删 ＋ＰＯＳ，Ｒａｎｋ，Ｍｕｉｔｉ－ｗｉｎｄｏｗ， Ｍｉｄ＿ｃｏｎｔｅｘｔ ９％ 程的方法通过人工编写规则集合．利用模式匹配的方 法从文本中找出相应的关系三元组 基于机器学习的 ４研究展望 卷积神经网络能够从词向量序列中较好地提取句 方法一般将关系抽取问题视为分类问题．通过特征工 程选取有效特征．利用机器学习算法训练分类模型．通 过分类模型判定实体对之间的关系 子语义信息．在关系抽取领域取得了超越传统方法的 性能表现，同时，在序列建模方法中，ＲＮＮ（循环神经网 络）及相关的变体（ＬＳＴＭ、ＧＲＵ等）也取得了较好效果。 针对关系抽取的卷积神经网络提出以后．目前在词向 量融合、词特征融合、卷积窗口、代价函数等多方面进 行了改进．而卷积的整体网络结构始终没有大的变化． 基于卷积神经网络的关系抽取算法本质上也属于 机器学习算法。不同点在于特征的提取方面：传统机器 学习算法需要先进行特征工程提取处出有效识别特 征，这一过程往往非常复杂，耗时耗力，而且依赖于词 性标注、句法分析等前期自然语言处理过程，这些过程 中存在的错误会在关系抽取过程中传播扩大．最终影 响识别效果．而基于神经网络的方法则是让模型直接 下一阶段应尝试构造不同的卷积结构．更好地抽取句 子特征及实体关系特征 现代计算机 ２０１７．ｏ３下＠ ５ 结语 本文给出了卷积神经网络在关系抽取领域的应用 情况综述。主要介绍了关系抽取任务、卷积神经网络结 构、基于神经网络的词向量原理及卷积神经网络在关 系抽取领域目前的识别效果．同时针对目前的研究现 状，展望下一阶段卷积神经网络的改进方向。 参考文献： 【１］Ｒｉｎｋ Ｂ，Ｈａｒａｂａｇｉｕ Ｓ．ＵＴＤ：Ｃｌａｓｓｉｆｙｉｎｇ Ｓｅｍａｎｔｉｃ Ｒｅｌａｔｉｏｎｓ ｂｙ Ｃｏｍｂｉｎｉｎｇ Ｌｅｘｉｃａｌ ａｎｄ Ｓｅｍａｎｔｉｃ Ｒｅｓｏｕｒｃｅｓ［Ｃ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ Ｏｉｌ Ｓｅｍａｎｔｉｃ Ｅｖａｌｕａｔｉｏｎ．Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ，２０１０：２５６—２５９． 【２］Ｓｏｃｈｅｒ，Ｒｉｃｈａｒｄ，Ｂｒｏｄｙ Ｈｕｖａｌ，Ｃｈｒｉｓｔｏｐｈｅｒ Ｄ Ｍａｎｎｉｎｇ，Ａｎｄｒｅｗ Ｙ Ｎｇ．２０１２．Ｓｅｍａｎｔｉｃ Ｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ Ｔｈｒｏｕｇｈ Ｒｅｃｕｒｓｉｖｅ Ｍａｔｉｒｘ— Ｖｅｃｔｏｒ Ｓｐａｃｅｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１ ２ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｉｒｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｌｅａｒｎｉｎｇ．Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍ－ｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓｐａｇｅｓ １２０—１２１ １． ，【３］Ｚｅｎｇ Ｄ，Ｌｉｕ Ｋ，Ｌａｉ Ｓ，ｅｔ １．Ｒｅａｌａｔｉｏｎ Ｃｌａｓｓｉｉｆｃａｔｉｏｎ Ｖｉａ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ［Ｊ１，２０１４． 【４］Ｓａｎｔｏｓ Ｃ Ｎ Ｄ，Ｘｉａｎｇ Ｂ，Ｚｈｏｕ Ｂ．Ｃｌａｓｓｉｆｙｉｎｇ Ｒｅｌａｔｉｏｎｓ ｂｙ Ｒａｎｋｉｎｇ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ．２０１ ５ 【５１Ｖｕ Ｎ Ｔ，Ａｄｅｌ Ｈ，Ｇｕｐｔａ Ｐ，ｅｔ ａ１．Ｃｏｍｈｉｎｉｎｇ Ｒｅｃｕｎ＇ｅｎｔ ａｎｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｒｅｌａｔｉｏｎ Ｃｌａｓｓｉｉｆｃａｔｉｏｎ［Ｃ］．ＮＡＡＣＬ．２０１６ ［６］Ｎｇｕｙｅｎ Ｔ Ｈ，Ｇｒｉｓｈｍａｎ Ｒ．Ｒｅｌａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ：Ｐｅｒｓｐｅｃｔｉｖｅ ｆｒｏｍ Ｃｏｎｖｏｌｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］．Ｔｈｅ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｅｃｔｏｒ Ｓｐａｃｅ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１５：３９－－４８． 作者简介： 罗少伟（１９８３一），男，云南禄丰人，研究生，研究方向为机器学习、自然语言理解 收稿日期：２０１６—１２—２９ 修稿日期：２０１７～０２—２５ Ｒｅｓｅａｒｃｈ ｏｎ ｔｈｅ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｉｎ Ｒｅｌａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ ＬＵＯ Ｓｈａｏ—ｗｅｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｓｉｃｈｕａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｂｅｎｇｄｕ ６１００６５） Ａｂ￣ｒａｃｔ： Ｓｉｎｃｅ ２００６，Ｈｉｎｔｏｎ ｐｒｏｐｏｓｅｄ ａ ｎｅｗ ｎｅｕｌ＇ａｌ ｎｅｔｗｏｒｋ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ，ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ｉｎ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ，ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｏｔｈｅｒ ａｒｅａｓ ｏｆ ｇｒｅａｔ ｓｕｃｃｅｓｓ，ｔｒｉｇｇｅｒｉｎｇ ａ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂｏｏｍ．Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｈａｖｅ ｇｒａｄｕａｌｌｙ ｇａｉｎｅｄ ｒｅｃｏｇ— ｎｉｔｉｏｎ ｂｅｙｏｎｄ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｉｎ ｔｈｅ ｉｆｅｌｄ ｏｆ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ，ａｌｏｎｇ ｗｉｔｈ ｔｈｅ ａｄｖａｎｃｅｓ ｉｎ ｗｏｒｄ ｖｅｃ— ｔｏｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｂａｓｅｄ ｏｎ ｍａｓｓｉｖｅ ｔｅｘｔ．Ｒｅｖｉｅｗｓ ＣＮＮ＇ｓ ｌａｔｅｓｔ ｒｅｓｅａｒｃｈ ａｃｈｉｅｖｅｍｅｎｔｓ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｒｅｌａｔｉｏｎａｌ ｅｘｔｒａｃｔｉｏｎ，ｉｎ— ｔｒｏｄｕｅｅｓ ｉｔｓ ｄｅｖｅｌｏｐｍｅｎｔ ｐｒｏｃｅｓｓ ａｎｄ ｂａｓｉｃ ｆｒａｍｅｗｏｒｋ，ａｎｄ ｓｕｍｍａｒｉｚｅｓ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｄｉｒｅｃｔｉｏｎ ｏｆ ＣＮＮ ｉｎ ｔｈｉｓ ｆｉｅｌｄ． Ｋｅｙｗｏｒｄｓ： Ｃｏｎｙｏｌｕｔｉｏｎａｌ；Ｗｏｒｄ Ｖｅｃｔｏｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ；Ｒｅｌａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ 现代计算机２０１７ ｏ３下
