基于深度学习的命名实体识别与关系抽取

2020-02-22 11:41:35.0 夏栀深度学习浏览量：421 评论：1 PR：0 打印

原创栏目：深度学习标签：深度学习知识图谱自然语言处理关系抽取命名实体识别收藏

基于深度学习的命名实体识别与关系抽取

正在加载中...

未经允许不得转载：夏栀的博客 » 基于深度学习的命名实体识别与关系抽取

评论抢沙发

# 1

北冥有鱼 (2020-02-23 15:46:34.0)
赞赞赞！！回复

取消

夏栀的博客 | 王嘉宁的个人网站——会WEB和深度学习的研究生一枚

欢迎访问夏栀的博客
回到首页
博主：王嘉宁
学校：华东师范大学
邮箱：lygwjn@126.com
微信lygwjn
QQ851019059

# 基于深度学习的命名实体识别与关系抽取
*作者：王嘉宁 QQ：851019059 Email：lygwjn@126.com*
【备注：此博文初次编辑为2018年11月23日，最新编辑为2019年10月24日】
**摘要**：构建知识图谱包含四个主要的步骤：**数据获取、知识抽取、知识融合和知识加工**。其中最主要的步骤是知识抽取。知识抽取包括三个要素：**命名实体识别（NER）**、**实体关系抽取（RE）** 和 **属性抽取**。其中属性抽取可以使用python爬虫爬取百度百科、维基百科等网站，操作较为简单，因此命名实体识别（NER）和实体关系抽取（RE）是知识抽取中非常重要的部分，同时其作为自然语言处理（NLP）中最遇到的问题一直以来是科研的研究方向之一。
 **本文将以深度学习的角度，对命名实体识别和关系抽取进行分析**，在阅读本文之前，读者需要了解深度神经网络的基本原理、知识图谱的基本内容以及关于循环神经网络的模型。可参考本人编写的博文：（1）[基于深度学习的知识图谱综述](https://blog.csdn.net/qq_36426650/article/details/84346754)；（2）[深度神经网络]；（3）(https://blog.csdn.net/qq_36426650/article/details/84398458)。
 本文的主要结构如下，首先引入知识抽取的相关概念；其次对词向量（word2vec）做分析；然后详细讲解循环神经网络（RNN）、长短期记忆神经网络（LSTM）、门控神经单元模型（GRU）；了解基于文本的卷积神经网络模型（Text-CNN）；讲解隐马尔可夫模型（HMM）与条件随机场等图概率模型（CRF）；详细分析如何使用这些模型实现命名实体识别与关系抽取，详细分析端到端模型（End-to-end/Joint）；介绍注意力机制（Attention）及其NLP的应用；随后介绍知识抽取的应用与挑战，最后给出TensorFlow源码、推荐阅读以及总结。**本文基本总结了整个基于深度学习的NER与RC的实现过程以及相关技术，篇幅会很长，请耐心阅读**：

- 一、相关概念
 - 二、序列模型数据
 - 三、循环神经网络
 - 四、循环神经网络的缺陷
 - 五、长短期记忆神经网络（LSTM）与门控神经单元（GRU）
 - 六、长期依赖模型的优化
 - 七、概率图模型（PGM）
 - 八、运用Bi-LSTM和CRF实现命名实体识别
 - 九、卷积神经网络
 - 十、基于文本的卷积神经网络（Text-CNN）的关系抽取
 - 十一、基于依存关系模型的关系抽取
 - 十二、基于远程监督的关系抽取
 - 十三、注意力机制（Attention）
 - 十四、基于注意力机制的命名实体识别与关系抽取
 - 十五、三元组的存储——图形数据库
 - 十六、Tensorflow实现命名实体识别与关系抽取
 - 十七、推荐阅读书籍
 - 十八、**项目实例1（面向智慧农业的知识图谱及其应用系统 · 上海 · 华东师范大学数据科学与工程学院）**
 - 十九、**项目实例2（博主的本科毕业设计&计算教育——智学AI·基于深度学习的学科知识图谱）**
 - 二十、总结

## 一、相关概念
 在传统的自然语言处理中，命名实体识别与关系抽取是两个独立的任务，命名实体识别任务是在一个句子中找出具有可描述意义的实体，而关系抽取则是对两个实体的关系进行抽取。命名实体识别是关系抽取的前提，关系抽取是建立在实体识别之后。
### 1.1 实体与关系
 实体是指具有可描述意义的单词或短语，通常可以是人名、地名、组织机构名、产品名称，或者在某个领域内具有一定含义的内容，比如医学领域内疾病、药物、生物体名称，或者法律学涉及到的专有词汇等。实体是构建知识图谱的主要成员。
 关系是指不同实体之间的相互的联系。实体与实体之间并不是相互独立的，往往存在一定的关联。例如“马云”和“阿里巴巴”分别属于实体中的人名和机构名，而它们是具有一定关系的。
 在命名实体识别和关系抽取之后，需要对所产生的数据进行整合，三元组是能够描述整合后的最好方式。三元组是指（实体1，关系，实体2）组成的元组，在关系抽取任务中，对任意两个实体1和实体2进行关系抽取时，若两者具有关系，则它们可以构建成三元组。例如一句话“马云创办了阿里巴巴”，可以构建的三元组为（“马云”，“创办”，“阿里巴巴”）。
### 1.2 标注问题
 监督学习中有三种问题，分别是分类问题、回归问题和标注问题。分类问题是指通过学习的模型预测新样本在有限类集合中对应的类别；回归问题是指通过学习的模型拟合训练样本，使得新样本可以预测出一个数值；标注问题则是根据输入的序列数据对其用预先设置的标签进行依次标注。
 本文的思想便是序列标注，通过输入的序列数据，选择相应的模型对样本进行训练，完成对样本的标注任务。
 常用的标注任务包括命名实体识别、词性标注、句法分析、分词、机器翻译等，解决序列标注问题用到的深度学习模型为循环神经网络。

## 二、序列模型数据
 在[深度神经网络](https://blog.csdn.net/qq_36426650/article/details/84398458)一文对深度神经网络的分析中已经指出，传统的BP神经网络只能处理长度固定，样本之间相互独立的数据，而对于处理命名实体识别、关系抽取，以及词性标注、情感分类、语音识别、机器翻译等其他自然语言处理的问题中，文本类的数据均以句子为主，而一个句子是由多个单词组成，不同的句子长度不一致，因此对于模型来说，大多数是以单词为输入，而单个词往往没有特定的意义，只有多个词组合在一起才具有一定的含义。例如对于“马云”一词，单个词“马”可能表达的是动物，“云”一词可能表示的是天上飘得云彩，也可以表示“云计算”的云，而“马云”却表示人名。所以这一类数据之间�

相关推荐

评论 抢沙发

评论抢沙发