面向可解释性的知识图谱推理研究(1)

  报告分为以下 5 个部分:

  01 研究背景

  1. 引言

  图片

  首先,介绍一下背景。人工智能经过 70 多年的发展,已经从计算智能的能存、会算,进步到了感知智能的能听、能看、会认、会说,并已有很多系统在此方面做的很出色,但与理想的认知智能还有很大的距离。认知智能希望机器能够对数据模型、原理进行理解、推理、解释等,这种认知智能很大的特点是依赖背景知识,例如,对于新的网络概念或网络热词,如“996”、“YYDS”等,这种新的概念是建立在群体共识下的,非常依赖背景知识,对这种非常符合认知智能特点的概念的学习和建模是目前的难点,学习和表示这种背景知识是非常关键的技术。

  2. 知识图谱

  图片

  知识图谱即是承载和表示背景知识的技术和工具,以图的形式,将真实世界中的实体、关系组织成网,将知识进行结构化。以上图知识图谱为例,可以知识图谱中的实体和关系抽象为图中的节点和边,其特点是:

  3. 知识图谱的下游应用

  图片

  知识图谱在需要背景知识或知识获取中应用比较广泛,比较典型的包括:信息检索、问答/聊天系统,语言、图像理解等。

  信息检索,利用知识图谱进行概念之间的智能推理、模糊查询,同时可给关键概念提供知识卡片,方便用户体验。

  问答/聊天系统,当和问答助手或聊天系统进行交互时,可解决任务型问答的问题,则知识图谱将发挥比较核心的作用。

  语言、图像理解,利用知识图谱实现对语言数据、文本数据、图像数据的理解,利用知识增长的方式帮助学习概念之间的关系,如最近研究比较活跃的VQA、图像关系推理等。

  4. 知识图谱推理

  图片

  以上提到的应用中,核心的功能就是知识图谱推理。所谓知识图谱推理,就是在知识图谱中根据已有的知识来获得新知识的能力。以上图中人物关系知识图谱为例,已知 X 与 Z、Z 与 M 之间的关系,Z 是 X 的妻子,M 是 Z 的孩子,则系统可以推理出X是M的父亲,这是一种最简单的推理关系。

  知识图谱推理可以从两个角度来看,一是从逻辑演绎的角度,它是一个多个命题约束下真值判断的问题。二是可以从图的角度来理解知识图谱推理,可以建模分析链接预测的问题,可根据图中的节点来预测节点之间的关联;如:给出两个实体,预测两者之间有哪种边,即哪种关系;给定某一个实体、某一条边,能预测出哪些实体与这个实体有某种关联。

  02 前沿进展

  1. 主要方法

  图片

  这里将前沿进展的主要方法分为 4 个部分,一是演绎逻辑及规则;二是基于图结构的推理;三是知识图谱嵌入表示;四是深度神经网络模型。

  2. 演绎逻辑及规则

  图片

  该方法是非常经典且常见的方法。将自然语言查询转化为逻辑操作符的组合,通过组合来表达这种查询,再以具体的编程语言进行实现得到查询,比较著名图的查询的实现包括 SPARQL、Cypher、Datalog 等语言的归纳逻辑编程。基于演绎逻辑推理的特点是:

  近期研究的一个热点和热门是,如何利用机器学习和深度学习,自动地发掘推理的规则。

  3. 基于图结构的推理

  图片

  这里认为图结构有两个特征:一是路径特征,代表算法是 PRA 及扩展算法,通过图的遍历算法或随机游走方法来提取节点间的路径特征,通过路径特征来对节点连接进行预测,其特点是在推理的同时提供路径可解释性,但其问题是对于推理节点没有连接的问题就不能解决。基于传统的方法,其搜索空间比较大。二是基于图结构的方法,代表方法是 Grall,利用消息传递机制提取目标实体的结构信息,提供子图可解释性;但目前子图结构的方式还不是很成熟,因知识图谱通常很大,如果遍历图中所有的子图结构,遍历的方式方法非常重要。

  4. 知识图谱嵌入表示

  图片

  将知识图谱高维、离散的数据,通过设计某种得分函数,将高维知识图谱嵌入到低纬连续的向量空间之中,将实体和关系表示成数值型的向量进行计算,其代表性的模型为 TransE 类型,近期研究的事 RotateE 模型或在双曲空间中嵌入的模型,其方法的特点是浅层的神经网络,通过特定的嵌入空间的结构实现知识图谱语义的表示。

  5. 深度神经网络模型

  图片

  深度神经网络模型是通过将实体和关系设计成查询对,通过查询对与实体、关系的匹配,通过深度神经网络得到推理的相似度得分,来进行推理的判断。近期研究的热点是 Transformer 或图神经网络。

  图片

  知识图谱嵌入模型和深度网络模型都视为神经网络模型,其相同点是都会设计一个得分函数,通过数据驱动的方式,以梯度反向传播方法进行训练。其优点是泛化性能比较好,易于数值计算及并行化,规模性好,可以有效缓解图结构维度灾难的问题。其缺点是只能看到输入和输出数值的相似度,缺乏可解释性,不知道模型内部发生了什么,是一个黑盒的过程,因此可解释性差,对噪音的鲁棒性不强,只能进行单步的推理。

  *博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。