基于大规模语言模型的知识图谱可微规则抽取

TP391; 知识图谱上的推理是预测不完整三元组中缺失的实体或关系,对结构化知识进行补全,并用于不同下游任务的过程.不同于被普遍研究的黑盒方法,如基于表示学习的推理方法,基于规则抽取的推理方法通过从知识图谱中泛化出一阶逻辑规则,实现一种可解释的推理范式.为解决离散的符号空间与连续的嵌入空间之间的鸿沟,提出一种基于大规模预训练语言模型的知识图谱可微规则抽取方法DRaM,将离散的一阶逻辑规则与连续的向量空间进行融合.针对规则中的原子公式顺序对推理过程产生的影响,通过引入大规模预训练语言模型对推理过程进行编码来解决.融合一阶逻辑规则的可微推理方法DRaM,在三个知识图谱数据集Family、Kinsh...

Full description

Saved in:

Bibliographic Details
Published in:	计算机科学与探索 Vol. 17; no. 10; pp. 2403 - 2412
Main Authors:	潘雨黛, 张玲玲, 蔡忠闽, 赵天哲, 魏笔凡, 刘均
Format:	Journal Article
Language:	Chinese
Published:	陕西省大数据知识工程重点实验室,西安 710049%西安交通大学系统工程研究所,西安 710049 10.10.2023 西安交通大学计算机科学与技术学院,西安 710049
Subjects:	可解释推理 first-order logic rule 知识图谱上的推理 large language model(LLM) knowledge graph reasoning interpretable reasoning 一阶逻辑规则大规模语言模型(LLM)
ISSN:	1673-9418
Online Access:	Get full text
Tags:	Add Tag No Tags, Be the first to tag this record!

Description
Summary:	TP391; 知识图谱上的推理是预测不完整三元组中缺失的实体或关系,对结构化知识进行补全,并用于不同下游任务的过程.不同于被普遍研究的黑盒方法,如基于表示学习的推理方法,基于规则抽取的推理方法通过从知识图谱中泛化出一阶逻辑规则,实现一种可解释的推理范式.为解决离散的符号空间与连续的嵌入空间之间的鸿沟,提出一种基于大规模预训练语言模型的知识图谱可微规则抽取方法DRaM,将离散的一阶逻辑规则与连续的向量空间进行融合.针对规则中的原子公式顺序对推理过程产生的影响,通过引入大规模预训练语言模型对推理过程进行编码来解决.融合一阶逻辑规则的可微推理方法DRaM,在三个知识图谱数据集Family、Kinship和UMLS上进行的链接预测任务获得了较好的结果,尤其针对链接预测指标Hits@10,DRaM获得了最佳的推理结果.实验结果表明,DRaM能够有效地解决知识图谱上可微推理存在的问题,并且可以从推理过程中抽取带有置信度的一阶逻辑规则.DRaM不仅通过一阶逻辑规则增强了推理效果,同时增强了方法的可解释性.
ISSN:	1673-9418
DOI:	10.3778/j.issn.1673-9418.2306049