基于对比学习的大型语言模型反向词典任务提示生成方法

TP391; 反向词典任务是一种新兴的任务,目的是根据给定的定义来查找对应的单词.大规模语言模型为这一任务提供了新的可能性,但是提示语句的质量会影响大模型的性能.为此,提出了一种基于对比学习的提示生成方法.该方法在从多个语义层面上理解定义语义的同时,还利用对比学习的原理在训练过程中引入了负例,提升了模型的泛化能力.通过这种方法,可以将目标单词缩小到一个小范围内,然后用大模型从这个范围内选择最符合定义语义的单词.实验结果表明,该方法可以有效地提升大规模语言模型在反向词典任务上的表现.提示生成模型有94.7％的概率生成包含目标词的范围,大规模语言模型有58.03％的概率直接选出目标单词,有74.5...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	计算机科学 Jg. 51; H. 8; S. 256 - 262
Hauptverfasser:	田思成, 黄少滨, 王锐, 李熔盛, 杜治娟
Format:	Journal Article
Sprache:	Chinesisch
Veröffentlicht:	内蒙古大学计算机学院 内蒙古 010021 15.08.2024 哈尔滨工程大学计算机科学与技术学院 哈尔滨 150001%生态大数据教育部工程研究中心 内蒙古 010021
Schlagworte:	Large-scale language model Contrastive loss Multiple semantic scales Contrastive learning Reverse dictionary 对比学习 反向词典 大规模语言模型 对比损失 多个语义层面
ISSN:	1002-137X
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!