基于对比学习的大型语言模型反向词典任务提示生成方法 - 田思成; 黄少滨; 王锐; 李熔盛; 杜治娟 (计算机科学, 2024)
TP391; 反向词典任务是一种新兴的任务,目的是根据给定的定义来查找对应的单词.大规模语言模型为这一任务提供了新的可能性,但是提示语句的质量会影响大模型的性能.为此,提出了一种基于对比学习的提示生成方法.该方法在从多个语义层面上理解定义语义的同时,还利用对比学习的原理在训练过程中引入了负例,提升了模型的泛化能力.通过这种方法,可以将目标单词缩小到一个小范围内,然后用大模型从这个范围内选择最符合定义语义的单词.实验结果表明,该方法可以有效地提升大规模语言模型在反向词典任务上的表现.提示生成模型有94.7％的概率生成包含目标词的范围,大规模语言模型有58.03％的概率直接选出目标单词,有74.55％的概率在给出5个候选单词时包含目标单词.