Suchergebnisse - 大规模语言模型

基于大规模语言模型的知识图谱可微规则抽取 von 潘雨黛, 张玲玲, 蔡忠闽, 赵天哲, 魏笔凡, 刘均

“… 预训练语言模型的知识图谱可微规则抽取方法DRaM,将离散的一阶逻辑规则与连续的向量空间进行融合.针对规则中的原子公式顺序对推理过程产生的影响,通过引入大规模预训练语言模型对推理过程进行编码来解决.融合一阶逻辑规则的可微推理方法DRaM,在三个知识图谱数据集Family、Kinship和UMLS上进行的链接预测任务获得了较 …”
Volltext

基于对比学习的大型语言模型反向词典任务提示生成方法 von 田思成, 黄少滨, 王锐, 李熔盛, 杜治娟

“… TP391; 反向词典任务是一种新兴的任务,目的是根据给定的定义来查找对应的单词.大规模语言模型为这一任务提供了新的可能性,但是提示语句的质量会影响大模型的性能.为此,提出了一种基于对比学习的提示生成方法.该方法在从多个语义层面上理解定义语义的同时,还利用对比学习的原理在训练过程中引入了负例,提升了模型的泛化能力.通过 …”
Volltext

基于大语言模型的移动应用可访问性增强方法 von 马琦珉, 李向民, 周雅倩

“… TP311; 移动应用可访问性(Mobile Application Accessibility)是指移动应用程序设计和实现的程度,目的是确保任何用户都能够轻松地访问和使用该应用.国内移动应用市场上的海量应用中支持无障碍功能的应用少之又少,与数量庞大且与日俱增的老年群体和视觉障碍群体追求享受数字时代红利、打破数字鸿沟的愿景产生矛盾.大规模语言模型(Large Language Model,LLM …”
Volltext

储能变流器信号高精度故障诊断方法 von 王宇, 祁琦, 王纯, 许才

“… 方法的性能也不尽如人意.为此,提出一种基于大模型知识和通道注意力网络的储能变流器功率模组故障诊断方法LLMCAN.首先通过预训练的大规模语言模型,在特征提取过程中利用丰富的领域知识,增强模型对复杂功率模组振动信号的分析能力.其次引入通道注意力网络使模型能够自适应学习信号中不同通道之间的关系,提高故障诊断的准确性.在包含1 …”
Volltext

基于图神经网络的实体对齐表示学习方法比较研究 von 彭鐄, 曾维新, 周杰, 唐九阳, 赵翔

“… 了大规模语言模型与知识图谱对齐融合的可行性,并分析了存在的问题以及潜在的挑战 …”
Volltext

ChatGPT对图书馆智能知识服务的启示与思考 von 赵瑞雪, 黄永文, 马玮璐, 董文佳, 鲜国建, 孙坦

“… [目的/意义]ChatGPT是数智时代AI技术取得重大突破的典型应用，也进一步体现了多模态内容对于人工智能技术更新迭代的迫切需求。研究聚焦ChatGPT，在加深用户对其整体认知的 …”
Volltext

大型预训练语言模型在网络健康信息鉴别中的应用探讨 von 王超, 孔祥辉

“… [目的/意义]探讨Chat GPT等大规模预训练语言模型在网络健康信息识别中的应用效果，为人工智能在健康信息领域的应用提供参考。[方法/过程]以国内某权威辟谣平台与健康相关的信息为研究对象，使用“Chat GPT”和“讯飞星火”对其真实性进行鉴定，对其性能进行评估，并将鉴定结果与医学专家或权威机构的鉴定结果进行比较 …”
Volltext

基于提示学习的轻量化代码生成方法 von 徐一然, 周宇

“… TP311; 代码自动生成是提高软件开发效率的有效途径之一,已有的研究一般将代码生成作为一项序列到序列的任务,并且大规模预训练语言模型的微调过程往往伴随着高昂的算力开销.文中提出了 一种基于提示学习的轻量化代码生成方法(Prompt Learning based Parameter-Efficient Code Generation,PPECG …”
Volltext

基于BERT模型与知识蒸馏的意图分类方法 von 廖胜兰, 吉建民, 俞畅, 陈小平

“… TP391.1; 意图分类是一种特殊的短文本分类方法,其从传统的模板匹配方法发展到深度学习方法,基于B E RT模型的提出,使得大规模的预训练语言模型成为自然语言处理领域的主流方法.然而预训练模型十分庞大,且需要大量的数据和设备资源才能完成训练过程.提出一种知识蒸馏意图分类方法,以预训练后的B E RT作为教师模型 …”
Volltext

基于深度学习的跨语言文本情报分类方法研究 von 殷来祥, 李志强, 李元龙

“… G350; 文本情报分类工作是情报分析领域的基础性工作.目前,文本情报分类工作通常面向单一语言,跨语言文本情报分类研究相对较少.针对跨语言文本情报分类问题,提出了"XLM-R+TextCNN"模型,通过基于大规模多语种语料训练的跨语言预训练模型(XLM-R)生成与具体语言表示形式无关的文本情报向量,将文本向量输入 …”
Volltext

Memory-efficient tensor parallelism for long-sequence Transformer training von Liang, Peng, Qiao, Linbo, Shi, Yanqi, Zheng, Hao, Tang, Yu, Li, Dongsheng

“… Transformer-based models like large language models (LLMs) have attracted significant attention in recent years due to their superior performance. A long …”
Volltext

SentiBERT:结合情感信息的预训练语言模型 von 杨晨, 宋晓宁, 宋威

“… TP391; 在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领域研究者的关注.现有模型在预训练阶段主要提取文本的语义和结构特征,针对情感类任务的复杂情感特征,在最新的预训练语言模型BERT(双向transformers编码表示)的基础上,提出了一种侧重学习情感特征的预训练方法.在目标领域的预训练阶段,利用 …”
Volltext

基于BERT-BiLSTM模型的短文本自动评分系统 von 夏林中, 叶剑锋, 罗德安, 管明祥, 刘俊, 曹雪梅

“… (bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory …”
Volltext

基于上下文相关字向量的中文命名实体识别 von 张栋, 陈文亮

“… 相关的字向量,即利用语言模型生成上下文相关字向量以改进中文NER模型的性能.同时,为解决命名实体识别中的未登录词问题,文中提出了基于字语言模型的中文NER系统.把语言模型学习到的字向量作为NER模型的输入,使得同一中文汉字在不同语境中有不同的表示.文中在6个中文NER数据集上进行了实验.实验结果表明,基于上下文相关的字向量 …”
Volltext

生成式大语言模型在中文放射医学领域的应用研究 von 陈龙飞, 高鑫, 侯皓天, 叶初阳, 刘亚欧, 张美慧

“… 导致的综合性能不足的情况.针对上述问题,提出了一种基于本地高效微调大语言模型的中文放射医学领域自然语言任务解决方案.通过收集并构建大规模高质量中文影像学报告自然语言任务数据集,采用LoRA高效微调方法对开源大语言模型Baichuan2进行有监督微调训练,提出了能够同时解决四种中文放射医学领域临床任务的"龙影大模型".提出 …”
Volltext

大语言模型驱动的知识图谱实体摘要的次模优化方法 von 张琪, 钟昊

“… TP301; 知识图谱的规模不断增加,使得实体摘要成为了研究的热点问题.实体摘要的目标是从描述实体的大规模三元结构事实中得到实体的简洁描述.研究的目的是基于大语言模型提出一种次模优化方法用于实体摘要的提取.首先,基于三元组中实体、关系和属性的描述信息,采用大语言模型对它们进行嵌入,能够有效地捕捉三元组的语义信息,生成 …”
Volltext

支持鹏程系列开源大模型应用生态演化的可持续学习能力探索 von 余跃, 刘欣, 蒋芳清, 张晗, 王晖, 曾炜

“… 大规模预训练模型利用大规模语料以及多样化的预训练任务在自然语言处理领域取得了巨大的成功。随着大模型的逐步发展，大模型的可持续学习能力探索成为新的研究热点。主要介绍鹏程系列大模型持续学习的技术体系、应用实践以及面临的挑战，包括通过任务扩展、数据增量和知识推理的鹏程系列可持续学习技术体系，开源大模型鹏程·盘古多任务可持续 …”
Volltext

基于声学模型共享的零资源韩语语音识别 von 王皓宇, JEON Eunah, 张卫强, 李科, 黄宇凯

“… TN912; 精准的语音识别系统通常使用大量的有标注语音数据训练得到,但现有的开源大规模数据集只包含一些广泛使用的语言,诸多小语种则面临着训练数据不足的问题.声学模型共享方法给出了这个问题的一种解决方法,它利用不同语种间的相似性,可以实现不需要小语种语音数据的语音识别.本文将声学模型共享方法扩展到韩语语音识别上,利用 …”
Volltext

基于思维链的大语言模型知识蒸馏 von 李荣涵, 浦荣成, 沈佳楠, 李栋栋, 苗启广

“… TP391; 思维链(Chain of thought,CoT)提示使大语言模型能够按照具体推理步骤处理复杂的任务,让大语言模型在常识推理、数学逻辑推理和可解释性等方面表现出更强的能力.然而,CoT方法的主要缺点在于其对庞大语言模型的依赖,这些模型通常拥有数百亿的参数,在大规模部署方面面临挑战.为此,本文提出一种基于 …”
Volltext

大模型驱动的科技政策法规问答系统研究 von 向小伟, 申艳光, 胡明昊, 闫天伟, 罗威, 罗准辰

“… TP391; 科技政策法规问答系统(Q&A)在帮助公众理解和应用科技法规方面发挥关键作用.大语言模型(LLM)可以显著提升科技政策法规问答系统的准确性和效率.然而,基于大语言模型的科技政策法规问答系统仍然存在以下问题:缺乏大规模高质量的科技政策法规问答数据集,且现有自动构建大规模数据集的方法在引用和整合政策法规知识方面 …”
Volltext