支持鹏程系列开源大模型应用生态演化的可持续学习能力探索

大规模预训练模型利用大规模语料以及多样化的预训练任务在自然语言处理领域取得了巨大的成功。随着大模型的逐步发展，大模型的可持续学习能力探索成为新的研究热点。主要介绍鹏程系列大模型持续学习的技术体系、应用实践以及面临的挑战，包括通过任务扩展、数据增量和知识推理的鹏程系列可持续学习技术体系，开源大模型鹏程·盘古多任务可持续学习和鹏程·通言大模型的可持续学习能力实践，大模型可持续学习过程中面临的词表更新、语义映射和知识冲突等挑战。...

Full description

Bibliographic Details

Published in:	智能科学与技术学报 Vol. 4; no. 1; pp. 97 - 108
Main Authors:	余跃, 刘欣, 蒋芳清, 张晗, 王晖, 曾炜
Format:	Journal Article
Language:	Chinese
Published:	POSTS&TELECOM PRESS Co., LTD 01.03.2022
Subjects:	可持续学习 开源大模型 鹏程·盘古 鹏程·通言 鹏程系列大模型
ISSN:	2096-6652
Online Access:	Get full text
Tags:	Add Tag No Tags, Be the first to tag this record!