앙상블 다이버시티를 이용한　RAG-LLM 응답 성능 향상

대규모 언어 모델(LLM)은 질문 답변을 포함한 자연어 처리 작업에서 괄목할 만한 발전을 보여 왔다. 그러나 이러한 모델은 뛰어난 성능에도 불구하고 종종 부정확하거나 불완전한 답변을 생성하는 등의 한계가 있어 왔다. 이 한계를 극복하기 위한 방안 중의 하나로 앙상블 다양성을 통해 LLM의 응답 품질을 향상시키는 새로운 접근 방식을 제안한다. 우리는 여러 방식의 LLM 방식들의 응답 다양성을 활용하여 단일 LLM 방식의 단점을 완화하고 보다 정확하고 신뢰할 수 있는 답변을 생성하는 것을 목표로 한다. 특히 본 방식은 앙상블 다이버시티...

Full description

Saved in:
Bibliographic Details
Published in:한국정보통신학회논문지 Vol. 28; no. 8; pp. 916 - 926
Main Authors: 강석훈(Seok-Hoon Kang), 김성진(Sung-Jin Kim)
Format: Journal Article
Language:Korean
Published: 한국정보통신학회 01.08.2024
Subjects:
전자/정보통신공학
Generative AI
생성형 AI
AI
RAG
GPT
인공지능
LLM
ISSN:2234-4772, 2288-4165
Online Access:Get full text
Tags: Add Tag
No Tags, Be the first to tag this record!
Description
Summary:대규모 언어 모델(LLM)은 질문 답변을 포함한 자연어 처리 작업에서 괄목할 만한 발전을 보여 왔다. 그러나 이러한 모델은 뛰어난 성능에도 불구하고 종종 부정확하거나 불완전한 답변을 생성하는 등의 한계가 있어 왔다. 이 한계를 극복하기 위한 방안 중의 하나로 앙상블 다양성을 통해 LLM의 응답 품질을 향상시키는 새로운 접근 방식을 제안한다. 우리는 여러 방식의 LLM 방식들의 응답 다양성을 활용하여 단일 LLM 방식의 단점을 완화하고 보다 정확하고 신뢰할 수 있는 답변을 생성하는 것을 목표로 한다. 특히 본 방식은 앙상블 다이버시티의 하나의 방식인 병렬 배깅 방식에 기반하고 있다. 또한, LLM을 이용해 제안 방식의 성능을 다른 방식들의 결과들과 함께 예측하여 상대적 성능 지표를 뽑을 수 있도록 하였다. 실험결과, 본 논문의 EDG-A 방식은 RAG 방식 대비 평균 11.5%, DAG 방식 대비 평균 16.5%의 성능 향상을 보였다. Recently, large language models (LLMs) have shown remarkable advancements in natural language processing tasks, including question-answering. However, despite their excellent performance, these models often generate inaccurate or incomplete answers, revealing certain limitations. To overcome these limitations, we propose a novel approach that leverages ensemble diversity to improve the response quality of LLMs. We aim to mitigate the shortcomings of a single LLM approach by utilizing the response diversity of various LLM methods, thereby generating more accurate and reliable answers. This approach is mainly based on parallel bagging, a technique of ensemble diversity. Furthermore, we allow the proposed method to predict relative performance metrics by comparing its results with other LLM methods. As a result of the experiment, the EDG-A showed an average performance improvement of 11.5% compared to the RAG method and an average of 16.5% ​​compared to the DAG method. KCI Citation Count: 1
Bibliography:http://jkiice.org
ISSN:2234-4772
2288-4165
DOI:10.6109/jkiice.2024.28.8.916