앙상블 다이버시티를 이용한 RAG-LLM 응답 성능 향상 - 강석훈(Seok-Hoon Kang); 김성진(Sung-Jin Kim) (한국정보통신학회논문지, 2024)
대규모 언어 모델(LLM)은 질문 답변을 포함한 자연어 처리 작업에서 괄목할 만한 발전을 보여 왔다. 그러나 이러한 모델은 뛰어난 성능에도 불구하고 종종 부정확하거나 불완전한 답변을 생성하는 등의 한계가 있어 왔다. 이 한계를 극복하기 위한 방안 중의 하나로 앙상블 다양성을 통해 LLM의 응답 품질을 향상시키는 새로운 접근 방식을 제안한다. 우리는 여러 방식의 LLM 방식들의 응답 다양성을 활용하여 단일 LLM 방식의 단점을 완화하고 보다 정확하고 신뢰할 수 있는 답변을 생성하는 것을 목표로 한다. 특히 본 방식은 앙상블 다이버시티의 하나의 방식인 병렬 배깅 방식에 기반하고 있다. 또한, LLM을 이용해 제안 방식의 성능을 다른 방식들의 결과들과 함께 예측하여 상대적 성능 지표를 뽑을 수 있도록 하였다. 실험결과, 본 논문의 EDG-A 방식은 RAG 방식 대비 평균 11.5%, DAG 방식 대비 평균 16.5%의 성능 향상을 보였다. Recently, large language models (LLMs) have shown remarkable advancements in natural language processing tasks, including question-answering. However, despite their excellent performance, these models often generate inaccurate or incomplete answers, revealing certain limitations. To overcome these limitations, we propose a novel approach that leverages ensemble diversity to improve the response quality of LLMs. We aim to mitigate the shortcomings of a single LLM approach by utilizing the response diversity of various LLM methods, thereby generating more accurate and reliable answers. This approach is mainly based on parallel bagging, a technique of ensemble diversity. Furthermore, we allow the proposed method to predict relative performance metrics by comparing its results with other LLM methods. As a result of the experiment, the EDG-A showed an average performance improvement of 11.5% compared to the RAG method and an average of 16.5% ​​compared to the DAG method. KCI Citation Count: 1