경제학 분야의 소규모 언어모형 개발과 훈련

초록

본 연구에서는 AI 언어모형의 경제학 분야 적용을 위한 기초 작업 과정과 응용을 실증분석한다. 경제․금융․재정에 특화된 한국어 소형언어모형(Small-scale Large Language Model; sLLM)을 개발하고, 이를 활용한 응용과정을 다룬다. Meta-llama/Llama-3.1-8B-Instruct를 베이스로, 신뢰성 있는 경제․금융 및 재정 데이터와 다양한 훈련방법을 적용한 후 경제분야 데이터 베이스에 활용하여 그 응용성과 범용성을 평가한다. 실증분석 결과, 본 연구의 소형언어모형은 경제학 관련 질문에 대해 그 맥락의 이해도가 향상되었으며, RAG(Retrieval Augmented Generation)에 적용할 경우 개선된 효과를 보여주고 있다. 이는 번역 오류와 문맥 이해 부족 등의 한계를 완화하며 AI Sovereign 문제를 해결할 수 있는 초석이 될 것으로 판단된다.

키워드