대규모 언어모델을 활용한 단계별 누적 프롬프팅 방법론의 법률 도메인 적용

초록

이 연구는 법률 분야의 복잡한 논리적 추론에 적합한 생성형 대규모 언어 모델에 단계적인 계층적 프롬프트 방식을 제시한다. 복잡한 논리적 문제를 여러 단계로 분해하고, 각 단계의 결과를 계속 누적하며 이후 단계의 프롬프트를 구성한다. 한국 변호사의 논술 시험 평가 과정에 이 방법을 적용했을 때, 파인 튜닝 방식보다 우수한 성과를 달성하였다. 특별히, 최종 단계의 법률 전문가 평가에서는 두 가지 작업에서 모두 인간의 정밀도가 0.70 이상으로, 정확한 근거에 기초한 해석을 생성할 수 있음이 나타났다. 이러한 프롬프트 기법은 LLM에서 발생하는 Hallucination 문제를 극복하고 효과적으로 활용할 수 있음을 시사한다. 앞으로의 연구에서는 LLM에 더욱 정확한 법률 지식을 반영할 수 있도록 전문화된 검색기의 도입을 고려하여, 더욱 정확한 근거를 프롬프트에 포함하는 방향으로 발전할 수 있을 것이라 기대한다.

키워드