생성형 AI를 이용한 인물화 기반의 다양한 도슨트 AI 생성

초록

본 연구의 목표는 생성형 AI를 이용하여 인물화에서 연상되는 다양한 인격을 만들어, 다양한 관점에서 그림을 해석하는 도슨트 및 평가자를 만드는 것이다. 작품의 설명을 잘 생성해내는, 인격을 형성할 인물화의 핵심 인격 단어를 잘 뽑아내는 LMM 모델을 선별하기 위해 Rouge, METEOR, BERTScore, Human Evaluation에 기반하여 성능을 비교했다. 비교 결과 Llama-3.2와 Molmo 중에서 상대적으로 내용을 더 풍부하게 생성하고, 그림을 잘 인식하는 Molmo를 LMM 모델로 선정했다. Molmo 모델의 결과를 사용하여 LLM Llama-3.1를 통해, 역할 부여 프롬프트 엔지니어링으로 인격을 조정하고 그림을 설명하게 했다. 해당 구조로 만들어진 페르소나 모델은 앞으로 전시를 구경하러 올 관람객에게는 도슨트가 되어줄 것을, 창작자에게는 평가자의 역할을 할 수 있기를 기대한다.

키워드