심층신경망으로 가는 통계 여행, 세 번째 여행: 언어모형과 트랜스포머

A statistical journey to DNN, the third trip: Language model and transformer

초록

지난 10년의 기간 심층신경망의 비약적 발전은 언어모형의 개발과 그 발전을 함께 해 왔다. 언어모형은 초기 RNN을 이용한 encoder-decoder 모형의 형태로 개발되었으나, 2015년 attention이 등장하고, 2017년 transformer가 등장하여 혁명적 기술로 성장하였다. 본연구에서는 언어모형의 발전과정을 간략하게 살펴보고, 트랜스포머의 작동원리와 기술적 요소에 대하여 구체적으로 살펴본다. 동시에 언어모형, 트랜스포머와 관련되는 통계모형과, 방법론에 대하여 함께 검토한다.

키워드

언어모형트랜스포머다중어텐션인코더-디코더위치인코딩language modeltransformermulti-head attentionencoder-decoderpositional encoding
제목
심층신경망으로 가는 통계 여행, 세 번째 여행: 언어모형과 트랜스포머
제목 (타언어)
A statistical journey to DNN, the third trip: Language model and transformer
저자
Kim Yu JinHwang In JunJang KisukLee Yoon Dong
DOI
10.5351/KJAS.2024.37.5.567
발행일
2024-10
저널명
응용통계연구
37
5
페이지
567 ~ 582