상세 보기
심층신경망으로 가는 통계 여행, 세 번째 여행: 언어모형과 트랜스포머
A statistical journey to DNN, the third trip: Language model and transformer
- Kim Yu Jin;
- Hwang In Jun;
- Jang Kisuk;
- Lee Yoon Dong
초록
지난 10년의 기간 심층신경망의 비약적 발전은 언어모형의 개발과 그 발전을 함께 해 왔다. 언어모형은 초기 RNN을 이용한 encoder-decoder 모형의 형태로 개발되었으나, 2015년 attention이 등장하고, 2017년 transformer가 등장하여 혁명적 기술로 성장하였다. 본연구에서는 언어모형의 발전과정을 간략하게 살펴보고, 트랜스포머의 작동원리와 기술적 요소에 대하여 구체적으로 살펴본다. 동시에 언어모형, 트랜스포머와 관련되는 통계모형과, 방법론에 대하여 함께 검토한다.
키워드
언어모형; 트랜스포머; 다중어텐션; 인코더-디코더; 위치인코딩; language model; transformer; multi-head attention; encoder-decoder; positional encoding
- 제목
- 심층신경망으로 가는 통계 여행, 세 번째 여행: 언어모형과 트랜스포머
- 제목 (타언어)
- A statistical journey to DNN, the third trip: Language model and transformer
- 저자
- Kim Yu Jin; Hwang In Jun; Jang Kisuk; Lee Yoon Dong
- 발행일
- 2024-10
- 저널명
- 응용통계연구
- 권
- 37
- 호
- 5
- 페이지
- 567 ~ 582