확장성 있는 분산 딥러닝 학습을 위한 데이터 불균형 최소화 기법

초록

심층 신경망의 학습은 계산 집약적이고 오랜 시간이 걸리기 때문에, 학습의 가속화를 위해 다수의 GPU가 장착된 GPU 클러스터를 사용하여 학습을 분산시키는 방법이 널리 사용되고 있다. 심층 신경망의 분산 학습은 계산이 가장 느린 straggler 노드에 의해 속도와 확장성이 저하되어 straggler 문제를 해결하기 위한 선행 연구들이 제안되었다. 그러나 기존의 방식은 이미지와 같이 모든 데이터 샘플들이 일정한 크기를 가지고 있다고 가정했기 때문에 영상이나 음성 데이터와 같이 데이터 샘플들의 크기가 서로 다른 불균형 데이터를 사용한 분산 학습의 문제점을 인지하지 못했다. 본 논문에서는 데이터 샘플들 간 크기의 차이로 인해 발생하는 straggler 문제를 발견하고 이를 해결하기 위해 데이터 불균형을 고려한 데이터 불균형 최소화 기법 (Data Imbalance Minimization, DIM) 을 제안한다. 여덟 대의 NVIDIA Tesla T4 GPU가 장착된 클러스터에서 DIM의 성능을 평가한 결과 DIM은 최신 시스템에 비해 최대 1.77배의 학습 속도 향상 및 비슷한 수준의 확장성을 가진다.

키워드