가상 클러스터 환경에서 하둡 맵리듀스의 성능 향상을 위한 부하분산 기법

초록

고성능 컴퓨팅 등의 다양한 분야에서 널리 이용되던 클러스터 컴퓨팅이 최근 클라우드 서비스의 등장으로 클라우드 상에서 가상 클러스터로 구성되고 있다. 대용량 데이터 처리의 대표적 분산처리 플랫폼인 하둡 클러스터의 구성도 클라우드 상으로 이동하는 추세이며 가상 맵리듀스 클러스터의 성능 향상을 위한 연구가 활발히 이루어지고 있다. 맵리듀스는 분산 처리되는 모든 태스크가 종료되어야 최종 결과를 도출할 수 있는 특성을 갖고 있으므로, 태스크들의 완료 시간이 불균등하면 전체 맵리듀스의 성능이 하락한다는 단점이 있다. 하둡 맵리듀스에서는 추론적 실행 기법을 사용하여 이 문제를 해결하고자 하였지만 가상 클러스터에서는 클라우드 자원 낭비와 같은 문제를 발생시킨다. 본 논문은 Xen 기반의 클라우드 상에서 구성된 가상 맵리듀스 클러스터에서 추론적 실행에 의해 발생하는 문제를 해결하는 부하분산 기법을 제안한다. 제안하는 부하분산 기법은 Xen 크레딧 스케줄러와 리눅스 스케줄러를 태스크 수행시간에 따라 동적으로 조절하여 태스크의 수행시간 불균등을 해소한다. 실험을 통해 태스크들의 수행시간이 기존의 하둡 맵리듀스에 비해 균등하게 이루어지고 낙오자 태스크의 발생을 방지하여 성능이 향상됨을 볼 수 있었다.

키워드