상세 보기
LSM 기반 스트리밍 시스템에서 비동기 상태 저장 기법을 이용한 성능 향상
Performance Improvement via Asynchronous Commit Mechanism in LSM-based Stateful Streaming System
- 박규리;
- 정연우;
- 김지섭;
- 박성용
초록
많은 양의 데이터를 처리하는 상태 저장 스트리밍 쿼리에 대해 높은 수준의 처리 속도가 요구됨에 따라, 대량의 상태를 유지하는 LSM(Log Structured Merge) 기반의 내장형 PKVS(Persistent Key-Value Store)가 등장하였다. 상태 관리를 위한 LSM 연산은 스트리밍 응용의 성능을 향상시키지만, 동기적으로 수행되는 커밋(Commit) 작업으로 인해 성능이 떨어지는 것을 관찰하였다. 이를 해결하기 위해 본 논문에서는 비동기 커밋 작업 메커니즘을 제안한다. 비동기 커밋 메커니즘은 기존 동기적으로 수행되던 커밋 작업을 백그라운드에서 비동기적으로 수행하여 응용의 성능을 향상시킨다. 우리는 Apache Spark 프레임워크에 우리의 메커니즘을 적용하여 기존의 Spark와 성능을 비교하였다. 실험 결과 제안하는 메커니즘은 기존 Spark보다 99th에서의 꼬리 지연시간이 최대 69.14%까지 감소하였고, 평균 처리량은 최대 132.44%까지 증가하였다.
키워드
stateful stream process; micro-batch system; LSM-Tree; key-value store; asynchronous; 상태 저장 스트림 처리; 마이크로 배치 시스템; 로그 구조 병합 트리; 키-값 저장소; 비동기
- 제목
- LSM 기반 스트리밍 시스템에서 비동기 상태 저장 기법을 이용한 성능 향상
- 제목 (타언어)
- Performance Improvement via Asynchronous Commit Mechanism in LSM-based Stateful Streaming System
- 저자
- 박규리; 정연우; 김지섭; 박성용
- 발행일
- 2024-01
- 권
- 30
- 호
- 1
- 페이지
- 25 ~ 30