김영재 서강대 컴퓨터공학과 교수(왼쪽 사진), 황순 박사과정생.
채택 논문은 ‘OASIS: Hierarchical Query Execution over Multi-Layer Computation-Enabled Object Storage’다. 서강대 김영재 교수 연구팀과 SK하이닉스 메모리 시스템 연구소, 미국 로스앨러모스 국립연구소(Los Alamos National Laboratory)가 공동 수행했다.
연구팀은 수직적 질의 분할 실행이 가능한 계산 가능 오브젝트 스토리지 시스템 ‘OASIS’를 개발했다. 스토리지 시스템 내부 여러 계층에 흩어진 연산 자원을 활용해 데이터 이동을 최대 99.998% 줄이는 계층적 질의 실행 기법을 제안했다.
대규모 과학 데이터 분석에서는 수십 GB의 데이터를 스토리지에서 분석 서버로 옮기는 과정이 성능 병목으로 작용한다. 기존에는 스토리지가 데이터를 보내기 전 필터링 같은 연산을 미리 수행해 데이터 이동을 줄이는 방식이 사용됐다. 하지만 이 방식은 스토리지 바깥으로 나가는 데이터만 줄일 뿐, 스토리지 장비 내부에서 디스크 인클로저로부터 스토리지 서버로 데이터를 끌어올리는 이동은 줄이지 못했다.
연구팀은 이 문제를 ‘어떤 연산을 스토리지에서 할 것인가’가 아니라 ‘스토리지 내부 어느 계층에서 실행을 나눌 것인가’의 문제로 규정하고 OASIS를 개발했다. OASIS의 핵심 알고리즘인 SODA는 데이터를 실제로 읽지 않고도 저장 시점에 수집한 통계만으로 각 연산의 데이터 축약률을 예측한다. 이를 바탕으로 계층 간 데이터 이동이 최소화되는 분할 지점을 자동으로 찾아낸다. 실제 과학 워크로드 평가 결과, 내부 데이터 이동은 20GB에서 76KB로 줄었다. 기존 최신 시스템 대비 종단 간 지연 시간도 최대 25.1% 단축했다.
산업적 활용 가능성도 있다. 별도 전용 하드웨어 없이 기존 스토리지 장비의 자원만으로 구현할 수 있고, 표준 S3 인터페이스를 유지해 기존 분석 엔진과 호환된다. 데이터 이동 감소는 에너지 절감으로도 이어져 AI·데이터 인프라의 지속가능성 측면에서도 기여가 기대된다.
제1저자인 황순 박사과정은 “스토리지 측 연산의 효용성은 꾸준히 제기돼 왔으나 스토리지 시스템 내부 자원을 충분히 활용하지 못하는 상황이 지속돼 왔다”며 “이를 스토리지 내부 어느 계층에서 실행을 끊을 것인가라는 배치 문제로 다시 정의해 내부 데이터 이동 병목을 해결할 수 있었다”고 소감을 전했다.
SC 26은 11월 15일부터 20일(현지 시간)까지 미국 시카고 맥코믹 플레이스에서 열린다. 채택된 정규 연구 논문은 기술 프로그램에서 발표된다.