서강대학교 컴퓨터공학과 김영재 교수(왼쪽 사진), 김준원 학석사연계과정 연구생.
서강대학교 컴퓨터공학과 연구팀이 대규모 언어모델(LLM)의 장문맥 처리에 필요한 메모리 사용량을 줄이면서 성능을 유지하는 KV 캐시 압축기술 ‘SurrogateKV’를 개발했다. 관련 논문은 자연어처리 국제학술대회 ‘EMNLP 2026’의 Findings에 채택됐다.
연구에는 김준원 학석사연계과정 연구생이 제1저자로 참여했으며 유정현 박사과정, Farid Talibli 석박사통합과정, 소정민 교수, 김영재 교수 등이 함께했다. 논문 제목은 ‘SurrogateKV: Representation-Preserving KV Cache Compression for Long-Context LLMs’다.
LLM은 긴 문맥을 처리할 때 입력 토큰의 key와 value 상태를 ‘KV 캐시’에 저장한 뒤 문장을 생성하는 과정에서 반복적으로 활용한다. 문맥이 길어질수록 KV 캐시도 커져 그래픽처리장치(GPU) 메모리 사용량과 데이터 전송 비용이 증가한다.
기존 KV 압축기술은 중요도가 높은 KV만 남기고 나머지를 삭제하는 방식이 주로 사용됐다. 최근에는 삭제 대상 정보를 다른 KV나 특정 기준점에 합쳐 문맥 정보를 보존하는 방식도 연구되고 있다.
연구팀이 개발한 SurrogateKV는 최근 토큰의 어텐션(attention)을 이용해 문맥의 중요도를 평가하고, 제한된 캐시 공간에서 각 문맥 구간을 어떻게 보존할지 결정한다. 중요도가 높은 영역은 원본 KV인 ‘RAW’로 유지하고, 일부 중요도가 낮은 연속 영역은 하나의 ‘SURROGATE KV’로 압축해 남긴다. 나머지 정보는 삭제한다.
SURROGATE KV 역시 일반 KV와 같은 형태로 구성돼 별도의 모델 학습이나 어텐션 연산 변경 없이 사용할 수 있다. SnapKV, DynamicKV, Ada-KV 등 기존 KV 캐시 압축기법과 결합할 수도 있다.
연구팀에 따르면 LongBench 평가에서 SurrogateKV와 Ada-KV를 결합한 ‘SurrogateKV-Ada’는 레이어당 512개 슬롯 조건에서 41.26점을 기록했다. 기존 Ada-KV의 40.77점보다 높았다. 전체 KV를 사용하는 방식과 비교하면 평균 10.5%의 prefill KV 캐시만 사용하면서 성능의 98.4%를 유지했다.
SurrogateKV-Snap도 128·512 캐시 설정에서 각각 37.99점과 40.88점을 기록해 비교 대상 중 가장 높은 기존 기법보다 각각 3.20점과 1.38점 높았다. NIAH 평가에서는 SnapKV의 평균 검색 정확도가 87.51점에서 98.84점으로 향상됐다.
연구팀은 이번 연구가 KV 캐시 압축을 단순히 ‘어떤 토큰을 남길 것인가’에서 ‘제한된 공간에서 문맥을 어떤 형태로 표현할 것인가’로 확장했다는 데 의미가 있다고 설명했다. 삭제 대상 문맥의 일부 정보를 압축된 형태로 보존해 같은 캐시 용량에서도 장문맥 이해와 검색 성능을 높일 수 있다는 것이다.
김준원 연구생은 “기존 방식이 어떤 KV를 남길지에 집중했다면 이번 연구에서는 삭제될 문맥 구간을 어떤 형태로 남길지까지 고려했다”며 “앞으로 Agentic AI와 VLA 등 장기간의 문맥과 상태 관리가 필요한 분야로 연구를 확장하고 싶다”고 말했다.
EMNLP는 국제전산언어학협회(ACL) 산하 SIGDAT가 주관하는 자연어처리 분야 국제학술대회다. EMNLP 2026은 10월 24일(현지 시간)부터 29일까지 헝가리 부다페스트에서 열릴 예정이다.