서강대, 자연어처리 학술대회 구두 발표 논문 선정

왼쪽 위부터 시계방향으로 장두성 서강대 인공지능학과 교수, 구명완 교수, 이인성 석사과정생, 신용섭 학생, 유해준 박사과정생.

서강대학교(총장 심종혁) 인공지능학과 장두성 교수 연구팀의 논문이 자연어처리 분야 학술대회 ‘ACL 2026’ 본회의 구두 발표 논문으로 선정됐다. ACL은 자연어처리 분야의 대표 국제 학술대회로, 올해는 미국 샌디에이고에서 열린다.

게재된 논문은 ‘Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval’이다. 연구팀은 멀티모달 대규모 언어모델(LLM)을 활용해 실제 사용자의 검색 의도에 강한 오디오-텍스트 검색 모델을 제안했다.

기존 오디오-텍스트 검색 모델은 음성이나 음향에 대한 상세 설명문 형태의 질의를 기준으로 평가되는 경우가 많았다. 그러나 실제 사용자는 질문형·명령형·키워드형·배제 조건이 포함된 질의 등 다양한 방식으로 검색한다.

연구팀은 이러한 검색 행태를 반영하기 위해 새로운 오디오 검색 평가 벤치마크 ‘User-Intent Queries(UIQ)’를 제안했다. UIQ는 질문·명령·키워드·패러프레이즈·배제형 부정 질의 등 5가지 유형으로 구성됐다.

연구팀이 제안한 ‘Omni-Embed-Audio(OEA)’ 모델은 텍스트와 오디오를 하나의 멀티모달 언어모델로 함께 인코딩해 공유 임베딩 공간에 정렬하는 방식이다.

OEA 모델은 전통적인 텍스트-오디오 검색에서 기존 최고 수준 모델인 M2D-CLAP과 대등한 성능을 보였다. 텍스트-텍스트 검색에서는 22%의 상대적 성능 향상을 기록했다.

또한 음향적으로 유사하지만 의미가 다른 오디오를 구분하는 난적 판별에서도 우위를 보였다. HNSR@10은 4.3%포인트 향상됐고, TFR@10은 상대적으로 34.7% 개선됐다. 이는 대규모 언어모델을 활용해 복잡한 질의에 대해 더 우수한 의미 이해 능력을 갖춘 인코더를 확보할 수 있음을 보인 사례다.

이번 논문은 전 세계에서 제출된 1만2148편 가운데 상위 15%에 해당하는 평가를 받아 구두 발표 논문으로 선정됐다. 발표는 7월 6일(현지 시간) ACL 2026에서 진행될 예정이다. 연구에는 장두성 서강대 인공지능학과 교수와 유해준 박사과정생, 이인성 석사과정생, 신용섭 학생 등이 참여했다.