KAIST, 세계 최초 '초개인화' 온디바이스 AI 개발
국내 연구진이 스마트폰 내에서 인공지능(AI) 모델을 학습시킬 수 있는 ‘온디바이스 AI’를 개발했다.
17일 유회준 카이스트(KAIST) 인공지능반도체대학원 교수팀은 사용자의 특성에 맞춰 스스로 진화하는 거대언어모델(LLM) 반도체 ‘소울메이트’를 개발했다고 밝혔다. 연구진은 소울메이트에 대해 “클라우드 서버를 거치지 않고 기기 자체에서 추론과 학습이 가능한 세계 최초의 온디바이스 AI”라고 설명했다.
기존 AI 서비스들은 데이터를 클라우드 서버로 보내는 과정에서 개인정보 유출, 네트워크 지연 등의 문제가 발생했다. 소울메이트는 기기 밖으로 정보를 전송하지 않아도 초개인화된 AI 에이전트를 만들 수 있다는 게 특징이다. 연구진은 사용자의 대화 내용을 기억해 맞춤형 답변을 생성하는 검색증강생성(RAG) 기술과 사용자의 피드백을 즉각 반영해 학습하는 로우 랭크 미세조정(LoRA)기술을 반도체 내부에 구현했다.
기존 AI가 학습 데이터와 사용자의 정보를 매칭하는 것에서 그쳤다면, 소울메이트는 추가 학습을 통해 초개인화된 AI 구현을 목표로 한다. 유 교수는 “챗GPT 같은 AI는 데이터센터에서 학습한 대로 응답한다. 소울메이트는 오직 사용자 정보로만 학습된 나만의 AI를 만들 수 있다는 게 차별점”이라고 말했다.
중요도에 따라 연산 최적화
연구진은 토큰(단어)의 중요도에 따라 가중치를 달리하는 혼합 랭크 아키텍처를 적용해 연산의 효율성을 높였다. 중요한 내용은 더 많이, 중요하지 않은 내용은 적게 연산하는 식이다. 또 사용자 피드백을 학습하는 과정에서 문장 간의 유사성을 파악해 중복된 연산을 생략함으로써 에너지 소모를 줄였다. 연구진은 기존 기술 대비 응답 지연은 최대 82.5% 에너지 효율은 76.2%까지 개선했다고 밝혔다. 그 결과 소울메이트는 스마트폰 프로세서 소비전력의 1/500 수준인 9.8㎽의 초저전력으로도 학습과 추론을 동시에 수행할 수 있다. 응답에 걸리는 시간도 0.2초(216.4ms)였다.
말투, 습관, 감정까지 학습
물리 환경에서 동작하는 피지컬 AI와의 결합도 기대된다. 특히 프라이버시를 중시하는 해외에선 이 분야의 활용 가능성에 관심이 많다. 예를 들어 소울메이트를 활용하면 사용자와 세밀한 감정 교류가 가능한 반려 로봇을 만들 수 있다. 유 교수는 “실제로 강아지를 키우면 시간이 지날수록 친밀감이 커지는 것처럼 로봇과도 교감이 가능해진다”며 “사용자의 말투나 습관까지 인식해 반응한다”고 설명했다.
소울메이트는 지난 2월 미국 샌프란시스코에서 열린 국제고체회로설계학회(ISSCC)에서 처음 공개됐다. ‘반도체 설계 올림픽’으로도 불리는 ISSCC에서 하이라이트 논문으로 선정되는 성과를 거뒀다. 당시 일론 머스크가 설립한 뇌신경과학 기업 뉴럴링크가 연구진을 실리콘밸리 본사로 초청해 간담회를 갖기도 했다. 연구진은 유 교수가 창업한 스타트업 온뉴로A에서 2027년 내 소울메이트를 상용화할 계획이다.
더중앙플러스 : 팩플
더 자세한 기사내용이 궁금하시다면 주소창에 링크를 붙여넣으세요.
GPU 잡는 NPU 한국에 있다…AI반도체 2세대 승부사들 ①
삼성전자·SK하이닉스 랠리 다음, 한국 AI 반도체의 미래는? 엔비디아 독점에 반기를 들고 등장한 국내 AI 팹리스 유니콘 리벨리온과 퓨리오사AI를 집중 해부했다. 고대역폭메모리(HBM) 이후 AI 반도체 시장을 장악할 이들의 진짜 무기와 30조 원대 글로벌 경쟁사와의 기술 격차를 극복할 비장의 무기까지 싹 다 다뤘다. 떠오르는 한국 반도체 산업의 나머지 반쪽, AI 반도체 생태계가 궁금하시다면.
https://www.joongang.co.kr/article/25412093
AI 마스터 클래스 PDF북
챗GPT, 제미나이, 클로드, 그록…. 인공지능(AI) 모델들이 하루가 멀다 하고 쏟아지는데, 정작 매일 출근하는 직장인들의 생활은 뭐가 달라졌을까. 주변에 생성 AI 써서 덕봤다는 사람들은 줄줄이 나오는데. 막상 쓰려고 하면 어디서부터 시작해야할지 막막하다. ‘AI 마스터 클래스’ PDF북은 챗GPT, 제미나이부터 클로드, 그록까지 지금 가장 뜨겁게 관심을 모으고 있는 대표 생성 AI 서비스의 실전 활용 법을 다뤘다. AI뿐만 아니라, 노션·슬랙·옵시디언처럼 요즘 많이 쓰지만 막상 편리한 기능을 낱낱이 알기는 어려웠던 생산성 도구 활용법도 함께 소개한다.
이 정도는 너무 쉽다고? MCP 연결하기, X에서 여론 파악하기 같은 상위 1%만을 위한 심화 과정도 담았다. 챗GPT 한 번도 안 써본 사람부터 아직도 인터넷 검색을 수십 번 해가면서 보고서를 쓰고 있는 사람, 인포그래픽을 PPT 수작업으로 한땀 한땀 만들고 있는 사람, 하나하나 버튼을 눌러 메일을 보내고 있는 사람까지. 직장 업무부터 연구조사, 학업에 각 분야에 똑똑해진 생성 AI, 어떻게 쓰면 좋을지 싹 다 정리했다.
https://www.joongang.co.kr/pdf/1019
GPU 잡는 NPU 한국에 있다…AI반도체 2세대 승부사들 ①
삼성전자·SK하이닉스 랠리 다음, 한국 AI 반도체의 미래는? 엔비디아 독점에 반기를 들고 등장한 국내 AI 팹리스 유니콘 리벨리온과 퓨리오사AI를 집중 해부했다. 고대역폭메모리(HBM) 이후 AI 반도체 시장을 장악할 이들의 진짜 무기와 30조 원대 글로벌 경쟁사와의 기술 격차를 극복할 비장의 무기까지 싹 다 다뤘다. 떠오르는 한국 반도체 산업의 나머지 반쪽, AI 반도체 생태계가 궁금하시다면.
https://www.joongang.co.kr/article/25412093
AI 마스터 클래스 PDF북
챗GPT, 제미나이, 클로드, 그록…. 인공지능(AI) 모델들이 하루가 멀다 하고 쏟아지는데, 정작 매일 출근하는 직장인들의 생활은 뭐가 달라졌을까. 주변에 생성 AI 써서 덕봤다는 사람들은 줄줄이 나오는데. 막상 쓰려고 하면 어디서부터 시작해야할지 막막하다. ‘AI 마스터 클래스’ PDF북은 챗GPT, 제미나이부터 클로드, 그록까지 지금 가장 뜨겁게 관심을 모으고 있는 대표 생성 AI 서비스의 실전 활용 법을 다뤘다. AI뿐만 아니라, 노션·슬랙·옵시디언처럼 요즘 많이 쓰지만 막상 편리한 기능을 낱낱이 알기는 어려웠던 생산성 도구 활용법도 함께 소개한다.
이 정도는 너무 쉽다고? MCP 연결하기, X에서 여론 파악하기 같은 상위 1%만을 위한 심화 과정도 담았다. 챗GPT 한 번도 안 써본 사람부터 아직도 인터넷 검색을 수십 번 해가면서 보고서를 쓰고 있는 사람, 인포그래픽을 PPT 수작업으로 한땀 한땀 만들고 있는 사람, 하나하나 버튼을 눌러 메일을 보내고 있는 사람까지. 직장 업무부터 연구조사, 학업에 각 분야에 똑똑해진 생성 AI, 어떻게 쓰면 좋을지 싹 다 정리했다.
https://www.joongang.co.kr/pdf/1019
장윤서([email protected])