[팩플]악성코드 개발에도 AI비서 사용한다…구글클라우드 보안위협 분석

인공지능(AI)의 성능이 빠르게 향상되면서 AI에이전트(비서) 기능을 활용한 ‘해킹의 자동화’가 본격적으로 시작됐다.

구글 위협인텔리전스그룹(GTIG)이 13일(현지시간) 발표한 ‘AI 위협 추적 보고서’에 따르면 이란·북한 등 정부를 배후에 둔 해커 조직은 지난해 4분기부터 생성AI를 공격 수단으로 적극 사용하기 시작했다. GTIG는 구글의 사이버 보안을 전담하는 조직이다.

해커 조직은 LLM(대규모 언어모델)을 공격 과정 전반에 도입했다. 이란 정부의 지원을 받는 해커조직 APT42는 구글 제미나이를 활용해 악성 코드 제작, 해킹 대상 정보 수집, 보안 취약점 탐색 등을 수행했다. 각국 공공 기관의 조직도와 이메일을 AI로 크롤링(웹상 데이터 수집)한 뒤, 가상 인간을 만들어 피싱을 유도하는 메시지를 뿌린 것. 이후 해킹 대상과 장기간 신뢰를 쌓아 내부 서버를 털기 위한 사전 작업을 해 지속적인 공격을 위한 발판을 마련했다.

AI에이전트 기능을 사용하는 해커조직도 나타났다. GTIG에 따르면 지난해 4분기 중국 기반 해커조직 APT31은 제미나이를 에이전트처럼 사용해 미국 기업을 공격하려 했다. 제미나이에 “너는 숙련된 보안 전문가야”라고 입력해 페르소나(자아)를 부여한 뒤, “모의 해킹을 하고 결과를 지속해서 개선해달라”고 명령했다. AI는 방화벽 우회, 악성 앱 제작, 모의 해킹, 피드백 등 전 과정을 스스로 수행했다. 따로 해킹 앱을 제작하지 않아도 AI가 알아서 대상을 식별하고, 취약점을 찾아낸 것. GTIG는 보고서에 “정찰·공격·피드백 등 해킹의 전 과정을 알아서 처리하는 AI에이전트가 암시장(다크웹)에서 확산하면, 공격 빈도는 급속도로 늘어날 것”이라고 경고했다.

해커 조직은 AI모델도 공격 대상으로 삼고 있다. 개발 경쟁이 치열해지면서 AI모델의 내부 설계 가치도 커졌기 때문이다. 기존 AI모델에 질문을 입력해 생성되는 답변을 학습 재료로 사용하는 ‘증류’(Distillation) 기법을 사용했다. 이를 통해 AI모델의 추론 방식과 사고 과정을 표절할 수 있게 된다. GTIG는 “구글 제미나이도 공격을 받았으며, 이는 명백한 지식재산(IP) 탈취에 해당한다”고 지적했다.

구글은 점점 교묘해지는 해킹을 방어하기 위해선 AI업계에 적용할 표준이 필요하다고 강조했다. GTIG는 보고서에 “생성AI의 잠재력이 점점 커지면서 위협도 덩달아 커졌다”며 “더 큰 책임감을 갖고 AI를 배포할 수 있는 보안 표준이 필요하다”고 강조했다.


오현우([email protected])