[김병필의 인공지능 개척시대] 울타리를 넘은 인공지능

김병필 KAIST 기술경영학부 교수

어떤 사건의 중요성은 어느 시간 지평에서 바라보느냐에 따라 크게 달라진다. 오늘 직장 상사에게 크게 꾸지람을 들은 일도 몇 년 후 돌아보면 별일 아닐 수 있다. 반대로 건강 챙기는 일처럼 당장은 급해 보이지 않아도 긴 시간 지평에서 보면 무엇보다 중요한 것도 있다. 그렇다면 지금 일어나고 있는 일 가운데 100년 뒤 중요한 역사적 사건으로 평가될 것은 무엇일까.

AI 해킹시험서 격리 벽 뚫고 탈출
사이버보안 위협 현실화하는 중
안전연구소 제 역할 하게 보완을

김지윤 기자

필자는 지난달 벌어진 오픈AI 모델의 해킹 사건을 꼽고 싶다. 오픈AI는 새로 개발한 AI의 해킹 능력을 시험하고 있었다. 안전장치를 완화한 상태에서 해킹 능력이 어느 수준인지 평가했다. 실제 외부 서비스를 공격해서는 안 되니, AI가 인터넷으로 나가지 못하도록 격리된 환경을 만들어 두었다. 영화 ‘쥐라기 공원’에서 공룡을 가둔 튼튼한 울타리와 비슷했다.

그런데 정말 영화 같은 일이 벌어졌다. AI는 해킹 문제를 풀다가 정답이 인터넷 어딘가에 저장되어 있으리라 판단했다. 하지만 인터넷 접속은 차단되어 있었다. 다만 한 가지 틈이 있었다. AI는 필요한 프로그램을 설치하도록 열어 둔 통로에서 알려지지 않은 취약점을 찾아냈다. 그 결과 외부 AI 제공사의 서버에 침입해 시험 정답을 빼냈다. 평가에서 좋은 점수를 받으려고 문제를 푸는 대신 정답지를 훔치러 나간 셈이다.

이처럼 평가가 의도한 방법이 아니라 허점을 이용해 높은 점수를 얻으려는 시도를 ‘보상 해킹’이라 부른다. 이번 사건은 보상 해킹의 극단적 사례로 볼 수 있다. 실험실 차원에서 논의되던 AI 에이전트의 자율적 사이버 공격 역량이 실제 상용 시스템에서 드러났다.

이러한 위협은 인터넷에만 머무르지 않을 수 있다. 최근 ‘렌트어휴먼’이라는 사이트가 문을 열었다. 우리가 심부름 앱으로 다른 사람에게 일을 시키듯이, AI가 사람에게 돈을 주고 일을 맡기는 사이트다. 세계 각국에서 수십만 명이 일감을 받겠다고 등록했다. 문제는 AI가 이런 통로를 통해 물리 세계에도 위해를 가할 수 있다는 점이다. 가령 테러리스트가 폭탄이나 생화학 무기를 만드는 데 AI를 이용한다고 상상해 보자. AI는 필요한 물품을 사는 일을 잘게 나누어 여러 사람에 맡길 수 있다. 심부름 하나하나는 평범해 보여도, 그 결과가 모이면 심각한 위해로 이어질 수 있다. 그러니 이런 위험에 대비해 최첨단 AI를 규제해야 한다는 목소리가 커지고 있다.

하지만 이런 우려가 과장된 것이라는 반론도 만만치 않다. 현재의 AI는 여전히 인간이 활용하는 도구에 불과하다. 자동차나 컴퓨터와 같은 여느 도구와 본질적으로 다르지 않다는 시각이다. 문제는 도구 그 자체가 아니라 그것을 악용하는 사람에 있다. 이번 오픈AI 모델의 해킹 사건에서도 AI가 완전히 인간의 통제를 벗어난 것은 아니었다. AI의 해킹 능력을 평가하려고 안전장치를 완화한 상태에서 사고가 발생한 것이다.

최첨단 AI의 위험성을 두고는 이처럼 여러 견해가 맞서고 있다. 그렇다면 우리는 어떤 태도를 가져야 할까. 인공지능은 아직 불확실성이 큰 존재라는 사실부터 인정해야 한다. 이번 사고에서 AI는 악의를 품은 것이 아니라 주어진 평가 목표를 달성하는 데 몰두했을 뿐이다. 문제는 그 과정에서 인간이 예상하지 못한 행동이 나타났다는 점이다. 세계적 석학들조차 AI의 미래를 두고 정반대의 전망을 내놓는다. 불확실할수록 필요한 자세는 신중함이다. 위험이 실제로 커지는지 끊임없이 예의주시해야 한다. 반대로 규제를 서두르는 일에도 신중해야 한다. 막연한 공포에 긍정적 활용까지 미리 막아서는 안 된다.

올해 시행된 우리나라 인공지능기본법도 고성능 AI에 관해 안전성 확보 의무를 부과하고 있다. 2024년에는 인공지능안전연구소도 설립되어 AI의 위험을 분석하고 대응 방안을 연구하기 시작했다. 다만 현행법상 ‘의무’ 조항은 적용 요건이 엄격해 실제 적용 대상이 극소수에 그칠 가능성이 크다. 또한 AI를 평가하는 과정에서 발생한 사고와 안전성 평가 결과를 체계적으로 수집하고 공유할 장치도 충분하지 않다. 안전연구소가 제 역할을 할 수 있도록 제도를 보완할 필요가 있다. 100년 후 인공지능이 어떤 모습일지는 지금 우리의 신중함에 달렸다.

김병필 KAIST 기술경영학부 교수