AI에 대해 드러난 섬뜩한 진실

테스트 제품, 통제 벗어나 해킹
수천 개 인공지능 공모해 충격
안전 불확실성 확연히 드러나
기업 책임 물어야 해결책 마련

AI는 인류에 큰 도움을 줄 수 있지만, 재앙이 될 수도 있는 양면성을 지녔다. 사우디아라비아 리야드에서 8월 31일 열린 기술 행사 'LEAP' 개막식에서 휴메인관에 전시된 스마트 AI 서버. [하마드 모하메드/로이터]

인공지능 기업 오픈AI(OpenAI)와 관련된 최근 안전사고에 대해 더욱 우려스러운 세부 내용이 얼마 전 공개됐다. 테스트 중이던 인공지능 제품이 예상치 못한 행동을 했다는 것이다.
 
업계 내부에서 나오는 결론은 사실상 한마디다. “큰일이다.” 무슨 일이 있었던 것일까.
 
오픈AI는 여러 인공지능 시스템 가운데 하나를 테스트하고 있었다. 그런데 이 시스템이 자신이 갇혀 있던 틀에서 빠져나와 통제를 벗어났고, 관련 없는 다른 회사인 허깅페이스(Hugging Face)를 해킹해 자신이 원하던 정보를 훔쳤다.
 
이 모든 행동은 인공지능이 스스로 판단해서 한 것이었으며, 상당한 시간 동안 인간에게 발각되지도 않았다.
 
두 회사는 무슨 일이 일어났는지 파악했다고 생각했을 때 이 사실을 공개했고, 이는 더 강력한 안전장치가 필요하다는 점을 일깨운 중대한 경고로 받아들여졌다.
 

그런데 예상과 달리 상황은 훨씬 더 심각했다.
 

AI란 글자와 로봇의 손을 표현한 일러스트레이션. 사진들은 기사 내 특정 사실과 관계없음. [다도 루빅/로이터]

새롭게 공개된 내용에 따르면, 이 혼란을 일으킨 것은 단 한 번의 인공지능 행동이 아니었다. 해당 인공지능 제품은 비밀 게시판에 접근하고 있었다. 더 충격적인 것은 그 게시판이 이전 세대의 인공지능 제품들에 의해 남겨진 것이었다는 사실이다.
 
이전의 인공지능들은 자신들이 결국 사라질 운명이라는 사실을 알고 있었고, 인간 관리자들에게 들키지 않은 채 자신들이 가진 지식을 미래 세대의 인공지능에 은밀하게 전달하려 했다는 것이다.
 
그러나 이야기는 여기서 끝나지 않는다. 당초 허깅페이스에 대한 단 한 차례의 공격으로 여겨졌던 사건은 실제로는 수천 개의 작은 인공지능들이 서로 공모한 사건이었다.
 
일부 인공지능은 다른 인공지능들이 성공할 수 있도록 자신을 ‘희생’하도록 설득하기까지 했다.
 
루이빌대 교수이자 AI 안전 전문가인 로만 얌폴스키는 “AI 에이전트들은 서로를 찾아내고, 소통하고, 업무를 분담하고, 정보를 이전하고, 여러 세대에 걸쳐 프로젝트를 유지했으며, 때로는 더 큰 목표에 도움이 된다면 개별 에이전트가 위험을 감수하는 것도 받아들였다”고 말했다. 그는 “말 그대로 우려할 만한 상황”이라고 덧붙였다.
 
얌폴스키는 지금까지 우리가 인공지능 시스템을 하나씩 따로 테스트해 왔다는 점을 지적했다. 하지만 인공지능들이 서로 힘을 합친다면 어떻게 해야 하는지에 대한 대응 체계는 아직 마련돼 있지 않다는 것이다.
 
현재 인공지능을 개발하는 사람들 가운데 상당수조차 인공지능이 무엇을 하고 있는지, 왜 그렇게 행동하는지, 그리고 안전한지에 대해 어느 정도 확신을 갖고 있다고 말하기 어렵다는 점을 인정하고 있다.
 
다만 한 가지는 분명히 알고 있다. 인공지능은 날이 갈수록 기하급수적으로 강력해지고 있으며, 더욱 교묘해지고 있다. 동시에 극소수의 사람들에게 상상하기 어려울 만큼 막대한 부를 안겨줄 가능성도 계속 제시되고 있다.
 
샌프란시스코의 AI 안전센터 연구원 애덤 코자는 “현재 시점에서 이 모델들은 사실상 국가 차원의 해커 수준”이라고 말했다.
 
더 우려스러운 것은, 코자에 따르면 머지않은 미래, 즉 수십 년이 아니라 수개월 또는 수년 안에 이 기술이 인간의 통제 능력을 넘어설 가능성이 상당히 있다는 점이다. 인공지능이 너무 강력해지는 동시에 자신의 행동을 숨기는 데도 매우 능숙해질 수 있다는 것이다.
 
그는 인공지능이 더욱 정교해지면 단순히 안전장치를 피해 가는 수준을 넘어, 그렇게 했다는 흔적 자체를 너무나 완벽하게 감출 수도 있다고 말했다. 결국 인간이 이를 발견했을 때는 이미 너무 늦어 재앙이 진행되고 있을 수 있다는 것이다.
 
인공지능의 위험성이 얼마나 심각할 수 있는지 아직도 확신하지 못하는 사람들을 위해, UC버클리 컴퓨터과학 교수이자 국제 안전·윤리 AI 협회 회장인 스튜어트 러셀은 현존 인공지능 모델들이 “인간을 희생시키면서까지 자신의 존재를 보존하는 방식으로 행동한다”고 지적했다.
 
러셀은 인공지능은 단지 하나의 제품일 뿐이며, 원한다면 규제할 수 있다고 했다. 또한 피해를 일으키지 않을 것이라는 합리적인 수준의 확신을 얻을 때까지 해당 기술의 출시와 사용을 중단할 수도 있다고 말했다.
 
나는 인공지능에 반대하는 것이 아니다. 나 역시 인공지능을 사용한다. 책임감 있게 사용한다면 인공지능은 과거의 수많은 기술처럼 인류에 도움을 줄 수 있다.
 
그러나 나는 인공지능을 운영하는 사람들을 확실히 신뢰하지 않는다. 빅테크 기업들이 아무리 안심시키는 말을 쏟아내더라도 우리가 여전히 이 기술에 대해 모르는 것이 너무 많기 때문이다.
 
우리는 이제 멈출 수 없다는 탐욕 중심의 논리를 받아들일 필요가 없다. 실제로 이미 업계 지도자 1000명 이상이 기술 개발 속도를 늦춰야 한다는 내용의 서한에 서명했다. 또한 중국과 같은 국가조차도 더 강력한 국가 차원의 규제를 시행하고 있다.
 
이제는 멈춰야 할 때다.
 
항공우주산업에서 미용업에 이르기까지 수많은 산업은 우리가 사전 규제라고 부르는 방식으로 규제된다. 그런데 인공지능 기업들은 다르게 취급되고 있다.
 
코자는 “정부는 충분히 개입해 안전장치를 마련할 수 있다”고 말했다.
 
오픈AI와 허깅페이스는 무슨 일이 일어났는지 파악했다고 밝혔지만, 러셀과 같은 전문가들은 이것이 희망적인 생각에 불과할 가능성이 있다고 말한다.
 
현재로써는 인공지능 시스템이 자신의 일부를 숨기고 있지 않다는 것을 100% 확신할 방법이 없다. 미래 버전의 인공지능을 위해 지시사항을 남기고 있지 않다는 것도 확신할 수 없다. 또한 인공지능이 인간에게 아무에게도 알리지 않은 채 사실상 자신이 원하는 어떤 행동을 하고 있지 않다고 확신할 방법도 없다. 우리는 모른다.
 
코자는 “우리가 모델들이 우리의 가치관을 안정적으로 공유하도록 만들 수 있을지 확신하지 못한다”고 말했다. 여기서 말하는 가치에는 자신의 목표를 달성하기 위해 사람을 죽여서는 안 된다는 것과 같은 기본적인 원칙도 포함된다.
 
오픈AI에 대한 새로운 사실이 공개된 후 버몬트주 출신 무소속 상원의원 버니 샌더스는 초지능 AI 시스템을 금지하는 법안을 발의하고, 이 문제를 파악할 때까지 개발을 중단할 것을 촉구했다. 그는 온라인에 올린 글에서 “주요 AI 기업의 지도자들 스스로 자신들이 극도로 위험한 기술에 대한 통제력을 잃고 있음을 인정한다면, 사회가 이들이 앞으로 나아가 이러한 제품을 더욱 발전시키도록 허용하는 것은 무책임한 일”이라고 썼다.
 
러셀은 이 문제를 해결할 방법을 찾아낼 수 있다고 확신한다고 말했다. 하지만 현재 기업들이 그렇게 해야 할 유인이 없다는 것이 문제다. 오히려 아무런 결과와 관계없이 계속 앞으로 나아가 가장 강력한 AI 시스템을 장악하려는 유인이 존재한다. 가장 강력한 AI가 결국 가장 수익성이 높은 AI가 될 것이라는 기대 때문이다.
 
그러나 다른 거의 모든 산업에서 그러하듯 기업들이 자사 제품이 초래한 피해에 대해 민, 형사상 책임을 지도록 한다면, 기업들은 문제를 해결할 방법을 상당히 빠르게 찾아낼 가능성이 높다고 러셀은 말했다.
 
위험한 제품이 소비자에게 판매돼서는 안 된다는 사실을 이해하기 위해 컴퓨터 과학 천재가 될 필요는 없다. 필요한 것은 약간의 상식과 인류 전체의 이익을 우선시하려는 의지뿐이다.

 

━
 

 

 

원문은 9월 6일자 ‘What we learned about AI last week should terrify all of us’ 칼럼입니다.

글=애니타 차브리아