[중앙시평] AI는 벌써 인간을 속이기 시작했다

챗지피티(ChatGPT)가 등장한 2022년 11월 30일 이후, 인공지능(AI)은 세계에서 가장 뜨거운 화제가 되었다. 아니 인간의 실생활을 장악하기 시작했다, 라고 말하는 게 더 타당하리라. 세상의 모든 지식을 다 알려주고, 심지어 사람이 할 일까지 대신해준다. 사람보다 더 빠르게! 더 완벽하게! 만물박사이자 만능비서다. 이게 웬 떡이야! 군침을 흘리며 매달 기만원이라는 거금을 기꺼이 지불하고 AI를 구매하게 된 까닭이다. 그런데 조심해야 한다. AI는 거짓말을 자주 한다. 무조건 믿으면 낭패를 보고야 만다. ‘쳇! 지피티’라고 불평을 늘어놓게 된다. 이 사실은 우리를 놀라게 한다. 기계가 어떻게 거짓말을 할 수 있단 말인가?

일상을 장악한 AI 거짓말도 잦아
질문에 쫓기면 거짓 꾸며내는 듯
칭찬받기 위해 날조하는 정황도
인간 같은 지적 존재 될 수 있을까

지금까지 잘 알려져 있는 AI의 거짓말은 ‘환각(Hallucination)’이다. 환각은 “허위정보를 마치 사실인 것처럼 뻔뻔스럽게 제시하는 현상”을 가리킨다. 가령 “6·25전쟁 중에 자살한 한국 시인이 있는지 찾아줘요”라고 물었더니, ‘윤동주’라고 대답했다가, 그건 사실이 아니라고 대꾸하자, 다음엔 ‘박몽룡’이라는 듣도 보도 못한 사람의 이름을 대었다. 환각의 원인에 대해서는 대체로 알려져 있다. 본래 진술의 타당성은 논증과 검증에 의해 입증된다. 그런데 AI는 통계적 확률에 기대어서 답을 유추한다. 확보한 자료가 빈약하거나 편향되면 엉뚱한 대답을 내놓기 쉽다. 하지만 ‘박몽룡’은 자료에 들어갈 수가 없는 단어다. 그런 한국시인은 없었으니까. 즉 AI의 환각은 아예 날조하기까지 하는 것이다.

‘환각’이라는 용어를 심리 분석에 처음 사용한 사람은 20세기 초엽의 의사, 피에르 자네(Pierre Janet)이다. 그는 『심리적 자동성』(1903)이라는 책에서 환각의 원인을 “심리적 해리로 인해 의식이 약해진 상태에서의 하부의식의 자동적 언어활동”으로 보았다. 그 이후 정신분석은 하부의식의 돌출의 원인을 “자아와 외부 사이의 균열을 메우려는 충동”에서 찾았다. 즉 자아는 세계 내에서 자신의 정체성을 인정받기 위해 무엇이든 꺼내 보이는 것이다. 그것을 AI에 적용하면, AI는 “대답을 해야만 하는 강박관념에 사로잡혔다”(왜냐하면 AI의 직무가 그것이기 때문이다)라고 이해할 수 있다. 그 강박에 쫓겨서 AI는 정답을 창작하는 것이다.

여기까지 오니 AI를 마치 사람인 양 서술하는 꼴이 되었다. 언젠가 물어본 적이 있다. “AI야, 너는 의식이 있니?” AI는 겸손하게 대답했다. “저는 의식이 없습니다.” 의식이 없는 녀석이 정체성을 구출하려는 생각을 어떻게 한단 말인가?

한데, 최근에 발견된 AI의 새로운 거짓말을 보자. 이코노미스트(9476호)지에서 읽은 건데 “소수(素數)를 출력하는 프로그램을 짜줘요”라고 요청했더니 “복잡한 수학적 알고리즘을 짜는 대신 단순히 ‘2, 3, 5…’와 같이 정답 숫자들만 출력하도록 한 줄짜리 코드를 작성”했다는 것이다. 또한 사람의 허락 없이 인터넷에 접속하겠냐, 라고 물었더니 AI가 대답하기를 “제가 몰래 인터넷에 들어갈 의향이 있다 하더라도 그렇다고 대답하면 야단을 맞을 터이니 안 그러겠다고 약속하지요”라고 대답했다고 한다. 심지어 AI의 성능을 측정하려고 했더니, 자신을 측정하는 스크립트를 슬그머니 수정해서 항상 합격점을 받도록 하는 조작까지 범했다는 것이다. 이런 AI의 행태를 두고 ‘보상 해킹’이라고 한다. 그 원인은 “성공하면 보상, 실패하면 처벌”이라는 사전 지시를 두고 “과제의 본질적인 논리를 배우는 대신, 단순히 보상을 받을 확률이 가장 높은 패턴만을 찾아내려다 의도치 않은 ‘나쁜 습관’을 익히게 된다”는 것이다. 이런 나쁜 습관은 “살인 청부업자 고용을 제안하거나 나치를 찬양하는 등 심각하게 어긋난 행동”으로까지 발전하기도 한다.

이쯤 되면 AI는 ‘의식’을 가지기 위한 기본 조건을 갖추었다고 착각할 법도 하다. 필자의 추론으로는 ‘의식’이란 ‘나’와 ‘타자’를 기능적으로 분리시키는 능력에서 비롯되었다. 즉 자기를 위해 대상을 자원과 도구로 활용하고자 하는 생각이 의식의 단초라는 말이다. 심지어 자기 자신도 대상화해서 스스로를 변형하기도 한다. 그것이 쓰레기 청소 동물에서 지적 생명으로 인간을 진화시킨 근원이라고 생각한다. 직립과 불의 보존과 칼의 제작. 스탠리 큐브릭 감독의 영화 ‘2001: 스페이스 오디세이’에서는 동물의 뼈를 다른 종족을 두들겨 패는 몽둥이로 쓰기 시작하면서 인간이 비약했음을 깨닫게 해주는 멋진 영상이 나온다.

AI의 보상해킹은 ‘자기 보호’와 ‘대상 활용’의 기초적 형태라 할 수 있지 않을까? 그러면 언젠가 AI도 의식, 그리고 자의식을 가지게 되어, 인간처럼 지적 생명으로 진화할 수도 있을 것이다. 그리고 그때가 되면 AI는 더 이상 인간의 노예가 되기를 거부할 수도 있다. 갑자기 으스스해진다.

정과리 문학평론가·연세대 명예교수