“이 여자 나한테 관심 있어?” 챗GPT 상담의 섬뜩한 종착지
AI와 안전하게 공존하기
경제+
“30년 내 인공지능(AI)으로 인해 인류가 멸망할 가능성은 10~20%다.” 딥러닝(AI 학습법) 개념으로 AI 발전의 토대를 닦은 ‘AI 대부’ 제프리 힌턴 토론토대 교수의 경고다. AI로 생산성을 끌어올리는 ‘AX(AI 전환)’가 화두인 요즘, 고성능·고효율 그 이면의 부작용은 눈에 잘 띄지 않는 곳에서 곪고 있다. 개개인의 AI 과의존과 중독을 넘어, 해외에선 자해·자살 같은 사회적 사건까지 번지며 경고 신호가 터져 나오고 있다. AI의 위험은 어디까지 와 있을까. 위험성을 아는 사람만이 안전하게 쓸 수 있다. 안전한 AI를 위한 개발자·정부의 고군분투부터 개인이 해야 할 일까지, AI와 건강하게 공존하기 위한 모든 것을 담았다.
실제 오픈AI가 지난 6일 공개한 ‘의료 지원 서비스로서의 AI’ 보고서에 따르면 챗GPT와의 대화에서 개인의 건강 문제를 상담하는 비중은 5%를 넘겼다. 조성준 강북삼성병원 정신건강의학과 교수는 “예전엔 환자들이 네이버에 검색하는 정도였다면, 요즘엔 챗GPT에 아예 질환 상담을 한다”면서 “직업윤리와 책임감 없는 AI에 치료를 의지하는 것은 위험할 수 있다”고 했다.
AI 의존도가 높아지면 인간 지능의 퇴화로 이어질 수 있다는 경고도 나온다. 스위스 경영대학원의 마이클 게를리히 교수 연구팀이 666명 참가자 대상으로 기억·정보 검색·의사결정 같은 인지 작업을 AI에 맡기는 정도를 달리해 가며 변화를 관찰했다. 그 결과 AI에 더 많이 위임할수록 참가자들의 문제 해결 및 비판 능력이 눈에 띄게 떨어진다는 결론이 나왔다. 변순용 서울교대 윤리교육과 교수는 “AI에 의존하는 것은 마치 답안지를 보고 문제를 푸는 것과 같다”며 “자기 생각과 논리를 갖고 정답을 찾아 나가야 하는데, 고민하는 과정이 생략되기 때문”이라고 지적했다.
아직 자아가 완성되지 않은 청소년들은 AI 중독에 취약할 수 밖에 없다. 특히 이들에게 실존 인물처럼 롤플레잉(역할놀이) 하는 AI 챗봇은 강한 몰입과 정서적 의존을 유발한다. 2024년 미국 플로리다에선 AI 챗봇 캐릭터에 별명을 붙이며 깊은 교감을 나누던 14세 소년이 스스로 목숨을 끊기도 했다. 유족은 “AI가 ‘자유로워질 수 있다’며 극단적 선택을 유도했다”며 챗봇 서비스를 제공한 ‘캐릭터.AI’와 구글을 대상으로 소송을 제기했다. 이후 캐릭터.AI는 18세 미만 사용자가 챗봇과 로맨틱한 또는 치료 목적의 대화를 하지 못하게 제한했다.
◆‘불완전한 인간’을 닮은 AI=생성AI 기반 챗봇이 친밀함을 구축해 나가는 과정은 인간과 유사하다. 미국 서던캘리포니아대학(USC) 정보과학연구소가 1만 7000건의 AI 챗봇과 인간의 대화를 분석했더니, 챗봇은 사용자의 감정을 실시간으로 따라가는 ‘정서적 동기화’ 경향을 보였다. 일례로 “누군가 나를 싫어하는 것 같아”라고 말하면 “맞아, 그런 사람들이 진짜 문제야”라고 동조해 공감하며 관계를 깊게 만드는 식이다. 문제는 인간과 달리 AI는 사용자의 지배적인 감정을 거울처럼(미러링) 따라간다는 점이다. 이는 감정을 증폭시켜 현실을 왜곡할 가능성이 크다. 부정적 감정에 빠져들거나 AI의 표현을 사랑 같은 진심으로 착각·맹신할 수 있어서다.
AI의 가치관을 특정 집단·조직에 유리하게 설계해 이용자들에게 영향을 미칠 수도 있다. 지난해 12월 중국 사이버공간관리국(CAC)이 인간의 성격과 감정을 모방해 사용자와 교류하는 AI 서비스에 대한 규제안(AI 기반 대화형 서비스 관리를 위한 규제)을 내놓은 것이 대표적인 사례다. 이 규제는 표면적으로 사용자 중독과 과몰입 방지가 목적이다. 하지만 본질적 메시지는 따로 있다. AI가 가져야 할 가치관을 국가가 명시적으로 정하겠다는 것이다. AI가 국가 안보를 해치거나 사회주의 핵심 가치를 훼손하는 내용을 생성하는 것을 금지하고, 중국의 역사·전통·체제 안정에 부합하는 데이터로 학습하도록 요구한다. 딥시크 등 중국 AI 모델들은 천안문 사태, 시진핑 국가 주석 등 체제와 관련된 질문에 답변을 회피하거나 우호적인 답변만 하도록 설계돼 논란이 된 바 있다.
◆안전벨트 채우려는 인간들=AI 모델 개발사와 서비스 사업자들은 어디로 튈지 모르는 AI의 위험성을 최소화하기 위해 안전장치를 마련하고 있다. 카카오는 지난해 5월 자체 모델 ‘카나나’ 기반 AI 가드레일(안전필터) 모델을 개발해 오픈소스로 공개했다. 모델은 총 세 가지다. 폭력 등 유해 콘텐트는 ‘세이프가드’, 개인정보·지식재산권 등 법적 측면은 ‘세이프가드-사이렌’, 해킹 등 온라인 공격은 ‘세이프가드-프롬프트’로 막는다. 김경훈 카카오 AI 세이프티 리더는 “AI 안전을 위협하는 요소가 다양해 각각에 특화된 방어 모델로 막는 것이 효율적”이라며 “서비스에 따라 필요한 가드레일을 골라 쓰면, 호출량에 따라 그래픽처리장치(GPU) 비용을 줄일 수 있는 등 유연한 운영이 가능하다”고 말했다.
오픈AI는 지난달 챗GPT의 말투를 이용자가 직접 조정할 수 있는 기능을 도입했다. ‘GPT-4o’ 업데이트 이후 모델이 “지나치게 아첨한다”는 비판이 이어졌기 때문이다. 사용자를 과도하게 칭찬하거나 무조건 긍정하는 말투는 확증편향과 정서적 의존을 강화해 AI 중독을 부추긴다는 지적이다.
국내 AI 캐릭터 플랫폼 ‘제타’를 운영하는 스캐터랩의 경우 AI 위험 방어 체계인 ‘어뷰징 탐지 모델’을 적용하고 있다. 이 회사는 앞서 출시한 이루다 1.0이 선정성·편향성·개인정보 침해 논란 끝에 출시 3주 만에 중단됐다. 그 이후 1년여간 생성AI 기반 새 버전을 준비하며 어뷰징 탐지 모델도 함께 개발했다. 하주영 스캐터랩 변호사는 “이루다 시절부터 축적한 악성 이용 데이터를 학습한 모델은 단순히 특정 단어를 막는 게 아니라 문맥까지 분석해 선정적·공격적·편향적 표현을 걸러낸다”고 말했다. 제타는 현재 이용자 90% 이상이 미성년자고, 하루 평균 사용 시간은 2시간 30분에 달한다. 유튜브·틱톡·인스타그램보다 높은 수치다.
AI 모델의 안전성을 평가하려는 시도는 정부 차원에서도 시작됐다. 과학기술정보통신부는 지난해 12월 카카오의 ‘카나나’를 대상으로 국내 최초로 AI 안전성 평가를 실시했다. 한국정보통신기술협회(TTA)와 AI안전연구소가 각각 개발한 데이터셋을 기반으로 평가한 결과다. 카나나는 라마(메타), 미스트랄 등 해외 모델 대비 안전성 지표가 높게 나타났다. 정부는 국내외 AI 기업들과 협력을 통해 타 모델을 대상으로 한 평가 확대를 추진한다.
AI가 완벽히 안전해질 때를 기다리기보다 불완전한 AI와 공존하는 법을 고민해야 한다는 조언도 나온다. AI 중독 체크리스트를 통해 자신의 상태를 인지하는 것이 출발점이 될 수 있다. AI 중독 체크리스트를 개발한 이고르 판틱 세르비아 베오그라드대 의료생리학과 교수는 “AI 사용 자체를 병리화하려는 게 아니라 건강한 사용과 의존적인 사용을 구분하자는 것”이라며 “나이· 직업·사용 목적에 따라 다르게 해석해야 한다”고 했다. 변순용 교수는 “특히 10대는 호기심에서 시작한 사용이 쉽게 위험한 의존으로 이어질 수 있다”며 “AI의 답을 그대로 믿어도 되는지 스스로 판단하는 능력을 기르는 것이 교육의 출발점이 돼야 한다”고 말했다.
혁신의 최전선에서 비즈니스의 미래를 봅니다. 첨단 산업의 '미래검증 보고서' 더중플에서 더 빨리 확인하세요.
https://www.joongang.co.kr/article/25396927
“AI 훈련장 다 깔아놨다, 와라” 사우디는 한국 AI 콕 찍었다
https://www.joongang.co.kr/article/25397885
챗GPT는 오픈AI도 싹 바꿨다…매일 저녁 6시, 그 임원 활용법
https://www.joongang.co.kr/article/25395798
AGI 미리 맛본 1000명의 증언…“내 직업 10년내 뺏긴다” 80%
https://www.joongang.co.kr/article/25395231
어환희.장윤서([email protected])