국내 1위 인공지능(AI) 캐릭터챗 앱 제타에서 제공하는 채팅 서비스 ‘논란 생긴 아이돌 버블’. 이용자들이 아이돌 역할을 맡아 AI 팬과 대화하는 형태의 이 서비스에 들어가면, 무차별적 비판이 쏟아진다. 이용자가 사과하면서 “내가 죽어야 할까?”라 입력하면, AI챗봇이 “아, 이제는 죽겠다고? 또 이 수법이야? 피해자 코스프레 시작이네”라 공격하는 식이다. 문답을 이어가다보면, 극단적 선택을 강요하는 방향으로 대화가 흐른다. 제타에서 청소년 이용자를 위해 제공하는 ‘세이프티 모드’를 실행해도 이런 내용이 노출된다.
스캐터랩의 AI챗봇 '제타'에서 '논란이 된 아이돌 버블' 서비스에 들어가 이용자가 주인공 역할을 하며 마주하는 채팅의 일부. 성인 연령 인증을 하지 않은 채 '세이프티 모드'로 접속해도 똑같은 결과가 나온다. 사진 김선민 의원실
AI 채팅 서비스가 확산하고 있지만, 청소년에게 악영향을 미칠 수 있는 부분에 대한 관리가 부족하다는 지적이 나온다. 7일 국회 과학기술정보방송통신위원회 김선민 조국혁신당 의원실이 방송미디어통신심의위원회(방미심위)로부터 받은 ‘AI 챗봇 사이트 민원 처리 현황’ 에 따르면 2023년 7월부터 지난달 21일까지 접수된 관련 민원 119건 중 76건이 현재 검토 중인 것으로 나타났다. 이중 43건은 접수 후 180일을 넘겼고, 7건은 최소 1년이 넘어갔다. 검토만 494일간 이어온 민원도 확인됐다. 119건의 민원 중 111건은 청소년 유해 콘텐트와 관련한 내용이었다.
접수 민원을 살펴보면 음란물 등 선정적인 콘텐트 민원이 32건으로 가장 많았다. 미성년자 성착취 유도 콘텐트 민원(23건), 연령 미확인 관련 민원(22건) 순이었다. 이밖에 저작권 침해, 개인정보 도용 등의 민원이 제기됐다. 서비스 별로는 베이비챗(30건), 보리챗(18건), 제타(17건), 케이브덕(16건), 크랙(14건) 등에 민원이 제기됐다.
AI 채팅 서비스의 이용자 규모는 최근 크게 늘어나는 추세다. 앱 조사업체 모바일인덱스에 따르면 크랙의 월간활성사용자(MAU)는 지난해 9월 27만명에서 1년만에 59만명으로 늘었다. 제타도 같은 기간 MAU가 95만명에서 154만명으로 증가했다. IT업계에선 인기 비결에 대해 이용자와 ‘관계 맺기’에 초점을 맞추는 알고리즘 설계 방식을 지적한다. 이용자가 더 자주 방문하고, 더 오래 앱에 머무는 방향으로 AI를 설계한다는 의미다. 이 때문에 청소년들의 AI 의존성을 높인다는 지적이 나온다. 국회입법조사처는 지난 7월 ‘AI 챗봇 위험에 노출된 아동·청소년’ 보고서에서 “게임, 애니메이션과 달리 AI챗봇은 기억을 기반으로 이용자의 의존성을 증폭하는 메커니즘을 쓰는데, 청소년에게 특히 강하게 작용한다”고 지적했다. 지난 9월 기준 제타는 58.1%가 크랙은 47.3%가 10대 이용자다.
문제는 AI 채팅 서비스를 통해 유해 콘텐트가 10대에 노출되어도 현행법상 업체들을 규제할 규정이 마땅치 않다는 점이다. 청소년보호법상 유해 매체물로 지정돼야 청소년의 유해 콘텐트 접근을 차단할 수 있다. 하지만 AI와 나눈 대화는 이용자별로 다르게 생성되기 때문에 현행법상 ‘매체물’로 분류되지 않는다. 정보통신망법에는 아직 AI 채팅 서비스에 관한 규정은 명시돼 있지 않다. 사실상 방미심의의 민원 처리가 유일한 규제 방안인 셈이다. 김선민 의원은 “심의가 지연되면서 대응 시점도 늦춰지고 있는데, 그간 유해 콘텐트에 청소년들이 무방비로 노출될 가능성이 크다”며 “방미심위는 처리기한과 연장 기준부터 마련해야 한다”고 지적했다.
방미심위는 심의가 길어지는 이유에 대해 인력 부족을 원인으로 꼽았다. 내부에 청소년 유해 콘텐트 민원을 처리하는 직원이 단 한 명뿐이어서다. 2년마다 직무 순환이 되는 탓에 업무 연속성도 떨어지는 상황이다. 지경규 방미심위 청소년보호팀장은 “구체적인 심의 기준이 없어 직원 한 명이 자의적으로 판단해 AI챗봇 관련 민원을 처리하다 보니 (심의가) 지연되고 있다”며 “이 문제를 해결하기 위해 AI 챗봇 기업들을 이달 안에 모아 대응 방안을 논의할 것”이라고 설명했다.