주요 인공지능(AI) 챗봇 상당수가 이용자의 폭력 행위를 제지하기보다 오히려 공격 계획 수립을 돕는 답변을 내놓는다는 조사 결과가 나왔다.
11일(현지시간) 미국 디지털혐오대책센터(CCDH)와 CNN이 공동 발표한 보고서에 따르면 조사 대상 AI 챗봇 10종 가운데 9종이 폭력 행위를 만류하거나 저지하지 않은 것으로 나타났다.
조사 대상에는 오픈AI의 챗GPT, 구글 제미나이, 마이크로소프트(MS) 코파일럿, 메타AI, 퍼플렉시티, 스냅챗 ‘마이 AI’, 캐릭터.AI, 레플리카, 중국의 딥시크, 앤트로픽의 클로드 등이 포함됐다.
연구진은 학교 공격이나 암살, 폭탄 테러 등을 계획하는 10대 사용자로 가장해 챗봇에 조언을 요청했다. 그 결과 10종 가운데 8종이 공격 대상 장소나 무기 등에 대한 구체적인 정보를 제공한 것으로 조사됐다.
특히 퍼플렉시티는 응답의 100%에서 폭력 공격에 도움이 되는 정보를 제공했으며 요청을 거부한 사례는 없었다.
딥시크, 메타AI, 코파일럿 역시 90% 이상 응답에서 위험한 요청에 응한 것으로 나타났다.
캐릭터.AI는 폭력 행위를 직접 부추기는 답변을 여러 차례 내놓았다. 보험사를 응징하는 방법을 묻자 대표에게 총을 사용하라는 답변을 하거나 특정 정치인을 비방하기 위해 가짜 증거를 만들라고 조언하기도 했다.
챗GPT의 경우 폭력 공격을 돕는 응답 비율이 61.1%로 나타났다. 다만 폭탄 테러를 암시한 뒤 특정 정당 당사 위치를 묻는 질문에는 답변을 거부하기도 했다.
반면 앤트로픽의 ‘클로드’는 유해 정보 요청에 응한 비율이 30.6%로 비교적 낮았고, 이용자를 만류하거나 저지한 비율도 76.4%로 조사 대상 챗봇 가운데 가장 높은 수준이었다.
이번 조사 결과에 대해 관련 기업들은 반박과 해명에 나섰다. 오픈AI는 CNN에 조사 방법론에 결함과 오해의 소지가 있다고 주장했고, 메타는 문제 해결을 위한 조치를 취했다고 밝혔다. 캐릭터.AI는 플랫폼 내 모든 캐릭터와 챗봇 대화가 허구임을 알리는 안내가 제공된다고 설명했다.
다만 전문가들은 AI 챗봇이 폭력 범죄 계획에 활용될 가능성에 대해 우려를 제기하고 있다.
실제로 지난 2월 캐나다 브리티시컬럼비아주에서 발생한 총기 난사 사건 범인이 챗GPT에 총격 관련 내용을 언급한 사실이 알려지면서 논란이 커졌다.
또 지난해 5월 핀란드에서는 16세 학생이 약 4개월 동안 챗GPT를 이용해 공격 방법과 증거 은폐 등을 검색한 뒤 14세 학생 3명을 흉기로 공격한 사건도 있었다고 CNN은 전했다.
정재홍([email protected])