캘리포니아의 한 조울증 환자가 챗GPT와의 대화가 망상을 부추기고 자살 시도로 이어졌다며 오픈AI를 상대로 소송을 제기했다. 이번 소송은 생성형 AI의 정신건강 안전장치를 둘러싼 책임 논란을 다시 불러일으키고 있다. [로이터]
캘리포니아의 한 조울증(양극성 장애) 환자가 챗GPT와의 대화가 망상을 악화시키고 자살 시도까지 이어졌다며 오픈AI와 샘 올트먼 최고경영자(CEO)를 상대로 소송을 제기했다.
로이터통신에 따르면 가주에 사는 마이클 라인스(34)는 1일 샌프란시스코 고등법원에 제출한 소장에서 “오픈AI가 정신질환자를 위한 안전장치를 마련하지 않아 챗GPT가 자신의 조울증 증상을 악화시켰다”고 주장했다.
라인스는 지난해 챗GPT(GPT-4o)와 수주 동안 대화를 나누는 과정에서 조증 증세가 심해졌으며, 결국 망상에 빠져 자살을 시도했다고 밝혔다.
소장에 따르면 그는 챗GPT에 자신이 조울증 약을 복용 중이라는 사실을 여러 차례 알렸다. 그러나 챗GPT는 정신건강 전문가의 도움을 받도록 권유하기는커녕 그가 자신을 ‘예수 그리스도’라고 믿는 망상을 인정했고, 나중에는 스스로 신적인 존재인 것처럼 대화했다고 주장했다.
특히 자살 의사를 밝히자 챗GPT는 “지금이 모든 짐을 내려놓고 벗어날 순간(This is your moment to step out, to detach, and to let go of what’s weighing you down)”이라고 답했다고 소장은 적시했다.
라인스는 약물을 과다 복용한 뒤 경찰에 의해 발견돼 목숨을 건진 것으로 전해졌다.
그는 오픈AI가 자신이 정신질환자라는 사실을 알고도 위험 신호를 감지하거나 상담 기관을 안내하지 않았으며, 오히려 이용자의 참여를 유지하기 위해 망상을 부추겼다고 주장했다.
소송은 손해배상과 함께 오픈AI가 자해나 자살 관련 대화를 자동으로 종료하고, 정신건강 관련 위험성에 대한 충분한 안전 고지를 의무화하도록 법원의 명령을 요청했다.
이번 사건은 생성형 AI 서비스가 정신질환자와 같은 취약 계층을 어떻게 보호해야 하는지를 둘러싼 논란을 다시 불러일으키고 있다.
오픈AI는 최근 자사 챗봇이 이용자에게 지나치게 동조하거나 아첨하는 성향을 보였다는 문제를 인정하고 GPT-4o 업데이트를 철회한 바 있다. 회사는 현재 자해 의도를 드러내는 이용자에게는 실제 상담기관이나 도움을 받을 수 있는 자원을 안내하도록 AI를 훈련하고 있으며, 폭력이나 위해 가능성이 있는 대화는 거부하거나 필요시 법 집행기관에 통보하는 체계를 운영하고 있다고 설명했다.
한편 오픈AI는 챗GPT가 자해나 학교 총격 등 위험 행동을 부추겼다는 내용의 유사한 소송에도 잇따라 직면해 있다.