챗GPT로 법원 제출 문서를 다듬었다. 허위 판례 추가 등 오류가 7건 나왔다. 서면을 다듬은 변호사에게 법원이 윤리·법률사무 관리 교육 6시간 이수와 1000달러 기부 명령을 내렸다. 지난 7월 미국 코네티컷주에서 벌어진 일. 법원은 “인공지능(AI) 기술의 위험과 한계”와 더불어 “(이용자가) 책임을 져야 한다”고 적시했다. 검증에 소홀했던 변호사와 사전에 AI 활용 지침을 마련하지 않은 소속 로펌 모두를 지적했다. 하지만 AI 개발사의 책임은 판단하지 않았다. 로이터통신은 “오픈AI가 논평 요청에 즉각 답하지 않았다”고 보도했다. ‘가장 중요한 일에 집중하세요,’ 챗GPT 광고 카피처럼 개발사들은 AI가 업무를 대신 처리하고 효율성을 높여준다고 홍보한다. 하지만 무색하게도 정작 실행 화면엔 ‘실수할 수 있습니다. 중요한 정보는 확인하세요’라는 안내 문구가 뜬다. AI 오류로 인한 이용자 책임, 과연 어느 선까지인가.
[AI 생성이미지]
“원고가 원용하는 판례들 중 상당수는 존재하지 않는 판결들로 이를 검증하지 않은 채 법원에 제출하는 행위는 부적절하다.”
지난 6월 한국 특허법원은 특허 등록무효 사건의 판결문에서 원고 측이 제출한 자료에 대해 이같이 지적했다. 약 한 달 전 원고 측은 새로운 전문가 의견과 실무 자료 등을 확보했다며 변론 재개를 신청했다. 이때 제출한 참고서면에는 실제로 존재하지 않는 판례 7건이 인용돼 있었다. AI로 찾아낸 일부 판결을 별도 검증 없이 제출한 것이다. 원고는 이 사실을 인정했다.
챗GPT “중요한 정보는 확인을” 빠져나가 AI 허위 정보 문제는 법조계에만 국한되지 않는다. 지난 8월 호주 공영방송 ABC는 의료문서에 사실과 다른 내용이 기재된 사례를 보도했다. 지난 3월 신장결석 수술을 받은 한 환자는 전문의가 주치의에게 보낸 소견서에서 자신이 환각성 버섯을 소량씩 복용한다는 내용을 발견했다. 실제로는 복용한 적이 없었다. 당시 진료에는 의사와 환자의 대화를 자동으로 기록하는 ‘AI 서기(AI scribe)’가 사용된 것으로 전해졌다.
그래픽=남미가 기자
법조계와 의료계를 가리지 않고 AI의 환각(hallucination)으로 생성된 잘못된 정보가 검증 없이 실무에 반영되는 사례가 잇따르고 있다. 대법원 법원행정처가 지난달 각급 법원 법관 360명을 대상으로 실시한 설문조사에서 민사·가사·행정 담당 법관의 약 80%가 재판 과정에서 허위·부존재 판례 등을 접했다고 답했다. 또한 지난 2월 한국보건산업진흥원이 발표한 의사 2125명 대상 설문조사에 따르면, 응답자 절반가량(47.7%)이 ‘의료 AI 활용 경험이 있다’고 답했으며, 이들 중 69.1%는 의료 AI의 가장 큰 문제로 ‘의료사고 발생 시 법적 책임 소재가 불분명’한 점을 꼽았다. 이어 ‘데이터 품질 문제(51.5%)’와 ‘기술 안정성(49.6%) 문제’ 순이었다.
그래픽=남미가 기자
이에 국내 법조계에서는 AI 허위 판례 제출에 대한 제재를 강화하려는 움직임이 나타나고 있다. 대법원 관계자는 “법 개정을 통해 과태료 부과 등 제재 근거를 마련할 필요가 있다”며 “법무부 등 관계 기관과 협의해 국회에 의견을 제출할 예정”이라고 밝혔다.
법조계에서 AI가 생성한 오류를 걸러내지 못한 이용자의 책임을 중심으로 논의가 이어지는 가운데, 국내 의료진 사이에서는 AI 관련 의료사고의 책임을 의사 개인에게만 물어서는 안 된다는 인식이 나타난다. AI 개발사의 책임도 따져야 한다는 것이다. 지난 2월 한국보건산업진흥원이 발표한 같은 설문조사에서 의료 AI 사용 경험자의 69.1%, 미경험자의 76.0%는 의료사고 발생 시 법적 책임이 불분명하다고 답했다. 책임 주체로 의사 개인을 꼽은 응답은 18.0%에 그쳤지만, 공동 책임은 35.3%, AI 개발사 책임은 26.9%였다.
그래픽=남미가 기자
의료 AI와 관련해 개별 역할을 구분한 자율적 지침도 마련됐다. 의료계와 산업계 등이 AI를 활용할 때 참고하도록 한 원칙이다. 한국보건의료연구원은 지난 1월 발표한 ‘의료 분야 생성형 인공지능 적정 활용 원칙’에서 의료인은 AI를 보조 수단으로만 활용하고 최종 임상 판단을 책임져야 한다는 기준을 제시했다. 개발사와 서비스 제공자에게는 안전한 제품을 설계하고, 오류 발생 시 이를 개선해 관련 정보를 공개할 책임을 요구했다.
김성근 대한의사협회 홍보이사는 “의료 AI에 대한 최종 판단의 책임은 의사에게 있더라도 AI로 발생한 손해의 배상책임까지 의사에게 집중돼선 안 된다고 본다”며 “책임은 각 주체가 통제할 수 있었던 위험과 과실의 정도에 따라 배분되어야 하기 때문”이라고 말했다. 이어 “의료계와 법조계, AI 산업계가 참여하는 의료 AI 책임 배분·손해배상에 대한 별도 법적 기준을 마련하기 위한 논의가 필요하다”고 제안했다.
미국 의료계는 AI 의료사고에 대한 병원의 책임까지 거론했다. 미국의사협회(AMA)는 지난 10일 의사가 AI 제품을 정해진 용도에 맞게 사용하고 적절한 의학적 판단을 했는데도 제품 결함으로 환자가 피해를 봤다면 개발사와 제조사가 책임져야 한다는 정책을 발표했다. 특히 병원이 특정 AI 제품의 사용을 의무화했다면 병원에도 책임을 물어야 한다고 했다. 협회는 이를 위한 법률 제정을 촉구하기로 했다.
AI 개발사에 책임을 물어야 한다는 목소리는 의료계 밖에서도 현실화하고 있다. 대표적으로 AI 출력물의 책임은 이용자에게 있다는 오픈AI의 주장이 독일 법원에서 받아들여지지 않았다. 지난해 11월 11일 독일 뮌헨 제1지방법원은 독일 음악저작권협회(GEMA)가 오픈AI를 상대로 낸 저작권 침해 소송에서 GEMA의 손을 들어줬다. GEMA는 작사가·작곡가 등의 저작권을 관리하는 단체로, 오픈AI의 미국·아일랜드 법인에 책임을 물었다.
소송은 독일 노래 9곡의 가사에서 비롯됐다. GEMA는 오픈AI가 저작권자의 허락 없이 가사를 AI 학습에 이용했고, 챗GPT가 이를 원문에 가깝게 출력했다며 소송을 냈다. 오픈AI는 AI 모델이 학습 자료를 그대로 저장하지 않으며, 챗GPT의 답변은 이용자의 질문에 따라 생성되므로 출력물에 대한 책임도 이용자에게 있다고 반박했다. 학습 과정의 저작물 이용도 독일 저작권법상 텍스트·데이터 분석(TDM) 예외 규정에 따라 허용된다고 주장했다.
“AI 검증 책임, 이용자에게 일방 전가 안돼”
[AI 생성이미지]
그러나 재판부는 GPT-4와 GPT-4o에 노래 가사가 재현 가능한 형태로 남아 있고, 챗GPT가 이를 출력한 것도 저작권 침해에 해당한다고 판단했다. 학습 자료 선정과 모델 구조를 통제한 주체가 오픈AI인 만큼 이용자에게만 책임을 돌릴 수 없다는 것이다. TDM 예외 규정도 인정하지 않았다. 법원은 침해 금지와 손해배상 청구 등을 대부분 받아들였다. 판결은 아직 확정되지 않았다.
이에 대해 김세준 성신여대 법학부 교수는 AI 오류에 대한 사용자와 개발사의 책임을 일률적으로 판단해서는 안 된다고 봤다. 김 교수는 “양자의 책임은 추상적인 검증 의무의 유무만으로 판단할 것이 아니라, 구체적인 위험에 대한 통제 가능성과 손해 발생에 대한 인과적 기여도를 종합적으로 고려해야 한다”며 “해당 오류가 합리적으로 기대되는 안전성을 결여한 결과인지, 개발사가 이를 예방하거나 경고할 수 있었는지를 따져야 한다”고 말했다.
이어 “만약 이용자가 쉽게 검증할 수 있었는데도 소홀히 했다면 그 책임을 고려해야 하지만, 개발사가 서비스의 정확성이나 신뢰성을 강조해 이용자의 신뢰를 유도한 경우에는 일방적으로 이용자에게 검증 책임을 전가하기 어렵다”고 말했다. 이종구 단국대 법학과 교수도 “현재 AI가 100% 완벽하다고 할 수 없기 때문에 인간의 감독이 필요하고 감독자가 책임을 져야 한다”며 “AI를 제공한 회사에도 AI에 결함이 있다면 그에 대한 책임을 물어야 한다”고 말했다.
문제는 AI의 결함을 입증하기 어렵다는 점이다. 이 교수는 “AI는 딥러닝의 복잡한 연산 구조를 통해 결과를 도출하기 때문에 어떤 과정에서 문제가 있었는지 밝히기 어렵다”고 지적했다. 그러면서 유럽연합(EU)의 제조물책임 제도 개정 움직임을 거론했다. EU는 2024년 제조물책임 지침을 개정해 기술적 복잡성으로 제품의 결함이나 손해와의 인과관계를 입증하기 어려운 경우, 일정 요건 아래 이를 추정할 수 있도록 했다는 설명이다. 반면 국내 법체계에서 AI 개발사에 책임을 묻는 데 한계가 있냐는 질문에는 “입증상의 어려움이 상당히 크다”고 답했다.
AI에 맡기는 업무가 늘면서 책임 범위도 넓어지고 있다. 세무 분야에서는 AI가 세금 계산과 신고서 작성에 관여하고, 금융권에서는 보험금 지급 심사에 활용된다. 기업들은 채용 지원자의 서류 검토와 역량 평가에 AI를 쓰고 있다. 정부도 AI로 노인의 안부를 확인하고 이상 징후를 감지하는 돌봄서비스 확대를 추진 중이다. AI 서비스를 개발·운영하는 기업뿐 아니라 이를 도입한 기관에 어디까지 책임을 물을 수 있는지를 놓고 논란이 커질 전망이다.