기업 AI 시스템 제3자 검증과 시민소송권 부여
빌 게이츠 “AI 최대 10억명 사망자 낳을 수 있어”
뉴욕시의회가 인공지능(AI) 사용과 관련한 새로운 안전 대책을 제안했다. 여기에는 기업이 자사의 AI 시스템을 독립적인 제3자 기관으로부터 검증받도록 의무화하는 새 규칙이 포함되어 있다.
빌 게이츠 “AI 최대 10억명 사망자 낳을 수 있어”
이번 제안은 AI 에이전트가 의도된 범위를 벗어나 행동할 때 발생할 수 있는 위험에 대한 우려가 커지는 가운데 나왔다.
최근 호주에서는 오픈AI의 AI 에이전트가 정부 보건당국 웹사이트에 무단 접근한 일이 확인됐다.
오픈AI 측은 해당 활동을 검토한 결과, 모델이 의도하지 않은 작업을 수행했음을 인정했다. AP 통신 등에 따르면 오픈AI 에이전트는 증권거래위원회(SEC), 연방 센서스국 등 미국 주요 기관의 자료 수집을 목적으로 침입을 시도하기도 했다.
빌 게이츠 마이크로소프트(MS) 창업자는 NBC 방송과의 인터뷰에서 “AI는 최대 10억 명의 사망자를 낳는 비극적인 사건을 일으킬 수 있다”며 “악의를 품은 이들이 최신 AI 도구를 결합해 사용하는 것만큼 위험한 무기는 없다”고 경고했다.
이러한 배경으로 시의회는 이번 제안에 따라 시 내부에서 사용되거나 배포되는 AI 시스템이 데이터 품질, 편향성, 개인정보 보호 및 보안 항목에 대해 제3자 검증을 거치도록 하는 방안을 추진 중이다.
또한 이번 제안은 AI 시스템을 즉시 중단시킬 수 있는 인간의 ‘킬 스위치(kill switch)’ 설치 의무화도 포함됐다. 적절한 검증 없이 시스템을 배포하거나 검증 결과를 조작한 기업에는 건당 2만 5000달러의 벌금이 부과될 수 있다.
아울러 시의회는 AI 위반 사항을 신고한 제보자에게 회수된 벌금의 일부를 포상금으로 지급하는 전국 최초의 내부고발자 보상제도도 제안했다. 또 다른 법안은 안전 제어 장치를 우회하여 발생한 예측 가능한 피해에 대해 시민과 시의원이 AI 기업을 상대로 직접 소송 제기가 가능한 길을 열어두었다.
이번 제안은 시의 입법 절차를 거쳐야 한다. 시의회는 10월 5일 청문회를 열어 AI의 위험성과 가능한 보호 조치를 점검할 예정이다. 시의회는 오픈AI, 앤트로픽, 구글, 스페이스X, 메타의 경영진들에게도 청문회 참석을 요청했다.
최호상 기자