“AI 지능폭발 임박, 통제 못하면 인류 멸망”…연구원들 섬뜩 경고

인공지능(AI). 로이터=연합뉴스

인공지능(AI) 개발의 자동화가 진행되면서 수년이 걸릴 기술 진보가 불과 수개월로 압축되는 ‘지능 폭발’이 불거질 가능성을 전 세계 주요 AI 연구자들이 제기했다. 그 결과 극단적인 경우 인류의 소외나 멸망으로 이어질 수 있다는 경고도 나왔다.

주요 AI 연구자 22명은 영국 ‘케임브리지대 AI 과학·정책 프로그램’(CASP)을 통해 발표한 공동 논문 ‘AI 연구개발의 자동화가 지능 폭발을 촉발한다면?’에서 이런 우려를 내놓으며 정책 대응을 촉구했다.

이 논문에는 세계 3대 ‘AI 대부’로 꼽히는 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 학계 인사를 비롯해 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업의 현업 연구진도 참여했다.

이들은 현재 거대 기술기업 내에서 AI 모델의 개발 작업을 AI에 위임하는 자동화 속도가 빠르게 증가하고 있다고 지적했다.

일례로 앤트로픽의 경우 개발진이 승인한 코드 중 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 급증했다는 것이다. 인간은 감독만 하고 AI가 자율적으로 완수한 연구개발(R&D)의 비율도 지난 3월 1%에 불과했지만 지난달에는 26%로 늘어났다.

연구진은 이처럼 기술 발전이 빨라지면 수개월씩 걸리던 복잡한 AI R&D 프로젝트 전체가 2년 안에 완전히 자동화할 수 있고, AI의 재귀적 자기개선(RSI) 고리가 완성되면 폭발적인 기술 가속이 일어날 수 있다고 전망했다.

이 같은 지능 폭발은 기술 혁신을 크게 앞당기거나 신약을 발견하는 등 긍정적인 효과를 기대할 수 있지만, 사회가 적응할 수 있는 한계를 넘어서는 위험도 초래한다고 이들은 우려했다.

논문은 이에 따라 “가장 극단적인 경우 AI 시스템에 대한 통제를 상실하면 인류의 소외나 멸망으로 이어질 수 있다”고 내다봤다.

연구자들은 이를 막기 위한 정책적 대비책이 필요하다면서 각국 정부가 AI 기업에 R&D 자동화 지표 등 보고를 의무화해야 한다는 의견을 냈다.

또 원자력규제위원회(NRC)나 통화감독청(OCC)과 같은 기관이 AI 기업에 상주 감시관을 배치해야 한다고 제안했다. 안전 기준이 충족되지 않으면 AI 연구개발 작업 부하를 조절하거나 일시 중지할 수 있는 통제 장치를 마련해야 한다고도 당부했다.

이들은 “정책 입안자들은 의미 있는 조처를 할 수 있는 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하며 적응 능력을 키우는 행동에 즉각 나서야 한다”고 촉구했다.



김지혜([email protected])