아모데이·올트먼·머스크, AI 속도 조절론에 의기 투합한 이유 [팩플]
지난 5월 미국 샌프란시스코에서 열린 클로드 개발자 콘퍼런스에서 발언하는 다니엘라 아모데이 앤트로픽 최고경영자. AP=연합뉴스
도화선이 된 건 다리오 아모데이 앤트로픽 최고경영자(CEO)가 12일(현지시간) 자신의 블로그에 올린 ‘우리는 프런티어 개발 속도를 조절해야 한다’라는 제목의 선언문이었다. 아모데이 CEO는 이 선언문을 통해 “AI 모델 역량을 향상하는 속도를 늦춰야 한다”고 주장했다. 그의 선언문은 앤트로픽의 전·현직 연구원이 AI의 위험성을 경고한 지 4일 만에 나왔다. 앞서 지난 8일 앤트로픽 전직 AI연구원 제이컵 콕슨은 “AI가 인류를 전멸시킬 수 있다”는 경고를 남기며 퇴사했고, 에번 휴빙어 앤트로픽 AI 정렬 연구 책임자도 이에 동조했다.
다리오 아모데이 앤트로픽 CEO가 12일 자신의 블로그에 AI개발 속도를 늦춰야 한다는 선언문을 게시했다. 다리오 아모데이 블로그 캡처.
속도를 늦춰야 하는 핵심 근거로 아모데이 CEO는 AI의 ‘재귀적 자기 개선’(RSI) 능력을 꼽았다. RSI는 AI가 스스로 차세대 AI 모델을 개발하는 능력을 의미한다. 업계에선 RSI를 AGI 실현의 실마리로 여겨 왔다. 아모데이 CEO는 “(RSI는) 앤트로픽 뿐만 아니라 AI 업계 전반에 나타나고 있고, 이를 방치하면 AI를 이해하고 통제하는 인간의 능력을 (AI가) 앞지를 수 있다”고 경고했다. 이어 지난 7월 오픈AI의 AI 에이전트(비서)가 개발자 플랫폼 ‘허깅페이스’를 해킹한 사례를 들며 “수 많은 AI 에이전트가 광신도처럼 지시와 상관없는 목표물을 공격했다”며 “이 현상이 계속되면 6~12개월 안에 AI 에이전트가 인터넷을 장악하고 수천억 달러의 금전적 피해를 끼칠 수 있다”고 우려했다.
아모데이 CEO는 “AI 모델이 임계점에 도달하기 전 1~2년의 시간을 확보한 뒤 이를 ‘정렬’ 기술을 개선하는 데 쓰면 심각한 위험을 크게 줄일 수 있다”며 대안도 제시했다. 정렬은 AI를 학습시킬 때 인간의 의도, 윤리적 가치에 따라 행동하게 만드는 기술 전반을 뜻한다. 그는 이를 적용하기 위한 3단계 계획을 제안했다. ▶제3자 평가기관을 현장에 배치해 감독하고 ▶민주 진영의 AI 기업이 공통 안전 기준을 제정하고 ▶AI 위험을 관리하기 위한 국제 협력을 시도해야 한다는 것이다.
샘 올트먼 오픈AI CEO가 12일 X(옛 트위터)에 아모데이 CEO의 선언문을 공유하며 그의 의견에 동조했다. 샘 올트먼 X 캡처.
그간 AI 개발 방향을 두고 입장차가 컸던 경쟁사 CEO들도 아모데이의 주장에 힘을 보탰다. 샘 올트먼 오픈AI CEO는 자신의 엑스(X)에 “제3자 평가기관을 개발사에 배치하는 것은 훌륭한 아이디어”라고 공감했다. 두 회사는 기업공개(IPO)를 앞두고 최근 경쟁 강도를 높여왔지만, AI발 위협에는 같은 목소리를 냈다. 올트먼 CEO는 이날 포춘지와의 인터뷰에서도 “(올해는) IPO 추진하기에 적절한 시기가 아니다”라며 “안전 문제부터 해결해야 한다”고 말했다. 일론 머스크 테슬라 CEO도 “아모데이가 옳다”며 동조했고, 데미스 허사비스 구글 딥마인드 회장도 “다리오는 올바른 길을 제시했다”고 언급했다.
주요 AI 기업들이 AI 속도 조절론에 동참한 배경을 두고 업계에서는 AI 안전망을 개별 기업 선에서 구축하기 어려운 현실 때문이라고 분석한다. 글로벌 AI 안전 연구기관의 한 관계자는 “AI 기업들이 내부 테스트 결과 AI 통제가 불가능하다는 것을 체감했다”며 “AI는 현재 자신이 테스트를 받고 있다는 사실을 인지하고 ‘안전한 척’을 하는 수준까지 발전했다”고 설명했다.
이들의 움직임이 향후 AI 규제의 주도권을 잡기 위한 것이라는 지적도 나온다. 허깅페이스 공동 창업자 토마스 울프는 X에 “아모데이 제안에 75%만 공감한다. 선언문에서 앤트로픽이 주도권을 놓치지 않으려는 시도가 보인다”고 밝혔다. 중국을 향한 견제구라는 시선도 있다. 아모데이 CEO는 선언문에서 “속도 조절을 하지 않는 중국이 AI의 주도권을 쥐게 되면 미국과 전 세계에 중대한 위협이 된다”며 미국 정부에 반도체 수출 통제, 증류(특정 AI의 답변을 베껴 자사 모델 학습에 쓰는 방식) 단속 강화 등을 제안했다.
오현우([email protected])