AI 가짜 보고에 전쟁날 뻔 했다…미군, 中 선박 폭격 직전 중단

지난 2월 28일(현지시간) 미군의 이란 공습 첫날 폭격으로 파괴된 이란 남부 미나브의 한 초등학교 교실. 잘못된 인공지능(AI) 정보에 근거해 폭격했다는 지적이 끊이지 않는다. AP=연합뉴스

미군이 중국 선박을 대상으로 한 군사 작전을 실행 직전에 중단한 것으로 나타났다. 인공지능(AI)이 만든 정보를 토대로 작전을 준비하다 오류를 발견해서다.

CNN이 18일(현지시간) 보도한 내용에 따르면 이란과 전쟁에 한창이던 올해 봄 미군 내부에서 중동에 있던 중국 선박 한 척이 핵무기 프로그램 관련 물질을 옮기고 있다는 내용의 정보 보고서가 회람됐다. 미군은 즉각 해당 선박을 차단하기 위한 작전 준비에 들어갔다. 무장한 미군 병력이 선박에 오를 준비를 했다. 군용기까지 출격했다.

하지만 작전을 실행하기 직전 군 당국자가 보고서를 추가로 검토하는 과정에서 오류를 발견했다. 문제의 보고서는 한 분석관이 미 태평양특수작전사령부가 입수한 중국 선박의 화물 목록 정보를 AI 챗봇에 입력해 분석을 요청하면서 작성되기 시작했다. 챗봇은 공개 정보와 미 정부가 보유한 기밀 신호 정보를 통합 분석한 끝에 해당 선박의 화물이 핵무기 프로그램과 관련됐다는, 잘못된 결론을 내렸다. 분석관은 다시 AI를 활용해 이 내용을 미군의 표준 정보 보고서 형식으로 만든 뒤 내부에 배포했다.

작전을 실제로 실행했다면 미·중 간 무력 충돌로 비화할 수 있었던 사건이었다. 익명을 원한 소식통은 CNN에 “(AI 보고서는) 전적으로 거짓이었다”며 “전쟁을 시작할 뻔했다”고 털어놨다. 미 국방부와 정보기관이 AI 활용을 빠르게 확대하는 가운데 AI의 오류가 실제 군사적 오판으로 이어질 수 있다는 위험성을 보여주는 사례라고 CNN은 짚었다.

피트 헤그세스 국방장관은 지난 1월 ‘AI 가속화 전략’을 발표하고 정보 분석과 표적 선정 등 군 업무 전반에 AI 도입을 확대하고 있다. CNN은 “미 정부 내 각 조직이 서로 다른 AI 도구와 안전 기준을 사용하고 있는데 AI가 생성한 정보를 어떻게 검증할지에 대한 통일된 기준이 없다”고 지적했다.

미군이 이란을 공습한 첫날 초등학교를 잘못 폭격해 175명 이상 숨진 참사가 발생했을 때도 AI 오류 가능성이 제기됐다. 로이터 통신은 “미·중 전문가가 AI가 군사 위기 상황에서 잘못 작동하거나 양국 군사 시스템이 오인할 가능성에 대비해 긴급 연락망을 구축하고, AI 시스템의 운용 범위와 인간의 최종 승인 원칙 등을 사전 합의하는 방안을 논의하고 있다”고 보도했다.




김기환([email protected])