‘세상’이…말로 창조됐다

구글이 27일 출시한 월드 모델 ‘지니4’로 제작한 영상. 용에 올라타 성을 공격하는 기사의 1인칭 시점을 담았다. [사진 구글 블로그 캡처]

한 남자가 강가에서 악기를 연주하자 음악이 흘러 나왔다. 프롬프트(명령어) 입력창에 ‘사람 뒤로 고래의 꼬리가 올라온다’고 넣자 실시간으로 고래 꼬리가 강물에서 튀어나왔다. 이어 ‘눈이 내리기 시작한다’고 넣자, 눈발이 흩날렸고, 남자의 머리와 옷깃엔 눈이 조금씩 쌓였다. 마치 게임 속 세계처럼, 방향키와 특정 키를 누르면 시점과 카메라 위치도 바뀌었다.

구글 딥마인드가 27일(현지시간) 새로운 월드 모델 ‘지니4’를 선보이면서 공개한 영상의 일부다. 지니4는 한꺼번에 프롬프트를 입력하면 영상을 생성하는 기존 영상 AI에서 한 걸음 더 나아가, 화면 속 환경에 실시간으로 프로프트를 통해 개입할 수 있다는 점에서 업계의 관심을 불러모았다. 구글은 지니4를 현재 일부 연구자에게 연구용 버전으로 공개했다.

지니4는 구글의 월드 모델이다. 월드 모델은 주변 환경과 행동을 바탕으로 다음에 어떤 일이 일어날지 예측·구현하는 AI다. 거대 언어 모델(LLM)이 앞선 문맥을 바탕으로 다음 단어를 예측하듯, 월드 모델은 이용자의 행동에 따라 달라질 환경을 예측한다. 방 안을 걸어가면 시야가 어떻게 바뀌는지, 바닥에 놓인 공을 건드리면 어떻게 굴러가는지를 생성하는 식이다.

이번 지니4는 구글의 실시간 월드모델 중 처음으로 소리를 자체 생성할 수 있게 됐다. 나무 사이로 부는 바람과 해변의 파도 같은 효과음뿐만 아니라 등장인물 간 대화도 만들어낸다. 인물들은 이용자 프롬프트나 가상 세계 속 사건에 반응해 실시간으로 대화한다. 예컨대 용을 탄 기사의 1인칭 시점으로 제작한 영상에서 ‘기사가 성을 공격하자 소리치자, 다른 기사가 이건 함정이라 경고한다’란 프롬프트를 입력하자, 용을 타고 날던 등장인물들이 서로를 쳐다보며 소리쳤다.

지니4 같은 월드 모델은 향후 게임·영화 등 콘텐트 제작과 로봇 훈련 등에 활용될 것으로 기대된다. 게임 개발자는 배경과 등장인물, 원하는 상호작용을 말로 설명해 탐험 가능한 게임 속 세계를 담은 시제품을 만들 수 있다. 구글은 “게임 개발자들은 코드를 쓰기 전에 말로 프롬프트를 입력해 (게임의) 비주얼 요소, 상호작용 방식 등을 시험하고 있다”고 밝혔다. 영화 제작 분야에서도 카메라 각도와 조명, 대사와 동작을 실시간으로 바꾸며 장면을 미리 확인하는 용도로 시험 중이다.

로봇·자율주행차 등 피지컬 AI 분야에서 월드 모델은 가상 훈련장으로 활용 가능하다. 로봇이 낯선 환경에서도 작업하려면 다양한 상황에서 행동과 결과를 학습해야 한다. 현실 세계 실제 데이터를 모으는 데는 시간과 비용이 많이 들고, 사고 위험이 있는 상황을 반복 재현하기도 어렵다. 피지컬AI 기업 카본식스의 서형주 최고기술책임자(CTO)는 “기존 시뮬레이션으로는 빨래 접기 같은 작업을 구현하기 어렵다”며 “월드 모델을 활용한다면 장기적으로는 기존 시뮬레이션으로 표현하기 어려웠던 상황까지 다룰 수 있어질 것”이라고 말했다.

관건은 가상세계의 정확도와 일관성이다. 로봇 훈련에 쓰려면 화면이 그럴듯한 것을 넘어 행동의 결과가 현실과 맞아야 한다. 게임에선 오래 움직여도 공간과 사물이 유지돼야 한다. 이 부분을 개선하는게 과제다. 구글은 “시뮬레이션이 길어지거나 복잡한 수정을 반복하면 사물의 모습과 상태가 달라질 수 있다”고 밝혔다.





김민정([email protected])