월드 모델

월드 모델은 "지금 이렇게 움직이면 다음에 어떻게 될까"를 예측하는 AI로, 언어 모델이 다음 단어를 예측하듯 물리 세계의 다음 장면을 예측한다. 로봇·자율주행처럼 현실에서 직접 해 보기 어렵거나 위험한 시행착오를 모델 안에서 미리 연습하거나, 학습용 합성 데이터를 만들 때 쓴다.

상상 속에서 연습하고 현실에서 쓴다

핵심은 실제 환경 대신 모델이 만든 세계에서 연습하는 것이다. 2018년 World Models 연구에서는 게임 에이전트가 모델이 만든 "꿈" 속에서만 연습했는데, 진짜 게임에서도 잘 동작했다.

메타의 V-JEPA 2는 이 방식을 로봇에 썼다. 영상으로 세상의 움직임을 먼저 익히고 로봇 팔 데이터를 조금만 더 학습했는데, 처음 보는 환경에서도 물건을 집어 옮겼다. 목표 장면을 이미지로 주면 여러 동작의 결과를 미리 예측해 보고, 목표에 가장 가까워지는 동작을 고른다.

의미만 예측하거나, 장면을 통째로 그리거나

월드 모델은 무엇을 예측하느냐에 따라 두 갈래로 나뉜다. 어느 쪽이 차세대 AI의 핵심이 될지는 아직 결론이 나지 않았다.

Genie 3는 글로 묘사한 세계를 실시간 영상으로 만들어 그 안을 몇 분간 돌아다니게 하고, 도중에 날씨를 바꾸는 명령도 받는다. 다만 아직 일부 연구자에게만 열린 프리뷰다.

개발자는 합성 데이터부터 쓴다

지금 직접 써 볼 수 있는 쓰임새는 학습 데이터 만들기다. 엔비디아 Cosmos는 허깅페이스와 GitHub에서 내려받을 수 있다. 로봇이나 자율주행 인식 모델에 쓸 데이터가 부족하면, 실제로 촬영하지 않고도 드문 상황을 대량으로 만들 수 있다.

실제 주행 기록에 다른 경로를 넣어 "그때 다르게 움직였다면?"을 돌려 보는 것도 가능하다. 웨이모는 이런 방식으로 토네이도나 길을 막은 트럭처럼 모으기 어려운 상황을 만들어 자율주행을 시험한다.

합성 결과는 실제 데이터로 검증한다

학습 데이터에 드물었던 상황일수록 물리 예측이 틀리기 쉽고, 생성이 길어질수록 장면이 조금씩 어긋난다. 모델이 그린 세상이 현실과 조금만 달라도 그 안에서 배운 동작이 현실에서는 빗나갈 수 있다. 그러니 합성 데이터로 학습한 결과는 꼭 실제 데이터로 확인해야 한다.

현실 시험장 대신 쓰는 가상 연습장

가장 흔한 쓰임은 현실에서 모으기 어려운 장면을 만들어 시험하고 학습시키는 것이다. 모델이 만든 결과를 그대로 믿지 않고, 마지막에는 실제 환경에서 확인하는 흐름으로 쓴다.