탁자 위에 파란 컵과 장애물이 있다고 생각해 보겠습니다. 로봇팔이 컵을 집으려면 곧바로 움직이는 방법도 있지만, 오른쪽으로 접근했을 때와 왼쪽으로 접근했을 때의 결과를 먼저 비교하는 편이 더 안전합니다. 사람은 머릿속으로 “이렇게 잡으면 컵이 넘어지겠구나”라고 짧게 상상합니다. 로봇의 월드 모델(world model)은 이 역할을 계산으로 흉내 내는 예측 모델입니다.
핵심 요약
- 월드 모델은 현재 관찰과 행동 후보를 받아 다음 상태나 미래 장면을 예측합니다.
- 핵심은 예쁜 영상을 만드는 것이 아니라, 로봇의 행동이 결과에 정확히 반영되는지입니다.
- 로봇은 여러 후보 행동을 미리 굴려 보고 목표에 가까운 행동 하나를 선택할 수 있습니다.
- Meta는 V-JEPA 2-AC를 62시간 미만의 로봇 영상으로 추가 학습해 낯선 물체의 집기·놓기를 시연했다고 밝혔습니다.
- 긴 예측의 오차 누적과 현실 변화 때문에 실제 로봇은 짧게 실행하고 다시 관찰하는 폐루프가 필요합니다.
월드 모델은 로봇의 ‘미래 예측기’입니다
로봇 연구에서 월드 모델은 보통 현재의 영상·센서 상태와 후보 행동을 입력받아 다음 상태 또는 여러 단계 뒤의 상태를 예측합니다. 2026년 공개된 로봇 월드 모델 서베이는 이를 “행동에 따라 로봇과 환경이 어떻게 변하는지를 포착하는 예측 모델”로 정리합니다. 출력은 미래 영상일 수도 있고, 픽셀을 직접 그리지 않는 압축된 잠재 상태나 물체 관계일 수도 있습니다.
중요한 점은 미래가 하나로 정해져 있지 않다는 사실입니다. 컵을 향해 같은 거리만큼 움직여도 손의 각도, 마찰, 컵의 위치 오차에 따라 잡기·충돌·미끄러짐이 갈릴 수 있습니다. 따라서 유용한 모델은 가능한 결과를 여러 개 제시하거나, 각 후보 행동의 결과가 목표와 얼마나 가까운지를 비교할 수 있어야 합니다.
현재 상태와 행동을 함께 넣어야 합니다
작동 원리는 “현재 상태 + 행동 → 다음 상태”라는 간단한 문장으로 표현할 수 있습니다. 카메라 영상, 관절 위치, 집게의 열림 정도가 현재 상태가 되고, 손끝을 어느 방향으로 얼마나 움직일지가 행동이 됩니다. 모델은 이 둘을 함께 보고 컵의 위치, 로봇팔의 자세, 접촉 여부가 다음 순간에 어떻게 달라질지 예측합니다.
이 예측을 제어에 쓰는 대표 방법이 모델 예측 제어(MPC)입니다. 첫째, 로봇은 수십 개 또는 수백 개의 짧은 행동 후보를 만듭니다. 둘째, 월드 모델 안에서 각 후보의 미래를 굴려 봅니다. 셋째, 목표 이미지에 가장 가까우면서 충돌 비용이 낮은 후보의 첫 동작만 실행합니다. 넷째, 새 카메라 영상을 받아 같은 계산을 다시 합니다. 한 번에 긴 계획을 믿지 않고 짧게 움직인 뒤 계속 수정하는 방식입니다.
그럴듯한 영상과 제어 가능한 예측은 다릅니다
일반 영상 생성 모델도 다음 장면을 그럴듯하게 만들 수 있습니다. 그러나 로봇 제어에 필요한 질문은 “영상이 진짜처럼 보이는가”가 아니라 “오른쪽으로 움직이라는 명령을 줬을 때 실제로 오른쪽 이동이 나타나는가”입니다. 명령과 결과가 어긋나면 아름다운 영상도 계획 도구로는 쓸 수 없습니다. 그래서 로봇용 월드 모델은 시간적 일관성, 물리적 가능성, 행동 일관성을 함께 평가해야 합니다.
또 하나의 차이는 평가 기준입니다. 영상 품질 점수가 높아도 집기 성공률이 높다는 보장은 없습니다. 로봇은 손끝이 컵을 몇 밀리미터 빗나가는 작은 오차에도 실패할 수 있고, 접촉 순간의 힘과 마찰은 RGB 영상만으로 충분히 알기 어렵습니다. 최종 평가는 실제 과업 성공률, 충돌·손상 여부, 낯선 물체와 조명에서의 재현성처럼 행동 결과로 확인해야 합니다.
실제 사례: V-JEPA 2의 숫자는 무엇을 뜻할까요
구체적인 예로 Meta가 2025년 6월 공개한 V-JEPA 2는 12억 개 매개변수 규모의 영상 기반 월드 모델입니다. 회사 설명에 따르면 1단계에서 100만 시간 이상의 영상과 100만 장의 이미지로 자기지도 사전학습을 했고, 2단계에서는 DROID 데이터의 62시간 미만 로봇 영상과 행동 정보를 추가했습니다. 이때 미래 픽셀을 전부 그리기보다 영상의 의미를 압축한 임베딩 공간에서 다음 상태를 예측합니다.
Meta는 이 행동 조건부 모델을 별도 현장 데이터 수집 없이 두 연구실의 Franka 로봇에 배치했고, 새로운 물체를 집어 다른 위치에 놓는 짧은 과제에서 65~80% 성공률을 보고했습니다. 다만 이 수치는 회사가 정한 이미지 목표, 물체 구성, 로봇과 평가 절차 안에서 나온 결과입니다. 모든 가정이나 공장에서 65~80%가 보장된다는 뜻도 아니고, 장시간 무인 작업의 신뢰도를 입증한 수치도 아닙니다.
최근의 월드 모델은 예측뿐 아니라 데이터 생성과 정책 평가에도 쓰입니다. NVIDIA의 Cosmos 3는 언어·이미지·영상·오디오·행동을 한 계열에서 다루며 물리 AI의 이해, 생성, 시뮬레이션, 행동을 연결한다고 설명합니다. 이런 범용 모델은 로봇 학습용 합성 장면을 만들거나 후보 행동을 평가하는 기반이 될 수 있지만, 모델이 만든 장면은 실제 측정값이 아니므로 별도 검증이 필요합니다.
짧게 예측하고 다시 보는 폐루프가 중요합니다
가장 큰 한계는 오차 누적입니다. 첫 0.5초 예측이 조금 틀리면 그 결과를 바탕으로 한 다음 예측은 더 틀어질 수 있습니다. 예측 시간이 길어질수록 컵이 미끄러지는 위치, 사람의 움직임, 로봇팔의 접촉 상태가 현실과 멀어질 가능성이 커집니다. 학습 데이터에 없던 투명 물체, 젖은 표면, 강한 역광도 오차를 키웁니다.
계산량과 안전도 남습니다. 여러 미래를 생성하고 점수를 매기면 반응 시간이 느려질 수 있고, 모델이 위험을 놓치면 잘못된 행동을 자신 있게 추천할 수도 있습니다. 따라서 실제 배치에서는 힘·속도 제한, 충돌 감지, 작업공간 제한, 사람의 중지 권한 같은 독립적인 안전 장치가 필요합니다. 월드 모델은 안전 인증이나 제어기의 모든 역할을 대신하는 부품이 아닙니다.
어떤 질문으로 기술을 봐야 할까요
월드 모델을 볼 때는 세 가지를 물으면 좋습니다. 첫째, 예측이 특정 행동에 조건화되어 있는가. 둘째, 실제 로봇이 짧게 실행하고 다시 관찰하는 폐루프로 검증됐는가. 셋째, 성공률의 과제·환경·분모와 실패 유형이 공개됐는가입니다. 이 기준을 적용하면 “미래 영상을 만들었다”는 시연과 “현실에서 의사결정에 도움이 됐다”는 검증을 구분할 수 있습니다.
결국 월드 모델의 가치는 로봇이 행동하기 전에 결과를 비교하게 해 주는 데 있습니다. 잘 작동하면 실제 충돌을 줄이고, 값비싼 현장 데이터를 보완하며, 여러 정책을 안전하게 선별할 수 있습니다. 하지만 예측이 현실을 완전히 대신하지는 못합니다. 짧은 예측, 반복 관찰, 실제 성능 측정, 독립 안전 장치를 함께 묶을 때 비로소 로봇의 “상상”이 유용한 행동으로 이어집니다.
출처
- World Model for Robot Learning: A Comprehensive Survey (2026년 4월 30일 공개)
- Meta: Introducing the V-JEPA 2 world model (2025년 6월 11일)
- NVIDIA Research: Cosmos 3 (기술 보고서 및 모델 자료)
함께 보면 좋은 글
글쓴이
Sean Woo — 15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.