이 글에서 알아볼 내용
- 로봇은 컴퓨터 속 가상 연습장에서 먼저 배울 수 있습니다.
- 가상에서 배운 것을 실제 로봇에 옮기는 방법을 Sim-to-Real이라고 합니다.
- 빛이나 물체 위치를 바꿔 연습하면 한 가지 장면에만 익숙해지는 문제를 줄이는 데 도움이 됩니다.
- 가상에서 잘했다고 현실에서도 반드시 잘하는 것은 아닙니다.
- 연습한 횟수보다 실제로 어떤 조건에서 성공했는지 확인하는 것이 중요합니다.
로봇에게 “파란 컵을 쟁반으로 옮겨 주세요”라고 부탁했다고 상상해 보겠습니다. 처음부터 잘 잡으면 좋겠지만, 컵을 놓치거나 엉뚱한 곳으로 손을 뻗을 수도 있습니다.
그런데 연습할 때마다 진짜 컵이 깨진다면 어떨까요? 로봇도 망가질 수 있고, 컵을 다시 놓아 주는 사람도 필요합니다. 그래서 연구자들은 컴퓨터 안에 로봇의 연습장을 만드는 방법을 활용합니다.
이번 글은 새 제품 발표가 아니라 Sim-to-Real을 설명하는 지식 글입니다. 원리를 보여 주는 2017년 논문과 2024년 NVIDIA의 로봇 보행 사례를 살펴봅니다. 두 자료는 2026년 9월 12일에 다시 확인했습니다.
1. 화면 속에서 배운 것을 진짜 로봇으로 옮깁니다
컴퓨터 속에 로봇 팔, 컵, 책상을 만들어 놓습니다. 로봇이 움직이면 컵이 어디로 가는지 계산합니다. 이렇게 실제 상황을 컴퓨터로 흉내 내는 것이 시뮬레이션입니다.
이곳에서 배운 물체 찾기나 움직임 방법을 실제 로봇에 활용하는 것을 Sim-to-Real, 즉 ‘시뮬레이션에서 현실로 옮기기’라고 부릅니다. 화면 속 로봇이 밖으로 나오는 것이 아니라, 학습한 AI 모델 등을 실제 로봇에서 사용하는 것입니다. NVIDIA의 가상 학습·실제 배치 설명
운전 연습 게임을 떠올리면 이해하기 쉽습니다. 화면 안에서는 여러 번 연습해도 실제 차가 부서지지 않습니다. 다만 로봇의 시뮬레이션은 사람이 게임을 하는 것과는 다릅니다. 컴퓨터가 만든 자료와 계산 결과로 AI를 학습시키는 방식입니다.
2. 왜 똑같은 장면만 반복하지 않을까요?
늘 밝은 방, 늘 같은 책상, 늘 같은 위치의 컵으로만 연습한다고 가정해 보겠습니다. 그런데 실제 방에 가니 그림자가 생겼습니다. 컵 옆에는 작은 상자도 놓여 있습니다.
이럴 때를 대비해 연습장의 모습을 조금씩 바꿉니다. 불빛을 바꾸고, 컵의 위치를 옮기고, 주변 물건을 더하는 식입니다. 이러한 방법을 도메인 랜덤화라고 합니다. 이름은 어렵지만, 여기서는 ‘연습 조건을 다양하게 바꾸기’로 이해하면 됩니다.
2017년 3월 공개된 연구는 가상 이미지의 물체 위치, 표면 무늬, 조명, 카메라 조건 등을 바꿔 물체의 위치를 찾는 AI를 학습시켰습니다. 이후 실제 카메라 이미지 480장으로 위치 찾기 정확도를 평가했습니다. 물체 8종마다 60장씩이며, 혼자 놓인 경우·주변 물건이 있는 경우·일부가 가려진 경우가 각각 20장입니다. 논문 III-A·IV-B절
480장은 실제 로봇이 집기에 성공한 횟수가 아닙니다. 물체의 위치를 얼마나 잘 찾는지 확인한 이미지 수입니다. 또한 이 논문의 위치 찾기 실험을 “모든 집안일을 가상에서 배웠다”는 뜻으로 읽으면 안 됩니다.
3. 하지만 가상 컵과 진짜 컵은 다릅니다
겉모습이 같아도 진짜 컵은 예상보다 무겁거나 표면이 미끄러울 수 있습니다. 카메라에 잡히는 모습도 조금 다릅니다. 예를 들어 연습에서는 마른 컵을 잘 잡았는데, 현실에서는 물기가 묻은 컵을 놓치는 상황을 생각할 수 있습니다.
이처럼 가상 연습장과 현실 사이에 남는 차이를 ‘현실 격차’, 또는 Sim-to-Real gap이라고 부릅니다. 그림을 사진처럼 그럴듯하게 만드는 것만으로 모든 차이가 사라지지는 않습니다. 물체가 닿고 미끄러지는 방식, 로봇 부품의 움직임까지 영향을 줍니다. 논문 I절의 현실 격차 설명
따라서 조건을 다양하게 바꾸는 것은 도움을 주는 방법이지, 성공 보증서는 아닙니다. 실제 시험에서 어떤 차이가 문제였는지 살피고, 필요하면 가상 연습장과 학습 방법을 고쳐야 합니다.
4. 실제로 쓰인 사례: 네 발 로봇의 걷기 연습
NVIDIA는 2024년 6월 17일 기술 글에서 Boston Dynamics의 네 발 로봇 Spot에 가상에서 학습한 보행 모델을 적용하는 과정을 소개했습니다.
회사 설명에 따르면 Isaac Lab이라는 로봇 학습 도구에서 가상 환경 4,096개를 사용했습니다. RTX 4090 GPU에서 15,000회 학습 반복에 약 4시간이 걸렸다고 보고했습니다. GPU는 많은 계산을 빠르게 처리하는 반도체입니다. NVIDIA 원문 ‘Goal’·‘Results’
여기서 4,096개는 실제 로봇의 대수가 아니라 컴퓨터 속 연습 환경의 수입니다. 약 4시간 역시 이 장비와 학습 설정에서 나온 시간입니다. 모든 로봇이 4시간이면 일을 배운다는 뜻은 아닙니다.
이 사례의 목표는 평평한 지면에서 주어진 이동·회전 속도를 따라 걷기였습니다. 컵 옮기기나 집안일 전체를 시험한 것이 아닙니다. 실제 배치에는 사람이 게임패드로 속도 명령을 주는 구성도 포함됩니다. 따라서 사람이 목적지를 말하면 모든 일을 알아서 처리하는 로봇으로 해석해서는 안 됩니다. 원문 ‘Goal’·실제 배치 설명
5. 로봇 뉴스를 볼 때는 이 세 가지를 물어보세요
ITTimes는 “가상에서 얼마나 많이 연습했는가”에 더해, 다음 질문을 함께 보는 것이 중요하다고 판단합니다.
- 무엇을 배웠나요? 물체 위치 찾기인지, 걷기인지, 실제 물건 집기인지 구분합니다.
- 현실에서 어떻게 시험했나요? 어떤 물체와 장소를 사용했고, 총 몇 번 시도했는지 확인합니다.
- 사람은 무엇을 도왔나요? 이동 명령만 줬는지, 실패할 때마다 손으로 고쳐 줬는지 살펴봅니다.
회사 자료에 이 답이 없다면 아직 확인되지 않은 부분으로 남겨 두면 됩니다. 시연 영상 한 번과 오랫동안 반복해서 일한 기록은 다른 자료입니다.
Sim-to-Real은 현실 시험을 없애는 마법이 아닙니다. 실제 로봇이 배워야 할 일을 가상에서 먼저 연습하도록 돕는 방법입니다. 중요한 것은 연습장의 크기만이 아니라, 그 배움이 현실에서 어디까지 통하는지입니다.
함께 읽으면 이해가 쉬워집니다
로봇이 카메라로 본 장면과 말로 받은 부탁을 행동으로 연결하는 방법이 궁금하다면, VLA란? “파란 컵 치워줘”를 로봇의 행동으로 바꾸는 AI를 함께 읽어 보세요.
직접 확인한 원문
- Tobin 외, Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World — 2017년 3월 20일 공개, v1. 연습 조건 변경과 실제 이미지 평가를 설명하는 배경 연구입니다.
- NVIDIA, Closing the Sim-to-Real Gap: Training Spot Quadruped Locomotion with NVIDIA Isaac Lab — 2024년 6월 17일. 회사가 공개한 보행 학습·배치 사례입니다.
자료 확인일: 2026년 9월 12일. 컵 옮기기 장면은 원리를 설명하기 위한 가상 예시이며, 특정 제품의 시험 결과가 아닙니다.
Sean Woo | Robotics & AI Editor
15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.