“파란 컵만 쟁반에 올려줘.” 사람에게는 쉬운 부탁이지만, 로봇에게는 꽤 바쁜 순간입니다. 빨간 컵과 파란 컵을 구별해야 하고, 무엇을 해달라는 말인지 알아야 합니다. 컵을 골랐다면 손을 어디로 뻗고 언제 오므릴지도 정해야 하죠.
이때 눈에 들어온 장면과 말로 받은 지시를 로봇의 움직임으로 연결하는 모델이 VLA입니다. 영어로는 Vision-Language-Action, 우리말로는 ‘시각·언어·행동’입니다. 이름은 낯설지만, 오늘은 파란 컵 하나가 쟁반으로 옮겨지는 과정을 따라가 보겠습니다.
1. 컵이 어디 있는지 아는 것과 컵을 집는 것은 다릅니다
아침 식탁을 하나 상상해 보겠습니다. 파란 컵 옆에는 빨간 컵이 있고, 쟁반에는 자리가 남아 있습니다. 사진을 보고 답하는 AI라면 “식탁에 컵 두 개가 있습니다”라고 설명할 수 있겠죠. 하지만 그 답만으로 로봇 팔이 움직이지는 않습니다.
VLA는 여기서 한 걸음 더 나아갑니다. 지금 보이는 장면과 “파란 컵을 쟁반에 올려줘”라는 지시를 받아, 로봇이 실행할 다음 행동을 예측합니다. 예를 들면 손을 컵 쪽으로 옮기거나, 집게를 닫는 데 필요한 제어값입니다. 실제 행동을 표현하는 방식은 모델과 로봇에 따라 달라집니다. RT-2 연구의 작동 방식
외우기 쉽게 줄이면 이렇습니다. V는 ‘무엇이 보이나’, L은 ‘무엇을 해달라는 말인가’, A는 ‘어떻게 움직일까’입니다. 이해를 돕기 위해 나눈 표현이며, 모델 안에 사람 같은 눈·귀·판단력이 따로 들어 있다는 뜻은 아닙니다.
2. 손을 뻗는 사이, 컵이 움직였다면?
로봇이 컵을 집으려는 순간, 누군가 컵을 조금 옆으로 밀었습니다. 로봇이 처음 본 위치만 믿고 계속 손을 뻗으면 어떻게 될까요? 컵이 있던 빈자리를 잡으려 할 수 있습니다.
그래서 중요한 것이 다시 보고, 다음 움직임을 정하는 과정입니다. RT-2 연구는 행동을 실행한 뒤 바뀐 장면을 다시 받아 제어하는 ‘폐루프 제어’를 설명합니다. 어려운 이름이지만, 자전거를 탈 때 앞을 한 번만 보고 끝내지 않는 것과 비슷합니다. 계속 보면서 핸들을 조정하듯, 로봇도 달라진 상황을 다음 행동에 반영하는 것입니다. RT-2의 폐루프 제어 설명
그렇다고 어떤 변화에도 곧바로 대응한다는 뜻은 아닙니다. 컵이 카메라에서 가려지거나, 로봇이 판단하는 데 시간이 걸리거나, 손이 이미 잘못된 방향으로 움직였다면 별도의 대응이 필요합니다.
3. 컵 사진을 많이 보면, 컵도 잘 집을까요?
요리 영상을 많이 본 사람도 처음 달걀말이를 만들 때는 모양을 망칠 수 있습니다. 무엇을 해야 하는지 아는 것과, 손을 알맞게 움직이는 것은 연결돼 있지만 같은 일이 아니기 때문입니다.
로봇도 비슷한 문제를 만납니다. 사진과 글로 컵이나 ‘옮긴다’는 말에 관한 지식을 배울 수는 있습니다. 여기에 어떤 장면에서 어떤 행동을 했는지 연결된 경험이 더해져야 합니다. RT-2 연구진은 인터넷의 이미지·언어 데이터와 로봇 행동 데이터를 함께 학습에 사용했다고 설명합니다. RT-2 학습 데이터 설명
예를 들어 OpenVLA 연구팀은 약 97만 개의 로봇 작업 궤적으로 모델을 학습했다고 보고했습니다. 여기서 궤적은 사진 한 장이 아니라, 관찰과 행동이 시간에 따라 이어진 기록입니다. ‘컵을 향해 손을 뻗고, 잡고, 옮기는 과정의 기록’을 떠올리면 쉽습니다. 서로 다른 집안일 97만 종류를 할 수 있다는 뜻은 아닙니다. OpenVLA 논문 초록
또 하나 헷갈리기 쉬운 숫자가 있습니다. RT-2 연구의 약 6,000회는 학습 기록 수가 아니라 평가를 시도한 횟수입니다. 97만과 6,000을 비교해 “어느 쪽이 더 똑똑하다”고 결론 내리면 안 됩니다. 하나는 배우는 데 쓴 기록이고, 다른 하나는 시험해 본 횟수이기 때문입니다. RT-2 평가 설명
4. VLA는 제품 이름이 아니라, 이런 연결을 하는 모델입니다
‘전기차’라는 말이 특정 자동차 한 대를 가리키지 않듯, VLA도 하나의 제품 이름은 아닙니다. 이미지·언어와 행동을 연결하되, 실제로 움직임을 만드는 방법은 여러 가지입니다.
RT-2와 OpenVLA는 행동을 모델이 처리할 수 있는 토큰, 즉 작은 정보 단위로 표현합니다. Physical Intelligence의 2024년 기술 발표에 따르면 π0(파이 제로)는 ‘플로 매칭’이라는 방법으로 연속적인 행동 출력을 만듭니다. 이름까지 외울 필요는 없습니다. 같은 VLA라도 학습 방식과 행동 표현이 다르므로, 실제 작업에서 확인해야 한다는 점이 핵심입니다. OpenVLA 모델 구조 · π0 기술 발표
5. 시연 속 깔끔한 식탁과 우리 집 식탁은 다릅니다
다시 컵으로 돌아가 보겠습니다. 텅 빈 식탁 한가운데 놓인 컵은 찾기 쉬워 보입니다. 그런데 컵 앞에 투명한 유리잔이 있고, 행주가 손잡이를 가리고, 식탁 위에는 물까지 조금 흘러 있다면 어떨까요? 사람은 무심코 처리하는 변화가 로봇에는 새로운 어려움이 될 수 있습니다.
OpenVLA의 2024년 논문은 신뢰성과 추론 처리량 등의 한계를 설명합니다. π0 발표도 장기 작업의 계획과 견고성, 안전을 남은 연구 과제로 제시했습니다. 연구에서 좋은 결과가 나왔다는 것과, 집이나 공장에서 오래 믿고 쓸 수 있다는 것은 따로 확인할 문제입니다. OpenVLA 논문 6절 · π0의 남은 과제
그래서 로봇 영상을 볼 때는 멋지게 성공한 한 장면 뒤에 이런 질문을 붙여보면 좋습니다. “몇 번 시도해서 몇 번 성공했을까? 사람이 도운 적은 없을까? 실패하면 스스로 다시 할 수 있을까?” ITTimes가 현장 도입을 판단할 때 권하는 질문입니다.
간단한 계산 예시도 보겠습니다. 100번 시도해 85번 끝냈지만 그중 10번은 사람이 도왔다면, 완료율은 85%이고 도움 없이 끝낸 비율은 75%입니다. 설명을 위해 만든 숫자이지만, 같은 결과도 무엇을 세느냐에 따라 달리 보인다는 점을 보여줍니다. 실제 평가에서는 사람의 도움과 재시도를 어떻게 셌는지도 함께 봐야 합니다.
파란 컵 하나에 담긴 변화
“컵이 보입니다”라고 설명하는 AI에서, 그 컵을 옮기는 행동까지 연결하는 AI로. VLA를 이해하는 출발점은 여기에 있습니다.
ITTimes가 주목하는 점은 이런 모델이 새로운 작업을 가르치는 부담을 줄일 가능성입니다. 다만 모델만 바꾼다고 로봇 손의 힘, 센서의 시야, 안전장치까지 저절로 좋아지는 것은 아닙니다. 기술을 도입할 때는 작은 작업부터 정하고, 실제 물건과 환경에서 얼마나 꾸준히 해내는지 확인해야 합니다.
다음에 로봇이 컵을 옮기는 영상을 본다면, 컵만 보지 말고 그 앞뒤도 살펴보세요. 무엇을 보고, 어떤 지시를 받았으며, 상황이 달라졌을 때 어떻게 움직였는지. 그 세 가지를 연결하면 VLA가 훨씬 또렷하게 보입니다.
더 읽어볼 원문
- RT-2: Vision-Language-Action Models — 2023년 연구. 영상·언어와 로봇 행동을 연결하는 방식, 학습·평가 설명.
- OpenVLA: An Open-Source Vision-Language-Action Model — 2024년 논문, v3. 학습 궤적, 모델 구조와 한계.
- π0: Our First Generalist Policy — 2024년 10월 31일 기업 발표. 행동 생성 방식과 남은 과제.
이 글은 2023~2024년 공개 연구로 VLA의 기초를 설명합니다. 현재 판매되는 제품의 성능 순위를 비교한 글은 아닙니다.
Sean Woo | Robotics & AI Editor
15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.