핵심 요약
- Skild AI는 2026년 8월 S1을 공개했고, NVIDIA는 9월 10일 양사의 개발·배치 협력을 소개했습니다.
- S1은 새 작업마다 가중치를 다시 학습하지 않고, 시범 영상을 실행 순간의 맥락으로 읽어 행동을 정합니다.
- Skild 내부 시험에서 미지 장시간 작업의 누적 단계당 성공률은 S1 방식 66%, 언어 지시 방식 9%였습니다.
- 66%는 작업 전체를 사람 도움 없이 끝낸 비율이 아니며, 실패 뒤 사람이 복구해 다음 단계를 계속 평가했습니다.
- 영상 한 편으로 빠르게 설정하는 능력과 공장에서 오래 반복하는 신뢰도·안전성은 별도로 검증해야 합니다.
영상 한 편은 새 작업을 지정하는 프롬프트입니다
화분과 흙, 물뿌리개가 막 연구실에 도착했다고 생각해 보겠습니다. 사람이 한 번 화분 갈이 과정을 촬영하고, 11분 뒤 로봇이 그 영상을 참고해 작업을 시작합니다. Skild AI가 2026년 8월 공개한 로봇 기초모델 S1이 내세운 장면입니다. NVIDIA도 9월 10일 S1과 양사의 피지컬 AI 협력을 소개했습니다. 이 글은 두 회사가 공개한 결과를 설명하되, 아직 독립 재현 시험이나 공개 모델 평가로 확인된 수치가 아니라는 점을 함께 봅니다.
보통 새 로봇 작업을 추가하려면 사람이 로봇을 직접 조종해 많은 시범을 모으고, 그 데이터로 정책을 추가 학습한 뒤 현장 조건에서 다시 검증합니다. S1은 이 마지막 작업별 추가학습을 줄이는 방향을 제시합니다. 사람의 영상 한 편을 프롬프트처럼 넣으면, 미리 학습된 하나의 모델이 영상 속 의도와 물체, 순서를 읽고 현재 로봇의 몸과 작업대에 맞춰 행동을 만듭니다.
이 방식은 맥락학습(in-context learning)이라고 불립니다. 챗봇에 예시를 몇 개 보여 준 뒤 같은 가중치로 새 문제를 풀게 하는 것과 비슷합니다. 핵심은 “영상 한 편만으로 로봇 전체를 처음부터 학습한다”가 아닙니다. S1은 이미 최대 10만 시간 규모의 다양한 사전학습 데이터를 본 모델이며, 새 영상은 그 방대한 사전학습 위에서 이번 작업을 지정하는 맥락입니다.
언어보다 자세한 순서와 동작을 보여 줍니다
영상은 언어보다 자세한 순서를 보여 줄 수 있습니다. “커피를 내려 주세요”라는 한 문장에는 필터를 접는 방식, 주전자를 기울이는 속도, 물을 붓는 순서가 빠져 있습니다. 반면 시범 영상에는 손이 어떤 물체에 언제 접근하고, 어떤 순서로 도구를 쓰는지가 들어 있습니다. S1은 다른 시점과 다른 몸으로 촬영된 영상에서도 목표와 기능적 대응 관계, 작업 진행도를 추론하도록 사전학습했다고 설명합니다.
Skild는 S1이 사전학습에서 보지 못한 화분 갈이, 팬케이크 굽기, 핸드드립 커피, 키트 조립 같은 작업을 최대 10분 동안 수행했다고 밝혔습니다. 짧은 집기 한 번보다 어려운 이유는 수십 단계의 순서를 기억하고, 중간 실패를 알아차리며, 이미 끝낸 단계와 남은 단계를 구분해야 하기 때문입니다. 한 단계의 작은 오류가 다음 단계까지 이어지므로 장시간 과제는 짧은 시연보다 훨씬 까다롭습니다.
66% 대 9%는 어떤 시험에서 나왔을까요
가장 눈에 띄는 숫자는 66% 대 9%입니다. Skild는 동일한 데이터와 거의 같은 구조·연산 조건에서 영상 시범 기반 모델과 언어 지시 기반 VLA를 비교했습니다. 10만 시간 사전학습 규모의 미지 작업 시험에서 영상 방식은 누적 단계당 성공률 66%, 언어 방식은 9%였다고 보고했습니다. 이는 회사 내부 벤치마크이며, 모든 로봇·작업에서 7배 개선된다는 보장은 아닙니다.
분모를 정확히 읽어야 합니다. 회사 설명에 따르면 시험 작업은 4~8분 길이였고, 점수는 여러 작업의 누적 단계당 성공률 평균입니다. 모든 단계를 계속 채점하기 위해 실패하면 사람이 개입해 상태를 복구했으며, 이 개입은 주로 언어 지시 기준모델에 사용됐습니다. 따라서 66%를 “로봇이 전체 작업을 66% 확률로 완전 자율 완료했다”라고 바꾸면 틀립니다.
시범 한 편이 380개와 같다는 말의 조건
또 하나의 주장은 시범 한 편이 약 380개의 작업별 추가학습 시범과 비슷한 효과를 냈다는 것입니다. 이 값은 측정 지점 사이를 보간해 얻은 교차점이며, 대상은 4~10분의 미지 장시간 작업입니다. 회사는 380개 시범을 원격조작으로 모으는 데 50~100시간이 걸렸다고 설명합니다. 다만 작업별 추가학습을 2,000개 시범까지 늘리면 그 정책은 86%에 도달해 S1의 66%를 넘어섰습니다. 빠른 설정과 최종 성능은 같은 질문이 아닙니다.
공장 시연과 생산 신뢰도는 다릅니다
현장 의미는 분명합니다. 제품이나 공정이 자주 바뀌는 조립라인에서 매번 수십 시간의 데이터 수집과 재학습을 피할 수 있다면 도입 비용과 전환 시간을 크게 줄일 수 있습니다. Skild는 Foxconn·NVIDIA와 Blackwell 시스템 조립에 듀얼암 로봇을 배치하고, 버스바와 제한 블록 장착, 나사 16개 체결 같은 다단계 작업을 시연했다고 밝혔습니다. 그러나 “시연”과 장기간 무인 생산의 수율·사이클타임·가동률 검증은 구분해야 합니다.
한 편의 성공 영상은 성공률을 알려 주지 않습니다. 같은 장면을 여러 번 촬영하면 낮은 성공률의 시스템도 멋진 장면 하나를 만들 수 있습니다. 실제 투입 전에는 동일 작업을 수백 회 반복했을 때의 완주율, 사람이 개입한 횟수, 실패 뒤 복구율, 평균 사이클타임, 접촉 힘과 제품 손상, 조명·물체 위치·도구가 바뀌었을 때의 성능을 공개해야 합니다.
안전도 별도 층으로 남습니다. 영상에서 본 행동을 이해해도 로봇이 사람과 부딪히지 않는다는 보장은 없습니다. 속도·힘 제한, 충돌 감지, 안전정지, 작업공간 분리, 위험성 평가 같은 독립 장치가 필요합니다. 맥락학습 모델은 “무엇을 할지”를 빠르게 정하는 두뇌가 될 수 있지만, 안전 인증을 대신하는 제어기는 아닙니다.
현장에서 확인해야 할 네 가지 질문
S1 발표에서 가장 중요한 변화는 로봇 교육의 단위를 데이터셋과 재학습에서 시범 영상과 맥락으로 옮기려는 시도입니다. 앞으로 볼 질문은 간단합니다. 새 작업 설정에 정말 몇 분이 걸리는가, 같은 작업을 몇 번 연속 성공하는가, 실패를 스스로 어디까지 복구하는가, 사람 개입을 포함한 총비용이 얼마인가입니다. 이 네 가지가 공개될 때 “영상 한 편”이 연구실의 인상적인 장면을 넘어 공장의 생산성으로 이어지는지 판단할 수 있습니다.
확인한 원문
- Skild AI: Introducing S1 — In-Context Learning for Robotics (August 2026)
- NVIDIA: Skild AI Taps NVIDIA Physical AI to Teach Robots New Tasks From a Single Video (September 10, 2026)
- Skild AI: The Hidden Pillar of Robotics (September 10, 2026)
함께 보면 좋은 글
글쓴이
Sean Woo — 15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.