Sean Woo
핵심 요약
- Diffusion Policy는 카메라로 본 상황을 조건으로 삼아, 무작위에 가까운 행동열을 여러 번 다듬어 로봇의 움직임으로 바꾸는 모방학습 방법입니다.
- 왼쪽과 오른쪽처럼 답이 여러 개인 작업에서 서로 다른 시범을 단순히 평균 내지 않고, 그중 일관된 한 경로를 만들 수 있다는 점이 핵심입니다.
- 한 동작이 아니라 앞으로 이어질 행동 묶음을 예측하고, 일부만 실행한 뒤 다시 관찰해 새로 계산합니다.
- 확장 논문은 시뮬레이션과 실제 환경의 15개 과제·4개 벤치마크에서 기존 최고 방법보다 평균 46.9% 향상됐다고 보고했습니다.
- 그러나 특정 실험 조건의 결과이며, 낯선 물체·조명·카메라 위치와 안전 요구까지 자동으로 해결하는 범용 로봇 기술은 아닙니다.
컵으로 가는 길이 하나가 아닐 때
로봇이 상자 뒤의 컵을 집는 장면을 생각해 보겠습니다. 사람은 상자의 왼쪽으로 돌아갈 수도 있고 오른쪽으로 돌아갈 수도 있습니다. 두 방법 모두 성공한 시범인데, 학습기가 좌표를 단순히 평균 내면 손이 상자의 한가운데로 향할 수 있습니다. 정답이 여러 개인 문제에서 ‘평균 동작’은 오히려 실패 동작이 되는 셈입니다.
Diffusion Policy는 이런 여러 갈래를 하나의 평균으로 눌러 버리지 않으려는 방법입니다. 연구진은 로봇 행동을 바로 한 번에 출력하지 않고, 처음에는 무작위에 가까운 미래 행동열을 만든 뒤 카메라 영상과 로봇 상태에 맞게 조금씩 정리합니다. 같은 상황에서도 가능한 행동 분포의 여러 봉우리를 표현하되, 한 번 실행할 때는 왼쪽 또는 오른쪽처럼 일관된 한 경로에 머물도록 학습합니다. [Diffusion Policy 공식 프로젝트]
확산 모델이 사진 대신 행동을 만듭니다
그림을 만드는 확산 모델은 잡음에서 시작해 윤곽과 세부를 반복해서 복원합니다. Diffusion Policy도 기본 생각은 비슷하지만 결과물이 사진이 아니라 로봇의 위치·회전·집게 명령이 이어진 행동열입니다. 현재 카메라 영상과 로봇 관절 상태가 조건으로 들어가고, 신경망은 각 단계에서 행동열에 섞인 잡음을 어느 방향으로 줄일지 예측합니다.
논문식으로는 가우시안 잡음에서 시작한 행동열을 K번의 디노이징 과정으로 다듬습니다. 여기서 ‘디노이징’은 실제 모터 신호의 전기 잡음을 없앤다는 뜻이 아닙니다. 학습 데이터에 있을 법한 행동 쪽으로 가상의 후보를 반복 이동시키는 계산입니다. 연구진은 시간축 1차원 CNN과 Transformer 두 구조를 비교했습니다. CNN은 여러 과제에서 기본 선택으로 안정적이었고, 빠르게 방향이 바뀌는 행동에서는 Transformer가 유리할 수 있었지만 하이퍼파라미터에 더 민감했다고 설명합니다. [확장 논문 전문]
전부 실행하지 않고 조금씩 다시 봅니다
로봇은 계산한 긴 행동열을 끝까지 눈을 감고 실행하지 않습니다. 최근 관찰을 보고 앞으로의 행동 묶음을 예측한 뒤, 그중 앞부분만 움직입니다. 그러고 나서 카메라와 로봇 상태를 다시 읽고 다음 행동열을 새로 만듭니다. 이를 ‘리시딩 호라이즌 제어’라고 합니다. 자동차 내비게이션이 먼 길을 안내하더라도 현재 위치가 바뀌면 경로를 다시 계산하는 것과 닮았습니다.
이 방식은 한 동작씩 따로 예측할 때 생기는 떨림을 줄이면서도 변화에 대응하려는 절충입니다. 논문의 실제 Push-T 실험에서는 정책이 10Hz로 명령을 만들고, 로봇 실행 단계에서 이를 125Hz로 선형 보간했습니다. 카메라 앞을 손으로 3초 동안 가리거나 T자 블록을 옮기는 별도 시험에서도 경로를 다시 계산하는 모습을 보였지만, 저자들은 이를 모든 방해에 대한 안전 보장으로 제시하지 않았습니다.
46.9%와 95%는 어디까지 검증됐을까요
2024년 확장 논문은 4개 로봇 조작 벤치마크의 15개 과제를 평가했습니다. 시뮬레이션과 실제 환경, 2자유도부터 6자유도 행동, 단일·다중 과제, 단단한 물체와 액체가 섞여 있습니다. 저자들은 비교한 기존 최고 방법보다 평균 성능이 46.9% 향상됐다고 보고했습니다. 이 수치는 모든 로봇 작업의 성공률이 46.9%포인트 올랐다는 뜻이 아니라, 논문이 정한 과제별 점수를 기준으로 계산한 평균 개선치입니다.
실제 Push-T 과제에서는 T자 블록을 목표 영역으로 밀고 로봇 손을 종료 구역으로 옮겨야 했습니다. 논문의 end-to-end Diffusion Policy는 성공률 95%, 평균 IoU 0.80을 기록했습니다. 같은 표의 LSTM-GMM 위치 제어는 20%, IBC는 0%였습니다. 다만 성공은 마지막 블록 배치의 IoU가 사람 시범 데이터에서 관측된 최소 IoU보다 높은 경우로 정의됐습니다. 사람 시범 성공률 100%와 평균 IoU 0.84도 같은 표 안의 값입니다. 따라서 95%를 공장 전체의 가동률이나 안전 신뢰도로 바꾸어 말할 수는 없습니다.
잘 보인 시범 밖에서는 다시 검증해야 합니다
Diffusion Policy는 모방학습이므로 좋은 시범 데이터가 출발점입니다. 학습 때 보지 못한 물체, 조명, 카메라 위치, 마찰 조건으로 크게 벗어나면 행동을 잘못 만들 수 있습니다. 반복 디노이징에는 계산 시간도 들기 때문에, 제어 주기와 컴퓨터 성능을 함께 맞춰야 합니다. 논문은 DDIM을 이용해 학습 때보다 적은 디노이징 단계로 추론을 빠르게 할 수 있다고 설명하지만, 원하는 하드웨어에서의 최악 지연시간은 별도로 측정해야 합니다.
또한 여러 행동 후보를 잘 표현한다는 것과 안전한 후보만 고른다는 것은 다른 문제입니다. 충돌 제한, 힘 제한, 비상정지, 작업 영역 감시 같은 안전 장치는 별도로 설계해야 합니다. 오픈소스 저장소의 실제 Push-T 재현 구성도 UR5 계열 로봇, RealSense D415 카메라 2대, 원격조작용 SpaceMouse 등 구체적인 장비를 요구합니다. 코드를 실행할 수 있다는 사실이 다른 로봇에 바로 옮겨진다는 뜻은 아닙니다. [공식 코드와 재현 조건]
로봇을 평가할 때는 데모 영상의 한 번 성공보다 더 좁고 구체적인 질문이 필요합니다. 시작 위치와 물체 종류를 몇 가지로 바꿨는지, 각 조건을 몇 번 반복했는지, 실패 때 충돌과 사람 개입이 있었는지, 인식부터 모터 명령까지 지연의 평균과 최악값이 얼마인지 확인해야 합니다. Diffusion Policy의 의미는 로봇 행동을 ‘한 점의 정답’이 아니라 ‘여러 가능한 연속 경로’로 다루는 강력한 방법을 보여 준 데 있습니다. 실제 적용 수준은 목표 작업의 데이터와 안전 시험으로 다시 결정해야 합니다.
읽어 본 원문
- Diffusion Policy 공식 프로젝트 · 핵심 개념·실제 과제·코드와 데이터
- arXiv 기록 · 최초 제출 2023년 3월 7일·개정 이력
- 확장 논문 전문 · 15개 과제·작동 원리·실험 조건·한계
- 공식 GitHub 저장소 · 공개 코드·재현 로그·실제 로봇 구성
자료 확인: 2026년 9월 15일
글쓴이 Sean Woo
15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.