Sean Woo
핵심 요약
- NVIDIA는 2026년 9월 4일 Jetson에서 추론형 AI 모델을 구동하고 최적화하는 방법과 자체 측정 결과를 공개했습니다.
- NVFP4 양자화는 계산에 쓰는 숫자의 정밀도를 낮춰 메모리 이동량과 연산량을 줄이는 방법입니다.
- 추측 디코딩은 작은 초안 모델이 여러 토큰을 먼저 제안하고 큰 모델이 한꺼번에 검증해 생성 속도를 높입니다.
- NVIDIA 측정에서 Qwen3.8-27B는 BF16 대비 최대 6.28배 디코딩 처리량을 보였지만, 특정 Jetson·체크포인트·설정의 결과입니다.
- 속도 향상이 로봇의 정확도나 안전성을 자동으로 높이는 것은 아니며, 실제 센서·도구 호출·최악 지연시간으로 다시 검증해야 합니다.
로봇이 클라우드에 묻지 않고 현장에서 판단한다면
지하 터널을 점검하는 로봇이 낙석을 발견했다고 생각해 보겠습니다. 카메라 영상을 멀리 있는 데이터센터로 보내 답을 기다리면 통신이 끊기거나 늦어질 수 있습니다. 반대로 로봇 안의 컴퓨터가 센서와 작업 매뉴얼을 함께 읽고 정지·우회·보고 순서를 판단하면 인터넷이 불안정해도 기본 대응을 이어갈 수 있습니다. 이것이 엣지 추론의 장점입니다. 다만 안전 정지는 생성형 AI의 문장 하나에 맡기는 기능이 아니라, 별도의 검증된 제어와 안전 회로가 최종 권한을 가져야 합니다.
NVIDIA는 2026년 9월 4일 Jetson AGX Thor와 AGX Orin에서 소형 추론 모델을 구동하는 기술 글을 공개했습니다. 예시 모델은 30억 개 파라미터만 토큰마다 활성화하는 300억 파라미터 MoE 모델 Nemotron 3.5 Lightning과, 270억 개를 모두 활성화하는 dense 모델 Qwen3.8-27B입니다. 전자는 응답을 많이 생성하는 에이전트 작업, 후자는 적은 횟수의 어려운 결정을 내리는 작업에 적합할 수 있다고 NVIDIA는 설명했습니다. 이것은 제품별 추천이지 모든 로봇에서 확인된 보편적 우열은 아닙니다. [NVIDIA 기술 글]
첫 번째 가속 장치: 숫자를 작게 만드는 NVFP4
AI 모델은 수많은 가중치와 중간 계산값을 메모리에서 가져와 곱하고 더합니다. BF16처럼 비교적 큰 숫자 형식을 쓰면 표현 범위와 정밀도를 넉넉히 확보할 수 있지만, 이동하고 계산해야 할 데이터도 많습니다. 양자화는 이 숫자를 더 적은 비트로 표현합니다. NVFP4는 NVIDIA가 사용하는 4비트 부동소수점 계열 형식입니다. 짐을 같은 트럭에 더 촘촘히 싣는 것처럼, 메모리 대역폭과 계산 부담을 줄여 속도를 높일 수 있습니다.
그러나 4비트라는 말이 모델 파일과 실행 메모리가 정확히 BF16의 4분의 1이 된다는 뜻은 아닙니다. 일부 값은 더 높은 정밀도로 남고, 스케일 정보·KV 캐시·실행 엔진의 임시 메모리도 필요합니다. 숫자를 거칠게 표현하면 특정 작업의 답이 달라질 가능성도 있습니다. 그래서 NVIDIA 글도 기존 양자화 체크포인트로 시작하되, 실제 프롬프트에서 품질이 떨어지면 양자화 인지 학습이나 증류를 검토하라고 안내합니다. ‘더 작다’와 ‘같은 품질이다’는 따로 측정해야 합니다.
두 번째 가속 장치: 먼저 써 보고 한꺼번에 확인하기
일반적인 언어 모델은 다음 토큰을 하나 만들고, 그 토큰을 다시 입력해 다음 토큰을 만드는 일을 반복합니다. 열 단어를 쓰려면 큰 모델을 여러 번 순서대로 통과해야 하므로 지연이 쌓입니다. 추측 디코딩은 작은 초안 모델이 앞으로 나올 토큰 여러 개를 먼저 제안하게 합니다. 큰 모델은 그 묶음을 병렬로 검증하고, 맞는 앞부분은 한 번에 채택하며 처음 틀린 지점부터 다시 계산합니다. 최종 판단은 큰 모델이 하므로, 정해진 검증 방식에서는 목표 모델의 출력 분포를 유지하면서 벽시계 시간을 줄일 수 있습니다.
이 방법의 효과는 초안이 얼마나 자주 채택되느냐에 달려 있습니다. 작은 모델이 엉뚱한 후보를 많이 내면 제안과 검증 비용만 늘어날 수 있습니다. 2023년 ICML에 실린 초기 연구는 T5-XXL에서 기존 T5X 대비 2~3배 가속을 보고했지만, 그 숫자를 Jetson이나 다른 모델에 그대로 옮길 수는 없습니다. NVIDIA의 2026년 측정에서도 Nemotron 3.5 Lightning에는 DSpark, Qwen3.8-27B에는 DFlash2가 가장 빨랐습니다. 모델과 초안 체크포인트의 궁합을 실제 데이터로 시험해야 한다는 뜻입니다. [ICML 2023 논문] [vLLM 공식 문서]
최대 6.28배는 로봇 전체가 6.28배 빨라졌다는 뜻이 아닙니다
NVIDIA는 BF16을 1배 기준으로 두고 NVFP4, 그리고 NVFP4에 가장 빠른 추측 디코딩 구성을 더한 결과를 비교했습니다. 공개 그래프에서 Nemotron 3.5 Lightning은 2.20배와 3.37배, Qwen3.8-27B는 2.33배와 6.28배의 디코딩 처리량 향상을 보였습니다. 이 수치는 Jetson AGX Thor 또는 AGX Orin, 공개 글에 적힌 모델·vLLM 컨테이너·메모리 설정·초안 방식에서 NVIDIA가 측정한 생성 단계의 상대 처리량입니다. 독립기관의 재현 결과도 아니고, 센서 입력부터 모터 동작까지의 전체 지연시간도 아닙니다.
작업별 절대 수치도 달랐습니다. NVIDIA가 고정한 가장 빠른 구성으로 SpeedBench의 작성·추론·요약·RAG 네 종류를 시험했을 때 Nemotron은 초당 123.01~138.02 출력 토큰, Qwen은 27.69~34.44 출력 토큰 범위였습니다. 두 모델 모두 RAG와 작성에서 상대적으로 이득이 컸고 요약에서는 낮았습니다. 따라서 ‘최대 6.28배’만 보고 모델을 고르면 안 됩니다. 로봇이 실제로 내리는 결정 문장의 길이, 도구 호출 빈도, 센서 전처리 시간과 제어 주기를 함께 봐야 합니다.
로봇 사업에서는 무엇을 따로 확인해야 할까요
첫째, 평균 토큰 속도보다 첫 응답 시간과 최악 지연시간을 봐야 합니다. 로봇이 평소에는 빠르더라도 위험 상황에서 한 번 오래 멈추면 안전 제어에는 쓸 수 없습니다. 둘째, 현장 프롬프트로 정확도를 비교해야 합니다. 정비 매뉴얼 검색, 이상 신호 설명, 작업 순서 생성처럼 목표 업무의 대표 질문과 실패 비용이 높은 질문을 따로 구성해야 합니다. 셋째, 통신이 끊겼을 때 사용할 로컬 데이터와 도구 권한을 제한해야 합니다. 엣지에서 돈다고 자동으로 보안과 개인정보 문제가 해결되는 것은 아닙니다.
넷째, 추론형 AI와 실시간 제어기의 역할을 나눠야 합니다. AI는 상황을 요약하고 후보 계획을 만들 수 있지만, 충돌 방지·속도 제한·비상정지는 검증된 안전 계층이 강제해야 합니다. 다섯째, 전력과 열을 포함한 지속 성능을 측정해야 합니다. 짧은 벤치마크에서 높은 처리량이 나와도 밀폐된 로봇 안에서 온도가 올라가면 클록이 낮아질 수 있습니다. 온디바이스 추론의 진짜 가치는 최고 숫자 하나가 아니라, 통신이 없어도 정해진 시간과 전력 안에서 필요한 판단을 반복할 수 있는지에 있습니다.
읽어 본 원문
- NVIDIA Technical Blog · 2026년 9월 4일 공개, Jetson 모델·설정·처리량 비교
- Fast Inference from Transformers via Speculative Decoding · ICML 2023, 초안-검증 원리와 T5-XXL 실험
- vLLM Speculative Decoding Documentation · 지원 방식과 사용 조건
자료 확인: 2026년 9월 15일
글쓴이 Sean Woo
15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.