Sean Woo
핵심 요약
- 취리히대 연구팀은 2026년 6월 18일 이벤트 흐름을 학습된 코드로 다시 묶는 Neural Events 논문을 공개했습니다.
- 이벤트 카메라는 전체 화면 대신 밝기가 달라진 픽셀의 위치·극성·시각을 비동기로 보냅니다.
- Neural Events는 가까운 픽셀의 사건을 지역 문맥으로 요약하고, 선택된 코드가 바뀔 때만 새 신호를 냅니다.
- 논문은 세 벤치마크의 객체 검출·분류 조건에서 원시 이벤트 발생률을 2분의 1로 줄이면서 성능을 유지하거나 높였다고 보고했습니다.
- 이는 2026년 6월의 사전공개 논문 결과이며, 실제 로봇 제품의 전력·지연·안전성이 절반으로 개선됐다는 뜻은 아닙니다.
빠른 공을 보는 두 가지 방법
탁구공이 빠르게 날아오는 장면을 생각해 보겠습니다. 일반 카메라는 1초에 30장이나 60장처럼 정해진 간격으로 화면 전체를 찍습니다. 공이 프레임 사이를 크게 이동하면 위치 변화가 듬성듬성 보이고, 노출 시간 동안 움직인 공은 흐릿해질 수 있습니다. 로봇이 공의 방향을 빨리 판단하려면 다음 화면이 완성될 때까지 기다리는 시간도 부담이 됩니다.
이벤트 카메라는 다른 질문을 합니다. ‘지금 화면 전체가 어떤 모습인가’보다 ‘어느 픽셀의 밝기가 방금 달라졌는가’를 확인합니다. 각 픽셀이 독립적으로 빛의 변화를 감시하고, 변화량이 기준을 넘으면 바로 작은 신호를 냅니다. 정지한 벽은 거의 조용하고, 움직이는 공의 앞뒤 가장자리에는 많은 사건이 생깁니다. 그래서 빠른 움직임의 시간 정보를 촘촘하게 얻을 수 있습니다. [Prophesee 이벤트 생성 설명]
이벤트 하나에는 무엇이 들어 있을까요
이벤트 하나는 보통 픽셀의 가로·세로 위치, 밝아졌는지 어두워졌는지를 나타내는 극성, 변화가 일어난 시각으로 구성됩니다. 밝기가 기준 이상 증가하면 ON, 감소하면 OFF 사건이 됩니다. Prophesee 공식 문서는 이를 (X, Y, P, T) 묶음으로 설명하며 시각 T는 마이크로초 단위로 표현합니다. 다만 마이크로초 단위 표시는 시간표의 눈금이 촘촘하다는 뜻이지, 카메라를 붙인 로봇 전체가 항상 몇 마이크로초 만에 반응한다는 보장은 아닙니다.
프레임이 없다고 해서 영상을 절대로 만들 수 없는 것은 아닙니다. 일정 시간 동안 사건을 모으면 사람이 보기 편한 2차원 그림으로 표현할 수 있습니다. 그러나 이때 몇 밀리초를 모으는지에 따라 보이는 점의 양과 시간 선명도가 달라집니다. 공식 SDK 예시도 33밀리초를 모아 30FPS로 표시하거나, 1밀리초만 모아 더 빠른 변화로 보는 설정을 구분합니다. 표시용 누적 시간은 원시 기록을 바꾸는 촬영 설정이 아니라 시각화 방법이라는 점도 중요합니다.
빠르지만 사건이 너무 많아질 수 있습니다
이벤트 카메라는 변한 곳만 보낸다는 이유로 데이터가 언제나 적다고 오해하기 쉽습니다. 카메라나 물체가 빠르게 움직이고 표면 무늬가 복잡하면 많은 픽셀이 연속해서 변합니다. 2026년 Neural Events 논문은 최근 센서가 약 100만 픽셀 수준의 해상도를 갖고 초당 수백만 개의 사건을 만들 수 있다고 설명합니다. 작은 사건 하나의 의미는 약하지만, 전송·저장·AI 계산은 이 긴 흐름을 계속 처리해야 합니다.
반대로 물체가 멈추거나 배경과 밝기 차이가 거의 없으면 사건이 적게 나옵니다. 절대 밝기와 완성된 색 사진을 매 순간 주는 센서도 아닙니다. 조명이 깜빡이거나 센서 잡음이 생기면 로봇이 원하는 물체 움직임과 관계없는 사건이 늘어날 수 있습니다. 기존 영상 AI를 그대로 적용하기 어려워 사건을 시간 창에 모으거나, 그래프·신경망 상태로 바꾸는 별도 알고리즘이 필요합니다. [이벤트 기반 비전 종합 논문]
Neural Events는 사건의 의미를 어떻게 묶을까요
취리히대 로보틱스·퍼셉션 그룹은 2026년 6월 18일 Neural Events 사전공개 논문과 프로젝트 페이지를 공개했습니다. 목표는 원시 사건을 무작정 버리는 것이 아니라, 가까운 시간과 공간에서 함께 나타난 변화의 문맥을 학습해 더 적고 의미 있는 신호로 다시 표현하는 것입니다. 공개된 것은 연구 방법과 벤치마크 결과이며, 상용 센서 칩이나 완성된 로봇 제품 발표는 아닙니다. [Neural Events 프로젝트]
작동 순서는 네 단계로 볼 수 있습니다. 먼저 각 원시 사건의 위치와 시간 정보를 벡터로 바꿉니다. 다음으로 화면을 작은 구역으로 나누고, 각 구역에 들어온 사건의 순서를 선형 어텐션 모델이 기억합니다. 이어서 연속값을 미리 학습한 64개 코드 가운데 하나로 바꿉니다. 마지막으로 같은 구역에서 선택된 코드가 이전과 달라질 때만 Neural Event를 보냅니다. 비슷한 사건이 이어져 코드가 그대로라면 새 출력은 생략됩니다. [논문 전체 방법]
절반이라는 결과의 조건을 살펴봅니다
연구팀은 DSEC-Detection, Gen1, N-Caltech101이라는 세 벤치마크에서 객체 검출과 분류를 평가했습니다. 기본 실험은 4×5픽셀 구역, 64개 코드, 128차원 코드 표현을 사용했습니다. Gen1의 50밀리초 사건 조각으로 사전학습하고, 인코더와 검출기를 각각 100에폭 학습했습니다. 논문은 이 학습에 NVIDIA GH200 GPU 64개를 사용했다고 밝힙니다. 따라서 작은 로봇 컴퓨터에서 곧바로 같은 속도와 정확도가 나온다고 해석하면 안 됩니다.
저자들이 보고한 대표 결과는 원시 사건 발생률을 2.0배 줄이면서 검출·분류 성능이 기존 방법과 같거나 높았다는 것입니다. Gen1 검출에서 TokSwinT는 mAP 49.9를 기록했고 비교한 EVA-L은 47.7이었습니다. 표현을 만드는 계산량은 사건당 0.14MFLOPS와 2.32MFLOPS로, 저자들은 약 17배 차이라고 설명합니다. 다른 DSEC 설정에서는 비동기 기반 모델의 mAP가 14.0에서 25.0으로 올랐지만, 영상도 쓰는 큰 동기 모델의 mAP 40.2보다는 낮았습니다. 숫자는 서로 다른 구조·데이터셋·측정 방식 안에서만 비교해야 합니다. [arXiv 논문 기록]
검증된 것과 아직 남은 것을 구분해야 합니다
이번에 검증된 것은 공개 데이터셋의 객체 검출·분류 성능과 논문이 정한 계산량입니다. 실제 공장 로봇, 배송 로봇, 드론에서 배터리가 절반만 든다거나 반응 시간이 절반이 됐다는 현장 결과는 제시되지 않았습니다. 센서가 만든 원시 사건은 먼저 인코더를 통과해야 하므로 그 비용도 전체 시스템에 포함해야 합니다. 논문이 말하는 사건 수 2분의 1과 파일 크기·전력·통신량 2분의 1은 같은 표현이 아닙니다.
저자들도 한계를 적었습니다. 고성능 동기식 프레임 기반 모델과 비교하면 복잡한 인식 과제에서 정확도 차이가 남습니다. 화면을 고정된 작은 구역으로 나누기 때문에 빠른 물체가 구역 경계를 가로지를 때 문맥을 자연스럽게 이어 붙이기 어렵습니다. 센서 판독 칩 안에 이 로직을 넣어 원시 데이터 전송 자체를 없애는 일도 현재 결과가 아니라 미래 방향입니다.
독자와 로봇 개발자에게 중요한 질문은 ‘이벤트 카메라가 빠른가’ 하나가 아닙니다. 어떤 밝기와 움직임에서 사건이 얼마나 생기는지, 인코더와 후속 AI를 합친 최악 지연시간은 얼마인지, 멈춘 물체나 균일한 표면을 다른 센서가 보완하는지 확인해야 합니다. Neural Events는 센서가 만든 작은 변화를 다시 의미 있는 단위로 묶는 방법을 보여 줍니다. 다만 실제 도입 판단은 원하는 작업의 데이터로 재학습·검증하고, 카메라·통신·추론·제어 전체 고리를 함께 측정한 뒤 내려야 합니다.
읽어 본 원문
- 취리히대 Robotics and Perception Group 발표 · 2026년 6월 18일
- Neural Events 프로젝트 페이지 · 방법 개요
- Neural Events arXiv 기록 · v1 제출일과 초록
- Neural Events 논문 전문 · 실험 조건·수치·한계
- Prophesee Metavision SDK 이벤트 개념 · ON/OFF·시각·누적 표시
- Event-based Vision: A Survey · 작동 원리·장점·과제
자료 확인: 2026년 9월 14일
글쓴이 Sean Woo
15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.