실시간 탐지를 위한 엣지 디바이스에서 대형 YOLOv8 및 RT-DETR 에너지 효율성 검토

내장형 엣지 플랫폼에 대형 객체 탐지기를 배포하는 것은 탐지 정확도, 종단 간 처리량 및 전체 시스템 전력 간의 복합적인 균형에 의해 좌우됩니다. 본 논문은 두 개의 엣지 플랫폼인 CPU 및 NPU 오프로드가 가능한 Raspberry Pi 5와 GPU 가속을 탑재한 Nvidia Jetson Orin NX에서 이기종 배포 런타임을 통해 대형 변형인 YOLOv8l과 RT-DETR-l을 벤치마킹합니다. 정확도는 COCO val2017 데이터셋에서 mAP50-95를 사용해 평가하며, 처리량과 에너지 효율성(FPS/W)은 디코딩, 전처리, 추론 및 후처리를 포함하는 현실적인 종단 간 비디오 파이프라인에서 측정됩니다. 모델 실행 대기 시간은 추론 시간과 종단 간 처리 속도의 혼동을 방지하기 위해 파이프라인 처리량에서 별도로 분석됩니다. Raspberry Pi 5에서는 대형 모델의 CPU 전용 실행이 프레임당 수초에 달하는 지연 시간 때문에 실용적이지 않으며, 반면 NPU 가속은 정확도 저하를 수반하는 배포 제약에도 불구하고 YOLOv8l의 에너지 효율성을 크게 향상시킵니다. Jetson Orin NX에서는 TensorRT가 두 아키텍처 모두에 최적의 배포 경로를 제공하지만, YOLOv8l과 RT-DETR-l의 상대적 성능 순위는 명목 FLOPs에만 의존하지 않고 런타임 구현에 달려 있습니다. 정규화된 대기 시간 및 명목 GFLOP당 에너지를 기반으로 한 일반화 해석과 변환 민감도 및 양자화 민감도 분해는 배포 효율성이 명목 컴퓨트 요구량, 메모리 시스템 동작, 런타임 오버헤드 및 내보내기 및 양자화 후 정확도 유지에 의해 공동으로 결정됨을 보여줍니다. 테스트 조건 하에서 평가된 대형 모델 구성 중 어느 것도 전체 파이프라인에 대해 엄격한 25 FPS 실시간 목표를 달성하지 못해, 실시간 엣지 배포를 위해서는 추가적인 하드웨어 특화 최적화 및/또는 더 작은 모델 변형이 여전히 필요함을 시사합니다.