Überprüfung der Energieeffizienz von großen YOLOv8- und RT-DETR-Modellen auf Edge-Geräten für die Echtzeitdetektion

Der Einsatz großer Objektdetektoren auf eingebetteten Edge-Plattformen wird durch einen gemeinsamen Kompromiss zwischen Erkennungsgenauigkeit, End-to-End-Durchsatz und der gesamten Systemleistung bestimmt. Dieses Papier bewertet die großen Varianten YOLOv8l und RT-DETR-l über heterogene Bereitstellungszeiten auf zwei Edge-Plattformen: Raspberry Pi 5 mit CPU- und NPU-Auslagerung sowie Nvidia Jetson Orin NX mit GPU-Beschleunigung. Die Genauigkeit wird auf COCO val2017 unter Verwendung von mAP50-95 bewertet, während Durchsatz und Energieeffizienz (FPS/W) auf einer realistischen End-to-End-Video-Pipeline gemessen werden, die Dekodierung, Vorverarbeitung, Inferenz und Nachverarbeitung einschließt. Die Modell-Ausführungsverzögerung wird getrennt vom Pipeline-Durchsatz analysiert, um Mehrdeutigkeiten zwischen Inferenzzeit und End-to-End-Verarbeitungsrate zu vermeiden. Auf dem Raspberry Pi 5 ist die CPU-only-Ausführung großer Modelle aufgrund mehrsekündiger Latenz pro Bild praktisch nicht durchführbar, während die NPU-Beschleunigung die Energieeffizienz für YOLOv8l erheblich verbessert, wenn auch mit Bereitstellungsbeschränkungen, die die Genauigkeit verringern können. Auf dem Jetson Orin NX bietet TensorRT den stärksten Bereitstellungspfad für beide Architekturen; die relative Rangfolge von YOLOv8l und RT-DETR-l hängt jedoch von der Laufzeitimplementierung ab und nicht nur von den nominalen FLOPs. Eine verallgemeinerte Interpretation basierend auf normalisierter Latenz und Energie pro nominalem GFLOP, zusammen mit einer Zerlegung der Umwandlungsempfindlichkeit und Quantisierungsempfindlichkeit, zeigt, dass die Bereitstellungseffizienz gemeinsam durch den nominalen Rechenbedarf, das Speicherverhalten, Laufzeit-Overhead und die Genauigkeitsbeibehaltung nach Export und Quantisierung bestimmt wird. Unter den getesteten Bedingungen erreicht keine der bewerteten großen Modellkonfigurationen das strenge Echtzeitziel von 25 FPS für die vollständige Pipeline, was darauf hinweist, dass weitere hardware-spezifische Optimierungen und/oder kleinere Modellvarianten für die Echtzeit-Edge-Bereitstellung erforderlich sind.