Görünür ve termal kanalda gerçek zamanlı hedef tespiti ve takibi

Savunma sanayii için, canlı video akışı üzerinde gerçek zamanlı hedef tespiti ve takibi yapan ve operatörün karar verebileceği bir arayüzle sunulan görüntü işleme yazılımı geliştirildi. Sistemin hem görünür hem termal kanalda, gömülü donanımda ve saha koşullarında kesintisiz çalışması şarttı.

Tespit tarafı C++, takip tarafı Python ile yazıldı. Gerçek zamanlı verim şartını karşılamak için C++ çoklu iş parçacığı, CUDA C ve OpenMP ile paralel işleme hatları kuruldu ve hat gömülü platformlarda koşacak biçimde entegre edildi. Mimarinin kritik kararı sınırlı kuyruk yapısıydı: kuyruk dolduğunda en eski kare atılıyor, çünkü gerçek zamanlı bir sistemde gecikme, kare kaybından pahalıdır.

Operatörün gördüğü taraf

Canlı video üzerine veri güdümlü sembol bindirmesi, nişangâh ve kutu çizimi ile operatör arayüzü Qt/C++ ile geliştirildi; veri alışverişi TCP, UDP ve UART üzerinden yürütüldü, işlenmiş video Ethernet üzerinden ikinci makineye canlı aktarıldı. Aynı tespit ve takip hattı hem görünür hem termal spektrumda çalışıyor.

Bu proje, bir dedektörün laboratuvar dışında, gerçek donanımda ve gerçek video akışında yıllarca ayakta kalması için nelerin gerektiğini öğrendiğimiz iştir; bugün ticari görüntü işleme projelerimizde uyguladığımız gecikme ve kaynak disiplini buradan geliyor.

Gizlilik notu: Bu çalışma gizlilik yükümlülüğüne tabidir. Nihai müşteri ve ürün adları, performans parametreleri, gerçek sistem çıktıları ve test verileri bilinçli olarak dışarıda bırakılmıştır. Teknik derinlik, gizliliğin izin verdiği ölçüde yüz yüze paylaşılabilir.