TR2021021863A1

TR2021021863A1 - ONVIF PTZ CAMERA SYSTEM WITH EXTERNAL COMPUTER THAT STARTS TRACKING AFTER FINDING THE SEARCHED OBJECT

Info

Publication number: TR2021021863A1
Application number: TR2021/021863
Authority: TR
Inventors: Bal Murat; Can Baytek N Mehmet; Bayraktar Berkant; Eker Onur; Ercan Burak
Original assignee: Havelsan Hava Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇
Filing date: 2021-12-30
Publication date: 2023-07-21

Abstract

Buluş, onvif PTZ (Pan, Tilt, Zoom) kameraların harici bir bilgisayar kullanarak otomatik nesne takibi gerçekleştirmesini sağlayan bir yöntem ile ilgilidir. Harici bilgisayar kullanımı, bilgisayarlarda kullanılabilecek işlemci gücünün ihtiyaca göre ayarlanmasına olanak verecek ve böylece çözümde kullanılabilecek algoritmaların çeşitliliğini artıracak, kullanım senaryolarına göre farklı hedeflerin farklı ortamlarda daha başarılı tespiti ve takibini mümkün kılacaktır. Son olarak zamana bağlı algoritmik ve bilgisayar gelişimleri, kamerayı değiştirmeksizin, tespit ve takip ihtiyaçlarına daha kolay uygulanabilir de olacaktır.The invention relates to a method that enables onvif PTZ (Pan, Tilt, Zoom) cameras to perform automatic object tracking using an external computer. The use of external computers will allow the processor power that can be used in computers to be adjusted according to need, thus increasing the diversity of algorithms that can be used in the solution and making it possible to more successfully detect and track different targets in different environments according to usage scenarios. Finally, time-dependent algorithmic and computer developments will be more easily applicable to detection and tracking needs without changing the camera.

Description

TARIFNAME ARANAN NESNENIN BULUNMASIYLA TAKIP BASLATAN HARICI BILGISAYARLI ONVIF PTZ KAMERA SISTEMI Teknik Alan Bulus, onvif PTZ (Pan, Tilt, Zoom) kameralarin harici bir bilgisayar kullanarak otomatik nesne takibi gerçeklestirmesini saglayan bir yöntem ile ilgilidir. Harici bilgisayar kullanimi, bilgisayarlarda kullanilabilecek islemci gücünün ihtiyaca göre ayarlanmasina olanak verecek ve böylece çözümde kullanilabilecek algoritmalarin çesitliligini artiracak, kullanim senaryolarina göre farkli hedeflerin farkli ortamlarda daha basarili tespiti ve takibini mümkün kilacaktir. Son olarak zamana bagli algoritmik ve bilgisayar gelisimleri, kamerayi degistirmeksizin, tespit ve takip ihtiyaçlarina daha kolay uygulanabilir de olacaktir. Önceki Teknik Mevcut uygulamalarda Onvif PTZ kameralar herhangi bir algoritmayla hedef tespiti yapamamaktadir. Kameralar hedef tespiti gerektiren durumlarda operatör tarafindan yönlendirilmektedir. Bu da fazladan is gücü gerektirmekle beraber, operatörün geç tepki vermesi nedeniyle hedefi gözden kaçirmasi gibi durumlarla karsilasilmaktadir. Bunun yaninda FLIR (Forward LOOking I nfraRed] kameralari gibi insansiz hava araçlarin (IHA) kullanilan kameralarda hedef izleme algoritma destegi bulunmakta ancak maliyet nedeniyle birçok standart PTZ kamerasinda bu algoritma destegi yer almamaktadir. Onvif PTZ kullanilan kameralarda otomatik nesne arama ve takip yeteneginin eklenerek entegre sekilde kullanilmasidir. Bu yeteneklere sahip olan FLIR kameralar da bulunmaktadir. HD görüntü kalitesiyle multi-spektral çekimler yapabilmektelerdir. Ancak bu kameralarin maliyeti PTZ kameralarin maliyetinden kat ve kat fazladir ve sahada mevcut kameralari degistirmeden bu yetenegin kazandirilmasi önemlidir. Ayrica FLIR kameralar IHAslarda güvenlik amaciyla kullanilmamaktadir. Diger bir nokta, takip yetenegi FLIR kameralarin içerisinde mevcut olarak gelmektedir. Bir diger nokta FLIR kameralarda otomatik tespit yer almamakta, dolayisi ile takip islemi operatör komutu ile gerçeklesmektedir. Yeni nesil PTZ akilli kameralar da hedef tespit ve hedef takip islevini yapabilmektedir. Ancak bu kameralar da maliyet olarak Onvif PTZ kameralarin çok üstündedir. Kameranin dahili yetenegi ile hedef takibi yapilan örneklerde genellikle kamera islemeilerinin, hafizalarinin sinirli olmasi (güç kullanimi, isil sorunlar, maliyetler VS.) nedeniyle dahili algoritmalarm basarimlari da sinirli kalmakta ve dahasi (güç ve donanim kaynagi sinirlamalari nedeniyle FPGA temelli yöntemler uygulandigindan) güncelleme ve iyilestirme saglanamamaktadir. Teknigin bilinen durumunda yer alan U59213904B 1 sayili Birlesik Devletler patent dokümaninda dogrudan bir "geospatial aware" kamera tanimi ile algoritmalarin kendi üzerinde çalistigi akilli bir kamera tanimlanmistir. Ayrica ilgili dokümanda, takip edilen nesnenin hareketli nesne olarak tespiti yapilmis, nesneye yönelik tanimlama yapilmasi mümkün olmamaktadir. Bu sistem ile nesnenin takibe baslanmasi, a) hareket tespitinei b) hareketsiz/hareketli nesnenin tespit ile siniflandirilmasina, 0) örnek resim verilmis bir nesnenin, tespit edilmis nesneler içerisinde benzerinin bulunmasina, d) nitelik ile tanimlanmis nesnenin tespit edilen nesneler içerisinde metinsel niteliklerinin tanimimiza uymasina bagli olarak olusacaktir. Örnegin "kirmizi ceketli insan" ifadesi ile aranan hedef bilgisi diger insanlardan ayristirildiginda hedef takibine baslayacaktir. dokümaninda dogrudan algoritmalari kamera üzerinde çalistiran fonksiyonlardan bahsedilmektedir. Ayrica "Object of Interest in the Environment" tespit ve tanimlanmasinda klasik öznitelik çikarimi ve Ön/arka plan ayristirmasi (background for ground segmentation) yöntemlerden bahsedilmis olup, evrisimsel sinir aglari temelli yeni nesil bir tanimlama, tespit ve benzetim algoritmalarindan bahsedilmemistir. patent dokümaninda birden fazla sabit kamera ile hareket tespiti sonrasinda bunlari PTZ kameradan izlemeye yönelik bir yöntemden bahsedilmektedir. Dokümanda yine sadece hareket tespitine dayali bir çözüm önerilmektedir. Ilgili çözümde tak I be baslanmasi, yeni nesil tespit yöntemlerine baglidir. Teknigin bilinen durumunda yer alan CN107992837A sayili Çin patent dokümaninda, bir PTZ gözetleme kamerasi ile bir yol panoramasi modelleme ve araç algilama izleme yönteminden bahsedilmektedir. Yol kenarina monte edilmis tek PTZ gözetleme kamerasinin dikey hareket, yatay hareket ve yakinlastirma ve uzaklastirma yoluyla tüm yol manzarasi izlenebilmekte, araç hedefini çikarmak için panorama görüntü arka plan modeli insa edilerek ve araç tespit edilir ve izlenir. Teknikte var olan yöntemler incelendiginde onvif PTZ kameralarin harici bir bilgisayar kullanarak otomatik nesne takibinin gerçeklestirildigi bir otomatik nesne takip yönteminin gerçeklestirmesi ihtiyaci duyulmustur. Bulusun Amaçlari Bu bulusun amaci, onvif PTZ kameralarin harici bir bilgisayar kullanarak otomatik nesne takibinin gerçeklestirildigi bir otomatik nesne takip yönteminin gerçeklestirilmesidir. Bu bulusun bir baska amaci, onvif PTZ kameralara, algoritmik hedef takip özelligi eklenerek, izlenmekte olan nesneler için daha uzun süreli, daha ayrintili görüntü alinmasinin saglandigi bir otomatik nesne takip yönteminin gerçeklestirilmesidir. Bu bulusun bir baska amaci, gerçek zamanli arama ve kritik olaylar için olay sonrasi incelemeden çok gerçek zamanli müdahale imkâni saglayan bir Otomatik nesne takip yönteminin gerçeklestirilmesidir. Bulusun Ayrintili Açiklamasi Bulus, harici bilgisayarin kullanildigi bir Otomatik nesne takip yöntemi ile ilgili - PTZ (Pan, TIIt, Zoom) kamera ile çekim yapilarak görüntülerin harici bilgisayara aktarilmasi, - Harici bilgisayarda tespit algoritmasi ile hedef tespitinin yapilmasi, - Daha sonra takip algoritmasi ile PTZ (Pan, Tilt, Zoom) ara yüzünün kullanilarak kameranin sürekli hedef üzerinde tutulmasi, adimlarini içermektedir. Bulus konusu otomatik nesne takip yönteminde, PTZ kamera çekim yaparak görüntüleri harici bilgisayara aktarir. Yöntemde tespit algoritmasi bir hedef tespiti buldugunda, takip algoritmasi devreye girerek, kameranin PTZ ara yüzünü kullanarak, kamerayi sürekli hedef üzerinde tutar. Böylece akilli, otomatik hedef arayan ve hedefe yönlenen bir kamera sistemi ortaya çikar. Yöntemde, tespit algoritmasi devrede iken kamera a) sabit bir ev noktasina, b) devriye noktalarina sirayla bakabilir. Bu opsiyon PTZ kameralarinda çogunlukla bulunmaktadir ve takip algoritmasi çalismadigi sürece kameranin kendisi tarafindan yönetilecektir. Bulus konusu yöntemde kullanilan tespit algoritmasi için literatürde mevcut olan tespit algoritmalarindan herhangi biri kullanilabilecektir. Bunlar yeni nesil evrisimsel sinir aglarina ve yapay zekaya dayali algoritmalardir. Bu algoritmalar çok çesitlidir, derin ögrenme temelli nesne tespiti, hareket tespiti, derin ögrenme temelli örnekle tanimlanmis nesne tespiti (reidentification), eslestirme uzayi karsilastirmasi gibi çesitleri olup her çesidin farkli yöntemlerle uygulamasi vardir. Bu kapsamda çok bilinen nesne tespit algoritmasi olarak YOLO 2, 3, 4 algoritmalari sayilabilir. Hareketli nesne tespiti için ise, MOG (Mixture of Gaussian, FastMCD gibi yöntemler sayilabilir), tanimlanmis nesne tespiti (reidentification) için yine alt yöntemler kisi yeniden tespiti (person reidentification), araç yeniden tespiti (car reidentification] gibi alt detaylara ayrilip temelde bir nesne tespiti sonrasinda tespit edilen nesnenin eslestirme uzayinda ömegimize benzerligi temeline dayali yöntemler kullanilir ve örnek tanimi olarak önceden saglanmis bir resim, nesne sinifina ait alt nitelik, ya da serbest metin tanimlamasi gibi tanimlamalar kullanilir. Bulus konusu yöntemde kullanilan tespit algoritmasinda yukarida açiklanan algoritmalarin tümü uygulanabilir niteliktedir. Arama islemi sirasinda kamera, sabit bir ev konumuna bakabilir, ya da kamerada önceden tanimli olan devriye noktalarini dolasabilir. Bu fonksiyon PTZ kamerasinin dahili fonksiyonu olarak degerlendirilecektir. Bu algoritmalar kameranin devriye noktalari arasinda hareket etmekteyken görüntü degisimlerinden etkilenmezler. Bulus konusu yöntemde, hareket takibi sonrasinda, hareket takip algoritmasi için de farkli yöntemler uygulanabilmektedir. Bunlar arasinda çok bilinen, Optical Flow, Mean Shift, Kalman Filter gibi temel yöntemler kullanilmakta, bunlar single Object ya da multiple Object tracking gibi alt siniflara ayrilmaktadir. Bulus konusu yöntemde belirtilen bu algoritmalarin hepsi kullanilabilir olmakla beraber, PTZ yönlendirmesi için tek bir hedefe odaklanildigi durumda PTZ kamera ile ilgili hedefe yaklasilarak yeterli ayrinti yakalanmaya çalisilaeaktir. Birden fazla nesnenin ayni anda takip edilmesi söz konusu iken ise yine zoom-out, zoom in ve PTZ komutlari kullanilarak dinamik bir sekilde tüm nesneler görüntü içerisinde tutulmaya çalisilacaktir. Takip edilen bir nesnenin görüntü disina kaçmasi durumunda, takip edilmekte olan diger nesneler optimum görüs içerisinde tutulacaktir. Birden fazla nesnenin takip edilmesi ya da tek bir nesneye odaklanilmasi sistemin opsiyonlari arasinda tanimlanabilir olacaktir. Takip algoritmasi takip edilen nesnenin/nesnelerin görüntü içerisinde bulunup bulunmadigini hesaplayabilmelidir. Eger takip edilen nesne görüntüde artik yer almiyor ise (görüntüden çikmis, ya da baska bir nesnenin arkasinda kaybolmus ise) takip birakilmali ve nesne tespiti/aramasi islevine dönülmelidir. Nesne takibi islemi son buldugunda PTZ yönetimi kameranin kendisine birakilacak, örnegin PTZ devriye moduna geri dönecektir. Bulus konusu yönteme verilecek örnek bir senaryo su sekilde olabilir: "X Renkli, Y Markali bir araç tespit edildiginde ilgili araca zoom yapilarak plaka okunmasinin saglanmasi." Bu Senaryoda, böyle bir tespit yapildiginda, araca yeterli zoom yapilmali ve araç kamera merkezinde tutulmalidir. Böyle bir islem operatör tarafindan yapilmaya çalisilirsa çogu senaryoda, operatörün tepki süresi yavas kaldigindan, plaka okunamadan araç gözden kaybolabilmektedir. Bulus konusu yöntemde ise baska bir algoritma ile tetiklenerek ya da operatör tarafindan tetiklenerek, hedef olarak tanimlanan görüntünün PTZ yardimiyla algoritmik izlenmesi saglanmaktadir. TR TR TR TR TR TR TR TR TR TRDESCRIPTION: AN EXTERNAL COMPUTERIZED ONVIF PTZ CAMERA SYSTEM THAT TRACKS AND INITIATES UPON DETECTION OF THE SEARCHED OBJECT. Technical Field: The invention relates to a method that enables automatic object tracking using an external computer using Onvif PTZ (Pan, Tilt, Zoom) cameras. The use of an external computer will allow the processor power available in the computers to be adjusted according to need, thus increasing the variety of algorithms that can be used in the solution and enabling more successful detection and tracking of different targets in different environments depending on the usage scenario. Finally, time-dependent algorithmic and computer developments will also be more easily applicable to detection and tracking needs without replacing the camera. Prior Art: In current applications, Onvif PTZ cameras cannot detect targets using any algorithm. The cameras are controlled by the operator in situations requiring target detection. This requires extra labor, and situations such as the operator missing the target due to a late reaction are encountered. In addition, cameras used in unmanned aerial vehicles (UAVs), such as FLIR (Forward Looking InfraRed) cameras, support target tracking algorithms, but many standard PTZ cameras lack this algorithm due to cost. Onvif PTZ cameras integrate automatic object search and tracking capabilities. FLIR cameras also have these capabilities. They can capture multi-spectral images with HD image quality. However, the cost of these cameras is many times higher than that of PTZ cameras, and it is important to add this capability without replacing existing cameras in the field. Furthermore, FLIR cameras are not used for security purposes in UAVs. Another point is that tracking capabilities are built into FLIR cameras. Another point is that FLIR cameras lack automatic detection, so tracking is performed by operator command. PTZ smart cameras can also perform target detection and tracking. However, these cameras are also much more expensive than Onvif PTZ cameras. In examples where target tracking is performed using the camera's internal capabilities, the performance of the internal algorithms is generally limited due to limited camera processing and memory (power consumption, thermal issues, costs, etc.), and furthermore (due to power and hardware resource limitations, FPGA-based methods are implemented), updates and improvements are not possible. The state of the art, United States patent document numbered U59213904B 1, directly defines a "geospatial aware" camera and a smart camera with algorithms running on it. Furthermore, in the relevant document, the tracked object is detected as a moving object, making it impossible to make any specific identification. With this system, the object is tracked. The initiation of this process will depend on: a) motion detection, b) detection and classification of a stationary/moving object, 0) finding a similar object among the detected objects for a given sample image, and d) matching our definition of the textual attributes of the object defined by the attribute within the detected objects. For example, when the target information sought for the phrase "person in a red jacket" is distinguished from other people, target tracking will begin. The document mentions functions that run algorithms directly on the camera. In addition, classical feature extraction and background for ground segmentation methods are mentioned in the detection and identification of "Object of Interest in the Environment", but a new generation of identification, detection, and simulation algorithms based on convolutional neural networks are not mentioned. The patent document describes a method for detecting motion with multiple fixed cameras and then tracking them with a PTZ camera. The document also proposes a solution based solely on motion detection. The implementation of this solution depends on next-generation detection methods. The state-of-the-art Chinese patent document, numbered CN107992837A, describes a method for modeling a road panorama and detecting and tracking vehicles using a PTZ surveillance camera. A single PTZ surveillance camera mounted on the roadside can monitor the entire roadscape using vertical and horizontal movement, and zoom in and out. A panorama background model is constructed to extract vehicle targets, and the vehicle is detected and tracked. A review of existing methods in the art reveals the need for an automatic object tracking method that uses Onvif PTZ cameras to automatically track objects using an external computer. Objectives of the Invention The purpose of this invention is to implement an automatic object tracking method that automatically tracks objects using an external computer using Onvif PTZ cameras. Another purpose of this invention is to implement an automatic object tracking method that provides longer, more detailed images of tracked objects by adding algorithmic target tracking to Onvif PTZ cameras. Another purpose of this invention is to implement an automatic object tracking method that enables real-time search and response to critical incidents, rather than post-event investigation. Detailed Description of the Invention The invention involves the following steps regarding an automatic object tracking method using an external computer: - Shooting with a PTZ (Pan, Tilt, Zoom) camera and transferring the images to an external computer; - Detecting the target using a detection algorithm on the external computer; - Then, keeping the camera constantly on the target using the PTZ (Pan, Tilt, Zoom) interface with the tracking algorithm. In the automatic object tracking method, the subject of the invention, the PTZ camera shoots and transfers the images to an external computer. In this method, when the detection algorithm detects a target, the tracking algorithm is activated and, using the camera's PTZ interface, keeps the camera constantly on the target. Thus, a smart, automatic camera system that seeks and directs the target emerges. In the method, while the detection algorithm is active, the camera can sequentially look at a) a fixed home point and b) patrol points. This option is commonly found in PTZ cameras and will be managed by the camera itself unless the tracking algorithm is running. The detection algorithm used in the present method can be any of the detection algorithms available in the literature. These algorithms are based on next-generation convolutional neural networks and artificial intelligence. These algorithms are very diverse, including deep learning-based object detection, motion detection, deep learning-based reidentification, and matching space comparison, and each type is implemented using different methods. In this context, the YOLO 2, 3, and 4 algorithms are among the most well-known object detection algorithms. For moving object detection, methods such as MOG (Mixture of Gaussian and FastMCD) can be considered. For identified object reidentification, sub-methods such as person reidentification and vehicle reidentification are used. These methods are essentially based on the similarity of the detected object to our sample in the matching space after object detection. Example definitions are defined using a previously provided image, sub-attributes of the object class, or free-text descriptions. All of the algorithms described above are applicable to the detection algorithm used in the inventive method. During the search process, the camera can either look at a fixed home location or navigate to predefined patrol points. This function will be considered an internal function of the PTZ camera. These algorithms are not affected by image changes as the camera moves between patrol points. In the inventive method, after motion tracking, different methods can be applied for the motion tracking algorithm. Well-known basic methods such as Optical Flow, Mean Shift, and Kalman Filter are used, and these are divided into subclasses such as single object or multiple object tracking. While all of these algorithms mentioned in the inventive method can be used, when focusing on a single target for PTZ guidance, the PTZ camera will approach the target to capture sufficient detail. When multiple objects are being tracked simultaneously, zoom-in, zoom-out, and PTZ commands will be used to dynamically keep all objects within the image. If a tracked object moves out of view, the other objects being tracked will be kept within optimal view. Tracking multiple objects or focusing on a single object will be definable among the system options. The tracking algorithm determines whether the tracked object(s) are within the image. If the tracked object is no longer in the image (has disappeared from the image or disappeared behind another object), tracking should be stopped and object detection/search function should be resumed. When the object tracking process is completed, PTZ management will be left to the camera itself, for example, the PTZ will return to patrol mode. An example scenario for the method in question could be as follows: "When a vehicle with X color and Y brand is detected, zooming in on the relevant vehicle to read the license plate." In this scenario, when such a detection is made, sufficient zoom should be made to the vehicle and the vehicle should be kept in the center of the camera. If such a process is attempted by the operator, in most scenarios, the reaction time of the operator is slow and the vehicle may disappear before the license plate can be read. In the method in question, the target defined as the target is triggered by another algorithm or triggered by the operator. Algorithmic monitoring of the image is provided with the help of PTZ. TR TR TR TR TR TR TR TR TR TR TR

Claims

1.