[go: up one dir, main page]

WO2020130999A1 - Method for detecting inter-video changes - Google Patents

Method for detecting inter-video changes Download PDF

Info

Publication number
WO2020130999A1
WO2020130999A1 PCT/TR2019/051170 TR2019051170W WO2020130999A1 WO 2020130999 A1 WO2020130999 A1 WO 2020130999A1 TR 2019051170 W TR2019051170 W TR 2019051170W WO 2020130999 A1 WO2020130999 A1 WO 2020130999A1
Authority
WO
WIPO (PCT)
Prior art keywords
bir
ile
için
öznitelik
iki
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/TR2019/051170
Other languages
French (fr)
Inventor
Murat BAL
Burak BALCI
Alperen ELİHOŞ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Havelsan Hava Elektronik Sanayi ve Ticaret AS
Original Assignee
Havelsan Hava Elektronik Sanayi ve Ticaret AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Havelsan Hava Elektronik Sanayi ve Ticaret AS filed Critical Havelsan Hava Elektronik Sanayi ve Ticaret AS
Publication of WO2020130999A1 publication Critical patent/WO2020130999A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • Fakat bu görüntüler hava araçlar ⁇ ndan (özellikle boyut olarak daha küçük olan ⁇ HA, kopter gibi araçlardan) çekilen görüntüler ile karkan ⁇ laformt ⁇ rmak istendi ⁇ inde rota uyumu, titre araç e ⁇ imi ve benzeri gibi sebeplerle görüntülerin çerçeveleri birbiri üzerine oturmamakta, bu yüzden de anl ⁇ k olarak karw ⁇ laformt ⁇ r ⁇ lmalar ⁇ olanakl ⁇ olmamaktad ⁇ r.
  • Dahas ⁇ hava araçlar ⁇ ile al ⁇ nan görüntüler güne invoken ayn ⁇ aç ⁇ da oldu ⁇ u zamanlarda al ⁇ namad ⁇ , hava xartlar ⁇ ndaki de ⁇ i whokliklerden etkilendi ⁇ i ve yanl ⁇ war de ⁇ erlendirmelere aç ⁇ k oldu ⁇ u için, rastlanan çözümler sa ⁇ l ⁇ kl ⁇ bir karw ⁇ laformt ⁇ rmaya olanak sa ⁇ lamamamaktad ⁇ r.
  • Fakat böylesi bir istde nesneleri özniteliklerine göre s ⁇ n ⁇ fland ⁇ rmak ve çerçeveler aras ⁇ ufak aç ⁇ kaymalar ⁇ n ⁇ dahi düzeltmek mümkün olmayaca ⁇ için araçtan yap ⁇ lan çekimlerde sonuç vermesi olanakl ⁇ de ⁇ ildir.
  • Dahas ⁇ , öznitelik hatlar ⁇ üzerinden bir e whotleme ve çerçeve düzeltmesi de öngörmedi ⁇ i için, görüntülerin aç ⁇ sal hatlar olarak ifade edilmesi ve bunlar aras ⁇ nda bir benzetim kurulmas ⁇ yolu ile bir karw ⁇ laformt ⁇ rma yap ⁇ lmas ⁇ n ⁇ öngörmektedir.
  • Bu sorun özellikle uzun çekimlerde (dakika mertebesindeki ve daha uzun olanlarda) ciddi sorunlara yol açmakta, ciddi i souplem güçlerini sa ⁇ layan bilgisayarlar ⁇ n kullan ⁇ lmas ⁇ n ⁇ zorunlu k ⁇ lmaktad ⁇ r.
  • Bu fark sebebiyle bir karw ⁇ laformt ⁇ r may ⁇ yerinde anl ⁇ k olarak yapmak neredeyse imkoptis ⁇ z hale gelmekte ve bir önceki ad ⁇ mdaki sorun ile tekrar karw ⁇ karcan ⁇ ya kal ⁇ nmaktad ⁇ r.
  • Bunun ard ⁇ ndan bulieri konusu yöntem çerçeveleri uzamsal olarak e whotleme i souplemidir.
  • Buna göre, çerçevelerdeki öznitelik noktalar ⁇ tespit edilir, bu noktalara dair öznitelik vektörleri hesaplan ⁇ r, iki çerçeve aras ⁇ nda öznitelik vektörleri yard ⁇ m ⁇ ile bu noktalar e whotlenir ve egrolewilden noktalar kullan ⁇ larak bir perspektif dönüwüm matrisi hesaplan ⁇ r.
  • Bilgi teorisinde iki matris üzerinde bulunan de ⁇ erler aras ⁇ nda mesafeleri hesaplamak için bagroka yollar da mevcuttur ve teknikte uzman bir ki exactly Hamming mesafesi hesaplamak yerine iki matris eleman ⁇ aras ⁇ ndaki mesafeyi bawka yollarla da hesaplayabilir.
  • Teknikte uzman bir ki might herhangi bir karw ⁇ laformt ⁇ rma algoritmas ⁇ kullanarak bu karcan ⁇ laformt ⁇ rmay ⁇ yapabilir.
  • Bu kapsamda gradyan, gri ölçekli bir görüntüdeki piksel de ⁇ erlerinin de ⁇ i provokemindeki büyüklü ⁇ ü ve aç ⁇ sal yönelimini gösteren vektör tan ⁇ mlan ⁇ r.
  • Buna göre, fark vektöründe bir e whokleme operasyonu uygulanarak de ⁇ i whomin oldu ⁇ u bölgeler tespit edilebilmektedir.
  • Uzunlu ⁇ u e whok de ⁇ erin üstünde olan bölgeler de ⁇ i accommodatekli ⁇ in oldu ⁇ u bölgeler olarak i wararetlenmektedir.
  • Bu sayede yola döwwenen may ⁇ nlar, el yap ⁇ m ⁇ patlay ⁇ c ⁇ lar ve benzeri terör faaliyetleri tespit edilememikos olsa dahi sonuçlar ⁇ itibariyle tespit edilip zarar vermeden imha edilebilir.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cosmetics (AREA)

Abstract

The inventive product is a method developed for comparing a video with another video taken previously. Herein, it is not obligatory for said two videos to indicate the identical area; comparison and overlapping processes are carried out therebetween by means of various solutions and methods, the processes for temporal and spatial equalizations are performed by means of said two methods subsequent to the comparison between frames of the two videos and thus, changes may be presented to user instantaneously.

Description

VIDEODAN VIDEOYA DEGISIKLIK TESPITI ICIN BİR YONTEM
Buluş konusu ürün bir bölgede farklı zamanlarda çekilmiş iki videoyu kıyaslayarak bu videolar arasında oluşan farkları anında tespite imkân veren bir sistem ile ilgilidir. Özellikle uçan araçlardan alınan ve tam olarak aynı noktaları birebir kapsamayan görüntüler üzerinde yapılan zamansal ve uzamsal eşitlemeler ile karşılaştırılması esasına dayanır.
Tekniğin bilinen durumunda iki videoyu karşılaştırma konusunda birçok çalışma var ise de, bunlar esas olarak uydudan gelen ve belirli koordinatlar arasını tam olarak aynı perspektif ile çeken görüntülerin kıyaslanması içindir. Fakat bu görüntüler hava araçlarından (özellikle boyut olarak daha küçük olan İHA, kopter gibi araçlardan) çekilen görüntüler ile karşılaştırmak istendiğinde rota uyumu, titreşim, araç eğimi ve benzeri gibi sebeplerle görüntülerin çerçeveleri birbiri üzerine oturmamakta, bu yüzden de anlık olarak karşılaştırılmaları olanaklı olmamaktadır. Uzun süren bir karşılaştırma da bilgi edinme süresini uzattığından ve havada gerçekleştirilemediğinden operasyonel kullanımı kısıtlamaktadır.
Dahası, hava araçları ile alınan görüntüler güneşin aynı açıda olduğu zamanlarda alınamadığı, hava şartlarındaki değişikliklerden etkilendiği ve yanlış değerlendirmelere açık olduğu için, rastlanan çözümler sağlıklı bir karşılaştırmaya olanak sağlamamaktadır.
Tekniğin bilinen durumunda karşılaşılan dökümanların bazıları şöyledir;
CN106227732 numaralı Çin patent başvurusunda iki videonun kıyaslanması için GPS ve IMU verileri tabanlı bir düzenek ve bu düzenek içerisinde görüntüleri kıyaslama fonksiyonu olup çerçeve farklarının düzeltimlesi, kıyaslanacak çerçevenin tespiti yoluyla azaltılması ve benzeri işlemlerin hiçbiri gözlenmemiştir. Dahası, çerçeve görüntülerinin zamansal eşitlemesi ve mekânsal eşitlemesi için birer çözüm de görülmemiştir.
CN107820083 numaralı Çin patent başvurusu da köşelerin tespiti için bir yöntem önermekte ise de, zaman düzeltmesi ve çerçeve çıkarılması mekanizmaları olmaksızın bunu gerçekleştirmeyi önermektedir. Bu sebeple de yerinde işlem yapamadığı, ancak bir merkezi sunucuya aktarıldıktan sonra işlemlerin tamamlanabildiği ifade edilmektedir. Bununla beraber, köşeleri esas alan bir yöntem önerdiğinden, köşe içermeyen yüzeyler (ör.yol) için olumlu sonuç vermesi olanaklı görünmemektedir. Dahası, özniteliklerin tespitine dair bir işlem de gözlenebilmiş değildir.
US20110074953 numaralı ABD patent başvurusunda ise çeşitli kaynaklardan gelen görüntülerin filtrelenerek karşılaştırılması üzerine kurulmuş bir yöntemden bahsedilmektedir. Buna göre her bir görüntü teker teker bir veya bir dizi fitlerden geçirilerek GPS verisi ile birlikte değerlendirildiği biçimi ile bir kıyasa tabi tutulmaktadır. Fakat böylesi bir sistemde nesneleri özniteliklerine göre sınıflandırmak ve çerçeveler arası ufak açı kaymalarını dahi düzeltmek mümkün olmayacağı için araçtan yapılan çekimlerde sonuç vermesi olanaklı değildir.
US2013/0330055 numaralı ABD patent başvurusunda ise farklı araçlar üzerinde bulunan çeşitli kameralar ile alınan görüntülerin farklı bölgeleri kaydetmesi durumunda bu kameralar üzerinde bulunan sensör verilerinin de kullanılarak görüntü üzerindeki düşey açılara bakarak öznitelik hatlarını tespit etmeye çalışmaktadır. Fakat bu yöntem, öznitelik tespiti için makul değildir; görüntü havadan yere doğru bir hava aracı ile çekildiğinde (örneğin İHA veya Kopter görüntüsü) bu yöntem ile sağlıklı bir biçimde öznitelik tespiti yapması mümkün değildir. Dahası, öznitelik hatları üzerinden bir eşitleme ve çerçeve düzeltmesi de öngörmediği için, görüntülerin açısal hatlar olarak ifade edilmesi ve bunlar arasında bir benzetim kurulması yolu ile bir karşılaştırma yapılmasını öngörmektedir. Dahası, bu gibi bir yöntemin birçok ortamda sağlıklı bir tespit yapması mümkün değildir; ayırt edici olmayan desenler içeren ortamlarda (ör.yol, yol kenarı, şehir görüntüsü, orman görüntüsü vb.) böyle bir hat üzerinde yapılan tespitler sürekli benzer değerler döndüğünden sağlıklı bir değişiklik tespiti yapılması mümkün olmamaktadır.
Buluş konusu ürün bir videoyu daha önce çekiliş bir video ile kıyaslamak üzere geliştirilmiş bir yöntemdir. Burada iki videonun aynı alanı bire bir çekmiş olması şart değildir, aralarında çeşitli yol ve yöntemler ile kıyas ve çakıştırma işlemleri yapılmakta, bu yolla iki videonun çerçeveleri arasında bir eşleştirme işlemini takiben zamansal ve uzamsal eşitleme işlemleri yapılır ve bu sayede kullanıcıya değişiklikler anlık olarak sunulabilir.
Buluş konusu yöntemin çözmeyi hedeflediği teknik sorun esas olarak iki video görüntüsü arasında ikinci videonun kaydedildiği yerde hızlı bir biçimde anlık karşılaştırma yapmaya olanak tanıyan bir yöntem oluşturulması sorunudur.
İki video akışının kıyaslanmasında birden fazla zorluk vardır. Bunlar kabaca şöyle sıralanabilir. Birincisi, çok sayıda çerçeveden oluşan iki görüntü olması dolayısıyla çerçeve sayılarının çarpımı ile orantılı bir karşılaştırma işleminin yapılması gerekmesidir. Buna göre her iki videoda bulunan her bir çerçeve, diğer videoda bulunan her çerçeve ile kıyaslanmalıdır. Bu sorun özellikle uzun çekimlerde (dakika mertebesindeki ve daha uzun olanlarda) ciddi sorunlara yol açmakta, ciddi işlem güçlerini sağlayan bilgisayarların kullanılmasını zorunlu kılmaktadır. Bu sebeple karşılaştırma işleminin yerinde yapılması mümkün olmamakta, tüm görüntülerin merkezi bir sunucuya taşınması, bu sunucu üzeride işlemlerin tamamlanması ve sonucun tekrar gönderilmesi gerekmektedir. Bu süreç çoğu zaman video görüntülerinin karşılaştırılmasını anlamsız kılacak kadar uzun zaman almakta, operasyonel kullanımını olanaksız hale getirmektedir.
İkinci zorluk ise şudur; aynı araçla çekim yapılsa dahi kamera aynı noktayı aynı zamanda görmemektedir. Kara, hava ve deniz araçları ile yapılan çekimler birçok faktörden etkilenmekte, aynı noktayı görmeleri ciddi zaman farkları oluşabilmektedir. Özellikle akıntı, rüzgar, titreşim, trafik, hava durumu gibi parametreler sebebiyle iki video karşılaştırılırken aynı objenin görünmesi arasında binlerce kare fark oluşabilmektedir. Bu fark sebebiyle bir karşılaştırmayı yerinde anlık olarak yapmak neredeyse imkânsız hale gelmekte ve bir önceki adımdaki sorun ile tekrar karşı karşıya kalınmaktadır. Dahası, bir aracın giderken aldığı görüntü ile dönerken aldığı görüntüyü karşılaştırmak rota sapmaları nedeniyle neredeyse tamamen olanaksız hale gelebilmekte, basitçe sıralamayı ters çevirmek de istenen sonucu vermemektedir.
Üçüncüsü, araçlardan görüntü alınması sırasında çeşitli sebeblerle (örneğin titreşim) videolar aynı noktalar ile oluşturulmuş dikdörtgenlerden görüntü almakta zorlanmakta, görüntüler arasında çakışmama sorunu yaşanmaktadır. Özellikle görüntülerde iki eksenli kayma, birbirine göre açılı görüntü alma gibi sorunlar ile sıklıkla karşılaşılmakta, bu da görüntüler arasında bir karşılaştırma yapmayı zorlaştırmakta, anlamsız farkların öne çıkmasına yol açmaktadır.
Bahsedilen zorlukları aşmak için buluş konusu yöntem üç aşamalı bir çözüm önermektedir. Öncelikle telemetri verileri alınır ve video ile eşlenik biçimde tutulur. İlk aşamada önceki videodan çerçeveler çıkarılır ve bunlar telemetri verisi ile eşleştirilerek saklanır. Bunun ardından, sonraki videodan da çerçeveler çıkarılır ve bunlar telemetri verisi ile eşleştirilerek saklanır.
Ardından zamansal eşitleme işlemine geçilir. İki videonun da çerçevelerinin çıkarılması ve telemetri verisi ile eşleştirilmesinin ardından, çerçeveler arasında coğrafi kesişim değerlendirilerek bilgi işlem ünitesi tarafından aynı ya da yakın coğrafi alana bakan kareler eşleştirilir. Bunların dışında kalan kareler için bilgi işlem ünitesinde herhangi bir karşılaştırma yapılmaz. Bu sayede karşılaştırma yapılacak karelerin sayısı coğrafi alan temelinde ciddi biçimde azaltılmış olur. Dahası, çok sayıda kare içeren bir videonun her bir karesini diğer videonun her bir karesi ile karşılaştırma zorunluluğu ortadan kalkar. Bu sayede videoda farklı zamanlarda yer alsa da, aynı coğrafi bölümlerin birbirleri ile eşitlenmesidir.
Buna örnek olarak bir saatlik iki videoda yaklaşık olarak yapılması gereken karşılaştırma sayısı verilebilir. Ortalama olarak saniyede 24 kare çekim yapan bir kamera tarafından çekilmiş iki adet birer saatlik videonun karşılaştırılması işlemi için her bir videoda bulunan seksen bini aşkın karenin her birinin diğer videoda bulunan seksen bini aşkın kare ile karşılaştırılması sonucu yedi milyardan fazla karşılaştırma işlemine ihtiyaç vardır. Böylesi bir karşılaştırma işleminin video çekimi sırasında anlık olarak yapılması için, saniyede iki milyon çerçeve arasında karşılaştırma yapacak bir sisteme ihtiyaç olacağı açıktır. Bunu çekimi yapan araç üzerinde anlık olarak yapma imkânı olmayacaktır. Bahsedilen işlem adımları sayesinde bu karşılaştırılması gereken resim sayısı onlar mertebesine inmekte, video çeken araç üzerinde rahatlıkla yapılabilmektedir.
Bahsedilen işlem adımında, iki videoda farklı zaman dilimlerine düşen aynı bölge görüntülerinin tespit edilmesi amacıyla, F2n ve F1n e ait koordinat bilgileri kullanılarak bu çerçevelerde görüntülenen ortak alan miktarı hesaplanmaktadır. Görüntüledikleri ortak alanın F2n de kapsanan alana oranında eşikleme işlemi uygulanarak, yeterince kesişmeyen görüntüler elenip karşılaştırma yapılacak çerçeve miktarı azaltılacaktır. Bu işlem, alana ait değişimlerin daha az çerçeve karşılaştırması yapılarak elde edilmesini sağlayarak, daha az hesaplama yükü ile yeterli bilginin elde edilmesini mümkün kılacaktır. Bu işlemin sonucunda F2n ile zamansal olarak eşitlenmiş, belirli bir oranda örtüşen, karşılaştırılabilir F1n bilgisi elde edilmiş olacaktır.
Bunun ardından, buluş konusu yöntem çerçeveleri uzamsal olarak eşitleme işlemidir. Buna göre videolar aynı noktalara baksalar dahi, aynı perspektif ile bakmadıklarından, çerçeveyi oluşturan dikdörtgenler birbirleri üzerine tam olarak oturmayabilirler. Bu sorunu aşmak üzere çerçeveler üzerindeki öznitelik noktalarının tespiti ile bir dönüşüm matrisinin oluşturulması yoluyla yapılır. Buna göre, çerçevelerdeki öznitelik noktaları tespit edilir, bu noktalara dair öznitelik vektörleri hesaplanır, iki çerçeve arasında öznitelik vektörleri yardımı ile bu noktalar eşitlenir ve eşleşen noktalar kullanılarak bir perspektif dönüşüm matrisi hesaplanır. Hesaplanan bu dönüşüm matrisi buluş konusu ürünün kullanım alanı dolayısıyla tercihen 3x3 olarak tercih edilir.
Öznitelik noktalarının tespit ve vektörlerinin hesaplanmasında birçok yöntem uygulanabilir. Bunlardan biri, 32 bit binary string olarak çıkarılan öznitelik vektörlerinin Hamming uzaklığı kullanılarak eşitlenmesidir. Bu sayede 3x3 tercih edilen matris üzerinde hesaplanmak istenen herhangi bir nokta dört basamaklı bir sayı olarak ifade edilebilir. Bilgi teorisinde iki matris üzerinde bulunan değerler arasında mesafeleri hesaplamak için başka yollar da mevcuttur ve teknikte uzman bir kişi Hamming mesafesi hesaplamak yerine iki matris elemanı arasındaki mesafeyi başka yollarla da hesaplayabilir.
Eşleşen öznitelik noktaları, öznitelik matrisi ile aynı boyuttaki perspektif dönüşüm matrisinin hesaplanmasında da kullanılır. Buna göre aynı görüntü düzlemine yansıtılmış çerçeveler arasında, bu görüntülerin kesişim oranlarına bir eşikleme işlemi uygulanmaktadır. Dönüştürülmüş F2n pikselleri ile F1n piksellerinde üst üste gelenlerin, toplam dönüştürülmüş F2n piksellerine oranı bir eşik değerden geçirilerek, bu eşik değerin altında kalan çerçeveler karşılaştırılabilir olmaktan çıkarılmaktadır. Bu durum değişiklik analizi sırasında az bilgi içeren karşılaştırmalar yapılmasının önüne geçerek işlemin daha verimli hale gelmesini sağlamaktadır. F2n ile karşılaştırılacak nihai çerçeveler belirlendikten sonra, karşılaştırma işlemi gerçekleştirilerek değişikliğin olduğu bölgeler tespit edilecektir. Karşılaştırma algoritması olarak tercih edilen HOG (Histogram of Oriented Gradients) öznitelikleri üzerine kuruludur. Karşılaştırma yapılacak olan ortak görüntü düzlemindeki iki görüntüye ait HOG öznitelikleri çıkarılmaktadır. Teknikte uzman bir kişi herhangi bir karşılaştırma algoritması kullanarak bu karşılaştırmayı yapabilir.
Karşılaştırma algoritması bir görüntüdeki yönlü gradyanların nasıl bir dağılıma sahip olduğunu gösterir. Bunu gösterebilmek için görüntü ilk olarak gri ölçekli hale getirilir. Gri ölçekli görüntü n x n boyutunda parçalara ayrılır. Bu boyutun varsayılan değeri 16x16 şeklinde olup, başka değerler de girilebilmektedir. Bu parçalar içindeki her bir piksel için gradyanlar hesaplanır. Bu kapsamda gradyan, gri ölçekli bir görüntüdeki piksel değerlerinin değişimindeki büyüklüğü ve açısal yönelimini gösteren vektör şeklinde tanımlanır. Bu vektör yatay gradyan ve dikey gradyan olmak üzere iki vektörün toplamıdır. Bir piksel için yatay gradyan, o piksele yatay olarak komşu olan piksellerin birbirinden farkı alınarak hesaplanır. Eşt. (1)’de (i, j) konumundaki pikselin yatay gradyan büyüklüğünün hesaplanışı gösterilmiştir (yatay gradyan büyüklüğü fonksiyonuyla, piksel değerleri p fonksiyonuyla gösterilmiştir.).
g_x (i,j)=p(i,j+1)-p(i,j-1) (1)
Bir piksel için dikey gradyan, o piksele dikey olarak komşu olan piksellerin birbirinden farkı alınarak hesaplanır. Eşt. (2)’de (i, j) konumundaki pikselin dikey gradyan büyüklüğünün hesaplanışı gösterilmiştir (dikey gradyan büyüklüğü fonksiyonuyla, piksel değerleri p fonksiyonu ile gösterilmiştir.).
g_y (i,j)=p(i+1,j)-p(i-1,j) (2)
Yatay ve dikey gradyan büyüklükleri bilinen bir pikselin gradyanı eşt. (3) ve eşt. (4)’te gösterilen denklemler ile bulunur. (gradyan büyüklüğü g fonksiyonuyla, gradyan açısal yönelimi ile gösterilmiştir.).
θ(i,j)=arctan g_y/g_x (4)
Gradyan hesabı nxn’lik parça içinde bulunan tüm pikseller için yapılarak iki tane nxn’lik matris elde edilir; gradyan büyüklüğü matrisi ve gradyan yönü matrisi. Gradyan yönü matrisinde 0-180 aralığında açısal değerler mevcuttur. Daha kolay bir analiz için, açısal değerlerin belirli bir sayıdaki gruplara ayrılması gerekmektedir. Örnek uygulamada 20 derecelik 9 aralığa sahip açısal yönelim gruplarının kullanılmasının yeterli olduğu görülmüştür. (0, 20, 40, 60, … 160 şeklinde). nxn’lik parça içinde bulunan bir pikselin gradyanının uygun açısal yönelim grubuna yerleştirilmesi için gradyanın açısal yönelim değerinin, grupların merkezinde bulunan açısal değere yakınlığına bakılır. Bu yakınlığa göre o açısal yönelim değerine ait olan gradyan büyüklüğü, en yakın 2 açısal yönelim grubuna, gruplara yakınlığı ile doğru orantılı olarak dağılım yapılır. Bu adım nxn’lik parça içinde bulunan tüm pikseller için yapılır. Tüm bu işlemlerin sonucunda normalleştirilmemiş bir histogram elde edilir. Yukardaki adımların hepsi tüm parçalar için yapılarak tüm görüntü, bölgesel olarak hesaplanmış normalleştirilmemiş histogramlarla gösterilmiş olur.
Normalleştirme adımı için 2n x 2n boyutunda bir çerçeve kullanılmaktadır. Bu boyutun varsayılan değeri 32x32 şeklinde olup, başka değerler de girilebilmektedir. 2n x 2n’lik çerçevenin içine toplam 4 normalleştirilmemiş histogram girmektedir. Histogramların hepsi 36x1’lik bir vektör olarak gösterilir. Normalleştirme bu vektör üzerinden yapılır. Normalleştirme işlemi eşt. (5)’te gösterilmektedir (vektörün i’nci değeri , normalleştirilmiş vektörün i’nci değeri ile gösterilmiştir).
2n x 2n lik çerçeve n piksel kaydırılarak tüm görüntü üzerinde gezdirilir ve her adımda, çerçeve içinde bulunan 4 histogram 36x1’lik bir vektör olarak alınarak normalleştirme işlemi yapılır. Bu sayede tüm görüntü bölgesel olarak hesaplanmış ve normalleştirilmiş histogramlarla gösterilmiş olur. Yapılan tüm bu işlemler soncunda HOG öznitelikleri elde edilmiş olunur.
Buluş, değişiklik olmayan bölgelerin HOG özniteliklerinin, algoritmanın doğası gereği, benzer olacağı tespitinde bulunmuştur. Bu tespit göz önünde bulundurularak, iki görüntünün HOG özniteliklerinin farkları alınmaktadır. Değişiklik gözlenmeyen bölgelerdeki öznitelik vektörü değerleri birbirlerini sönümleyeceklerdir. Buna göre, fark vektöründe bir eşikleme operasyonu uygulanarak değişimin olduğu bölgeler tespit edilebilmektedir. Bu eşikleme işlemi, fark vektörlerinin uzunluklarının bir eşik değerden geçirilmesi şeklinde yapılmaktadır. Uzunluğu eşik değerin üstünde olan bölgeler değişikliğin olduğu bölgeler olarak işaretlenmektedir.
Değişikliğin olduğu bölgeler böylelikle görüntü kıyaslama işlemi yerine matris işlemleri ile tespit edilir. Bu durumun sağladığı esas fayda, matris işlemlerinin diğer işlemlere göre bilgi işlem üniteleri tarafından çok daha hızlı yapılabilmesidir.
Bu üç işlem dizisinin arka arkaya yapılması sayesinde ikinci videonun kaydı ile eşzamanlı olarak yerinde bir video karşılaştırması yapılması mümkün olmakta, görüntüde herhangi bir değişiklik olması durumunda anlık olarak bu değişiklikler bildirilmekte ve bu yeni nesil hava araçlarından yapılabilmektedir. Buluş konusu yöntem sayesinde taranan alanda herhangi bir faaliyet olup olmadığı, varsa hangi noktalarda faaliyet olduğu anlık olarak güvenlik güçleri ile paylaşılabilir ve tespit edilen hareketler işaretlenerek olası güvenlik riskleri anlık olarak bildirilebilir. Bu sayede yola döşenen mayınlar, el yapımı patlayıcılar ve benzeri terör faaliyetleri tespit edilememiş olsa dahi sonuçları itibariyle tespit edilip zarar vermeden imha edilebilir.
Tarifname boyunca seçilen örnekler buluşun bir kullanımı için anlatımı kolaylaştırmak için verilmiştir. Teknikte uzman bir kişi bu örnekler yerine başka örnekler kullanabileceği gibi, standart olarak isimlendirilmemiş algoritmaları da oluşturarak kullanabilir. Örneğin, ORB veya HOG algoritmaları teknikte yaygın olarak kullanılan ve güvenle çalışan örnekler olduğundan belirtilmiş olsa da, teknikte uzman bir kişi bunların muadillerini kullanabilir veya aynı işlemi yerine getiren bir algoritmayı kendi yazıp işletebilir. Bunda herhangi bir sakınca olmadığı gibi, herhangi bir ilave fayda da yoktur.
Tarifname boyunca kullanılan F2n ve F1n kısaltmalarının açıklamaları şöyledir; F1n , birinci videonun n sayılı çerçevesini ifade etmek için, F2n ifadesi ise ikinci videonun n sayılı çerçevesini ifade etmek için kullanılmıştır. Burada birinci video kıyasa esas videodur, ikinci videonun çekimi esnasında ikinci videonun kıyaslanması istenen videoyu işaret etmektedir.
Examples
PTL1:
NPL1:

Claims (2)

  1. Buluş konusu yöntem iki video arasında karşılaştırma yapmak için bir kayıtlı video ile bir kaydedilen video arasında anlık karşılaştırma yapmak için video karelerinin çekildiği konum, yükseklik ve açı verisini kullanan bir yöntem olup özelliği;
    1. Her iki videodan çerçevelerin çıkarılması ve endekslenmesi;
    2. Çerçevelerin endekslerinin karşılaştırılması ve konum, yükseklik ve açı bilgilerinin karşılaştırılarak eşlenmesi yoluyla elenmesi;
    3. Videolardaki karelerin coğrafi bilgileri kullanılarak zamansal eşitleme yapılması;
    4. Çerçevelerdeki öznitelik noktalarının tespit edilmesi için normalleştirilmiş bir histogram üretilmesi;
    5. Tespit edilen öznitelik noktalarına ait öznitelik vektörlerinin histogram üzerinde hesaplanması için Hamming uzaklıklarının tespit edilmesinin ardından
    6. Öznitelik vektörleri ile öznitelik noktalarının eşlenmesi;
    7. Eşlenen öznitelik noktaları kullanılarak perspektif dönüşüm matrisinin hesaplanması;
    8. Hesaplanan dönüşüm matrisinin eşiklenmesi yoluyla yeterince ortak alan olmayan çerçevelerin elenmesi;
    9. Kalan çerçeveler üzerinde gradyan büyüklüğü matrisi ve gradyan yönü matrisi hesaplanması ve bu histogramların normalleştirilmesi yoluyla görüntünün her bir çerçevesi için bir histogram üretilmesi;
    10. Histogramların kıyaslanması yoluyla görüntülerden çıkarılan özniteliklerin kıyaslanması; bir fark olması durumunda değişiklik tespitinin yapılması ile karakterize edilmesidir.
  2. İstem 1’de bahsedilen yöntem olup özelliği, değişiklik tespit edilen karelerin tek başına ikinci videoda bulunan görüntülerinin veya tek başına birinci videoda bulunan görüntülerinin veya iki videonun karelerinin yanyana gösterilmesi yoluyla kullanıcıya sunulması ile karakterize edilmesidir.
PCT/TR2019/051170 2018-12-20 2019-12-20 Method for detecting inter-video changes Ceased WO2020130999A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TR2018/19906 2018-12-20
TR2018/19906A TR201819906A2 (en) 2018-12-20 2018-12-20

Publications (1)

Publication Number Publication Date
WO2020130999A1 true WO2020130999A1 (en) 2020-06-25

Family

ID=67980208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/TR2019/051170 Ceased WO2020130999A1 (en) 2018-12-20 2019-12-20 Method for detecting inter-video changes

Country Status (2)

Country Link
TR (1) TR201819906A2 (en)
WO (1) WO2020130999A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1622081A1 (en) * 2003-04-21 2006-02-01 NEC Corporation Video object recognition device and recognition method, video annotation giving device and giving method, and program
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US20170134631A1 (en) * 2015-09-15 2017-05-11 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1622081A1 (en) * 2003-04-21 2006-02-01 NEC Corporation Video object recognition device and recognition method, video annotation giving device and giving method, and program
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US20170134631A1 (en) * 2015-09-15 2017-05-11 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following

Also Published As

Publication number Publication date
TR201819906A2 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
Ni et al. Dynamics and patterns of a diffusive Leslie–Gower prey–predator model with strong Allee effect in prey
Mukherjee et al. Modified differential evolution with locality induced genetic operators for dynamic optimization
WO2020130999A1 (en) Method for detecting inter-video changes
Sorbelli et al. Range based algorithms for precise localization of terrestrial objects using a drone
JP2016093240A5 (en)
BR112018074802A2 (en) material characterization system and method.
JP2015029557A5 (en)
MY187801A (en) Gas-separation membranes having improved flux and selectivity
JP2017076309A5 (en)
CN105651973B (en) Garment material pendency degree detection device
Al-Saleh et al. First report of Tomato chlorosis virus (ToCV) in tomato crops in Saudi Arabia
Çatalbaş et al. A comparative study of classification methods for fall detection
Jo et al. First Report of Asian prunus virus 2 and Cherry virus A infecting japanese apricot (Prunus mume) in Korea
Sevimli et al. Range-Doppler radar target detection using compressive sensing
Man et al. Face automatic detection based on elliptic skin model and improved AdaBoost algorithm
JP2017080345A5 (en)
Ran Expect the Unexpected
Collis et al. 1171; The development of influenza virus variants with reduced susceptibility following peramivir treatment: an analysis of clinical and post-marketing experience
Li et al. Compass Detection Algorithm based on Image Corner
MacKenzie et al. Fusarium Keratitis in Germany
Kulkarni et al. Cyclic GMP-AMP Synthase (cGAS), Stimulator Of Interferon Genes (STING) And Interferon Activated Gene 16 (IFI16) Are Essential For Intrinsic Lung Epithelial Responses Against Influenza A Infection, But Not For Therapeutically Induced Antiviral Resistance
Shu et al. Multiple Signal Estimation Using Weighting Music Algorithm
Çekli Position detection with spherical interpolation least squares based on time difference of arrivals using separated acoustic signals by independent component analysis
Imran et al. Systematic Comparison of Linear Feature Extraction Methods for Classification of Hyperspectral Images with Noises
Şahingil et al. The effects of directed infrared countermeasure systems on conical scan reticle seekers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901247

Country of ref document: EP

Kind code of ref document: A1