WO2020018045A2

WO2020018045A2 - A detection system checking seat belt use and a method thereof

Info

Publication number: WO2020018045A2
Application number: PCT/TR2019/050314
Authority: WO
Inventors: Yusuf Oğuzhan ARTAN; Anıl ATVAR; Burak BALCI; Alperen ELİHOŞ; Bensu ALKAN
Original assignee: Havelsan Hava Elektronik Sanayi ve Ticaret AS
Current assignee: Havelsan Hava Elektronik Sanayi ve Ticaret AS
Priority date: 2018-05-08
Filing date: 2019-05-08
Publication date: 2020-01-23
Anticipated expiration: 2020-11-08
Also published as: WO2020018045A3

Abstract

The present invention relates to a detection system (1) and method thereof (100) that allows the automatic detection of whether a driver is wearing his/her seat belt or not by using a near-infrared (NIR) camera (2) mounted on moving traffic police vehicles (V) and utilizing various image processing, machine learning and deep learning techniques on images obtained from other vehicles (A) that are passing by moving traffic police vehicles and that allows for forwarding detection results and images indicating whether a driver is wearing his/her seat belt or not, to officers in charge in order to give the driver a warning of taking the necessary criminal action against the driver.

Description

EMNİYET KEMERİ KULLANIMINI KONTROL EDEN BİR TESPİT SİSTEMİ VE YÖNTEMİ

Buluş, seyir halindeki trafik polisi araçlarının yanlarından geçen araçlardan elde edilen 5 görüntüler üzerinde çeşitli görüntü işleme, makine öğrenimi ve derin öğrenme tekniklerini kullanarak araçta bulunan sürücünün emniyet kemeri kullanılıp kullanılmama durumunun otomatik olarak tespitini sağlayan trafik denetimine yönelik bir tespit sistemi ve yöntemi ile ilgilidir.

Günümüzde karayollarında trafik güvenliğine yönelik en etkili çözüm polis denetimleri olmakla beraber, alternatif olabilen en verimli çözümlerden birisi güvenlik kamera sistemleri tabanlı çözümlerdir. Karayollarında trafik denetimine yönelik kamera kullanımının en popüler olduğu alanlar; hız tespit sistemleri, kırmızı ışık ihlal sistemleri, kavşak kontrol sistemleri ve yaya geçidi denetleme sistemleri şeklinde açıklanabilir.

US6474683B1, US8384555B2, US8824742B2, US9721173B2 ve US20150286885A1 sayılı patent dokümanlarında; son yıllarda yapılan bazı çalışmalara yönelik yapılanmalar açıklanmakta olup bu dokümanlarda araç içi doluluk, emniyet kemeri ve cep telefonu kullanımı tespitine yönelik çeşitli metotların önerildiği de gözlenmektedir. Bu çalışmalara ek olarak, US8611608B2 ve US9552524B2 patentlerinde ve [1] dokümanında da araç içi emniyet kemeri kullanımı tespitine yönelik olarak çeşitli metotlar önerilmiştir. Emniyet kemer tespitine yönelik var olan metotlar sabit platformlara yerleştirilen kameralardan elde edilen görüntülere yönelik geliştirilmiştir.

Bu çalışmaların dışında var olan kamera sistemleri ağırlıklı olarak gözlem sistemleri olup, olay sonrasına yönelik olarak kullanılmaktadırlar. Türkiye’de gerçekleştirilen araştırmalarda, araçlarda ortalama olarak sürücülerin % 43,6 oranında emniyet kemeri kullandığı tespit edilmiştir [2]. Yine Türkiye’de Emniyet Genel Müdürlüğü tarafından yapılan açıklamada da, otomobillerde emniyet kemeri kullanım durumunun ağır yaralanma riskini % 45 oranında azalttığı belirtilmektedir. Bu oranlar göz önüne alındığında emniyet kemeri kullanımının denetlenmesinin önemi ortaya çıkmaktadır. Bu işlemin de mevcut sistemlerin aksine bilgisayarlar tarafından otomatik olarak gerçekleştirilmesi, kazalarda ortaya çıkan yaralanma/ölüm durumlarının azalışına yönelik olumlu ve daha büyük bir etki yaratacağı düşünülmektedir.

Bu nedenlerle ve mevcutta yer alan dokümanların çözüm getirememesi nedeniyle seyir halinde bulunan bir araç üzerine yerleştirilecek kameradan elde edilecek görüntüler üzerinde çeşitli görüntü işleme, makine öğrenimi ve derin öğrenme tekniklerini kullanarak yan şeritteki araçta bulunan sürücünün emniyet kemeri kullanımının otomatik olarak tespitini sağlayan yapılanmalara ihtiyaç duyulmaktadır. Ayrıca araçta bulunan sürücünün emniyet kemeri kullanma/kullanmama durumuna yönelik elde edilen tespit sonuçlarının ve görüntülerin, sürücüye uyarı veya cezai işlem uygulanmak üzere görevli emniyet personeline iletilebilmesi de gerekmektedir.

Sonuç olarak, yukarıda anlatılan olumsuzluklardan dolayı ve mevcut çözümlerin konu hakkındaki yetersizliği nedeniyle ilgili teknik alanda bir geliştirme yapılması gerekli kılınmıştır.

Bu buluşun amacı, seyir halindeki trafik polisi araçlarının yanlarından geçen araçlardan elde edilen görüntüler üzerinde çeşitli görüntü işleme, makine öğrenimi ve derin öğrenme tekniklerini kullanarak araçta bulunan sürücünün emniyet kemeri kullanılıp kullanılmama durumunun otomatik olarak tespitini sağlamasıdır.

Bu buluşun bir diğer amacı, araçta bulunan sürücünün emniyet kemeri kullanılma/kullanılmama durumuna yönelik elde edilen tespit sonuçlarının ve görüntülerin, sürücüye uyarı veya cezai işlem uygulanmak üzere görevli emniyet personeline iletilmesidir.

Bu buluşun bir diğer amacı, sadece gündüz görüntülerinde değil gece elde edilen görüntülerde de başarı ile çalışabilmesidir.

Bu buluşun bir diğer amacı, emniyet kemerinin kullanılmadığı tespit edilen görüntüler için ek olarak plaka tanıma algoritması ile plaka tespiti yapılarak araca ceza işleminin uygulanarak maddi kazanç elde edilmesidir.

Bu buluşun bir diğer amacı, bireylerde emniyet kemeri kullanma bilinci oluşturularak olası kazalarda yaşanılacak olan yaralanma ve ölümle sonuçlanma vakalarının önüne geçilmesidir.

Bu buluşun bir diğer amacı, kurulumu hızlı ve kolay olup maliyet açısından etkin bir çözüm sunmasıdır.

Buluşun yapısal ve karakteristik özellikleri ve tüm avantajları aşağıda verilen şekiller ve bu şekillere atıflar yapılmak suretiyle yazılan detaylı açıklama sayesinde daha net olarak anlaşılacaktır ve bu nedenle değerlendirmenin de bu şekiller ve detaylı açıklama göz önüne alınarak yapılması gerekmektedir.

Fig.1

buluşa konu olan sistemin şematik görünümüdür.

Fig.2

buluşa konu olan yönteme ait akış diyagramıdır.

1. Tespit sistemi

2. Kamera

3. Işık kaynağı

4. Sunucu bilgisayar

5. Ekran

100. Tespit yöntemi

A. Araç

D. Dış bölüm

I. İç bölüm

P. Polis merkezi

V. Polis aracı

Bu detaylı açıklamada, buluşa konu olan bir tespit sistemi (1) ve yönteminin (100) tercih edilen yapılanmaları, sadece konunun daha iyi anlaşılmasına yönelik olarak açıklanmaktadır.

Bu buluş, seyir halindeki trafik polisi araçlarının (V) üzerine yerleştirilmiş bir yakın kızılötesi (NIR) kamera (2) kullanarak yanlarından geçen araçlardan (A) elde edilen görüntüler üzerinde görüntü işleme, makine öğrenimi ve derin öğrenme tekniklerini kullanarak araçta (A) bulunan sürücünün emniyet kemeri kullanılıp kullanılmama durumunun otomatik olarak tespitini ve elde edilen tespit sonuçlarının ve görüntülerin, sürücüye uyarı veya cezai işlem uygulanmak üzere görevli emniyet personeline iletilmesini sağlayan bir tespit sistemi (1) ve yöntemi (100) ile ilgilidir.

Buluş konusu tespit sistemi (1) tercihen;

polis aracının (V) dış bölümüne (D) yerleştirilen, polis aracının (V) yanından geçen araçların (A) içinin ve görüntüsünün çekilmesini sağlayan NIR yapıda olan en az bir kamera kamera (2),
bahsedilen kameraların (2) özellikle gece şartlarında uygun ışıkta görüntü almasını sağlayan en az bir ışık kaynağı (3),
polis aracının (V) iç bölümünde (I) yer alan, bahsedilen kamera (2) vasıtasıyla polis aracının (V) yanından geçen araçların (A) içinin çekilen görüntülerini alıp depolayan,
1. görüntülerde ön cam veya ön yan cam bölgesinin olup olmadığını derin öğrenme tabanlı obje detektörü [3, 4] ile tespit eden,
2. ön cam veya ön yan cam bölgesi tespit edilirse, derin öğrenme tabanlı obje detektörü [3, 4] ile görüntüde sürücüyü tespit eden,
3. sürücüde emniyet kemerinin var olup olmadığını belirleyen,
4. emniyet kemeri kullanılıp kullanılmadığına dair rapor ile birlikte elde edilen görüntüyü polis aracına (V) ve/veya bir polis merkezine (P) aktaran en az bir sunucu bilgisayar (4) ve
polis aracının (V) iç bölümünde (I) yer alan, bahsedilen sunucu bilgisayara (4) bağlı halde çalışan, bahsedilen kameradan (2) elde edilen görüntüleri ve bu görüntüler üzerinde bahsedilen sunucu bilgisayarın (4) elde ettiği emniyet kemeri kullanıp kullanmama sonuçlarını, polis aracının (V) iç bölümünde (I) yer alan polise gösteren en az bir ekran (5) içermektedir (Şekil 1).

Buluş konusu tespit yöntemi (100), tespit sistemi (1) içerisinde yer alan unsurları kullanmaktadır. Tespit yöntemi (100) tercihen;

kamera (2) vasıtasıyla, polis aracının (V) yanından geçen araçların (A) içinin görüntüsünün çekilmesi,
çekilen araç (A) içi görüntülerinin kamera (2) tarafından sunucu bilgisayara (4) aktarılması,
sunucu bilgisayar (4) vasıtasıyla, görüntülerin içerisinde ön cam bölgesinin olup olmadığının derin öğrenme tabanlı obje detektörü [3, 4] ile tespit edilmeye çalışılması,
ön cam bölgesi tespit edilemezse, sunucu bilgisayarın (4) bir sonraki görüntüye geçmesi,
ön cam bölgesi tespit edilirse, derin öğrenme tabanlı obje detektörü [3, 4] ile görüntü üzerinde sürücünün tespit edilmeye çalışılması,
sürücü tespit edilemezse, sunucu bilgisayarın (4) bir sonraki görüntüye geçmesi,
sürücü tespit edilirse, sunucu bilgisayar (4) vasıtasıyla, sürücüde emniyet kemerinin var olup olmadığının tespit edilmesi,
emniyet kemeri yoksa, sunucu bilgisayarın (4) emniyet kemerinin kullanılmadığı görüntüleri, ekran (5) vasıtasıyla polise göstererek ve polis merkezine (P) ileterek cezai işlem için polise raporlama yapması,
emniyet kemeri varsa, sunucu bilgisayarın (4) emniyet kemeri kullanım sonuçlarını, ön cam bölgesi çıkartılan görüntü üzerinde, ekran (5) vasıtasıyla polise göstermesi ve/veya polis merkezine (P) iletmesi ve
sunucu bilgisayarın (4) yeni bir tespit işlemi için bir sonraki görüntüye geçmesi işlem adımlarını içermektedir (Şekil 2).

Bu buluş kapsamında karayollarında trafik izlemeye yönelik olarak sürücü koltuğunun dikey hizasında polis aracının (V) dış bölümüne (D) yerleştirilmiş en az 1 mega-piksel çözünürlüğe sahip yakın kızılötesi bant (NIR) kamera (2) ve ışık kaynağından (3) oluşan donanım kullanılarak yan şeritten geçen araçlar (A) görüntülenmektedir. Polis aracı (V) taranan aracın (A) sağında ise sürücüye ön cam kısmında bakılmaktadır. Eğer polis aracı (V) taranan aracın (A) solunda ise sürücünün bulunduğu ön yan camdan içeri bakılmaktadır. Elde edilen araç (A) görüntüleri üzerinde sürücünün emniyet kemeri tespitine yönelik bir yöntem sunucu bilgisayar (4) üzerinde çalışmaktadır ve sunucu bilgisayar ekranında (5) NIR kamera (2) görüntüleri gösterilmektedir.

Sunucu bilgisayarın (4) ihlal tespit etmesi durumunda kayıt oluşturulmaktadır ve bu kayıt ekranda (5) polisin (P) görsel olarak incelemesi için NIR görüntü üzerinde gösterilmektedir. Oluşturulan kayıtlar harici kayıt cihazı ile sunucudan polis merkezine (P) taşınmaktadır. Polis merkezinde (P), sunucu bilgisayarda (4) kaydedilmiş ihlaller polis tarafından manuel olarak gözden geçirilmekte ve gerekirse cezai işlem uygulanmaktadır.

Buluş konusu tespit sistemi (1) ve yönteminde (100) sunucu bilgisayara (4) aktarılan görüntüler üzerinde derin öğrenme teknikleri ile elde edilmiş olan ön cam bulma modeli kullanılarak araç (A) görüntüsünde ön cam bölgesi tespit edilmektedir. Ön cam bulma modeli oluşturulurken, var olan eğitim kümesinde bulunan araç (A) görüntülerinde ön camın bulunduğu bölge, manuel olarak işaretlenilmektedir. Daha sonrasında orijinal araç (A) görüntüsü ve işaretlenmiş görüntülerden oluşan eğitim veri seti ve [3] dokümanında sunulan derin öğrenme modeli eğitilerek ön cam tespit modeli oluşturulmaktadır. Derin öğrenme modeli, çok katmanlı konvolüsyonel sinir ağları katmanlarında tespit edilecek objeyi görsel ve yapısal olarak temsil etmeyi öğrenmektedir [4]. Son yıllarda obje tespiti, obje takibi ve görüntü sınıflandırma gibi alanlarda oldukça yaygın olarak kullanılmaktadır. [3] dokümanında sunulan tekniğe benzer şekilde [5] ve [6] dokümanlarında sunulan teknikler de ön cam tespitinde kullanılabilir. Fakat bu metotların kullanılması durumunda birim zamanda işlenebilecek görüntü sayısında azalma olmaktadır.

Ön camın tespit edilmesinden sonra ön cam bulma aşamasında kullanılan [3] dokümanındaki teknik, sunucu bilgisayar (4) tarafından sürücü tespit modeli oluşturulmasında kullanılmaktadır. Sürücü tespit modelini oluşturmak için gösterilen sürücü bölgesinin orijinal görüntüsü ve kullanıcı tarafından manuel olarak alan öğrenme aşamasında sunucu bilgisayar (4) tarafından kullanılmaktadır.

Ön cam bölgesinde sürücü tespiti de yapıldıktan sonra, sürücü üzerinde emniyet kemeri bölgesinin tespit edilmesi için, önceki adımlarda olduğu gibi [3] dokümanındaki teknik, emniyet kemeri tespit modelini oluşturmak için yinelenmektedir. Bu aşamada da sürücü üzerinde bulunan kemer bölgesi manuel olarak işaretlenerek eğitim aşaması gerçekleştirilmiştir.

Buluş konusu tespit sistemi (1) ve yöntemi (100) ile eğitim kümeleri ile eğitilen modeller kullanılarak seyir halindeki polis aracına (V) yerleştirilmiş kameradan (2) gelen görüntüler üzerinde emniyet kemeri kullanım durumu tespit edilebilmektedir. Emniyet kemeri tespit edildiği durumda bu tespit polis aracı (V) içinde bulunan sunucu bilgisayara (4) bağlı ekranda (5) gösterilirken, kemerin takılı olmadığı durumunun da görüntü polis tarafından incelenmek üzere kaydedilmekte ve raporlanmaktadır. Polis merkezinde (P) incelenilen görüntü ve video kayıtları sonucunda cezai işlem uygulanabilmektedir.

Examples

B. Xu, P. Paul, Y. O. Artan, F. Perronnin, A machine learning approach to vehicle occupancy detection, in ITSC, 2014.

Trafik Araştırmaları Merkezi, Emniyet Genel Müdürlüğü, Türkiye Analizi: Takip Çalışması, Sürücü ve ön koltuk yolcularının emniyet kemeri kullanımı, 2015.

W. Liu, D. Anguelov, D. Erhan, C. Szegedy , S. Reed, C-Y. Fu, A. C. Berg, SSD: Single Shot MultiBox Detector, arXiv 1512.02325v5, Dec. 2016.

K. Simonyan, A. Zisserman, Very deep convolutional networks for large scale image recognition, in NIPS, 2015.

J. Redmon, S. Divvala, R. Girschick, A. Ferhadi, You only look once: Unified, real- time object detection, in IEEE Conf. on Comp. Vis and Pat. Recog. (CVPR), 2016.

B. Xu, Y. O. Artan, P. Paul, Robust Windshield Detection via Landmark Localization, USPTO: US9633267, 2017.

Claims

Polis aracının (V) dış bölümüne (D) yerleştirilen, polis aracının (V) yanından geçen araçların (A) içinin görüntüsünün çekilmesini sağlayan NIR yapıda olan en az bir kamera (2) içeren ve seyir halindeki trafik polisi araçlarının (V) yanlarından geçen araçlardan (A) elde edilen görüntüler üzerinde görüntü işleme, makine öğrenimi ve derin öğrenme tekniklerini kullanarak araçta (A) bulunan sürücünün emniyet kemeri kullanılıp kullanılmama durumunun otomatik olarak tespitini ve elde edilen tespit sonuçlarının ve görüntülerin, sürücüye uyarı veya cezai işlem uygulanmak üzere görevli emniyet personeline iletilmesini sağlayan bir tespit sistemi (1) olup, özelliği;
polis aracının (V) dış bölümünde (D) yer alan, kamera (2) vasıtasıyla polis aracının (V) yanından geçen araçların (A) iç kısmına ait çekilen görüntüleri alıp depolayan,

görüntülerde ön cam veya ön yan cam bölgesinin olup olmadığını derin öğrenme tabanlı obje detektörü ile tespit eden,

derin öğrenme tabanlı obje detektörü ile görüntüler üzerinde sürücüyü tespit eden,

sürücüde emniyet kemerinin var olup olmadığını belirleyen,

emniyet kemeri kullanılıp kullanılmadığına dair rapor ile birlikte elde edilen görüntüyü polis aracına (V) ve/veya bir polis merkezine (P) aktaran en az bir sunucu bilgisayar (4) içermesidir.
İstem 1’e uygun bir tespit sistemi (1) olup, özelliği; bahsedilen kameraların (2), özellikle gece şartlarında uygun ışıkta görüntü almasını sağlayan en az bir ışık kaynağı (3) içermesidir.
İstem 1’e uygun bir tespit sistemi (1) olup, özelliği; polis aracının (V) iç bölümünde (I) yer alan, bahsedilen sunucu bilgisayara (4) bağlı halde çalışan, bahsedilen kameradan (2) elde edilen görüntüleri ve bu görüntüler üzerinde bahsedilen sunucu bilgisayarın (4) elde ettiği emniyet kemeri kullanıp kullanmama sonuçlarını, polis aracının (V) iç bölümünde (I) yer alan polise gösteren bir ekran (5) içermesidir.
Seyir halindeki trafik polisi araçlarının (V) yanlarından geçen araçlardan (A) elde edilen görüntüler üzerinde görüntü işleme, makine öğrenimi ve derin öğrenme tekniklerini kullanarak araçta (A) bulunan sürücünün emniyet kemeri kullanılıp kullanılmama durumunun otomatik olarak tespitini ve elde edilen tespit sonuçlarının ve görüntülerin, sürücüye uyarı veya cezai işlem uygulanmak üzere görevli emniyet personeline iletilmesini sağlayan bir tespit yöntemi (100) olup, özelliği;
kamera (2) vasıtasıyla, polis aracının (V) yanından geçen araçların (A) içinin çekilmesi,

çekilen araç (A) içi görüntülerinin kamera (2) tarafından sunucu bilgisayara (4) aktarılması,

sunucu bilgisayar (4) vasıtasıyla, görüntülerin içerisinde ön cam bölgesinin olup olmadığının derin öğrenme tabanlı obje detektörü ile tespit edilmesi,

ön cam bölgesi tespit edilemezse, sunucu bilgisayarın (4) bir sonraki görüntüye geçmesi,

ön cam bölgesi tespit edilirse, derin öğrenme tabanlı obje detektörü ile görüntü üzerinde sürücünün tespit edilmesi,

sürücü tespit edilemezse, sunucu bilgisayarın (4) bir sonraki görüntüye geçmesi,

sürücü tespit edilirse, sunucu bilgisayar (4) vasıtasıyla, sürücüde emniyet kemerinin var olup olmadığının tespit edilmesi,

emniyet kemeri kullanılıp kullanılmadığına dair rapor ile birlikte elde edilen görüntünün, sunucu bilgisayar (4) tarafından polis aracına (V) ve/veya bir polis merkezine (P) aktarılması işlem adımlarını içermesidir.