TWI651697B - 停車場空位偵測方法及其偵測模型建立方法 - Google Patents
停車場空位偵測方法及其偵測模型建立方法 Download PDFInfo
- Publication number
- TWI651697B TWI651697B TW107102510A TW107102510A TWI651697B TW I651697 B TWI651697 B TW I651697B TW 107102510 A TW107102510 A TW 107102510A TW 107102510 A TW107102510 A TW 107102510A TW I651697 B TWI651697 B TW I651697B
- Authority
- TW
- Taiwan
- Prior art keywords
- parking
- image
- images
- target
- state
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一種停車場空位偵測方法及其偵測模型建立方法,一電腦系統根據多張訓練影像進行學習演算以求得最佳化的多個空間變換參數、一特徵提取參數組,及多個邏輯回歸參數,以建立一包括一空間變換函式、一影像特徵求取函式,及該等邏輯回歸參數的停車場空位偵測模型。該電腦系統根據該空間變換函式,將一包括一目標待偵測停車格的待偵測影像進行變換,以獲得一變換影像,再根據該停車場空位偵測模型的該影像特徵求取函式,及該變換影像,獲得一分類結果,最後根據該等邏輯回歸參數及該分類結果,獲得該變換影像的該目標待偵測停車格之停車狀態。
Description
本發明是有關於一種影像資料處理方法,特別是指一種基於影像辨識的停車場空位偵測方法及其偵測模型建立方法。
近年來在停車場空位偵測技術已由利用每個停車格上的感測器(sensor)去偵測車位狀態,演變成使用影像進行分類以將停車格分類成車輛停放或空位。現有的停車格分類方法是在取得監視器的停車場影像後,找出停車格在影像中的位置,並透過不同的影像特徵(feature)將停車格分類。為了克服戶外大型車停車場中,常遭受到的影像中車與車之間的遮蔽問題(inter-occlusion problem)、陰影問題(shadow problem)、亮度問題(lighting problem),及影像視角問題(perspective problem)等問題,現有的停車格分類方法主要是利用攝影機幾何特性及投影矩陣去選取影像區域進行狀態分類。
然而,不同停車場的場景存在非常大的變異性,例如磁磚地的停車場、草皮地的停車場,及柏油路的停車場彼此差異極
大,現有的停車場位分類方法無法一體適用這些不同停車場的空位分類,且每一停車場所規劃的停車格大小不一,若停車格規劃較大,車輛停放位置會有較大的位移彈性,再配合車輛的大小差異,使得整體停車結構性下降,進而影響停車格空位偵測準確性。
因此,本發明的目的,即在提供一種能提高停車格空位偵測準確性的停車場空位偵測模型之建立方法。
於是,本發明停車場空位偵測模型建立方法,由一電腦系統執行,該電腦系統儲存有N張包括K種第一停車組合的第一影像,每一第一停車組合具有M個相連的且個別對應有停車狀態處於一已被佔用狀態與一未被佔用狀態之一者的第一停車格,該等M個第一停車格具有一第一目標停車格,K=2M,該電腦系統還儲存有每一第一影像之第一停車組合中的第一目標停車格所對應的一實際停車狀態,該停車場空位偵測模型建立方法包含一步驟(A)、一步驟(B)、一步驟(C)、一步驟(D)、一步驟(E),及一步驟(F)。
該步驟(A)是該電腦系統對於每一第一影像,根據該第一影像及多個空間變換參數,將該第一影像進行變換,以獲得一第二影像。
該步驟(B)是該電腦系統對於每一第二影像,根據該第二
影像及一特徵提取參數組,利用一分類方法獲得並儲存一個相關於該第二影像的第一停車組合之每一停車格之停車狀態的一第一分類結果。
該步驟(C)是該電腦系統對於每一第二影像,根據該第二影像的第一分類結果,及多個邏輯回歸參數獲得該第二影像的第一停車組合的該第一目標停車格之一第一目標偵測結果。
該步驟(D)是該電腦系統根據該等N個第一目標偵測結果,及該等N個第一目標停車格之實際停車狀態獲得一第二損失值。
該步驟(E)是該電腦系統根據該第二損失值,判定該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數是否為最佳值。
該步驟(F)是當該電腦系統判定出該等空間變換參數及該特徵提取參數組不為最佳值時,該電腦系統調整該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數,並重複步驟(A)至(E)直到判定出該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數為最佳值。
因此,本發明的另一目的,即在提供一種能提高停車格空位偵測準確性的停車場空位偵測方法。
於是,本發明停車場空位偵測方法,適用於一待偵測影像並由一電腦系統執行,該電腦系統儲存有多張訓練影像,每一訓
練影像包含K種訓練停車組合之其中一者,每一訓練停車組合具有M個相連的且個別對應有停車狀態處於一已被佔用狀態與一未被佔用狀態之一者的訓練停車格,其中K=2M,該待偵測影像包括M個相連的待偵測停車格,該等M個待偵測停車格具有一目標待偵測停車格,該停車場空位偵測方法包含一步驟(A)、一步驟(B)、一步驟(C),及一步驟(D)。
該步驟(A)是該電腦系統根據該等訓練影像進行學習演算以求得多個空間變換參數、一特徵提取參數組,及多個邏輯回歸參數,並根據該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數建立一包括一空間變換函式、一相關於一分類方法的影像特徵求取函式,及該等邏輯回歸參數的停車場空位偵測模型。
該步驟(B)是該電腦系統根據該停車場空位偵測模型的該空間變換函式,將該待偵測影像進行變換,以獲得一變換影像。
該步驟(C)是該電腦系統根據該停車場空位偵測模型的該影像特徵求取函式,及該變換影像,獲得相關於該變換影像的之每一待偵測停車格的一分類結果。
該步驟(D)是該電腦系統根據該停車場空位偵測模型的該等邏輯回歸參數,及該分類結果,獲得該變換影像的該目標待偵測停車格之停車狀態的一目標偵測結果。
本發明之功效在於:該電腦系統根據該第二損失值調整
該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數至最佳值,以根據調整後的最佳值建立該停車場空位偵測模型,再根據該停車場空位偵測模型獲得該目標偵測結果,藉此,提高停車場空位偵測的準確性。
11~20‧‧‧步驟
111~113‧‧‧子步驟
181~183‧‧‧子步驟
31~37‧‧‧步驟
41~44‧‧‧步驟
9‧‧‧電腦系統
91‧‧‧儲存單元
92‧‧‧處理單元
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:圖1是一方塊圖,說明用以實施本發明停車場空位偵測模型建立方法的一電腦系統;圖2是一流程圖,說明本發明停車場空位偵測模型建立方法的一第一實施例;圖3是一流程圖,說明該第一實施例的步驟11所包含的子步驟;圖4是一流程圖,說明該第一實施例的步驟18所包含的子步驟;圖5是一示意圖,輔助說明該第一實施例;圖6是一流程圖,說明本發明停車場空位偵測模型建立方法的一第二實施例;圖7是一示意圖,輔助說明該第二實施例;及
圖8是一流程圖,說明本發明停車場空位偵測方法的一實施例。
在本發明被詳細描述前,應當注意在以下的說明內容中,類似的元件是以相同的編號來表示。
本發明停車場空位偵測模型建立方法的一第一實施例是由一電腦系統9執行,該電腦系統9包含一儲存單元91及一電連接該儲存單元91的處理單元92。
該儲存單元91儲存有N張包括K種第一停車組合的第一影像,及N張不同於該等N張第一影像且包括K種第二停車組合的第三影像,每一第一停車組合具有M個相連的且個別對應有停車狀態處於一已被佔用狀態與一未被佔用狀態之一者的第一停車格,該等M個第一停車格具有一第一目標停車格,每一第二停車組合具有M個相連的且個別對應有停車狀態處於該已被佔用狀態與該未被佔用狀態之一者的第二停車格,該等M個第二停車格具有一第二目標停車格,K=2M,即該等M個第一停車格可組合出2M種不同的停車狀況,該等M個第二停車格亦可組合出2M種不同的停車狀況。該儲存單元91還儲存有每一第一影像之第一停車組合中的每一第一停車格所對應的一實際停車狀態,及每一第三影像之第二停車組合中的每一第二停車格所對應的一實際停車狀態。值得注意的是,在本
實施例中,M=3,該等3個第一停車格或該等3個第二停車格可組合出23種不同的停車狀況,該等3個第一停車格或該等3個第二停車格的停車狀況為{(0,0,0),(0,0,1),(0,1,0),(0,1,1),(1,0,0),(1,0,1),(1,1,0),(1,1,1)},其中,”0”表示該未被佔用狀態,”1”表示該已被佔用狀態,該第一目標停車格為3個第一停車格中的中間的第一停車格,該第二目標停車格為3個第二停車格中的中間的第二停車格。
參閱圖1、2,該第一實施例包含步驟11~20,以下詳述圖2所示的該第一實施例的各個步驟。
在步驟11中,該處理單元92對於每一第一影像,根據該第一影像及多個空間變換參數Wθ,將該第一影像進行變換,以獲得一第二影像。
搭配參閱圖3,以下說明步驟11所包含的子步驟111~113。
在子步驟111中,該處理單元92對於每一第一影像,根據一包括該等空間變換參數Wθ的變換模型Tθ(.)及該第一影像的多個像素的座標位置,獲得該第二影像的多個像素的座標位置。該變換模型為下列公式:
其中,(,)為該第一影像的第i個像素的座標位置,θ11、θ12、θ13、θ21、θ22,及θ23為該等空間變換參數Wθ,Gi=(,)為該第二影像的第i個像素的座標位置。
在子步驟112中,該處理單元92對於每一第一影像,根據一相關於該第一影像的影像補丁模型,獲得多個分別對應該第二影像的該等像素的座標位置的影像補丁值。該影像補丁模型為下列公式:
其中,為對應該第二影像的第i個像素的座標位置(,)的影像補丁值,Xnm為座標位置(m,n)的該第一影像的像素的影像強度,H為該第一影像高度,W為該第一影像寬度。
在子步驟113中,對於每一第一影像,根據子步驟111所獲得的該第二影像的該等像素的座標位置,及子步驟112所獲得該等影像補丁值獲得該第二影像。
在步驟12中,該處理單元92對於每一第二影像,根據該第二影像及一特徵提取參數組WF,利用一分類方法獲得並儲存相關於該第二影像的第一停車組合之每一停車格之停車狀態的一第一分類結果,該第一分類結果為,(.)為包括該等空間變換參數Wθ的空間變換函式,該空間變換函式包括該變換模型及該影像補丁模型,(.)為包括該特徵提取參數組WF的影像特徵求取函
式,為該等N張第一影像中的第n張第一影像的所有像素之影像強度的集合。值得注意的是,在本實施例中,包括該特徵提取參數組WF的影像特徵求取函式即為該分類方法,該分類方法例如為卷積神經網路(Convolutional Neural Network,CNN),每一第一分類結果包括多個8維高階影像特徵值,在其他實施例中,每一第一分類結果包括該第一停車組合分別於該等2M種停車狀況的機率。
在步驟13中,該處理單元92對於每一第三影像,根據該第三影像及該等空間變換參數Wθ,將該第三影像進行變換,以獲得一第四影像。要特別注意的是,該處理單元92將該第三影像進行變換,以獲得該第四影像的方式相同於步驟11該處理單元92將該第一影像進行變換,以獲得該第二影像的方式,故在此不加以贅述。
在步驟14中,該處理單元92對於每一第四影像,根據該第四影像及該特徵提取參數組WF,利用該分類方法獲得並儲存相關於該第四影像的第二停車組合之每一停車格之停車狀態的一第二分類結果,該第二分類結果為,為該等N張第三影像中的第n張第三影像的所有像素之影像強度的集合。值得注意的是,在本實施例中,步驟13、14在步驟11、12之後,在其他實施方式中,步驟13、14可與步驟11、12同時進行,不以此限。
在步驟15中,該處理單元92根據該等N個第一分類結果、該等N個第二分類結果、該等N張第二影像的該等N個第一停車
組合之所有第一停車格的實際停車狀態,及該等N張第四影像的該等N個第二停車組合之所有第二停車格的實際停車狀態,獲得一第一損失值L1,該第一損失值L1以下式表示:
其中,Fn [0,1]為指示出該等N張第二影像中的第n張第二影像的該第一停車組合中所有第一停車格之實際停車狀態與該等N張第四影像的第n張第四影像的該第二停車組合中所有第二停車格之實際停車狀態是否一致的指示符,Fn=1指示出第n張第二影像的該第一停車組合中所有第一停車格之實際停車狀態與第n張第四影像的該第二停車組合中所有第二停車格之實際停車狀態一致,Fn=0指示出第n張第二影像的該第一停車組合中所有第一停車格之實際停車狀態與第n張第四影像的該第二停車組合中所有第二停車格之實際停車狀態不一致,αn為一預定值,為第n張第二影像的該第一分類結果與第n張第四影像的該第二分類結果的一對比特徵距離,該對比特徵距離以下式表示:
值得注意的是,在本實施例中,αn為所有第一停車格之實際停車狀態與所有第二停車格之實際停車狀態差異數,例如當所有第一停車格之實際停車狀態為(0,1,0),而所有第二停車格之實際停車狀態為(0,0,1)時,αn=2。當Fn=0時,且在該特徵提取參數組WF為最佳
值的情況下應大於αn。
在步驟16中,該處理單元92對於每一第二影像,根據該第二影像的該第一分類結果,及多個邏輯回歸參數WC,獲得該第二影像的第一停車組合的該第一目標停車格之停車狀態的一第一目標偵測結果。其中該等N張第二影像中的第n張第二影像的第一目標偵測結果包含該等N張第二影像中的第n張第二影像的該第一目標停車格處於該已被佔用狀態的機率,及該等N張第二影像中的第n張第二影像的該第一目標停車格處於該未被佔用狀態的機率,i[0,1],該等N張第二影像中的第n張第二影像的第一目標偵測結果以下式表示:
其中,為該等N張第二影像中的第n張第二影像的該第一目標停車格處於該已被佔用狀態的機率,為該等N張第二影像中的第n張第二影像的該第一目標停車格處於該未被佔用狀態的機率,+=1,pn為對應於該等N張第二影像中的第n張第二影像之該第一分類結果,亦即,為該等邏輯回歸參數WC。
在步驟17中,該處理單元92對於每一第四影像,根據該第四影像的第二分類結果,及該等邏輯回歸參數WC獲得該第四影像的第二停車組合的該第二目標停車格之停車狀態的一第二目標偵
測結果。其中該等N張第四影像中的第n張第四影像的第二目標偵測結果包含該等N張第四影像中的第n張第四影像的該第二目標停車格處於該已被佔用狀態的機率,及該等N張第四影像中的第n張第四影像的該第二目標停車格處於該未被佔用狀態的機率,i[0,1],該等N張第四影像中的第n張第四影像的第二目標偵測結果以下式表示:
其中,為該等N張第四影像中的第n張第四影像的該第二目標停車格處於該已被佔用狀態的機率,為該等N張第四影像中的第n張第四影像的該第二目標停車格處於該未被佔用狀態的機率,+=1,為對應於該等N張第四影像中的第n張第四影像之該第二分類結果,亦即。
在步驟18中,該處理單元92根據該等N個第一目標偵測結果、該等N個第一目標停車格之實際停車狀態、該等N個第二目標偵測結果,及該等N個第二目標停車格之實際停車狀態獲得一第二損失值L2。
搭配參閱圖4,以下說明步驟18所包含的子步驟181~183。
在步驟181中,該處理單元92根據該等N個第一目標偵測
結果及該等N個第一目標停車格之實際停車狀態獲得一第三損失值L3,該第三損失值L3以下式表示:
其中,yn [0,1]表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態,yn=1表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態處於該已被佔用狀態,yn=0表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態處於該未被佔用狀態。
在步驟182中,該處理單元92根據該等N個第二目標偵測結果及該等N個第二目標停車格之實際停車狀態獲得一第四損失值L4,該第四損失值L4以下式表示:
其中,[0,1]表示該等N張第四影像中的第n張第四影像的該第二目標停車格之實際停車狀態,=1表示該等N張第四影像中的第n張第四影像的該第二目標停車格之實際停車狀態處於該已被佔用狀態,=0表示該等N張第四影像中的第n張第四影像的該第二目標停車格之實際停車狀態處於該未被佔用狀態。
在步驟183中,該處理單元92根據該第三損失值L3及該第四損失值L4獲得該第二損失值L2。值得注意的是,在本實施例中,該第二損失值L2為該第三損失值L3及該第四損失值L4之和。
在步驟19中,該處理單元92將該第一損失值L1乘上一權重值在加上該第二損失值L2,以獲得一多任務目標值,該處理單元92根據該多任務目標值判定該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC是否為最佳值。當該處理單元92判定出該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC不為最佳值時,進行步驟20。當該處理單元92判定出該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC為最佳值時,表示停車場空位偵測模型已建立完成,流程結束。
在步驟20中,該處理單元92調整該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC,並重複步驟11至19直到該處理單元92判定出該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC為最佳值。
值得注意的是,在本實施例中,在步驟19中,該處理單元92根據本次所獲得的多任務目標值及前P個重複步驟11至18所獲得的多任務目標值,P≧1,判定該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC是否為最佳值,當本次所獲得的多任務目標值及前P個獲得的多任務目標值中的最大值與最小值之差在一預設值內時,該處理單元92判定該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC為最佳值。舉例來說,假設P為3且該預設值為0.5,在步驟19中,本次所獲得的
多任務目標值為1.8,而前3次所獲得的多任務目標值分別為2、1.7、2.1,由於最大值2.1與最小值1.7之差0.4小於該預設值0.5,故該處理單元92判定該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC為最佳值。
參閱圖5,以示意圖輔助說明該第一實施例的步驟,在本實施例中,是以對比學習(contrastive learning)為例,故以對稱結構表示。
參閱圖1、6,本發明方法的一第二實施例實質上是該第一實施例的變化,並包含步驟31~37,其中步驟31、32、34、36、37分別相似於該第一實施例的步驟11、12、16、19、20(如圖2)。要特別注意的是,在本實施例中,該儲存單元91不儲存有該等N張第三影像。
以下說明該第二實施例之異於該第一實施例之處。
在本實施方式中,每一第一分類結果包括該第一停車組合分別於該等2M種停車狀況的機率。
在步驟33中,該處理單元92根據該等N個第一分類結果,及該等N張第二影像的該等N個第一停車組合之所有第一停車格的實際停車狀態,獲得一第一損失值L1,該第一損失值L1以下式表示:
其中,[0,1]為指示出該等N張第二影像中的第n張第二影像的該第一停車組合中每一第一停車格之實際停車狀態是否為該等2M種停車狀況之第k種停車狀況的指示符,1≦k≦2M,=1指示出第n張第二影像的該第一停車組合中每一第一停車格之實際停車狀態為該等2M種停車狀況之第k種停車狀況,=0指示出第n張第二影像的該第一停車組合中每一第一停車格之實際停車狀態不為該等2M種停車狀況之第k種停車狀況,為該等N張第二影像中的第n張第二影像的該第一停車組合中每一第一停車格之停車狀態為第k種停車狀況的機率,++...++=1。
在步驟35中,該處理單元92根據該等N個第一目標偵測結果,及該等N個第一目標停車格之實際停車狀態獲得一第二損失值L2,該第二損失值L2以下式表示:
其中,yn [0,1]表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態,yn=1表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態處於該已被佔用狀態,yn=0表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態處於該未被佔用狀態。
參閱圖7,以示意圖輔助說明該第二實施例的步驟。
參閱圖1、8,本發明停車場空位偵測方法的一實施例是
由一電腦系統9執行,該電腦系統9,該儲存單元91儲存多張訓練影像,每一訓練影像包含K種訓練停車組合之其中一者,每一訓練停車組合具有M個相連的且個別對應有停車狀態處於一已被佔用狀態與一未被佔用狀態之一者的訓練停車格,其中K=2M。
該實施例包含步驟41~45,以下詳述圖8所示的該實施例的各個步驟。
在步驟41中,該處理單元92根據該等訓練影像進行學習演算以求得多個空間變換參數Wθ、一特徵提取參數組WF,及多個邏輯回歸參數WC,並根據該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC建立一包括一空間變換函式(.)、一相關於一分類方法的影像特徵求取函式(.),及該等邏輯回歸參數WC的停車場空位偵測模型。換句換說,本步驟即為進行本發明停車場空位偵測模型建立方法,要特別注意的是,該等訓練影像即為本發明停車場空位偵測模型建立方法之該第一實施例之該等N張第一影像及該等N張第三影像,或為本發明停車場空位偵測模型建立方法之該第一實施例之該等N張第一影像。
在步驟42中,該處理單元92根據該停車場空位偵測模型的該空間變換函式(.),將一待偵測影像進行變換,以獲得一變換影像,其中該待偵測影像包括M個相連的待偵測停車格,該等M個待偵測停車格具有一目標待偵測停車格。
在步驟43中,該處理單元92根據該停車場空位偵測模型的該影像特徵求取函式(.),及該變換影像,獲得相關於該變換影像的之每一待偵測停車格的一分類結果,該分類結果為,X為該待偵測影像的所有像素之影像強度的集合。
在步驟44中,該處理單元92根據該停車場空位偵測模型的該等邏輯回歸參數WC,及該分類結果,獲得該變換影像的該目標待偵測停車格之停車狀態的一目標偵測結果Si。該目標偵測結果Si以下式表示:
其中,S1為該變換影像的該目標待偵測停車格處於該已被佔用狀態的機率,S0為該變換影像的該目標待偵測停車格處於該未被佔用狀態的機率,S1+S0=1,p為該分類結果,亦即,為該等邏輯回歸參數WC。
綜上所述,本發明停車場空位偵測方法及其偵測模型建立方法,該處理單元92根據該第一損失值L1及該第二損失值L2,調整該等空間變換參數Wθ、該特徵提取參數組WF,及該等邏輯回歸參數WC至最佳值,以建立最佳的停車場空位偵測模型,在最佳的停車場空位偵測模型中,該處理單元92根據該空間變換函式(.)適應地裁剪最佳局部影像區域,以克服由於車輛大小和車輛停放位置
不一所造成的整體停車結構性鬆散的問題,利用深度網路(deep network)學習影像特徵,以克服遮蔽問題、陰影問題、亮度問題,及影像視角問題後,再根據該影像特徵求取函式(.)獲得相關於停車組合之每一停車格的分類結果,並根據該等邏輯回歸獲得停車組合的目標停車格之停車狀態,藉此,提高停車場空位偵測的準確性,故確實能達成本發明的目的。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
Claims (11)
- 一種停車場空位偵測模型建立方法,由一電腦系統執行,該電腦系統儲存有N張包括K種第一停車組合的第一影像,每一第一停車組合具有M個相連的且個別對應有停車狀態處於一已被佔用狀態與一未被佔用狀態之一者的第一停車格,該等M個第一停車格具有一第一目標停車格,K=2M,該電腦系統還儲存有每一第一影像之第一停車組合中的第一目標停車格所對應的一實際停車狀態,該停車場空位偵測模型建立方法包含以下步驟:(A)對於每一第一影像,根據該第一影像及多個空間變換參數,將該第一影像進行變換,以獲得一第二影像;(B)對於每一第二影像,根據該第二影像及一特徵提取參數組,利用一分類方法獲得並儲存相關於該第二影像的第一停車組合之每一停車格的一第一分類結果;(C)對於每一第二影像,根據該第二影像的該第一分類結果,及多個邏輯回歸參數獲得該第二影像的第一停車組合的該第一目標停車格之停車狀態的一第一目標偵測結果;(D)根據該等N個第一目標偵測結果,及該等N個第一目標停車格之實際停車狀態獲得一第二損失值;(E)根據該第二損失值,判定該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數是否為最佳值;及(F)當判定出該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數不為最佳值時,調整該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數,並重複步驟(A)至(E)直到判定出該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數為最佳值。
- 如請求項1所述的停車場空位偵測模型建立方法,其中,步驟(A)包括以下子步驟:(A-1)對於每一第一影像,根據一包括該等空間變換參數的變換模型及該第一影像的多個像素的座標位置,獲得該第二影像的多個像素的座標位置;(A-2)對於每一第一影像,根據一相關於該第一影像的影像補丁模型,獲得多個分別對應該第二影像的該等像素的座標位置的影像補丁值;及(A-3)對於每一第一影像,根據子步驟(A-1)所獲得的該第二影像的該等像素的座標位置,及子步驟(A-2)所獲得該等影像補丁值獲得該第二影像。
- 如請求項1所述的停車場空位偵測模型建立方法,該電腦系統還儲存有N張不同於該等N張第一影像且包括K種第二停車組合的第三影像,每一第二停車組合具有M個相連的且個別對應有停車狀態處於該已被佔用狀態與該未被佔用狀態之一者的第二停車格,該等M個第二停車格具有一第二目標停車格,該電腦系統還儲存有每一第三影像之第二停車組合中的每一第二停車格所對應的一實際停車狀態,及每一第一影像之第一停車組合中之除了該第一目標停車格外之每一第一停車格所對應的一實際停車狀態,在步驟(D)前還包含以下步驟:(G)對於每一第三影像,根據該第三影像及該等空間變換參數,將該第三影像進行變換,以獲得一第四影像;及(H)對於每一第四影像,根據該第四影像及該特徵提取參數組,利用該分類方法獲得並儲存相關於該第四影像的第二停車組合之每一停車格之停車狀態的一第二分類結果;及(I)對於每一第四影像,根據該第四影像的第二分類結果,及該等邏輯回歸參數獲得該第四影像的第二停車組合的該第二目標停車格之停車狀態的一第二目標偵測結果;其中,在步驟(D)中,不僅根據該等N個第一目標偵測結果與該等N個第一目標停車格之實際停車狀態,還根據該等N個第二目標偵測結果及該等N個第二目標停車格之實際停車狀態獲得該第二損失值,在步驟(E)前還包含以下步驟,(J)根據該等N個第一分類結果、該等N個第二分類結果、該等N張第二影像的該等N個第一停車組合之所有第一停車格的實際停車狀態,及該等N張第四影像的該等N個第二停車組合之所有第二停車格的實際停車狀態,獲得一第一損失值;其中,在步驟(E)中,不僅根據該第二損失值,還根據該第一損失值判定該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數是否為最佳值。
- 如請求項6所述的停車場空位偵測模型建立方法,其中,步驟(D)包括以下子步驟:(D-1)根據該等N個第一目標偵測結果及該等N個第一目標停車格之實際停車狀態獲得一第三損失值,該第三損失值L3以下式表示:yn [0,1]表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態,yn=1表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態處於該已被佔用狀態,yn=0表示該等N張第二影像中的第n張第二影像的該第一目標停車格之實際停車狀態處於該未被佔用狀態,為該等N張第二影像中的第n張第二影像的該第一目標停車格處於該已被佔用狀態的機率,為該等N張第二影像中的第n張第二影像的該第一目標停車格處於該未被佔用狀態的機率,+=1,及為該等N張第二影像中的第n張第二影像之該第一目標停車格所對應的第一目標偵測結果;(D-2)根據該等N個第二目標偵測結果及該等N個第二目標停車格之實際停車狀態獲得一第四損失值,該第四損失值L4以下式表示:其中,[0,1]表示該等N張第四影像中的第n張第四影像的該第二目標停車格之實際停車狀態,=1表示該等N張第四影像中的第n張第四影像的該第二目標停車格之實際停車狀態處於該已被佔用狀態,=0表示該等N張第四影像中的第n張第四影像的該第二目標停車格之實際停車狀態處於該未被佔用狀態;及(D-3)根據該第三損失值及該第四損失值獲得該第二損失值。
- 如請求項6所述的停車場空位偵測模型建立方法,其中,在步驟(J)中,該第一損失值L1以下式表示:Fn [0,1]為指示出該等N張第二影像中的第n張第二影像的該第一停車組合中所有第一停車格之實際停車狀態與該等N張第四影像的第n張第四影像的該第二停車組合中所有第二停車格之實際停車狀態是否一致的指示符,Fn=1指示出第n張第二影像的該第一停車組合中所有第一停車格之實際停車狀態與第n張第四影像的該第二停車組合中所有第二停車格之實際停車狀態一致,Fn=0指示出第n張第二影像的該第一停車組合中所有第一停車格之實際停車狀態與第n張第四影像的該第二停車組合中所有第二停車格之實際停車狀態不一致,αn為一預定值,為第n張第二影像的該第一分類結果與第n張第四影像的該第二分類結果的一對比特徵距離,該對比特徵距離以下式表示: 為該第一分類結果,為該第二分類結果,(.)為包括該等空間變換參數的空間變換函式,(.)為包括該特徵提取參數組的影像特徵求取函式,為該等N張第一影像中的第n張第一影像的所有像素之影像強度的集合,為該等N張第三影像中的第n張第三影像的所有像素之影像強度的集合。
- 如請求項1所述的停車場空位偵測模型建立方法,在步驟(E)前還包含以下步驟:(K)根據該等N個第一分類結果,及該等N張第二影像的該等N個第一停車組合之所有第一停車格的實際停車狀態,獲得一第一損失值;其中,在步驟(E)中,還根據該第一損失值判定該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數是否為最佳值。
- 如請求項9所述的停車場空位偵測模型建立方法,該等M個第一停車格可組合出2M種不同的停車狀況,其中,在步驟(B)中,每一第一分類結果包括該第一停車組合分別於該等2M種停車狀況的機率,在步驟(K)中,該第一損失值L1以下式表示: [0,1]為指示出該等N張第二影像中的第n張第二影像的該第一停車組合中每一第一停車格之實際停車狀態是否為該等2M種停車狀況之第k種停車狀況的指示符,1≦k≦2M,=1指示出第n張第二影像的該第一停車組合中每一第一停車格之實際停車狀態為該等2M種停車狀況之第k種停車狀況,=0指示出第n張第二影像的該第一停車組合中每一第一停車格之實際停車狀態不為該等2M種停車狀況之第k種停車狀況,為該等N張第二影像中的第n張第二影像的該第一停車組合中每一第一停車格之停車狀態為第k種停車狀況的機率,++...++=1。
- 一種停車場空位偵測方法,適用於一待偵測影像並由一電腦系統執行,該電腦系統儲存有多張訓練影像,每一訓練影像包含K種訓練停車組合之其中一者,每一訓練停車組合具有M個相連的且個別對應有停車狀態處於一已被佔用狀態與一未被佔用狀態之一者的訓練停車格,其中K=2M,該待偵測影像包括M個相連的待偵測停車格,該等M個待偵測停車格具有一目標待偵測停車格,該停車場空位偵測方法包含以下步驟:(A)根據該等訓練影像進行學習演算以求得多個空間變換參數、一特徵提取參數組,及多個邏輯回歸參數,並根據該等空間變換參數、該特徵提取參數組,及該等邏輯回歸參數建立一包括一空間變換函式、一相關於一分類方法的影像特徵求取函式,及該等邏輯回歸參數的停車場空位偵測模型;(B)根據該停車場空位偵測模型的該空間變換函式,將該待偵測影像進行變換,以獲得一變換影像;(C)根據該停車場空位偵測模型的該影像特徵求取函式,及該變換影像,獲得相關於該變換影像的之每一待偵測停車格的一分類結果;及(D)根據該停車場空位偵測模型的該等邏輯回歸參數,及該分類結果,獲得該變換影像的該目標待偵測停車格之停車狀態的一目標偵測結果。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107102510A TWI651697B (zh) | 2018-01-24 | 2018-01-24 | 停車場空位偵測方法及其偵測模型建立方法 |
| US16/005,898 US10733890B2 (en) | 2018-01-24 | 2018-06-12 | Method for establishing a parking space detection model and method of detecting parking spaces for a parking lot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107102510A TWI651697B (zh) | 2018-01-24 | 2018-01-24 | 停車場空位偵測方法及其偵測模型建立方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI651697B true TWI651697B (zh) | 2019-02-21 |
| TW201933297A TW201933297A (zh) | 2019-08-16 |
Family
ID=66213675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107102510A TWI651697B (zh) | 2018-01-24 | 2018-01-24 | 停車場空位偵測方法及其偵測模型建立方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10733890B2 (zh) |
| TW (1) | TWI651697B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10628688B1 (en) * | 2019-01-30 | 2020-04-21 | Stadvision, Inc. | Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system |
| WO2020159241A1 (ko) * | 2019-01-30 | 2020-08-06 | 삼성전자 주식회사 | 이미지를 처리하기 위한 방법 및 그에 따른 장치 |
| CN110706509B (zh) * | 2019-10-12 | 2021-06-18 | 东软睿驰汽车技术(沈阳)有限公司 | 车位及其方向角度检测方法、装置、设备及介质 |
| CN111027508B (zh) * | 2019-12-23 | 2022-09-06 | 电子科技大学 | 一种基于深层神经网络的遥感图像覆被变化检测方法 |
| CN111476084A (zh) * | 2020-02-25 | 2020-07-31 | 福建师范大学 | 一种基于深度学习的停车场动态停车位状况识别方法 |
| US11386302B2 (en) | 2020-04-13 | 2022-07-12 | Google Llc | Systems and methods for contrastive learning of visual representations |
| CN112330601B (zh) * | 2020-10-15 | 2024-03-19 | 浙江大华技术股份有限公司 | 一种基于鱼眼相机的停车检测方法、装置、设备及介质 |
| CN112734740B (zh) * | 2021-01-18 | 2024-02-23 | 推想医疗科技股份有限公司 | 训练目标检测模型的方法、目标检测的方法及其装置 |
| CN113284122B (zh) * | 2021-05-31 | 2023-06-23 | 五邑大学 | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 |
| CN113379718B (zh) * | 2021-06-28 | 2024-02-02 | 北京百度网讯科技有限公司 | 一种目标检测方法、装置、电子设备以及可读存储介质 |
| CN115527189B (zh) * | 2022-11-01 | 2023-03-21 | 杭州枕石智能科技有限公司 | 车位状态的检测方法、终端设备及计算机可读存储介质 |
| US20250005472A1 (en) * | 2023-06-27 | 2025-01-02 | Anthony Balboni | Interactive Real-Time Parking Management |
| US12183201B1 (en) * | 2023-11-16 | 2024-12-31 | Krish Arora | Machine learning parking determination |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513414A (zh) * | 2015-12-25 | 2016-04-20 | 江苏东大金智信息系统有限公司 | 基于实时交通查询和云模型的停车场车位预测和推荐方法 |
| TW201706969A (zh) * | 2015-08-14 | 2017-02-16 | 國立中正大學 | 戶外停車場空位自動偵測方法 |
| US20170116858A1 (en) * | 2015-10-27 | 2017-04-27 | FUJllTSU LIMITED | Parking space detection apparatus and method, electronic apparatus |
| WO2017075198A1 (en) * | 2015-10-27 | 2017-05-04 | Municipal Parking Services, Inc. | Parking space detection method and system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003029046A1 (en) * | 2001-10-03 | 2003-04-10 | Maryann Winter | Apparatus and method for sensing the occupancy status of parking spaces in a parking lot |
| TWI368176B (en) * | 2007-09-28 | 2012-07-11 | Ind Tech Res Inst | System and method of image-based space detection |
| US20150086071A1 (en) * | 2013-09-20 | 2015-03-26 | Xerox Corporation | Methods and systems for efficiently monitoring parking occupancy |
| IL238473A0 (en) * | 2015-04-26 | 2015-11-30 | Parkam Israel Ltd | A method and system for discovering and mapping parking areas |
| US11526798B2 (en) * | 2017-11-14 | 2022-12-13 | International Business Machines Corporation | Parking availability predictor |
-
2018
- 2018-01-24 TW TW107102510A patent/TWI651697B/zh active
- 2018-06-12 US US16/005,898 patent/US10733890B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201706969A (zh) * | 2015-08-14 | 2017-02-16 | 國立中正大學 | 戶外停車場空位自動偵測方法 |
| US20170116858A1 (en) * | 2015-10-27 | 2017-04-27 | FUJllTSU LIMITED | Parking space detection apparatus and method, electronic apparatus |
| WO2017075198A1 (en) * | 2015-10-27 | 2017-05-04 | Municipal Parking Services, Inc. | Parking space detection method and system |
| CN105513414A (zh) * | 2015-12-25 | 2016-04-20 | 江苏东大金智信息系统有限公司 | 基于实时交通查询和云模型的停车场车位预测和推荐方法 |
Non-Patent Citations (3)
Also Published As
| Publication number | Publication date |
|---|---|
| US20190228658A1 (en) | 2019-07-25 |
| US10733890B2 (en) | 2020-08-04 |
| TW201933297A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI651697B (zh) | 停車場空位偵測方法及其偵測模型建立方法 | |
| US11798132B2 (en) | Image inpainting method and apparatus, computer device, and storage medium | |
| Amato et al. | Deep learning for decentralized parking lot occupancy detection | |
| CN110321923B (zh) | 不同尺度感受野特征层融合的目标检测方法、系统及介质 | |
| CN113159300B (zh) | 图像检测神经网络模型及其训练方法、图像检测方法 | |
| Amato et al. | Car parking occupancy detection using smart camera networks and deep learning | |
| CN106326937B (zh) | 基于卷积神经网络的人群密度分布估计方法 | |
| KR101405410B1 (ko) | 객체 검출 장치 및 시스템 | |
| CN105657402B (zh) | 一种深度图恢复方法 | |
| CN116883588B (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
| CN109829445B (zh) | 一种视频流中的车辆检测方法 | |
| CN114220126B (zh) | 一种目标检测系统及获取方法 | |
| BR112020018915A2 (pt) | Método para identificação de um objeto em uma imagem e dispositivo móvel para execução do método | |
| US20130070997A1 (en) | Systems, methods, and media for on-line boosting of a classifier | |
| CN107609483A (zh) | 面向驾驶辅助系统的危险目标检测方法、装置 | |
| CN117690128B (zh) | 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 | |
| CN105335965B (zh) | 一种高分辨率遥感图像多尺度自适应决策融合分割方法 | |
| US20210182626A1 (en) | Joint detection and description systems and methods | |
| CN115661771A (zh) | 一种基于不均匀锚的车道线边沿实时检测方法和系统 | |
| CN104732534B (zh) | 一种图像中显著目标的抠取方法及系统 | |
| CN103353941B (zh) | 基于视角分类的自然标志物注册方法 | |
| CN115512302A (zh) | 基于改进YOLOX-s模型的车辆检测方法及系统 | |
| CN114359222B (zh) | 一种任意多边形目标检测方法、电子设备及存储介质 | |
| CN111310772B (zh) | 用于双目视觉slam的点线特征选取方法及系统 | |
| CN117593711A (zh) | 车辆采集图像敏感信息处理方法及系统 |