KR20190143525A - A Method of Detecting Character Data through a Adaboost Learning Method - Google Patents
A Method of Detecting Character Data through a Adaboost Learning Method Download PDFInfo
- Publication number
- KR20190143525A KR20190143525A KR1020180066137A KR20180066137A KR20190143525A KR 20190143525 A KR20190143525 A KR 20190143525A KR 1020180066137 A KR1020180066137 A KR 1020180066137A KR 20180066137 A KR20180066137 A KR 20180066137A KR 20190143525 A KR20190143525 A KR 20190143525A
- Authority
- KR
- South Korea
- Prior art keywords
- character
- candidate
- area
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G06K9/00442—
-
- G06K9/344—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G06K2209/01—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
입력 영상으로부터 MCT 특징과 에이다부스트 방법을 이용하여 문자의 후보 영역들을 추출하고, 기하학적인 특징을 활용하여 추출된 문자의 후보 영역들로부터 비 문자 영역들을 제외하여 실제적인 문제 영역들만을 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것으로서, (a) 상기 입력영상에서 MCT(Modified Census Transform) 특징을 추출하는 단계; (b) 에이다부스트 학습 방식으로 생성된 문자검출 분류기를 이용하여, 상기 추출한 MCT 특징을 상기 문자검출 분류기에 입력시켜서 상기 입력영상에서 문자 영역의 후보 영역들을 검출하는 단계; 및, (c) 후보 영역의 기하학적 특징을 사용하여, 상기 후보 영역들을 필터링하여 최종 문자 영역을 검출하는 단계를 포함하는 구성을 마련하여, MCT 특징과 에이다부스트 방법을 이용할 뿐만 아니라 기하학적인 특징으로 후보 영역을 효과적으로 필터링함으로써, 종래기술에 비하여 보다 정확하게 문자 영역들을 검출할 수 있다.Extracting candidate regions of characters from MV features and AdaBoost methods from input images, and detecting only real problem areas except non-character regions from extracted character regions using geometric features A method of detecting character data using boost learning, comprising: (a) extracting a Modified Census Transform (MCT) feature from the input image; (b) detecting candidate regions of a text area in the input image by inputting the extracted MCT feature to the text detection classifier using a text detection classifier generated by an Adaboost learning method; And (c) using the geometric features of the candidate region to filter the candidate regions to detect the final character region, thereby using the MCT feature and the AdaBoost method as well as the geometric features as candidates. By effectively filtering the area, it is possible to detect the character areas more accurately than in the prior art.
Description
본 발명은 입력되는 영상으로부터 MCT 특징과 에이다부스트(Adaboost) 방법을 이용하여 문자 영역만을 정확하게 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것이다.The present invention relates to a method of detecting text data using Adaboost learning, which accurately detects only a text area using an MCT feature and an Adaboost method from an input image.
또한, 본 발명은 입력 영상으로부터 MCT 특징과 에이다부스트 방법을 이용하여 문자의 후보 영역들을 추출하고, 기하학적인 특징을 활용하여 추출된 문자의 후보 영역들로부터 비 문자 영역들을 제외하여 실제적인 문제 영역들만을 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것이다.In addition, the present invention extracts candidate regions of characters from the input image by using MCT features and Adaboost method, and removes only non-character regions from candidate regions of characters extracted by using geometric features. And character data detection method using Adaboost learning.
최근 들어, 하드웨어와 소프트웨어의 눈부신 발전으로 인해 스마트폰, CCTV, 블랙박스, 드론(drone), 인공위성, 그리고 디지털 카메라 등에서 수집되는 다양한 종류의 영상 데이터의 양이 기하급수적으로 증가하고 있다. 일반적으로 영상 빅 데이터는 기존의 정형화되어 있는 자료를 분석하는 대신 그동안 제대로 분석되지 못하고 있었던 이런 종류의 비정형 영상 데이터를 분석하여 의미 있는 정보를 추출함으로써 새로운 가치를 발굴하고자 하는 차세대의 신기술로 인식되고 있다[비특허문헌 1].Recently, due to the remarkable development of hardware and software, the amount of various kinds of image data collected from smart phones, CCTVs, black boxes, drones, satellites, and digital cameras is increasing exponentially. In general, image big data is recognized as a next-generation new technology that seeks to discover new values by extracting meaningful information by analyzing this type of atypical image data, which has not been properly analyzed in the past, instead of analyzing existing standardized data. [Non Patent Literature 1].
다양한 종류의 영상 데이터를 분석하여 영상 내에 포함된 문자 영역만을 추출하는 작업은 매우 중요하다[비특허문헌 2]. 왜냐하면 영상에 포함된 문자는 영상의 의미를 대표하는 주요한 핵심 정보를 제공할 수 있기 때문이다. 이런 문자 추출 분야 중에서 영상 분석을 이용한 자동차의 번호판 추출은 특히 중요한데, 주차장의 출입 관제, 그리고 도로에서의 과속 차량 단속 등을 위해서는 반드시 필요한 작업이다[비특허문헌 3].It is very important to analyze various kinds of image data and extract only the character region included in the image [Non-Patent Document 2]. This is because the characters included in the image can provide important key information representing the meaning of the image. Extraction of license plates of automobiles using image analysis is particularly important in the field of character extraction, which is a necessary task for access control of parking lots and cracking down on speeding vehicles on the road [Non-Patent Document 3].
다양한 종류의 입력 영상으로부터 문자 영역만을 자동으로 추출하는 기존의 연구는 관련된 참고문헌에서 찾아볼 수 있다. [비특허문헌 4]에서는 N×N 크기의 정방형 블록 단위로 입력 영상을 분할한 다음, 문자가 존재하는 영역에서는 가로 또는 세로 방향의 고주파 요소가 상대적으로 크다는 특징을 이용하여 문자 영역들을 추출하였다. [비특허문헌 5]에서는 채도(Saturation) 데이터를 사용하고, 배경 영역과 문자 영역 사이의 색상 천이지도(transition map)를 작성하여 입력 영상으로부터 문자 영역을 검출하였다. [비특허문헌 6]에서는 고정된 카메라로 촬영된 그레이(gray) 영상으로부터 움직임을 이용하여 물체를 감지하고 추적함으로써 전방에 위치한 차량이나 이륜차의 번호판을 검출하였다. [비특허문헌 7]에서는 영상으로부터 노란색 또는 녹색의 색상 정보를 이용하여 자동차의 번호판 영역을 검출하였다. 그러나 이 방법은 배경이 비교적 단순한 영상이어야 한다는 단점이 존재한다. 위에서 기술한 방법들 이외에도 문자 영역 추출에 관련된 많은 방법들이 계속해서 관련 문헌에 소개되고 있다.Existing researches that automatically extract only the text area from various kinds of input images can be found in the related literature. In [Non-Patent Document 4], input images are divided in units of N × N square blocks, and character regions are extracted by using a feature that a high frequency component in a horizontal or vertical direction is relatively large in a region in which characters exist. In [Non-Patent Document 5], using a saturation data, a color transition map between a background area and a text area was created to detect a text area from an input image. In [Non-Patent Document 6], a license plate of a vehicle or a two-wheeled vehicle located in front of the vehicle was detected by detecting and tracking an object using a gray image captured by a fixed camera. In [Non-Patent Document 7], a license plate area of a vehicle was detected using yellow or green color information from an image. However, this method has the disadvantage that the background should be a relatively simple image. In addition to the methods described above, many methods related to extracting text areas continue to be introduced in the literature.
위에서 기술한 기존의 문자 영역 검출 방법들도 어느 정도는 정확하게 문자 영역들을 검출할 수는 있다. 그러나 사전에 정해진 일정한 주변 환경에서만 어느 정도 그 정확성을 보장할 수 있다는 제약사항(constraint)이 존재한다.The existing character area detection methods described above can also detect the character areas to some extent. However, there is a constraint that the accuracy can be guaranteed to some extent only in a predetermined constant environment.
따라서 주변 환경과 상관없이 영상에서 문자를 정확하게 검출할 수 있는 기술이 필요하다.Therefore, there is a need for a technology capable of accurately detecting characters in an image regardless of the surrounding environment.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, MCT 특징과 에이다부스트(Adaboost: adaptive boosting) 학습 방법을 이용하여 입력된 영상으로부터 문자의 후보 영역들을 추출하고, 추출된 후보 문자 영역들을 기하학적인 정보를 이용하여 필터링함으로써 비 문자 영역들을 제외하여 실제적인 문자 영역들만을 강인하게 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to solve the problems described above, extracts candidate regions of a character from an input image using MCT features and adaptive boosting (Adaboost) learning method, and extracts extracted candidate character regions. The present invention provides a method of detecting character data using Adaboost learning, which robustly detects only actual character regions excluding non-character regions by filtering using geometric information.
상기 목적을 달성하기 위해 본 발명은 입력영상에서 문자 영역을 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것으로서, (a) 상기 입력영상에서 MCT(Modified Census Transform) 특징을 추출하는 단계; (b) 에이다부스트 학습 방식으로 생성된 문자검출 분류기를 이용하여, 상기 추출한 MCT 특징을 상기 문자검출 분류기에 입력시켜서 상기 입력영상에서 문자 영역의 후보 영역들을 검출하는 단계; 및, (c) 후보 영역의 기하학적 특징을 사용하여, 상기 후보 영역들을 필터링하여 최종 문자 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention relates to a method of detecting character data using Adaboost learning, which detects a character region in an input image, comprising: (a) extracting a Modified Census Transform (MCT) feature from the input image; (b) detecting candidate regions of a text area in the input image by inputting the extracted MCT feature to the text detection classifier using a text detection classifier generated by an Adaboost learning method; And (c) filtering the candidate regions to detect a final character region using geometric features of the candidate regions.
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 입력영상의 MCT 특징 Γ(x)은 다음 [수식 1]에 의하여 추출하는 것을 특징으로 한다.In addition, the present invention is characterized in that in the character data detection system using Adaboo boost learning, MCT feature Γ (x) of the input image is extracted by the following equation (1).
[수식 1][Equation 1]
단, I(x)는 x의 화소 값을 나타내고, 는 커널 내에 위치한 화소들의 평균 화소 값을 나타내고, n'은 커널의 중심과 인접한 화소들의 집합을 나타내고, ζ()는 비교 함수로서 I(y)가 평균 화소 값 보다 크면 1을 출력하고, 그렇지 않으면 0을 출력하는 함수이고, 는 10진수 변환 연산자로서 비교 함수 ζ()의 결과로 나오는 아홉 자리의 2진수 배열을 10진수로 변경해 주는 연산자임.Where I (x) represents the pixel value of x, Denotes the average pixel value of the pixels located in the kernel, n 'denotes the set of pixels adjacent to the center of the kernel, ζ () is a comparison function, and
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c)단계는, (c1) 상기 후보 영역들을 그룹핑하고 각 그룹에서 대표 후보영역을 추출하는 단계; (c2) 상기 대표 후보영역을 사전에 정해진 길이만큼 확장하는 단계; (c3) 확장된 대표 후보영역에 대하여 이진화를 수행하는 단계; (c4) 이진화된 대표 후보영역에 대하여 레이블링(labeling)을 수행하는 단계; (c5) 레이블링된 영역의 크기와 비율을 이용하여 필터링을 수행하는 단계; (c6) 레이블링이 수행된 영역에서 코너(corner) 점을 검출하고, 추출된 코너점 중에서 가장 외곽에 위치한 4개의 꼭지점을 선택하는 단계; 및, (c7) 꼭지점이 검출된 후보 영역에 대해 해당 영역의 왼쪽 면과 오른쪽 면의 길이를 이용하여 최종 문자 영역으로 판단하는 단계를 포함하는 것을 특징으로 한다.In another aspect, the present invention provides a character data detection system using Adaboost learning, wherein step (c) comprises: (c1) grouping the candidate areas and extracting a representative candidate area from each group; (c2) extending the representative candidate region by a predetermined length; (c3) performing binarization on the extended representative candidate region; (c4) labeling the binarized representative candidate region; (c5) performing filtering using the size and proportion of the labeled area; (c6) detecting corner points in the region where labeling is performed, and selecting four vertices located at the outermost corners among the extracted corner points; And (c7) determining the final character area using the lengths of the left and right sides of the corresponding area with respect to the candidate area where the vertex is detected.
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c1)단계에서, 상기 후보 영역들을 위치와 크기별로 그룹핑(grouping)을 수행하고, 평균 사각형 위치와 평균 사각형 크기에 가장 유사한 사각형을 문자의 대표 후보 영역으로 추출하는 것을 특징으로 한다.In addition, in the character data detection system using Adaboost learning, in the step (c1), the candidate areas are grouped by position and size, and are most similar to the average square position and average square size. And extracting a rectangle as a representative candidate region of the character.
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c2)단계에서, 길이 k만큼 상기 대표 후보영역의 가로와 세로의 길이를 확장하되, k를 상기 대표 후보영역의 1/2로 설정하는 것을 특징으로 한다.In the character data detection system using adaboost learning, in the step (c2), the length and width of the representative candidate region are extended by the length k, and k is 1 / time of the representative candidate region. It is characterized by setting to 2.
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c3)단계에서, 상기 대표 후보영역들에 대해서 오쯔(Otsu)의 적응적인 방법을 이용하여 이진화(binarization)를 수행하되, 이진화에 사용되는 임계값(threshold)은 상기 대표 후보영역의 평균적인 화소 값보다는 높은 값을 사용하는 것을 특징으로 한다.In the character data detection system using Adaboost learning, in step (c3), binarization is performed using Otsu's adaptive method for the representative candidate areas. The threshold used for binarization is characterized by using a higher value than the average pixel value of the representative candidate region.
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c5)단계에서, 레이블링된 영역의 크기가 사전에 설정된 범위를 벗어나거나, 상기 레이블링된 영역의 가로세로의 비율이 사전에 설정된 범위를 벗어나면, 대표 후보영역에서 제거하는 것을 특징으로 한다.In addition, the present invention is a character data detection system using ada boost learning, in the step (c5), the size of the labeled area is out of a preset range, or the ratio of the aspect ratio of the labeled area in advance If outside the set range, it is characterized in that the removal from the representative candidate area.
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c6)단계에서, 상기 레이블링된 영역에서 각 화소에 대하여, 해당 화소의 값이 해당 화소의 주변 화소값과 사전에 정해진 임계값 보다 큰 차이를 가지면 해당 화소를 후보 코너로 정하고, 후보 코너의 화소 P에 대하여 화소 P를 중심으로 반지름 3인 원 상의 16개의 화소 값들과의 밝기 차이를 산출하여 사전에 정해진 임계값을 벗어나는 화소가 사전에 정해진 임계 개수에 이상이면 해당 후보 코너를 코너로 판별하고, 코너 중에서 해당 코너를 중심으로 3×3 마스크를 씌워 그 범위 내에서 가장 차이가 많이 나는 점을 선택하여 최종 코너로 선택하는 것을 특징으로 한다.In addition, in the character data detection system using ada boost learning, in the step (c6), for each pixel in the labeled region, the value of the pixel is a predetermined threshold and a predetermined threshold value of the peripheral pixel of the pixel; If the difference is greater than the value, the corresponding pixel is set as a candidate corner, and the brightness difference with 16 pixel values of a circle having a radius of 3 around the pixel P with respect to the pixel P of the candidate corner is calculated and the pixel is outside the predetermined threshold. If is greater than the predetermined threshold number, the candidate corner is identified as a corner, and 3 × 3 mask is covered around the corner to select the point with the most difference within the range, and the final corner is selected. It features.
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c7)단계에서, 꼭지점이 검출된 후보영역에 대하여, 해당 후보영역의 왼쪽 면과 오른쪽 면의 길이를 다음 [수식 2]의 논리식을 검증하여 참이면, 해당 후보영역을 최종 문자 영역으로 검출하는 것을 특징으로 한다.In addition, in the character data detection system using adaboost learning, in the step (c7), the length of the left and right sides of the candidate region is determined as follows for the candidate region where the vertex is detected. If true by verifying the logical expression of, characterized in that the candidate area is detected as the final character area.
[수식 2][Formula 2]
또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 특징으로 한다.Moreover, this invention is characterized by the character data detection system using ada boost learning.
또한, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention also relates to a computer-readable recording medium having recorded thereon a program for performing a method of detecting character data using Adaboost learning.
상술한 바와 같이, 본 발명에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 의하면, MCT 특징과 에이다부스트 방법을 이용할 뿐만 아니라 기하학적인 특징으로 후보 영역을 효과적으로 필터링함으로써, 종래기술에 비하여 보다 정확하게 문자 영역들을 검출할 수 있는 효과가 얻어진다. 구체적으로, 실험을 통해, 입력되는 다양한 영상으로부터 기존의 방법보다 문자 영역들을 2.1% 보다 강인하게 추출할 수 있음을 알 수 있다.As described above, the character data detection method using Adaboost learning according to the present invention not only uses the MCT feature and the Adaboost method but also effectively filters the candidate area by the geometrical feature, thereby more accurately than the prior art. The effect of detecting them is obtained. Specifically, through experiments, it can be seen that the text areas can be extracted more robustly by 2.1% than the conventional methods from various input images.
또한, 본 발명에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 의하면, 상점의 간판 인식, 자동차의 번호판 인식 등과 같은 멀티미디어 및 영상 처리와 관련된 실제 응용 분야에서 매우 유용하게 활용될 수 있는 효과가 얻어진다.In addition, according to the character data detection method using Adaboost learning according to the present invention, the effect that can be very useful in the real application fields related to multimedia and image processing, such as signage sign recognition of shops, license plate recognition of cars, etc. are obtained. .
본 발명에 따른 방법은 MCT 특징과 에이다부스트 방법을 이용하였고, 기하학적인 특징을 사용하여 후보 영역을 효과적으로 필터링하였으므로 보다 정확하게 문자 영역들을 검출할 수 있었다. The method according to the present invention uses the MCT feature and the AdaBoost method, and can effectively detect the character regions because the candidate region is effectively filtered using geometric features.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 MCT 특징 추출의 일례를 나타낸 도면.
도 4는 본 발명의 일실시예에 따른 에이다부스트 방법의 슈도코드(pseudo-code)를 나타낸 표.
도 5는 본 발명의 일실시예에 따른 기하학적 특징을 이용하여 최종 문자영역을 검출하는 방법을 설명하는 흐름도.
도 6은 본 발명의 일실시예에 따른 후보 사각형을 그룹핑하는 예시 영상.
도 7은 본 발명의 일실시예에 따른 FAST 방법을 설명하는 흐름도.
도 8은 본 발명의 실험에 따른, MCT 특징 추출과 에이다부스트 학습을 위해서 사용한 자동차 번호판이 포함된 학습 영상과 번호판을 포함하지 않은 배경 영상의 예시 영상으로서, (a) 학습을 위한 영상 1, (b) 학습을 위한 영상의 예시영상.
도 9은 본 발명의 실험에 따른, 테스트 영상으로부터 추출한 자동차 번호판의 후보 영역들에 대해 레이블링을 수행한 결과의 예시 영상.
도 10는 본 발명의 실험에 따른, 후보 영역들의 필터링을 통해서 비 문자 영역을 제외하고 최종적으로 검출한 자동차의 번호판 영역들을 보여주는 예시 영상.
도 11은 본 발명의 실험에 따른, 종래기술과 본 발명의 문자 영역 추출 방법에 대한 정확도 측면의 성능 비교 결과를 나타낸 그래프.BRIEF DESCRIPTION OF THE DRAWINGS The figure which shows the structure of the whole system for implementing this invention.
2 is a flowchart illustrating a method of detecting character data using adaboost learning according to an embodiment of the present invention.
3 is a diagram showing an example of MCT feature extraction according to an embodiment of the present invention.
4 is a table showing a pseudo-code of the ada boost method according to an embodiment of the present invention.
5 is a flowchart illustrating a method of detecting a final character area using geometric features according to an embodiment of the present invention.
6 is an exemplary image of grouping candidate rectangles according to an embodiment of the present invention.
7 is a flowchart illustrating a FAST method according to an embodiment of the present invention.
8 is an exemplary image of a training image including a license plate used for MCT feature extraction and Adaboost learning and a background image not including a license plate according to an experiment of the present invention. b) Example image of the image for learning.
9 is an exemplary image of a result of labeling candidate regions of a license plate extracted from a test image according to an experiment of the present invention.
10 is an exemplary image showing license plate areas of a vehicle finally detected except non-character areas through filtering of candidate areas according to an experiment of the present invention.
FIG. 11 is a graph showing a performance comparison result of accuracy in terms of a conventional method and a character area extraction method of the present invention according to an experiment of the present invention.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION Hereinafter, specific contents for carrying out the present invention will be described with reference to the drawings.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in describing this invention, the same code | symbol is attached | subjected and the repeated description is abbreviate | omitted.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.First, examples of the configuration of the entire system for implementing the present invention will be described with reference to FIG.
도 1에서 보는 바와 같이, 본 발명에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 문자 데이터 검출을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 문자 데이터 검출 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.As shown in FIG. 1, in the character data detection method using Adaboost learning according to the present invention, a
한편, 다른 실시예로서, 에이다부스트를 이용한 문자 데이터 검출 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 영상을 대상으로 문자 데이터 검출만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 검출 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.On the other hand, in another embodiment, the character data detection method using Adaboost may be implemented by a program, which operates on a general-purpose computer, and may be implemented by an electronic circuit such as an ASIC (custom semiconductor). Alternatively, the present invention may be developed as a
한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.On the other hand, the
다음으로, 본 발명의 일실시예에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 도 2를 참조하여 설명한다.Next, a character data detection method using adaboost learning according to an embodiment of the present invention will be described with reference to FIG. 2.
본 발명에서는 MCT(Modified Census Transform) 특징[비특허문헌 8-9]과 에이다부스트(Adaboost) 학습 방법[비특허문헌 10]을 이용하여 입력된 영상으로부터 문자의 후보 영역들을 추출한다.In the present invention, candidate regions of a character are extracted from an input image by using a Modified Census Transform (MCT) feature [Non Patent Literature 8-9] and an Adaboost Learning Method [Non Patent Literature 10].
도 2에서 보는 바와 같이, 먼저, 입력된 영상에 대하여 전처리를 수행한다(S10). 특히, 입력 영상 내에서 부분적으로 포함될 수 있는 잡음(noise)을 제거하기 위해서 가우시안 스무딩(smoothing)을 수행한다.As shown in FIG. 2, first, preprocessing is performed on an input image (S10). In particular, Gaussian smoothing is performed to remove noise that may be partially included in the input image.
다음으로, 전처리된 입력영상에서 MCT(Modified Census Transform) 특징을 추출한다(S20).Next, MCT (Modified Census Transform) features are extracted from the preprocessed input image (S20).
MCT 특징은 지역 구조 특징(local structure feature)으로서 0과 1의 바이너리 정보로 표현된다. 다시 말해, MCT 특징은 특정한 위치의 화소(pixel)와 주변에 인접해 있는 화소들 사이의 관계를 표현한다. 일반적으로, MCT 특징은 일정한 위치에 있는 화소 값 자체를 그대로 사용하는 대신, 주변에 위치한 화소 값들 사이의 상관관계를 일정한 패턴으로 표현하므로 조명의 변화에 강인하다. 그리고 계산이 비교적 간단하므로 영상처리 응용 분야에서 검출율이 상대적으로 높으며, 수행 시간도 빠른 편이다.The MCT feature is a local structure feature and is represented by binary information of 0 and 1. In other words, the MCT feature represents a relationship between a pixel at a specific position and pixels adjacent to the periphery. In general, the MCT feature is robust to changes in illumination because the MCT feature expresses the correlation between the pixel values located at a constant position in a predetermined pattern instead of using the pixel values themselves at a predetermined position. And because the calculation is relatively simple, the detection rate is relatively high and the execution time is fast in image processing applications.
본 발명에서 3×3 커널(kernel)을 이용하는 MCT 특징 Γ(x)은 수학식 1과 같이 표현될 수 있다.In the present invention, the MCT feature Γ (x) using a 3x3 kernel may be expressed as in
[수학식 1][Equation 1]
위의 수학식 1에서 I(x)는 x의 화소 값을 나타내고, 는 커널 내에 위치한 화소들의 평균 화소 값을 나타낸다. n'은 커널의 중심과 인접한 화소들의 집합을 나타낸다. ζ()는 비교 함수로서 I(y)가 평균 화소 값 보다 크면 1을 출력하고, 그렇지 않으면 0을 출력한다. 그리고 는 10진수 변환 연산자로서 비교 함수 ζ()의 결과로 나오는 아홉 자리의 2진수 배열을 10진수로 변경해 준다. 따라서 본 발명에서 사용하는 MCT 특징은 0에서 511까지의 범위를 갖는다. 또한, MCT 특징은 입력영상과 같은 크기의 영상으로 생성된다.In
도 3은 MCT 변환의 예를 그림으로 보여준다.3 graphically illustrates an example of an MCT transformation.
다음으로, 이전 단계에서 추출한 MCT 특징을 에이다부스트 학습기로 생성한 문자 검출 분류기에 입력시켜서 영상에서 문자 영역의 후보 영역들을 검출한다(S30).Next, by inputting the MCT feature extracted in the previous step to the character detection classifier generated by the Adaboost learner to detect candidate regions of the character region in the image (S30).
에이다부스트 학습은 부스팅(boosting)의 한 방법으로 분류 성능이 떨어지는 여러 개의 약한 분류기(weak learner)들을 조합하여 분류 성능이 좋은 하나의 강한 분류기(strong learner)를 구축하는 방법을 의미한다. 보통 약한 분류기는 분류 정확도가 50% 이상인 분류기를 말하고, 강한 분류기는 매우 작은 분류 오류를 가지는 분류기를 말한다.Adaboost learning is a method of boosting, which means combining a number of weak learners with poor classification performance to build a strong learner with good classification performance. Weak classifiers usually refer to classifiers with more than 50% accuracy, while strong classifiers are classifiers with very small classification errors.
일반적으로 에이다부스트 방법은 구현이 비교적 간편하고 속도가 빠르므로 영상처리 및 패턴인식 분야에서 널리 사용되고 있다[비특허문헌 11]. 그리고 이 방법은 그 성능을 보다 개선시키기 위하여 다른 종류의 학습 방법과 결합되어 이용될 수 있다는 장점도 가지고 있다.In general, the Ada Boost method is widely used in the field of image processing and pattern recognition because it is relatively easy to implement and fast speed [Non-Patent Document 11]. This method also has the advantage that it can be used in combination with other types of learning methods to further improve its performance.
에이다부스트 학습 방법은 학습된 가설의 오류 율에 따라 원래의 데이터로부터 집합을 생성한 후, 이를 사용하여 다시 새로운 가설을 학습하고 학습된 가설들로부터 데이터 집합을 구성한다. 그리고 가설을 학습하고 가설의 오류에 따라 가설이 옳게 예측한 데이터의 가중치는 줄이고 잘못 예측한 데이터의 가중치는 증가시킴으로써 분류하기 어려운 데이터에 집중한다. 에이다부스트 방법은 실제에 있어 이론적인 오류 상한 값보다 적은 학습 오류를 나타내며, 일반화 오류 역시 학습 오류와 함께 감소한다는 장점을 가진다.The Adabooth learning method generates a set from the original data according to the error rate of the learned hypothesis, and then uses it to learn a new hypothesis and construct a data set from the learned hypotheses. In addition, we study hypotheses and focus on data that is difficult to classify by reducing the weights of hypothetically predicted data and increasing the weights of incorrectly predicted data according to hypotheses. The AdaBoost method actually has less learning errors than the theoretical upper limit, and generalization errors also decrease with learning errors.
도 4의 표는 에이다부스트 방법의 수도코드(pseudo-code)를 보여준다.The table of Figure 4 shows the pseudo-code of the Ada Boost method.
도 4의 표에서 N은 샘플의 개수를 의미하고, wj는 j번째 샘플의 가중치를 나타내며, K는 분류기의 개수를 나타낸다. ck는 k번째 분류기를 나타내고, ε는 오류를 의미하며, αk는 분류기 ck의 신뢰도를 나타낸다. 에이다부스트 방법의 특징은 분류기들이 상호 보완적이라는 데에서 찾을 수 있다. 다시 말해, ck의 약점을 ck+1이 보완해 주는 것이다.In the table of FIG. 4, N denotes the number of samples, w j denotes the weight of the j th sample, and K denotes the number of classifiers. c k represents the k-th classifier, ε represents the error, and α k represents the reliability of the classifier c k . A distinctive feature of the AdaBoost method is that the classifiers are complementary. In other words, c k + 1 compensates for the weakness of c k .
다음으로, 이전 단계에서 에이다부스트 학습 방법을 사용하여 추출한 문자의 후보 영역들을 기하학적인 특징들을 사용하여 검증함으로써 최종적인 문자 영역들만을 검출한다(S40). 기하학적 특징을 이용하여 최종 문자 영역을 검출하는 단계가 도 5에 도시되고 있다.Next, only the final character areas are detected by verifying the candidate areas of the characters extracted using the Adaboost learning method in the previous step by using geometric features (S40). Detecting the final character area using geometric features is shown in FIG. 5.
도 5에서 보는 바와 같이, 먼저, 후보 영역들을 그룹핑하고 각 그룹에서 대표 후보 영역을 판단한다(S41).As shown in FIG. 5, first, candidate regions are grouped and a representative candidate region is determined in each group (S41).
도 6에서 보는 바와 같이, 에이다부스트 방법을 이용하여 검출한 문자의 후보 영역들을 나타내는 사각형들은 실제 문자 영역이 존재하는 부근에서 집중적으로 나타난다. 따라서 본 발명에서는 먼저 사각형의 위치와 크기별로 그룹핑(grouping)을 수행한 다음, 각 그룹에서 평균 사각형 위치와 평균 사각형 크기에 가장 유사한 사각형을 문자의 대표 후보 영역으로 판단한다.As shown in FIG. 6, quadrangles representing candidate areas of a character detected using the Adaboost method appear intensively in the vicinity of the actual character area. Therefore, in the present invention, grouping is performed first by the position and size of the rectangle, and then, in each group, the rectangle most similar to the average rectangle position and the average rectangle size is determined as the representative candidate area of the letter.
즉, 그룹핑은 위치와 크기가 유사한 후보 사각형들을 그룹핑한다는 의미이다. 에이다부스트 학습 방법을 이용하여 추출한 문자의 후보 영역을 나타내는 사각형들은 실제 문자 영역이 존재하는 부근에서 여러 개의 사각형으로 집중해서 나타난다. 따라서 사각형의 위치와 크기에 대하여 각각 소정의 범위 내의 위치와 크기를 가지는 모든 사각형을 그룹핑한다. 도 6에서 노란색 사각형이 문자의 후보 영역을 나타내고 있으며, 파란색으로 표시된 사각형이 각 그룹의 대표 후보영역이 된다.In other words, grouping means grouping candidate rectangles having similar positions and sizes. Rectangles representing candidate regions of characters extracted using the Adaboost learning method are concentrated in a number of squares near the actual character region. Therefore, all rectangles having positions and sizes within a predetermined range are grouped with respect to the positions and sizes of the rectangles. In FIG. 6, yellow squares represent candidate areas of letters, and squares displayed in blue color represent representative candidate areas of each group.
이하에서 처리되는 문자 후보 영역은 대표 후보영역에 대하여만 수행된다.The character candidate area processed below is performed only for the representative candidate area.
다음으로, 검출된 문자 후보 영역이 원래 존재하는 문자 영역 전체를 모두 포함하지 않을 경우를 고려하여, 일정한 길이 k만큼 후보 영역(또는 대표 후보영역)의 가로와 세로의 길이를 확장한다(S42). 본 발명에서는 k를 문자 후보 영역 높이의 1/2로 설정하였다.Next, in consideration of the case where the detected character candidate area does not include all of the originally existing character areas, the horizontal and vertical lengths of the candidate area (or representative candidate area) are extended by a predetermined length k (S42). In the present invention, k is set to 1/2 of the height of the character candidate area.
다음으로, 확장된 문자의 후보 영역(또는 대표 후보영역)들에 대해서 오쯔(Otsu)가 제안한 적응적인 방법을 이용하여 이진화(binarization)를 수행한다(S43). 이때 번호판 영역과 같이 문자의 후보 영역에서 글자에 해당하는 부분을 제외한 배경 부분은 일반적으로 글자에 비해 밝은 색을 포함하고 있으므로 이진화에 사용되는 임계값(threshold)은 문자 후보 영역의 평균적인 화소 값보다는 높은 값을 사용한다.Next, binarization is performed on the candidate regions (or representative candidate regions) of the extended character using an adaptive method proposed by Otsu (S43). In this case, the background part of the candidate area of the letter except for the letter generally includes a lighter color than the letter, so the threshold used for binarization is lower than the average pixel value of the letter candidate area. Use a high value.
다음으로, 이진화된 문자의 후보 영역(또는 대표 후보영역)들에 대해 레이블링(labeling)을 수행한다(S44). 즉, 이진화된 후보 영역의 각 화소들에 고유번호를 붙이되(라벨링을 하되), 각 화소의 연결성을 분석하여 인접한 화소 영역들을 하나의 동일한 객체 또는 동일한 고유번호로 라벨링을 한다. 특히, 서로 연결된 인접한 화소 영역들을 동일한 고유번호를 갖게 하고, 다른 인접 영역 성분은 또 다른 고유번호를 갖도록 한다.Next, labeling is performed on candidate regions (or representative candidate regions) of the binarized character (S44). That is, a unique number is assigned (labeled) to each pixel of the binarized candidate region, and the adjacent pixel regions are labeled with the same object or the same unique number by analyzing the connectivity of each pixel. In particular, adjacent pixel regions connected to each other have the same unique number, and other adjacent region components have another unique number.
그리고 독립된 하나의 번호로 라벨링된 영역(그룹화되어 라벨링된 화소들)을 모두 포함하는 최소 사각형을 레이블링된 영역으로 설정한다.Then, a minimum rectangle including all of the areas labeled with one independent number (grouped and labeled pixels) is set as the labeled area.
상기와 같은 이진화와 레이블링을 수행하는 최종적인 목적은 문자 영역(예를 들어 자동차의 번호판 영역)을 획득하기 위함이다. 다시 말해, 본 발명에서는 문자영역(번호판 등) 내에 존재하는 문자들을 찾아서 문자인식을 수행하는 것이 아니라, 문자들이 포함된 문자영역(번호판 영역 등)을 찾는 것이다. 따라서 위의 단계에서 이진화를 수행하게 되면 도 9와 같이 흰색으로 표시된 문자영역(번호판 등)의 배경 영역과 검정색으로 표시된 나머지 영역으로 분할된다. 그리고 레이블링을 수행하게 되면 도 9에서 흰색으로 표시된 문자영역(번호판 영역 등)에 대해서 레이블링된 영역이 추출된다. 그런 다음, 레이블링된 문자영역(번호판 영역 등)에 대해서 코너 점을 추출하는 등의 이하의 작업이 수행된다.The final purpose of performing such binarization and labeling is to obtain a character area (for example a license plate area of a car). In other words, the present invention does not search for the characters existing in the character area (number plate, etc.), but performs character recognition, but finds the character area (number plate area, etc.) containing the characters. Therefore, when the binarization is performed in the above step, as shown in FIG. When the labeling is performed, a labeled region is extracted with respect to the character region (eg, license plate region) indicated by white in FIG. 9. Then, the following operations are performed such as extracting corner points for the labeled character area (number plate area, etc.).
다음으로, 레이블링된 영역의 크기와 비율을 이용하여 필터링을 수행한다(S45). 즉, 레이블링된 영역의 크기가 너무 작거나 영역의 가로세로의 비율에 맞지 않다면 문자 후보 영역에서 제거한다. 예를 들어, 자동차 번호판은 일정한 크기를 가지고 있고, 가로세로의 비율이 일정하다. 그런데 이러한 크기나 비율이 사전에 정해진 범위를 벗어나면 자동차 번호판이 아닌 경우이므로, 이들 후보영역을 후보에서 제외시킨다.Next, filtering is performed using the size and ratio of the labeled area (S45). That is, if the size of the labeled region is too small or does not match the aspect ratio of the region, it is removed from the character candidate region. For example, license plates have a constant size and a constant aspect ratio. However, if the size or ratio is outside the predetermined range, it is not the license plate, so these candidate areas are excluded from the candidate.
다음으로, 레이블링이 수행된 영역에서 코너(corner) 점을 검출하고, 추출된 코너점 중에서 가장 외곽에 위치한 4개의 꼭지점을 선택한다(S46). 본 발명에서는 코너 점을 추출하기 위해서 영국 캠브리지 대학의 에드워드 로스텐(Edward Rosten)이 제안한 빠른 코너 추출 방법인 FAST를 사용한다[비특허문헌 12].Next, a corner point is detected in the area where labeling is performed, and four vertices located at the outermost part of the extracted corner points are selected (S46). In the present invention, FAST, a fast corner extraction method proposed by Edward Rosten of the University of Cambridge, UK, is used to extract corner points (Non-Patent Document 12).
FAST는 이름에서도 알 수 있듯이 빠른 속도를 추구하는 특징점 추출 방법이다. 그리고 FAST가 뛰어난 점은 FAST가 속도에 최적화되어 설계된 방법임에도 불구하고 품질 또한 기존의 방법들을 상회한다는 점에 있다.FAST, as the name suggests, is a method of feature extraction that seeks speed. And the great thing about FAST is that even though FAST is designed to be optimized for speed, the quality also exceeds that of existing methods.
FAST 방법의 기본적인 처리 과정은 도 7와 같이 표현될 수 있다.Basic processing of the FAST method may be expressed as shown in FIG. 7.
FAST 방법은 도 7와 같이 3가지 단계로 구성된다. 첫 번째 단계에서는 빠른 속도로 코너의 후보를 정하는 단계이다. 이 단계에서는 한 점 P에 대해 주변에 있는 점들과 얼마나 차이가 있는지를 확인하는 작업이다. 즉, 사전에 정해진 임계값 보다 큰 차이를 가지면 후보로 정한다.The FAST method consists of three steps as shown in FIG. The first step is to quickly select corner candidates. In this step, it is to check how much difference one point P has from surrounding points. In other words, if the difference is greater than a predetermined threshold value, the candidate is determined.
두 번째 단계에서는 후보 코너가 된 모든 점들에 대해 밝기 차이를 조사한다. 다시 말해, 후보 코너 점 P에 대해 점 P를 중심으로 하는 반지름 3인 원 상의 16개의 화속 값을 보고 판단한다. 즉, P 주변에 위치한 점들과의 밝기 차이를 조사하여 어둡거나 밝은 점이 k개 이상이면 점 P를 코너로 판단한다.In the second step, the brightness difference is examined for all the points that become candidate corners. In other words, the candidate corner point P is judged by looking at 16 fire velocity values on a circle having a radius of 3 with respect to the point P. That is, by examining the difference in brightness with the points located around P, if there are more than k dark or light points, the point P is determined as a corner.
세 번째 단계에서는 점 P를 중심으로 3×3 마스크를 씌워 그 범위 내에서 가장 차이가 많이 나는 점을 선택하여 최종 코너로 선택한다. 다시 말해, FAST 코너의 한 가지 문제점은 어떤 점 P가 코너 점으로 인식되면 P와 인접한 주변 점들도 같이 코너 점으로 검출되는 경우가 많다. 따라서 FAST에서는 이 문제를 해결하기 위해 추가적인 후처리 단계인 세 번째 단계를 적용한다.In the third step, a 3x3 mask is placed around the point P and the point with the most difference within the range is selected as the final corner. In other words, one problem of the FAST corner is that if a point P is recognized as a corner point, neighboring points adjacent to P are often detected as corner points. Therefore, FAST applies an additional post-processing step, the third step, to solve this problem.
다음으로, 꼭지점이 검출된 문자의 후보 영역에 대해 해당 영역의 왼쪽 면과 오른쪽 면의 길이를 식 2와 같이 비교하여 최종적으로 실제의 문자 영역을 검증한다(S47).Next, the length of the left side and the right side of the corresponding region is compared to the candidate region of the character where the vertex is detected as shown in
[수학식 2][Equation 2]
식 2에서 Lenl은 후보 영역을 나타내는 사각형의 왼쪽 변의 길이를 나타내고, Lenr은 사각형의 오른쪽 변의 길이를 나타낸다. 그리고 Ri는 i번째 후보 문자 영역을 의미한다.In
Lenl, Lenr 는 사각형의 왼쪽 또는 오른쪽 변의 길이로서, 꼭지점을 이용하여 산출된다.Len l and Len r are the lengths of the left or right sides of the rectangle, calculated from the vertices.
다음으로, 본 발명의 효과를 실험을 통해 설명한다.Next, the effect of this invention is demonstrated through experiment.
본 발명에서 실험을 위해서 사용한 컴퓨터는 인텔 Core(TM) i7 2.93Ghz의 CPU와 8GB의 메인 메모리로 구성되어 있으며, 윈도우 7 운영체제(OS)를 이용하였다. 그리고 마이크로소프트의 비주얼 스튜디오(Visual Studio)와 OpenCV 오픈 라이브러리를 이용하여 본 발명의 방법을 구현하였다. 본 실험에서는, 본 발명의 방법의 성능을 비교 평가하기 위해서 문자 영역들이 포함된 여러 가지 종류의 테스트 영상들을 수집하여 활용하였다.The computer used for the experiment in the present invention is composed of an Intel Core (TM) i7 2.93Ghz CPU and 8GB of main memory, using a Windows 7 operating system (OS). And the method of the present invention was implemented using Microsoft's Visual Studio and OpenCV open library. In this experiment, various types of test images including text areas were collected and used to compare and evaluate the performance of the method of the present invention.
도 8은 본 발명의 실험에서 MCT 특징 추출과 에이다부스트 학습을 위해서 사용한 자동차 번호판이 포함된 학습 영상과 번호판을 포함하지 않은 배경 영상의 예를 나타낸다. 본 발명에서는 307개의 번호판 영상과 2,736개의 배경 영상들을 이용하여 학습을 진행하였다.8 shows an example of a learning image including a license plate and a background image without a license plate used for MCT feature extraction and AdaBoost learning in the experiment of the present invention. In the present invention, learning was performed using 307 license plate images and 2,736 background images.
도 9은 테스트 영상으로부터 추출한 자동차 번호판의 후보 영역들에 대해 레이블링을 수행한 결과 영상의 예를 보여준다. 그리고 도 9은 후보 영역들의 필터링을 통해서 비 문자 영역을 제외하고 최종적으로 검출한 자동차의 번호판 영역들을 보여준다. 도 9에서 녹색의 사각형은 검출된 문자 영역의 후보 영역들을 나타내고, 파란색의 사각형은 필터링을 통해서 선택된 실제 문자 영역을 나타낸다. 그리고 빨간색의 사각형은 영상 보정을 통해 최종적으로 추출한 자동차 번호판의 문자 영역을 나타낸다.9 shows an example of a result of labeling candidate regions of a license plate extracted from a test image. 9 shows the license plate areas of the vehicle finally detected except the non-character area by filtering the candidate areas. In FIG. 9, green squares represent candidate regions of the detected character region, and blue squares represent actual character regions selected through filtering. The red square represents the character area of the license plate finally extracted through image correction.
본 발명에 따른 자동차 번호판 등 문자 영역 추출 방법의 성능을 정량적으로 비교 평가하기 위해서 비 문자 영역을 포함하지 않은 정확하게 추출된 문자 영역들과 영상에 존재하는 전체 문자 영역들과의 비율을 백분율(%)로 표시한 수학식 3과 같은 정확도 척도를 사용하였다. 수학식 3에서 Ndetected는 본 발명의 방법을 이용하여 정확하게 검출한 문자 영역들의 개수를 나타내고, Nexisting은 테스트 영상에 존재하는 문자 영역들의 전체 개수를 나타낸다.In order to quantitatively evaluate and evaluate the performance of the character region extraction method such as a license plate according to the present invention, the ratio of the extracted character regions not including the non-character region and the entire character regions present in the image is a percentage (%). The same accuracy measure as Equation 3 is used. In Equation 3, N detected represents the number of character regions accurately detected using the method of the present invention, and N existing represents the total number of character regions existing in the test image.
[수학식 3][Equation 3]
도 10는 수학식 3을 통해서 획득한 문자 영역 추출 방법의 정확도 측면의 성능 비교 결과를 그래프로 나타내고 있다. 도 10에서 확인할 수 있듯이 본 발명의 방법을 이용한 방법이 보다 정확하게 문자 영역을 검출한다는 것을 확인할 수 있다. 다시 말해, 고주파 요소를 활용하는 질감 정보를 이용한 기존의 방법은 배경과 문자 영역 사이의 이진화가 적절히 수행되지 않아 문자 영역의 오 검출이 많이 발생하였다. 그러나 본 발명에 따른 방법은 MCT 특징과 에이다부스트 방법을 이용하였고, 기하학적인 특징을 사용하여 후보 영역을 효과적으로 필터링하였으므로 보다 정확하게 문자 영역들을 검출할 수 있었다.FIG. 10 is a graph illustrating a performance comparison result of accuracy of the character region extraction method obtained through Equation 3. FIG. As can be seen in Figure 10 it can be seen that the method using the method of the present invention more accurately detects the character region. In other words, in the conventional method using texture information using high frequency elements, the binarization between the background and the text area is not properly performed, and thus, a lot of false detection of the text area occurs. However, the method according to the present invention uses the MCT feature and the Adaboost method, and since the candidate region is effectively filtered using geometric features, the character regions can be detected more accurately.
최근 들어, 입력된 실내외 영상을 분석한 다음 자동차 번호판과 같이 영상 내에 포함된 문자 영역들만을 강인하게 분할해 내는 연구에 대한 필요성이 점점 더 증가하고 있다.Recently, there is an increasing need for a study that analyzes input indoor and outdoor images and then strongly partitions only the text areas included in the images, such as license plates.
본 발명에서는 MCT 특징과 에이다부스트 방법을 이용하여 다양한 입력 영상으로부터 배경 영역을 제외하고 문자 영역들만을 강인하게 검출하는 새로운 방법을 제안하였다. 이를 위해, 먼저 문자의 후보 영역들을 MCT 특징과 에이다부스트 학습 방법을 사용하여 추출하였다. 그런 다음, 추출된 문자의 후보 영역들을 기하학적인 특징을 사용해 필터링함으로써 비 문자 영역들을 제외하고 실제적인 문자 영역들만을 강인하게 검출하였다. 실험을 통해 제안된 방법은 기존의 방법에 비해 보다 정확하게 문자 영역들을 검출함을 확인할 수 있다.In the present invention, a new method for robustly detecting only text areas excluding background areas from various input images using MCT feature and AdaBoost method is proposed. To do this, first, candidate regions of characters were extracted using MCT features and Adaboost learning methods. Then, the candidate areas of the extracted text were filtered using geometric features to robustly detect only actual text areas except non-text areas. Experimental results show that the proposed method detects text areas more accurately than the conventional method.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.As mentioned above, although the invention made by this inventor was demonstrated concretely according to the said Example, this invention is not limited to the said Example and can be variously changed in the range which does not deviate from the summary.
10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템10: image 20: computer terminal
30: program system
Claims (10)
(a) 상기 입력영상에서 MCT(Modified Census Transform) 특징을 추출하는 단계;
(b) 에이다부스트 학습 방식으로 생성된 문자검출 분류기를 이용하여, 상기 추출한 MCT 특징을 상기 문자검출 분류기에 입력시켜서 상기 입력영상에서 문자 영역의 후보 영역들을 검출하는 단계; 및,
(c) 후보 영역의 기하학적 특징을 사용하여, 상기 후보 영역들을 필터링하여 최종 문자 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
In the character data detection method using ada boost learning, detecting the character region in the input image,
(a) extracting a Modified Census Transform (MCT) feature from the input image;
(b) detecting candidate regions of a text area in the input image by inputting the extracted MCT feature to the text detection classifier using a text detection classifier generated by an Adaboost learning method; And,
and (c) filtering the candidate regions to detect a final character region using geometric features of a candidate region.
상기 입력영상의 MCT 특징 Γ(x)은 다음 [수식 1]에 의하여 추출하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
[수식 1]
단, I(x)는 x의 화소 값을 나타내고, 는 커널 내에 위치한 화소들의 평균 화소 값을 나타내고, n'은 커널의 중심과 인접한 화소들의 집합을 나타내고, ζ()는 비교 함수로서 I(y)가 평균 화소 값 보다 크면 1을 출력하고, 그렇지 않으면 0을 출력하는 함수이고, 는 10진수 변환 연산자로서 비교 함수 ζ()의 결과로 나오는 아홉 자리의 2진수 배열을 10진수로 변경해 주는 연산자임.
The method of claim 1,
MCT feature Γ (x) of the input image is extracted by the following [Equation 1] character data detection method using ada boost learning.
[Equation 1]
Where I (x) represents the pixel value of x, Denotes the average pixel value of the pixels located in the kernel, n 'denotes the set of pixels adjacent to the center of the kernel, ζ () is a comparison function, and outputs 1 if I (y) is greater than the average pixel value; Is a function that outputs zero, Is a decimal conversion operator that converts the nine-digit binary array resulting from the comparison function ζ () into a decimal number.
(c1) 상기 후보 영역들을 그룹핑하고 각 그룹에서 대표 후보영역을 추출하는 단계;
(c2) 상기 대표 후보영역을 사전에 정해진 길이만큼 확장하는 단계;
(c3) 확장된 대표 후보영역에 대하여 이진화를 수행하는 단계;
(c4) 이진화된 대표 후보영역에 대하여 레이블링(labeling)을 수행하는 단계;
(c5) 레이블링된 영역의 크기와 비율을 이용하여 필터링을 수행하는 단계;
(c6) 레이블링이 수행된 영역에서 코너(corner) 점을 검출하고, 추출된 코너점 중에서 가장 외곽에 위치한 4개의 꼭지점을 선택하는 단계; 및,
(c7) 꼭지점이 검출된 후보 영역에 대해 해당 영역의 왼쪽 면과 오른쪽 면의 길이를 이용하여 최종 문자 영역으로 판단하는 단계를 포함하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
The method of claim 1, wherein step (c) comprises:
(c1) grouping the candidate regions and extracting a representative candidate region from each group;
(c2) extending the representative candidate region by a predetermined length;
(c3) performing binarization on the extended representative candidate region;
(c4) labeling the binarized representative candidate region;
(c5) performing filtering using the size and proportion of the labeled area;
(c6) detecting corner points in the region where labeling is performed, and selecting four vertices located at the outermost corners among the extracted corner points; And,
and (c7) determining the final character area using the lengths of the left and right sides of the corresponding area with respect to the candidate area where the vertex is detected.
상기 (c1)단계에서, 상기 후보 영역들을 위치와 크기별로 그룹핑(grouping)을 수행하고, 평균 사각형 위치와 평균 사각형 크기에 가장 유사한 사각형을 문자의 대표 후보 영역으로 추출하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
The method of claim 3,
In step (c1), the candidate areas are grouped by position and size, and the Adaboost learning is characterized by extracting a rectangle most similar to an average rectangle position and an average rectangle size as a representative candidate area of a character. Character data detection method using a.
상기 (c2)단계에서, 길이 k만큼 상기 대표 후보영역의 가로와 세로의 길이를 확장하되, k를 상기 대표 후보영역의 1/2로 설정하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
The method of claim 3,
In the step (c2), the length and width of the representative candidate region is extended by the length k, and k is set to 1/2 of the representative candidate region. .
상기 (c3)단계에서, 상기 대표 후보영역들에 대해서 오쯔(Otsu)의 적응적인 방법을 이용하여 이진화(binarization)를 수행하되, 이진화에 사용되는 임계값(threshold)은 상기 대표 후보영역의 평균적인 화소 값보다는 높은 값을 사용하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
The method of claim 3,
In the step (c3), binarization is performed on the representative candidate regions using Otsu's adaptive method, and the threshold used for binarization is an average of the representative candidate regions. Character data detection method using adaboost learning, characterized in that the higher value than the pixel value.
상기 (c5)단계에서, 레이블링된 영역의 크기가 사전에 설정된 범위를 벗어나거나, 상기 레이블링된 영역의 가로세로의 비율이 사전에 설정된 범위를 벗어나면, 대표 후보영역에서 제거하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
The method of claim 3,
In step (c5), if the size of the labeled area is out of a preset range or if the ratio of the aspect ratio of the labeled area is out of a preset range, the representative candidate area is removed. Character data detection method using boost learning.
상기 (c6)단계에서, 상기 레이블링된 영역에서 각 화소에 대하여, 해당 화소의 값이 해당 화소의 주변 화소값과 사전에 정해진 임계값 보다 큰 차이를 가지면 해당 화소를 후보 코너로 정하고, 후보 코너의 화소 P에 대하여 화소 P를 중심으로 반지름 3인 원 상의 16개의 화소 값들과의 밝기 차이를 산출하여 사전에 정해진 임계값을 벗어나는 화소가 사전에 정해진 임계 개수에 이상이면 해당 후보 코너를 코너로 판별하고, 코너 중에서 해당 코너를 중심으로 3×3 마스크를 씌워 그 범위 내에서 가장 차이가 많이 나는 점을 선택하여 최종 코너로 선택하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
The method of claim 3,
In the step (c6), for each pixel in the labeled area, if the value of the pixel has a difference larger than a predetermined threshold value from the surrounding pixel value of the pixel, the pixel is designated as a candidate corner, and With respect to the pixel P, a brightness difference with 16 pixel values of a circle having a radius 3 around the pixel P is calculated. A character data detection method using Adaboost learning, characterized in that the 3 × 3 mask is covered around the corner, and the point with the most difference within the range is selected as the final corner.
상기 (c7)단계에서, 꼭지점이 검출된 후보영역에 대하여, 해당 후보영역의 왼쪽 면과 오른쪽 면의 길이를 다음 [수식 2]의 논리식을 검증하여 참이면, 해당 후보영역을 최종 문자 영역으로 검출하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
[수식 2]
The method of claim 3,
In step (c7), if the vertex is detected and the length of the left and right sides of the candidate region is verified by verifying the following logical expression, the candidate region is detected as the final character region. Character data detection method using ada boost learning, characterized in that.
[Formula 2]
A non-transitory computer-readable recording medium having recorded thereon a program for performing the method of claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180066137A KR102139932B1 (en) | 2018-06-08 | 2018-06-08 | A Method of Detecting Character Data through a Adaboost Learning Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180066137A KR102139932B1 (en) | 2018-06-08 | 2018-06-08 | A Method of Detecting Character Data through a Adaboost Learning Method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190143525A true KR20190143525A (en) | 2019-12-31 |
| KR102139932B1 KR102139932B1 (en) | 2020-08-03 |
Family
ID=69051723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180066137A Active KR102139932B1 (en) | 2018-06-08 | 2018-06-08 | A Method of Detecting Character Data through a Adaboost Learning Method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102139932B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022092743A1 (en) * | 2020-10-26 | 2022-05-05 | 에스케이텔레콤 주식회사 | Method for extracting characters from vehicle license plate, and license plate character extraction device for performing method |
| CN114821023A (en) * | 2021-01-13 | 2022-07-29 | 中国电信股份有限公司 | Image text detection method, device, storage medium and computer program product |
| CN116645686A (en) * | 2023-05-29 | 2023-08-25 | 中国银行股份有限公司 | A text detection method and device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130066444A (en) * | 2011-12-12 | 2013-06-20 | 한국전자통신연구원 | Apparatus for extracting character area in vehicle number plate and method thereof |
| KR20150081480A (en) * | 2014-01-06 | 2015-07-15 | 현대모비스 주식회사 | Apparatus and Method for recognizing traffic sign board |
| KR101706992B1 (en) * | 2016-01-27 | 2017-02-15 | 숭실대학교산학협력단 | Apparatus and method for tracking gaze, recording medium for performing the method |
-
2018
- 2018-06-08 KR KR1020180066137A patent/KR102139932B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130066444A (en) * | 2011-12-12 | 2013-06-20 | 한국전자통신연구원 | Apparatus for extracting character area in vehicle number plate and method thereof |
| KR20150081480A (en) * | 2014-01-06 | 2015-07-15 | 현대모비스 주식회사 | Apparatus and Method for recognizing traffic sign board |
| KR101706992B1 (en) * | 2016-01-27 | 2017-02-15 | 숭실대학교산학협력단 | Apparatus and method for tracking gaze, recording medium for performing the method |
Non-Patent Citations (12)
| Title |
|---|
| B. Froba and A. Ernst, "Face Detection with the Modified Census Transform," In Proc. of the IEEE International Conference on Automatic Face and Gesture Recognition, pp. 91-96, May 2004. |
| C. Gao, P. Li, Y. Zhang, J. Liu, and L. Wang, "People Counting Based on Head Detection Combining Adaboost and CNN in Crowded Surveillance Environment," Neurocomputing, Vol. 208, pp. 108-116, October 2016. |
| E. Rosten and T. Drummond, "Machine Learning for High-Speed Corner Detection," In Proc. of the European Conference on Computer Vision, pp. 430-443, May 2006. |
| H. Lee, S. Chen, and S. Wang, "Extraction and recognition of license plates of motorcycles and vehicles," In Proc. of the 17th IEEE International Conference on Pattern Recognition, pp. 356-359, August 2004. |
| H.-W. Jo and B. Moon, "A Modified Census Transform Using the Representative Intensity Values," In Proc. of the International SoC Design Conference (ISOCC), pp. 309-310, November 2015. |
| J.-G. Ko, Y.-S. Bae, J.-Y. Park, and K. Park, "Technologies Trends in Image Big Data Analysis," Electronics and Telecommunications Trends, Vol. 29, No. 4, pp. 21-29, August 2014. |
| K. Deb and K. Jo, "HSI Color-based Vehicle License Plate Detection," In Proc. of the International Conference on Control, Automation and Systems, pp. 687-691, 2008. |
| K. Lim, H. Byun, and Y. Choi, "Vehicle License Plate Detection in Road Images," Journal of Korean Institute of Information Scientists and Engineers, Vol. 43, No. 2, pp. 186-195, February 2016. |
| P. Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," In Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, December, 2001. |
| S.-W. Jang, K.-J. Ahn, and G.-Y. Kim, "Robust Caption Segmentation Using DCT Coefficients and Edges," Journal of Korean Institute of Next Generation Computing, Vol. 11, No. 3, pp. 63-72, June 2015. |
| W. Kim and C. Kim, "A New Approach for Overlay Text Detection and Extraction from Complex Video Scene," IEEE Transactions on Image Processing, Vol. 18, No. 2, pp. 401-411, February 2009. |
| X. Qian, G. Liu, H. Wang, and R. Su, "Text Detection, Localization, and Tracking in Compressed Video," Signal Processing: Image Communication, Vol. 22, No. 9. pp. 752-768. October 2007. |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022092743A1 (en) * | 2020-10-26 | 2022-05-05 | 에스케이텔레콤 주식회사 | Method for extracting characters from vehicle license plate, and license plate character extraction device for performing method |
| US20230206659A1 (en) * | 2020-10-26 | 2023-06-29 | Sk Telecom Co., Ltd. | Method for extracting characters from vehicle license plate, and license plate character extraction device for performing method |
| US12499698B2 (en) | 2020-10-26 | 2025-12-16 | Sk Telecom Co., Ltd. | Method for extracting characters from vehicle license plate, and license plate character extraction device for performing method |
| CN114821023A (en) * | 2021-01-13 | 2022-07-29 | 中国电信股份有限公司 | Image text detection method, device, storage medium and computer program product |
| CN116645686A (en) * | 2023-05-29 | 2023-08-25 | 中国银行股份有限公司 | A text detection method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102139932B1 (en) | 2020-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sulaiman et al. | Development of automatic vehicle plate detection system | |
| Malik et al. | Detection and recognition of traffic signs from road scene images | |
| Aggarwal et al. | A robust method to authenticate car license plates using segmentation and ROI based approach | |
| Han et al. | Real‐time license plate detection in high‐resolution videos using fastest available cascade classifier and core patterns | |
| KR20100073189A (en) | Apparatus and method for detecting face image | |
| CN107895492A (en) | A kind of express highway intelligent analysis method based on conventional video | |
| Hechri et al. | Automatic detection and recognition of road sign for driver assistance system | |
| Prates et al. | Brazilian license plate detection using histogram of oriented gradients and sliding windows | |
| Azad et al. | A novel and robust method for automatic license plate recognition system based on pattern recognition | |
| CA2815591A1 (en) | Method for detecting and recognising an object in an image, and an apparatus and a computer program therefor | |
| KR102139932B1 (en) | A Method of Detecting Character Data through a Adaboost Learning Method | |
| Maheswari et al. | An integrated number plate recognition system through images using threshold-based methods and KNN | |
| Aung et al. | Automatic license plate detection system for myanmar vehicle license plates | |
| Rastegar et al. | An intelligent control system using an efficient License Plate Location and Recognition Approach | |
| CN105512662A (en) | Detection method and apparatus for unlicensed vehicle | |
| Das et al. | Online training of identifying characters present in vehicle license plate | |
| El-Said | Shadow aware license plate recognition system | |
| Giri | Text information extraction and analysis from images using digital image processing techniques | |
| Hommos et al. | Hd Qatari ANPR system | |
| Khin et al. | License plate detection of Myanmar vehicle images captured from the dissimilar environmental conditions | |
| Gunawan et al. | Indonesian Plate Number Identification Using YOLACT and Mobilenetv2 in the Parking Management System | |
| Qin et al. | Traffic sign segmentation and recognition in scene images | |
| CN111402185A (en) | Image detection method and device | |
| Mercy et al. | Automatic number plate recognition using connected component analysis algorithm | |
| Setiadi et al. | A Systematic Literature Review: The Effectiveness of ANPR for Electronic Law Traffic Enforcement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180608 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200110 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200720 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200727 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200728 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240604 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250610 Start annual number: 6 End annual number: 6 |