[go: up one dir, main page]

KR20140045854A - 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 - Google Patents

단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 Download PDF

Info

Publication number
KR20140045854A
KR20140045854A KR1020120112115A KR20120112115A KR20140045854A KR 20140045854 A KR20140045854 A KR 20140045854A KR 1020120112115 A KR1020120112115 A KR 1020120112115A KR 20120112115 A KR20120112115 A KR 20120112115A KR 20140045854 A KR20140045854 A KR 20140045854A
Authority
KR
South Korea
Prior art keywords
image
foreground
eigenvector
foreground object
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120112115A
Other languages
English (en)
Other versions
KR101618814B1 (ko
Inventor
이광국
김기문
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020120112115A priority Critical patent/KR101618814B1/ko
Priority to CN201380052846.3A priority patent/CN104781848B/zh
Priority to PCT/KR2013/009068 priority patent/WO2014058248A1/ko
Publication of KR20140045854A publication Critical patent/KR20140045854A/ko
Priority to US14/682,841 priority patent/US9311719B2/en
Application granted granted Critical
Publication of KR101618814B1 publication Critical patent/KR101618814B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법을 개시한다.
획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 단일객체를 선정하는 단일객체 선정부; 상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성부; 상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출부; 상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출부; 및 상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형(Bounding Box)의 기울기 및 크기를 교정하는 기울기 확인부를 포함하는 것을 특징으로 하는 영상 감시장치를 제공한다.

Description

단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법{Method and Apparatus for Monitoring Video for Estimating Gradient of Single Object}
본 실시예는 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 촬영영상 내의 객체의 면적, 너비 및 높이를 추정하여 단일객체를 검출하고, 단일객체에 대한 고유벡터를 추출하고, 추출된 고유벡터를 이용하여 소실점의 위치를 산출함으로써, 단일객체에 대한 기울기 즉, 자세를 추정하여 영상을 감시하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
영상 감시시스템의 영상분석 알고리즘의 정확도를 높이기 위해 영상 내의 객체의 크기를 이용하는 경우가 있다. 예컨대, 사람만이 관심 객체로 설정된 경우, 대략적인 사람의 크기를 시스템에 기 설정하여 사람 이외의 객체(동물, 자동차 등)을 검출되는 객체에서 제외할 수 있다.
이러한 객체의 크기를 추정하기 위해서는 정교한 카메라 캘리브레이션(Calibration)을 필요로 하나 이는 복잡한 처리과정을 필요로 하여 실제 응용에 적합하지 않다.
한편, 영상 감시시스템은 영상 내 객체의 크기는 원근효과(Perspective)로 인해 객체가 위치한 좌표에 따라 달라진다. 종래의 기술은 영상 내에 서로 다른 몇 개의 지점에서 관심객체의 크기를 사용자가 직접 입력하고, 이렇게 입력된 객체의 크기 정보를 보간법(Interpolation)을 이용해 영상의 각 좌표에서 객체의 크기를 추정하여 이용하는 방법을 사용하였다.
하지만 이러한 방법은 사용자가 입력한 샘플에 따라 결과가 달라질 수 있으므로, 사용자의 숙련도에 따라 시스템의 정확도가 좌우되는 문제가 있다. 또한 사용자의 입력을 필요로 하는 방법은 다수의 카메라가 활용되는 대규모 시스템에 적용되기 위해서는 많은 노동력을 필요로 하는 문제가 있다.
영상 감시 기술은 객체의 크기에 대해서만 중요시할 수 있으나, 객체의 자세(Pose) 또한 알고리즘의 정확도를 향상시키는데 중요한 역할을 한다. 예를 들어, 영역기반의 사람 수를 추정하는 알고리즘에서 한 사람이 영상에서 차지하는 면적이 계수 인자(Scaling Factor)로써 매우 중요한 역할을 하는데, 사람의 자세가 비스듬하면 객체의 최소 경계사각형(Bounding Box)의 크기가 객체의 실제 면적과 많은 차이가 나게 되어 알고리즘의 정확도를 떨어뜨리는 문제점이 있다. 또한, 인식 기반 방법에서는 인식을 위한 분류기(classifier)의 학습에 이용된 영상과 동일한 자세의 객체를 입력으로 하지 않으면 인식 성능이 저하되는 문제점이 있다.
본 실시예는, 촬영영상 내의 객체의 면적, 너비 및 높이를 추정하여 단일객체를 검출하고, 단일객체에 대한 고유벡터를 추출하고, 추출된 고유벡터를 이용하여 소실점의 위치를 산출함으로써, 단일객체에 대한 기울기 즉, 자세를 추정하여 영상을 감시하는 장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 단일객체를 선정하는 단일객체 선정부; 상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성부; 상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출부; 상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출부; 및 상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형(Bounding Box)의 기울기 및 크기를 교정하는 기울기 확인부를 포함하는 것을 특징으로 하는 영상 감시장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 영상 감시장치가 영상 내의 단일객체의 기울기를 측정하는 방법에 있어서, 획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 상기 단일객체를 선정하는 단일객체 선정과정; 상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성과정; 상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출과정; 상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출 과정; 및 상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형의 기울기 및 크기를 교정하는 기울기 확인과정을 포함하는 것을 특징으로 하는 영상 감시방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 객체가 카메라 화각 또는 각도로 인해 영상에서 수직방향이 아닌 기울어진 형태로 나타나는 경우에도 객체의 자세, 즉 기울어진 정도를 자동으로 알아낼 수 있는 효과가 있다. 또한, 본 실시예에 따른 영상 감시장치는 객체의 크기와 모양을 더 정확하게 기술(Description)하는 것을 가능하게 하여 영상분석의 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 실시예에 따른 영상을 감시하는 장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 단일객체의 기울기를 추정하는 영상 감시장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 영상 감시장치가 단일객체를 검출하는 동작을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 단일객체의 기울기를 추정하여 영상을 감시하는 방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 영상 감시장치가 촬영영상을 전경 화소 및 배경 화소로 분리하는 동작을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 영상 감시장치에 포함된 노이즈 제거부가 전경 화소에 대한 히스토그램을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 예시도이다.
도 7은 본 실시예에 따른 영상 감시장치가 군집화를 통해 단일객체를 판단하는 동작을 설명하기 위한 예시도이다.
도 8은 본 실시예에 따른 영상 감시장치에서 단일객체를 검출하기 위해 전경 화소에 대한 군집화 결과를 나타낸 그래프이다.
도 9는 본 실시예에 따른 영상 감시장치에서 단일객체의 면적을 산출하는 동작을 설명하기 위한 그래프이다.
도 10은 본 실시예에 따른 영상 감시장치에서 단일객체에 대한 크기를 추정하여 단일객체를 검출한 영상을 나타낸 예시도이다.
도 11은 본 실시예에 따른 영상 감시장치에서 단일 전경객체에 대한 전경 영상을 나타낸 예시도이다.
도 12는 본 실시예에 따른 영상 감시장치가 소정의 단일 전경객체에 대한 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
도 13은 본 실시예에 따른 영상 감시장치가 단일 전경객체의 고유벡터를 이용하여 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
도 14는 본 실시예에 따른 영상 감시장치가 단일 전경객체에 대한 기울기를 추정하여 크기를 교정하여 출력한 결과영상을 나타낸 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 영상을 감시하는 장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 단일객체의 기울기를 추정하여 영상을 감시하는 장치는 영상 촬영장치(110), 영상 감시장치(120) 및 모니터링 장치(150)를 포함한다. 여기서, 영상 감시장치(120)는 영상정보 처리부(130), 단일객체 검출부(140) 및 기울기 추정부(142)를 포함한다.
영상 촬영장치(110)는 영상을 촬영할 수 있는 장치를 말하며, 본 실시예에 따른 영상 촬영장치(110)는 움직이는 소정의 크기의 객체를 감시하기 위한 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라 등으로 구현되는 것이 바람직하다. 영상 촬영장치(110)는 움직이는 객체를 감시하기 위해 촬영된 촬영영상을 영상 감시장치(120)로 전송한다. 또한, 영상 촬영장치(110)에서 촬영된 촬영영상은 하나의 프레임일 수 있으나 반드시 이에 한정되는 것은 아니며, 복수 개의 프레임을 포함한 영상일 수도 있다.
영상 감시장치(120)는 영상 촬영장치(110)로부터 촬영영상을 수신하여 촬영영상 내에 소정의 크기의 움직이는 객체를 검출하여 영상을 감시하기 위한 장치를 의미한다.
영상정보 처리부(130)는 영상 촬영장치(110)로부터 촬영영상을 수신하고, 촬영영상 내의 화소에 대한 화소값을 확인하여 지정된 움직임이 없는 배경에 대한 배경 화소를 제거하여 움직이는 객체에 대한 전경 화소를 분리하여 전경 영상을 생성한다. 또한, 영상정보 처리부(130)는 분리된 전경 영상 내의 전경 객체에 대한 화소수 및 전경 화소에 대한 좌표값을 측정하여 전경 객체정보를 생성한다. 여기서, 영상정보 처리부(130)는 전경 객체정보에 대한 데이터량이 소정의 기준을 미만일 경우, 기 설정된 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 전경 화소에 대한 좌표값을 측정하여 전경 객체정보를 생성할 수도 있다.
단일객체 검출부(140)는 영상정보 처리부(130)에서 생성된 전경 객체정보에 대한 노이즈를 제거하고, 노이즈가 제거된 전경 객체정보를 이용하여 두 개의 그룹으로 군집화를 수행하고, 두 개의 그룹 중 단일객체로 이루어진 그룹을 판단하여 단일객체에 대한 단일객체 정보를 검출한다. 또한, 단일객체 검출부(140)는 단일객체 정보를 이용하여 소정의 면적 산출함수를 추정하고, 단일객체 정보에 포함된 단일객체의 y 좌표값을 적용하여 각각의 단일객체의 면적, 너비 및 높이를 산출하여 단일객체의 크기에 대한 결과정보를 생성한다.
기울기 추정부(142)는 단일객체 검출부(140)에서 생성된 단일객체 결과정보에 근거하여 소정의 단일 전경객체를 선정하고, 선정된 단일 전경객체에 대한 기울기 즉 자세를 추정하여 단일 전경객체에 대한 최소 경계사각형의 크기 및 기울기를 교정하는 동작을 수행한다.
본 실시예에 따른 기울기 추정부(142)는 면적, 너비 및 높이가 산출된 단일객체 중 관리자의 조작에 따른 입력 또는 소정의 크기 기준을 통해 단일 전경객체를 선정하고, 공분산 행렬을 이용하여 단일 전경객체에 대한 고유벡터를 추출한다. 또한, 기울기 추정부(142)는 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터와 추출된 고유벡터 간의 사이 각도를 최소화하는 임의의 한 점을 소실점 위치로 산출한다. 여기서, 기울기 추정부(142)는 소실점의 위치를 산출하기 위해 촬영영상 내의 전체 또는 일부의 화소를 반복하여 임의의 한 점으로 설정할 수도 있다. 또한, 기울기 추정부(142)는 산출된 소실점을 이용하여 각각의 단일 전경객체의 기울어진 정도 즉, 단일 전경객체의 자세를 확인하여 해당 객체의 최소 경계사각형의 기울기를 조정하고, 실제 객체의 크기와 유사하도록 최소 경계사각형의 크기를 교정하여 모니터링 장치(150)에 표시되도록 한다.
모니터링 장치(150)는 관리자가 영상 감시장치(120)에서 추정된 단일 전경객체의 기울기에 근거하여 단일 전경객체의 최소 경계사각형의 기울기, 면적, 너비 및 높이를 교정하여 사각형의 형태로 디스플레이하는 장치를 말한다.
한편, 모니터링 장치(150)는 단일객체만을 표시하는 장치인 것으로 기재하고 있으나, 관리자의 설정에 따라 표시되는 객체는 변경될 수 있다. 또한, 모니터링 장치(150)는 영상 감시장치(120)로부터 단일객체에 대한 정보를 수신하기 위해 무선랜 신호 또는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 근거리 통신이 가능하도록 구현될 수도 있다. 한편, 도 1에서 모니터링 장치(150)는 영상 감시장치(120)와 별도로 구현된 장치인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며 영상 감시장치(120)에 디스플레이부를 포함하여 하나의 장치로 구현될 수도 있다.
도 2는 본 실시예에 따른 단일객체의 기울기를 추정하는 영상 감시장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 영상 감시장치(120)는 영상 획득부(210), 전경 배경 분리부(220), 전경 객체정보 생성부(230), 노이즈 제거부(240), 군집화부(250), 단일객체정보 검출부(260), 단일객체 추정값 산출부(270), 단일객체 결과부(272), 단일객체 선정부(280), 고유벡터(Eigenvector) 추출부(282), 소실점 위치산출부(284), 기울기 확인부(286) 및 통신부(288)를 포함한다.
영상 획득부(210)는 영상 감시장치(120)와 연결된 영상 촬영장치(110)로부터 촬영된 촬영영상을 획득한다. 여기서, 촬영영상은 하나의 프레임인 것이나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다. 한편, 영상 획득부(210)는 영상 촬영장치(110)로부터 촬영된 영상을 바로 수신하여 획득하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 영상 촬영장치(110)에서 기 촬영되어 저장된 영상을 획득하여 영상 내의 객체에 대한 크기를 추정하는 데 사용될 수도 있다.
전경 배경 분리부(220)는 촬영영상 내의 화소를 움직임이 없는 배경에 대한 배경 화소를 제거하여 움직이는 객체에 대한 전경 화소를 분리하는 동작을 수행한다. 더 자세히 설명하자면, 이전 촬영영상에 근거하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 영상 획득부(210)에서 획득한 촬영영상을 배경 모델과 비교하여 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하여 분리한다. 여기서, 전경 배경 분리부(220)는 분리된 복수 개의 전경 화소를 이용하여 움직이는 객체만을 나타낸 전경 영상을 생성할 수 있다. 여기서, 전경 배경 분리부(220)는 촬영영상의 화소 중 배경 화소에 해당하는 영역을 0의 값으로 설정하고, 움직이는 객체에 대한 전경 화소는 1의값으로 설정하여 움직이는 객체에 대한 전경 영상을 분리할 수 있다.
한편, 전경 배경 분리부(220)는 가우시안 혼합 모델(GMM: Gaussian Mixture Model)을 이용하여 전경 화소를 분리할 수도 있다. 전경 배경 분리부(220)는 촬영영상 내의 화소 중 가우시안 모드에 대한 가중치(Weight)가 소정의 기준보다 큰 복수 개의 가우시안 모드를 배경 화소로 지정하고, 지정된 배경 화소를 제거하여 움직이는 객체에 해당하는 전경 화소를 분리한다. 예컨대, 전경 배경 분리부(220)는 촬영영상 내에서 다수의 사람이 지나가면, 가우시안 모드에 대한 가중치를 측정하여 가중치가 높은 고정된 배경에 대한 배경 화소를 지정하고, 촬영영상의 화소에서 지정된 배경 화소를 제거하여 다수의 사람에 해당하는 전경 화소를 분리하여, 움직이는 다수의 사람에 대한 전경 영상을 생성할 수 있다.
전경 객체정보 생성부(230)는 전경 배경 분리부(220)에서 분리된 전경 영상 내의 전경 객체에 대한 화소수 및 좌표값을 측정하여 전경 객체정보를 생성한다. 여기서, 전경 객체정보 생성부(230)는 전경 영상 내에서 각각의 전경 객체에 대한 화소수를 측정하여 측정된 화소의 개수를 전경 객체의 면적으로 사용할 수도 있다.
전경 객체정보 생성부(230)는 전경 객체에 대한 최소 경계사각형(Bounding Box)의 중점을 전경 객체의 좌표값으로 측정하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 전경 객체에 대한 최소 경계사각형의 테두리에 존재하는 소정의 한 점을 전경 객체의 좌표값으로 측정할 수도 있다. 여기서, 전경 객체의 좌표값은 전경 객체의 원근을 파악하는 데 필요한 y 좌표인 것이 바람직하다.
한편, 전경 객체정보 생성부(230)는 전경 객체정보를 이용하여 영상 감시를 수행할 수 있는지 여부를 판단하여 데이터량이 소정의 기준을 미만일 경우, 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 좌표값을 측정하여 전경 객체정보를 생성할 수도 있다. 예컨대, 전경 객체정보 생성부(230)는 전경 객체정보 내에 500개 이상의 전경 객체에 대한 데이터를 포함하고, 2초의 최대 정보수집 시간을 기준으로 설정된 경우, 전경 객체정보가 500개 이상되거나, 정보수집 시간이 5 분이 지나서 생성된 전경 객체정보를 영상 감시에 사용한다.
노이즈 제거부(240)는 전경 객체정보 중 크기를 측정할 수 없거나 측정할 필요가 없는 노이즈를 제거하는 동작을 수행한다.
본 실시예에 따른 노이즈 제거부(240)는 전경 객체의 면적 히스토그램을 이용한 노이즈 제거방식 및 전경 객체정보에 포함된 좌표값을 이용한 노이즈 제거방식 등을 이용하여 노이즈를 제거할 수 있다.
노이즈 제거부(240)는 전경 객체의 화소수 즉 전경 객체의 면적이 소정의 크기보다 작은 전경 객체를 노이즈로 판단하여 제거한다. 예컨대, 전경 객체정보에 포함된 전경 객체의 화소수를 히스토그램으로 통계를 내어 전경 객체의 화소수가 기 설정된 범위 내에 포함되거나 소정의 기준값 미만에 해당하는 경우, 해당 화소를 노이즈로 판단하여 전경 객체정보에서 제거할 수 있다.
노이즈 제거부(240)는 전경 객체의 좌표값에 근거하여 전경 객체가 촬영영상의 상, 하, 좌 및 우측 테두리에 잘려 전경 객체의 형태가 전체가 아닌 일부만을 나타내는 경우, 이러한 전경 객체를 노이즈로 판단하여 제거할 수 있다.
군집화부(250)는 노이즈가 제거된 전경 객체정보를 두 개의 그룹으로 군집화하는 동작을 수행한다. 더 자세히 설명하자면, 군집화부(250)는 노이즈가 제거된 전경 객체정보에서 하나의 객체로 이루어진 단일객체에 대한 정보를 판단하기 위하여 전경 객체정보에 대한 가로세로비(Aspect Ratio), 전경 객체정보의 화소수 비율(Fill Ratio) 및 2차 모멘트 중 적어도 하나 이상의 영상 특징(Image Feature)에 대한 값을 이용하여 두 개의 그룹으로 군집화한다. 여기서, 전경 객체정보에 대한 가로세로비는 최소 경계사각형의 가로 길이를 세로 길이로 나누어 산출된 값을 의미하고, 전경 객체정보의 화소수 비율은 노이즈가 제거된 전경 객체에 대한 총 화소수를 최소 경계사각형 내에 포함된 화소수로 나눈 값을 의미한다. 또한, 2차 모멘트는 전경 객체에 포함된 각 화소의 좌표값을 이용하여 산출된 값을 의미하며, 2차 모멘트(M)는 수학식 1을 이용하여 산출될 수 있다.
Figure pat00001
(M: 2차 모멘트, μ: 전경 객체의 좌표값의 평균, N: 전경 객체의 화소수, (x, y): 전경 영상 내 화소의 좌표, (x0, y0): 전경 객체의 무게중심 좌표, f(x,y): 1(전경) 또는 0(배경))
여기서, 2차 모멘트(M)은 전경 객체의 좌표값의 평균을 행렬식을 이용하여 산출할 수 있다.
본 실시예에 따른 군집화부(250)는 가로세로비, 전경 객체의 화소수 비율 및 2차 모멘트 중 적어도 하나 이상의 값을 K-평균 군집화 기법(K-means clustering method)을 이용하여 두 개의그룹으로 구분하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 계층적 군집화 기법, 비계층적 군집화 기법, 모델-기반 기법 등과 같이 소정의 특징을 이용하여 소정의 개수의 그룹으로 구분할 수 있는 군집화 기법이라면 그 어떤 군집화 기법도 가능하다. 여기서, K-평균 군집화 기법은 2 개의 그룹으로 군집하기 위한 초기값을 설정하고, 전경 화소에 대한 가로세로비, 전경 객체의 화소수 비율 및 2차 모멘트 중 적어도 하나 이상의 값을 이용하여 유사한 군집을 형성하는 기법을 의미한다. 여기서, K-평균 군집화 기법은 일반적으로 널리 사용되는 기법이므로 더 자세한 설명은 생략하도록 한다.
단일객체정보 검출부(260)는 군집화를 통해 생성된 두 개의 그룹에서 단일객체로 이루어진 단일객체 그룹을 판단하고, 단일객체에 대한 단일객체정보를 검출한다. 더 자세히 설명하자면, 단일객체정보 검출부(260)는 군집화부(250)에서 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법(Least Square Method)을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수와 실제 전경 객체의 화소수를 이용하여 그룹 내의 화소수에 대한 평균 오차값을 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹으로 판단하고, 판단된 그룹 내의 단일객체에 대한 단일객체정보를 검출한다.
단일객체정보 검출부(260)에서 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수는 수학식 2와 같다.
Figure pat00002
(a: 추정된 전경 객체의 화소수, p1: 소정의 선형함수의 y 절편, p2: 소정의 선형함수의 기울기, y: 전경 화소의 y 좌표)
단일객체정보 검출부(260)는 전경 화소에 대한 y 좌표를 수학식 2에 대입하여 추정된 전경 객체의 화소수를 계산한다. 여기서, 단일객체정보 검출부(260)는 계산된 전경 객체의 화소수와 실제 전경 객체에 대한 화소수를 이용하여 각각의 전경 객체의 화소수의 오차를 계산하고, 두 개의 각각의 그룹 내에 대한 화소수의 오차들의 평균을 비교하여 오차가 작은 그룹을 단일객체에 대한 그룹으로 판단하고, 판단된 그룹 내에 포함된 단일객체에 대한 단일객체 정보를 검출한다. 여기서, 단일객체 정보는 단일객체의 화소의 좌표값 및 단일객체의 화소수를 포함하는 것이 바람직하다.
여기서, 그룹 내에 포함된 전경 객체의 화소수에 대한 오차들의 평균 오차값(ec)은 수학식 3을 통해 계산된다.
Figure pat00003
(ec: 그룹 내의 평균 오차값 , Nc: 군집 c 내의 전경 객체의 수, ai: 실제 전경 객체의 화소수, (p1+p2×yi): 수학식1을 통해 추정된 전경 객체의 화소수)
단일객체 추정값 산출부(270)는 단일객체 정보 검출부(260)에서 검출된 단일객체 정보를 비선형 최적화(Nonlinear Optimization)를 이용하여 소정의 비선형 함수를 추정하고, 소정의 비선형 함수에 근거하여 단일객체의 크기에 대한 추정값을 산출하는 동작을 수행한다. 더 자세히 설명하자면, 단일객체 추정값 산출부(270)는 단일객체 정보에 포함된 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계에 대한 소정의 비선형함수를 비선형 최적화를 통해 추정하고, 소정의 비선형 함수를 이용하여 단일객체의 면적값을 산출한다. 여기서, 단일객체 면적값을 산출하는 소정의 비선형 함수에 근거하여 단일객체의 크기에 대한 면적, 너비 및 높이 등을 포함하는 추정값을 산출할 수 있다.
한편, 단일객체 추정값 산출부(270)는 영상 촬영장치(110)의 렌즈 성능, 화각 및 설치 각도에 따라 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계가 비선형적일 수 있어 비선형 최적화를 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 선형 최적화를 이용할 수도 있다.
단일객체 추정값 산출부(270)에서 단일객체 정보에 포함된 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계에 대한 소정의 비선형 함수는 수학식 4와 같다.
Figure pat00004
(a: 추정된 단일객체의 면적, pa1: 소정의 비선형 함수의 y 절편, pa2: 소정의 비선형 함수의 기울기, pa3: 소정의 비선형 함수의 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 4에 포함된 파라미터 pa1, pa2 및 pa3 는 비선형 최적화 방법에 의해 수학식 5에 의해 계산되는 오차 ea를 최소화하는 값들로 결정될 수 있다.
Figure pat00005
(ea: 단일객체 그룹 내의 화소수 오차값 , Nc: 단일객체 그룹 내의 전경 객체의 수, ai: 단일객체 그룹 내 실제 전경 객체의 화소수, (pa1+pa2×yPa3): 수학식4을 통해 추정된 단일객체 그룹 내 전경 객체의 화소수)
단일객체 추정값 산출부(270)에서 수학식 4에 근거하여 단일객체의 크기에 대한 너비를 산출하는 함수는 수학식 6와 같다. 여기서, 단일객체에 대한 너비는 수학식 4에서 추정된 단일객체의 면적을 추정하기 위해 이용되었던 단일객체 그룹을 그대로 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 단일객체의 면적과 추정된 단일객체의 면적의 차이가 소정의 임계값 이하인 객체만을 선택적으로 이용할 수도 있다. 예컨대, 임의의 객체 i에 대해 실측된 면적 ai가 수학식 4에 의해 추정된 면적 a와 차이가 10% 이하에 해당하는 객체에 대해서만 해당 객체의 너비 및 높이를 추정할 수도 있다.
Figure pat00006
(w: 단일객체의 크기에 대한 너비, pw1: 너비를 산출하는 함수의 y 절편, pw2: 너비를 산출하는 함수에 대한 기울기, pw3: 너비를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 6에 포함된 파라미터 pw1, pw2 및 pw3 는 비선형 최적화 방법에 의해 수학식 7에 의해 계산되는 오차 ew를 최소화하는 값들로 결정될 수 있다.
Figure pat00007
(ew: 단일객체 그룹 내의 너비 오차값, Na: 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 수, wi: 단일객체 그룹 내 실제 전경 객체의 너비, (pw1+pw2×yPw3): 수학식6을 통해 추정된 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 너비)
단일객체 추정값 산출부(270)에서 수학식 4에 근거하여 단일객체의 크기에 대한 높이를 산출하는 함수는 수학식 8와 같다.
Figure pat00008
(w: 단일객체의 크기에 대한 높이, pw1: 높이를 산출하는 함수의 y 절편, pw2: 높이를 산출하는 함수에 대한 기울기, pw3: 높이를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 8에 포함된 파라미터 ph1, ph2 및 ph3 는 비선형 최적화 방법에 의해 수학식 9에 의해 계산되는 오차 eh를 최소화하는 값들로 결정될 수 있다.
Figure pat00009
(ew: 단일객체 그룹 내의 높이 오차값 , Na: 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 수, hi: 단일객체 그룹 내 실제 전경 객체의 높이, (ph1+ph2×yPh3): 수학식8을 통해 추정된 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 높이)
단일객체 결과부(272)는 단일객체 추정값 산출부(270)에서 면적, 너비 및 높이가 산출된 단일객체에 대한 단일객체 결과정보를 생성한다.
단일객체 선정부(280)는 단일객체 결과부(272)에서 생성된 단일객체 결과정보에 근거하여 단일객체에 대한 단일 전경영상을 생성하고, 단일객체에 대한 전경영상 중 적어도 하나 이상의 단일 전경객체를 선정한다. 여기서, 단일 전경객체는 관리자의 조작에 따른 입력을 통해 선정되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 단일객체의 크기를 기 설정된 기준 크기값 범위에 해당하는 경우, 단일 전경객체로 선정할 수도 있다.
고유벡터 추출부(282)는 단일객체 선정부(280)에서 선정된 단일 전경객체에 대한 고유벡터를 추출하는 동작을 수행한다. 여기서, 고유벡터는 단일 전경객체에 대한 화소들의 주방향과 일치하는 특징을 갖는 제1 고유벡터 및 제1 고유벡터에 수직한 방향의 제2 고유벡터를 포함한다. 여기서, 주방향은 단일객체의 높이와 평행한 방향을 의미한다.
고유벡터 추출부(280)는 공분산 행렬을 이용하여 고유벡터를 계산할 수 있다. 여기서, 공분산 행렬은 두 개의 확률변수의 상관정도를 나타내는 값으로서, 본 실시예에 따른 공분산 행렬(C)를 수학식 10을 이용하여 계산할 수 있다.
Figure pat00010
(C: 공분산 행렬, M: 단일 전경객체 내의 화소수, Xi: 단일 전경객체 내의 i 번째 화소의 좌표에 대한 2차원 벡터, m: 단일 전경객체 내의 화소의 무게중심의 좌표에 대한 2차원 벡터)
이러한, 수학식 10을 통해 계산된 공분산 행렬(C)에 대해서 C·x = λ·x(λ는 C의 고유값(Eigenvalue))를 만족하는 x를 단일 전경객체에 대한 고유벡터(Eigenvector)로 계산하여 추출할 수 있다. 여기서, 고유벡터는 단일 전경객체에 대한 화소들의 주방향과 일치하는 특징이 있으며, 2차원 벡터를 이용하여 서로 수직한 두 개의 벡터로 구성된다.
소실점 위치산출부(284)는 단일 전경영상 내에서 각각의 단일 전경객체에 대한 고유벡터들이 만나는 하나의 소실점의 위치를 산출하는 동작을 수행한다.
본 실시예에 따른 소실점 위치산출부(284)는 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터와 고유벡터 추출부(280)에서 추출된 고유벡터 간의 각도를 계산하여 두 벡터 간의 사이 각도를 최소화 하는 임의의 한 점을 소실점 위치로 산출한다. 더 자세히 설명하자면, 촬영영상 내의 임의의 한점을 vz로 설정하고, 임의의 i 번째 단일 전경객체의 무게중심을 mi라고 설정하면, 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터는 (vz-mi)로 나타낼 수 있다. 이러한 기준벡터(vz-mi)를 고유벡터 추출부(280)에서 추출된 고유벡터 ei와의 사이각을 계산하여 두 벡터 (vz-mi) 및 ei 간의 각도를 최소화하는 임의의 점 vz를 소실점으로 판단한다.
소실점 위치산출부(284)는 전술한 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터와 단일 전경객체에 대한 고유벡터 간의 각도 차이를 최소화하는 각도 차이값(e2)을 계산하는 식은 수학식 11과 같다.
Figure pat00011
(ε2: 기준벡터 및 고유벡터의 사이 각도의 오차값, θ: 기준벡터 및 고유벡터의 사이 각도, vz: 촬영 영상 내 임의의 점, (vz-mi): 기준벡터, ei: 고유벡터)
이러한, 기준벡터와 고유벡터 간에 각도가 0에 가깝도록 하는 수학식 11은 비선형 최적화 방법(Nonlinear Optimization Method)를 통해 구할 수 있으며, 본 실시예에 따른 소실점 위치산출부(284)는 Nelder & Mead의 심플렉스법(Simplex Method)을 이용하여 비선형 최적화를 수행하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
기울기 확인부(286)는 소실점 위치산출부(284)에서 산출된 소실점을 이용하여 각각의 단일 전경객체의 기울어진 정보 즉, 단일 전경객체의 자세를 확인하여 확인된 객체의 크기를 교정하는 동작을 수행한다.
본 실시예에 따른 기울기 확인부(286)는 단일 전경객체가 기울어진 정도를 확인하여 해당 객체의 최소 경계사각형의 기울기를 조정하고, 실제 객체의 크기와 유사하도록 최소 경계사각형의 크기를 교정한다.
통신부(288)는 기울기 확인부(286)에서 단일 전경객체에 대한 최소 경계사각형의 조정된 기울기 및 교정된 크기를 표시하여 디스플레이하도록 모니터링 장치(150)에 전송하는 동작을 수행한다.
도 3은 본 실시예에 따른 영상 감시장치가 단일객체를 검출하는 동작을 설명하기 위한 순서도이다.
영상 감시장치(120)는 영상 촬영장치(110)로부터 촬영된 촬영영상 또는 기 촬영되어 저장된 촬영영상을 획득한다(S310).
영상 감시장치(120)는 소정의 기준에 따라 촬영영상 내의 화소에 대한 화소값을 확인한다(S320).
영상 감시장치(120)는 단계 S320에서 확인된 화소값에 근거하여 움직이지 않는 배경에 대한 배경 화소 및 움직이는 객체에 대한 전경 화소를 분리한다(S322). 여기서, 영상 감시장치(120)는 이전 촬영영상에 근거하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 획득한 촬영영상을 배경 모델과 비교하여 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하여 분리한다.
영상 감시장치(120)는 단계 S322에서 분리된 전경 화소에 대한 좌표값 및 전경 객체의 화소수를 측정하여 전경 객체정보를 생성한다(S330). 여기서 영상 감시장치(120)는 기 설정된 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 전경 화소에 대한 좌표값을 측정할 수도 있다.
영상 감시장치(120)는 객체정보가 소정의 시간 및 정보량에 근거하여 객체 감지에 사용 가능한지 여부를 판단한다(S340).
단계 S340을 확인한 결과, 객체정보가 기 설정된 기준정보에 해당하는 경우, 영상 감시장치(120)는 객체정보에 대한 히스토그램을 이용하여 전경객체에 대한 노이즈를 제거하고(S350), 객체정보에 포함된 좌표값을 이용하여 전경객체에 대한 노이즈를 제거한다(S352).
영상 감시장치(120)는 객체정보을 이용하여 전경 객체의 특징을 추출하여 2 개의 그룹으로 군집화한다(S360).
영상 감시장치(120)는 단계 S360에서 군집화된 2 개의 그룹 중 단일객체 그룹을 판단하고, 단일객체에 대한 단일객체 정보를 검출한다(S370). 여기서, 영상 감시장치(120)는 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수를 실제 전경 객체의 화소수와 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹으로 판단하고, 단일객체에 대한 단일객체정보를 검출한다.
영상 감시장치(120)는 단일객체 정보를 이용하여 단일객체의 크기를 추정하기 위한 소정의 함수를 생성한다(S380). 영상 감시장치(120)는 단일객체 정보를 비선형 최적화하여 소정의 비선형 함수를 생성할 수 있다.
영상 감시장치(120)는 단일객체 정보를 이용하여 단일객체에 대한 면적, 너비 및 높이를 산출한다(S382). 여기서, 영상 감시장치(120)는 소정의 비선형 함수를 이용하여 단일객체의 면적값 및 단일객체의 크기에 대한 너비 및 높이를 산출할 수 있다.
영상 감시장치(120)는 단계 S382에서 산출된 단일객체에 대한 면적, 너비 및 높이를 이용하여 단일객체의 크기를 추정한다(S390). 여기서, 추정된 단일객체의 크기는 모니터링 장치(150)를 이용하여 사각형의 형태로 부각하여 디스플레이될 수도 있다.
도 3에서는 단계 S310 내지 단계 S390를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S390 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 단일객체의 기울기를 추정하여 영상을 감시하는 방법을 설명하기 위한 순서도이다.
영상 감시장치(120)는 복수 개의 단일객체 중 소정의 단일객체를 단일 전경객체로 선정한다(S410). 여기서, 영상 감시장치(120)는 단일객체의 면적, 너비 및 높이 중 적어도 하나 이상의 측정값을 이용하여 추정된 단일객체의 크기를 기 설정된 기준 크기값과 비교하여 초과 또는 미만에 해당되는 경우 단일 전경객체로 선정할 수도 있다.
영상 감시장치(120)는 단일 전경객체에 대한 고유벡터를 추출한다(S420). 기서, 고유벡터는 단일 전경객체에 대한 화소들의 주방향과 일치하는 특징을 갖는 제1 고유벡터 및 제1 고유벡터에 수직한 방향의 제2 고유벡터를 포함한다. 여기서, 주방향은 단일객체의 높이와 평행한 방향을 의미한다.
영상 감시장치(120)는 단계 S420에서 추출된 고유벡터를 이용하여 소실점의 위치를 산출한다(S430). 여기서, 영상 감시장치(120)는 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준 벡터와 단계 S420에서 추출된 고유벡터 간의 각도를 계산하여 두 벡터 간의 사이 각도를 최소화하는 임의의 한 점을 소실점 위치로 산출한다.
영상 감시장치(120)는 단일 전경객체의 무게중심, 고유벡터 및 소실점의 위치에 근거하여 단일 전경객체의 기울어진 정도를 확인한다(S440).
영상 감시장치(120)는 단계 S440에서 확인된 기울어진 정도에 근거하여 단일 전경객체의 최소 경계사각형을 기울기 및 크기를 교정하여 표시하도록 모니터링 장치(150)에 전송한다(S450).
도 4에서는 단계 S410 내지 단계 S450를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S450 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4은 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 실시예에 따른 영상 감시장치가 촬영영상을 전경 화소 및 배경 화소로 분리하는 동작을 설명하기 위한 예시도이다.
도 4에 도시된 바와 같이 (a)는 영상 감시장치(120)가 영상 촬영장치(110)로부터 수신된 촬영영상을 나타내고, (b)는 영상 감시장치(120)에서 촬영영상의 화소 중 배경 화소를 제거한 후, 전경 화소만을 이용하여 생성된 전경 영상을 나타낸다.
예를 들어, (a)는 도심의 인도에 설치된 CCTV로 촬영된 영상으로 다수의 행인들이 걷는 영상을 나타낸다. 여기서, 제1 객체(510)는 혼자 걷고 있는 행인을 의미하고, 제2 객체(520)는 인접하여 함께 걷고 있는 두 명의 행인을 의미한다. 이러한 제1 객체(510) 및 제2 객체(520)는 전경 영상으로 분리된 영상인 (b)에서는 제1 전경객체(530) 및 제2 전경객체(540)로 표시될 수 있다. 여기서, 제1 전경객체(530)는 영상 감시장치(120)를 군집화를 통해 단일객체로 판별되어 좌표값 및 화소수를 측정하고, 제2 전경객체(540)는 영상 감시장치(120)를 군집화를 통해 단일객체가 아닌 것으로 판단되어 단일객체에서 제외될 수 있다.
도 6은 본 실시예에 따른 영상 감시장치에 포함된 노이즈 제거부가 전경 화소에 대한 히스토그램을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 예시도이다.
본 실시예에 따른 노이즈 제거부(240)는 전경 객체에 대한 전경 객체정보를 이용하여 면적 히스토그램을 생성하고, 생성된 히스토그램 데이터에서 면적의 크기가 기 설정된 범위 내에 포함되거나 소정의 기준값 미만에 해당하는 경우(예컨대, 최하위 5 % 미만), 해당하는 전경 객체정보(610)를 노이즈로 판단하여 제거한다.
도 6에 도시된 바와 같이, 그래프의 x 축은 객체의 크기(면적)를 나타내고, y 축은 발생빈도를 나타낸다. 예컨대, 노이즈 제거부(240)는 전경 영상에서 영상을 촬영, 변환, 분리 및 보정 등과 같이 영상을 처리하는 과정에서 잡음으로 인해 생기는 작은 노이즈를 제거할 수 있다.
도 7은 본 실시예에 따른 영상 감시장치가 군집화를 통해 단일객체를 판단하는 동작을 설명하기 위한 예시도이다.
도 7에 도시된 바와 같이 전경 영상 내에 전경객체 1(710), 전경객체 2(720), 전경객체 3(730) 및 전경객체 4(740)가 존재하는 경우, 영상 감시장치(120)는 기 설정된 군집화 기법을 이용하여 2 개의 그룹으로 구분한다. 여기서, 2 개의 그룹 중 하나는 단일객체에 대한 그룹을 말하고, 다른 하나는 하나 이상의 객체에 대한 그룹을 의미한다. 예컨대, 전경객체 1(710) 및 전경객체 2(720)는 단일객체 그룹에 포함될 수 있고, 전경객체 3(730) 및 전경객체 4(740)는 복수객체 그룹에 포함될 수 있다. 여기서, 영상 감시장치(120)는 단일객체 그룹에 포함된 전경객체 1(710) 및 전경객체 2(720)에 대한 단일객체 정보만을 이용하여 단일객체의 면적을 산출하여 모니터링 장치(150)를 통해 출력할 수 있다.
도 8은 본 실시예에 따른 영상 감시장치에서 단일객체를 검출하기 위해 전경 화소에 대한 군집화 결과를 나타낸 그래프이다.
도 8 도시된 그래프는 영상 감시장치(120)에서 전경 영상 내에 포함된 전경 화소를 K-평균 군집화 기법을 이용하여 두 개의 그룹으로 군집화한 결과를 나타낸 그래프로서, 두 개의 그룹 중 하나의 그룹은 "◆"로 표시되어 있고, 나머지 하나의 그룹은 "×"로 표시되어 있다.
도 8에 도시된 바와 같이, 영상 감시장치(120)는 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수를 실제 전경 객체의 화소수와 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹(810)으로 판단할 수 있다.
도 9는 본 실시예에 따른 영상 감시장치에서 단일객체의 면적을 산출하는 동작을 설명하기 위한 그래프이다.
도 9에 도시된 그래프는 영상 감시장치(120)에서 단일객체 정보를 비선형 최적화를 이용하여 소정의 비선형 함수(910)를 추정한 결과를 나타낸 그래프로서, 단일객체 정보에 대한 모든 정보는 "○"로 표시되어 있고, 소정의 비선형 함수(910)에 대응되는 단일객체의 면적값에 해당하는 정보는 "·"로 표시되어 있다.
영상 감시장치(120)는 소정의 비선형 함수(910)에 근거하여 단일객체의 크기에 대한 너비 및 높이를 산출할 수도 있다.
도 10은 본 실시예에 따른 영상 감시장치에서 단일객체에 대한 크기를 추정하여 단일객체를 검출한 영상을 나타낸 예시도이다.
도 10에 나타난 바와 같이, 영상 감시장치(120)에서 각각의 단일객체에 대하여 산출된 면적값, 너비 및 높이 등을 이용하여 단일객체를 표시하여 디스플레이된 영상을 나타낸다. 여기서, 단일객체는 도 10에 도시된 바와 같이 단일객체의 너비 및 높이를 이용하여 사각형 형태로 부가되어 표시될 수 있다.
도 11은 본 실시예에 따른 영상 감시장치에서 단일 전경객체에 대한 전경 영상을 나타낸 예시도이다.
도 11에 도시된 바와 같이 (a)는 영상 감시장치(120)가 영상 촬영장치(110)로부터 획득한 촬영영상을 나타내고, (b)는 영상 감시장치(120)에서 단일객체에 해당하는 단일 전경객체를 추출한 단일 전경영상을 나타낸다.
예를 들어, (b)에서는 제1 단일 전경객체(1110) 및 제2 단일 전경객체(1120)로 표시될 수 있다. 여기서, 제1 단일 전경객체(1110) 및 제2 단일 전경객체(1120)는 영상 감시장치(120)에서 군집화를 통해 면적, 너비 및 높이가 추정된 단일객체 중 선정된 단일 전경객체일 수도 있다.
도 12는 본 실시예에 따른 영상 감시장치가 소정의 단일 전경객체에 대한 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
본 실시예에 따른 영상 감시장치(120)에서 선정된 제1 단일 전경객체(1110)는 공분산 행렬을 이용하여 추출된 제1 고유벡터(1210) 및 제2 고유벡터(1220)를 갖는다. 여기서, 제1 고유벡터(1210)는 제1 단일 전경객체(1110)의 높이에 평행한 주방향과 동일한 방향을 나타내는 벡터이고, 제2 고유벡터(1220)는 제1 고유벡터(1210)과 수직을 이루는 벡터를 의미한다.
영상 감시장치(120)는 영상 내의 임의의 한점(1230)을 제1 단일 전경객체(1110)의 무게중심(1240)과 연결하여 나타낸 기준벡터(1250)와 제1 고유벡터(1210) 간의 사이 각도(1230)를 소정의 오차 함수로 계산하여 사이 각도(1230)가 최소가 되는 임의의 한점(1230)을 단일 전경객체의 소실점으로 판단한다.
도 13은 본 실시예에 따른 영상 감시장치가 단일 전경객체의 고유벡터를 이용하여 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
영상 감시장치(120)에서 각각의 객체에 대한 기울기를 추정하는 데 있어서, 도 13은 복수 개의 단일 전경객체(1310, 1320)의 고유벡터와 소실점과 각각의 단일 전경객체의 무게중심을 연결한 기준벡터를 나타낸다.
도 14는 본 실시예에 따른 영상 감시장치가 단일 전경객체에 대한 기울기를 추정하여 크기를 교정하여 출력한 결과영상을 나타낸 예시도이다.
영상 감시장치(120)가 각각의 단일 전경객체에 대한 무게중심, 고유벡터 및 소실점의 위치를 이용하여 단일 전경객체가 기울어진 정도 즉, 단일 전경객체의 자세를 확인하여 확인된 객체의 크기를 교정하는 동작을 수행한다.
도 14에 도시된 바와 같이, 단일 전경객체가 기울어진 정도를 확인하여 해당 객체의 최소 경계사각형의 기울기를 조정하고, 실제 객체의 크기와 유사하도록 최소 경계사각형의 너비 및 높이를 조정하여 크기를 교정하여 표시할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예은 분야에 적용되어, 객체가 카메라 화각 또는 각도로 인해 영상에서 수직방향이 아닌 기울어진 형태로 나타나는 경우에도 객체의 자세, 즉 기울어진 정도를 자동으로 알아낼 수 있는 효과를 발생하는 유용한 발명이다.
110: 영상 촬영장치 120: 영상 감시장치
130: 영상정보 처리부 140: 단일객체 검출부
142: 기울기 추정부 150: 모니터링 장치
210: 영상 수신부 220: 전경 배경 분리부
230: 전경 객체정보 생성부 240: 노이즈 제거부
250: 군집화부 260: 단일객체 정보 검출부
270: 단일객체 추정값 산출부 272: 단일객체 결과부
280: 단일객체 선정부 282: 고유벡터 추출부
284: 소실점 위치 산출부 286: 기울기 확인부
288: 통신부

Claims (11)

  1. 획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 단일객체를 선정하는 단일객체 선정부;
    상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성부;
    상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출부;
    상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출부; 및
    상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형(Bounding Box)의 기울기를 교정하는 기울기 확인부
    를 포함하는 것을 특징으로 하는 영상 감시장치.
  2. 제 1 항에 있어서,
    상기 고유벡터 추출부는,
    공분산 행렬을 이용하여 상기 고유벡터를 계산하되, 상기 공분산 행렬은,
    Figure pat00012

    (C: 공분산 행렬, M: 단일 전경객체 내의 화소수, Xi: 단일 전경객체 내의 i 번째 화소의 좌표에 대한 2차원 벡터, m: 단일 전경객체 내의 화소의 무게중심의 좌표에 대한 2차원 벡터)
    의 수학식을 적용하는 것을 특징으로 하는 영상 감시장치.
  3. 제 2 항에 있어서,
    상기 고유벡터는,
    상기 공분산 행렬에 2차원 벡터를 사용하여 적어도 2개의 벡터를 포함하여 추출되는 것을 특징으로 하는 영상 감시장치.
  4. 제 3 항에 있어서,
    상기 고유벡터는,
    상기 단일 전경객체의 높이와 평행한 방향의 제1 고유벡터를 포함하고, 상기 제1 고유벡터와 수직한 제2 고유벡터를 추가로 포함하는 것을 특징으로 하는 영상 감시장치.
  5. 제 1 항에 있어서,
    상기 소실점 위치산출부는,
    상기 기준벡터와 상기 고유벡터 간에 상기 각도를 오차 함수에 적용하여 오차가 최소인 상기 소정의 한점을 상기 소실점으로 판단하는 것을 특징으로 하는 영상 감시장치.
  6. 제 5 항에 있어서,
    상기 소실점 위치산출부에서,
    상기 각도의 오차를 계산하는 상기 오차함수는,
    Figure pat00013

    (ε2: 기준벡터 및 고유벡터의 사이 각도의 오차값, θ: 기준벡터 및 고유벡터의 사이 각도, vz: 촬영 영상 내 임의의 점, (vz-mi): 기준벡터, ei: 고유벡터)
    의 수학식을 적용하는 것을 특징으로 하는 영상 감시장치.
  7. 제 5 항에 있어서,
    상기 소실점 위치산출부는,
    상기 영상 내의 전체 또는 일부의 화소를 반복하여 상기 소정의 한 점으로 설정하여 상기 소실점의 위치를 산출하는 것을 특징으로 하는 영상 감시장치.
  8. 제 1 항에 있어서,
    상기 기울기 확인부는,
    상기 단일 전경객체의 상기 확인된 기울어진 정도를 이용하여 상기 최소 경계사각형의 기울기를 교정하되, 기 저장된 상기 단일객체에 대한 면적, 너비 및 높이 중 적어도 하나 이상의 추정값에 근거하여 상기 단일 전경객체에 대한 상기 최소 경계사각형의 너비 및 높이를 조정하여 상기 단일 전경객체의 크기를 교정하는 것을 특징으로 하는 영상 감시장치.
  9. 제 1 항에 있어서,
    상기 단일 전경영상 생성부는,
    복수 개의 영상을 이용하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 상기 단일객체 선정부에서 획득한 상기 영상을 상기 배경 모델과 비교하여 상기 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하고, 상기 전경 화소를 이용하여 상기 단일 전경영상을 생성하는 것을 특징으로 하는 영상 감시장치.
  10. 제 1 항에 있어서,
    상기 단일객체 선정부는,
    상기 단일객체의 면적, 너비 및 높이 중 적어도 하나 이상의 측정값을 이용하여 추정된 상기 단일객체의 크기를 기 설정된 기준 크기값 범위에 해당하는 경우 단일 전경객체로 선정하는 것을 특징으로 하는 영상 감시장치.
  11. 영상 감시장치가 영상 내의 단일객체의 기울기를 측정하는 방법에 있어서,
    획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 상기 단일객체를 선정하는 단일객체 선정과정;
    상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성과정;
    상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출과정;
    상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출 과정; 및
    상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형의 기울기 및 크기를 교정하는 기울기 확인과정
    을 포함하는 것을 특징으로 하는 영상 감시방법.
KR1020120112115A 2012-10-09 2012-10-09 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 Active KR101618814B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120112115A KR101618814B1 (ko) 2012-10-09 2012-10-09 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
CN201380052846.3A CN104781848B (zh) 2012-10-09 2013-10-10 用于估计单体的倾斜度的图像监测装置及其方法
PCT/KR2013/009068 WO2014058248A1 (ko) 2012-10-09 2013-10-10 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
US14/682,841 US9311719B2 (en) 2012-10-09 2015-04-09 Image monitoring apparatus for estimating gradient of singleton, and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120112115A KR101618814B1 (ko) 2012-10-09 2012-10-09 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140045854A true KR20140045854A (ko) 2014-04-17
KR101618814B1 KR101618814B1 (ko) 2016-05-09

Family

ID=50477643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120112115A Active KR101618814B1 (ko) 2012-10-09 2012-10-09 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법

Country Status (4)

Country Link
US (1) US9311719B2 (ko)
KR (1) KR101618814B1 (ko)
CN (1) CN104781848B (ko)
WO (1) WO2014058248A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700405A (zh) * 2015-03-05 2015-06-10 苏州科达科技股份有限公司 一种前景检测方法和系统
KR101880693B1 (ko) * 2017-02-28 2018-07-23 경희대학교 산학협력단 인체의 동작 정보를 이용하여 푸시오프 각도를 계산하는 장치 및 방법
US10163000B2 (en) 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point
WO2023127995A1 (ko) * 2021-12-29 2023-07-06 한국전자기술연구원 회전형 바운딩박스 기반 객체 검출 딥러닝 네트워크

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640527B1 (ko) * 2012-10-09 2016-07-18 에스케이 텔레콤주식회사 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR102267871B1 (ko) * 2014-09-03 2021-06-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10769409B2 (en) * 2015-04-21 2020-09-08 Purdue Research Foundation Culture detection and measurement over time
CN106067031B (zh) * 2016-05-26 2019-05-24 北京新长征天高智机科技有限公司 基于人工纠错机制与深度学习网络协作机器视觉识别系统
JP2018060360A (ja) * 2016-10-05 2018-04-12 日本電信電話株式会社 人数推定方法、人数推定装置、人数推定プログラム、及び記録媒体
KR102579994B1 (ko) * 2016-10-24 2023-09-18 삼성에스디에스 주식회사 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치
EP3494694A4 (en) * 2016-12-20 2019-08-21 Samsung Electronics Co., Ltd. ADVERTISING APPROACH AND RELATED DISPLAY METHOD
CN106679671B (zh) * 2017-01-05 2019-10-11 大连理工大学 一种基于激光数据的导航标识图识别方法
US10535142B2 (en) * 2017-01-10 2020-01-14 Electronics And Telecommunication Research Institute Method and apparatus for accelerating foreground and background separation in object detection using stereo camera
KR102486986B1 (ko) * 2017-05-04 2023-01-10 한화테크윈 주식회사 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN109214389B (zh) * 2018-09-21 2021-09-28 上海小萌科技有限公司 一种目标识别方法、计算机装置及可读存储介质
JP7423951B2 (ja) * 2019-09-19 2024-01-30 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
CN111144426B (zh) * 2019-12-28 2023-05-30 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质
CN111932608A (zh) * 2020-06-19 2020-11-13 广州图匠数据科技有限公司 一种基于消失点检测的单目零售货架姿态估计方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408428B1 (en) * 1999-08-20 2002-06-18 Hewlett-Packard Company Automated design of processor systems using feedback from internal measurements of candidate systems
US7142727B2 (en) * 2002-12-17 2006-11-28 Xerox Corporation Non-iterative method of calculating image skew
GB0326375D0 (en) * 2003-11-12 2003-12-17 British Telecomm Object tracking within video images
KR100888751B1 (ko) * 2006-08-24 2009-03-17 연세대학교 산학협력단 객체 인식 장치 및 방법
KR100847143B1 (ko) * 2006-12-07 2008-07-18 한국전자통신연구원 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법
KR100855631B1 (ko) * 2006-12-26 2008-09-01 (주)엔토시스 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
KR100918706B1 (ko) * 2007-03-20 2009-09-22 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
JP5103665B2 (ja) 2008-10-24 2012-12-19 国立大学法人広島大学 物体追跡装置および物体追跡方法
CN101930612A (zh) * 2009-09-23 2010-12-29 上海电力学院 基于变形垂足曲线的人脸轮廓提取方法
KR101035291B1 (ko) * 2009-12-18 2011-05-18 전남대학교산학협력단 관절모델ｄｂ을 이용한 포즈인식 시스템
CN101936900A (zh) * 2010-06-12 2011-01-05 北京中科卓视科技有限责任公司 一种基于视频的能见度检测系统
US9041817B2 (en) 2010-12-23 2015-05-26 Samsung Electronics Co., Ltd. Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163000B2 (en) 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
CN104700405A (zh) * 2015-03-05 2015-06-10 苏州科达科技股份有限公司 一种前景检测方法和系统
CN104700405B (zh) * 2015-03-05 2017-11-28 苏州科达科技股份有限公司 一种前景检测方法和系统
KR101880693B1 (ko) * 2017-02-28 2018-07-23 경희대학교 산학협력단 인체의 동작 정보를 이용하여 푸시오프 각도를 계산하는 장치 및 방법
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point
WO2023127995A1 (ko) * 2021-12-29 2023-07-06 한국전자기술연구원 회전형 바운딩박스 기반 객체 검출 딥러닝 네트워크

Also Published As

Publication number Publication date
US20150213624A1 (en) 2015-07-30
CN104781848B (zh) 2017-05-24
CN104781848A (zh) 2015-07-15
WO2014058248A1 (ko) 2014-04-17
KR101618814B1 (ko) 2016-05-09
US9311719B2 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
KR101618814B1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN105095905B (zh) 目标识别方法和目标识别装置
US9098911B2 (en) Depth map generation from a monoscopic image based on combined depth cues
EP2959454B1 (en) Method, system and software module for foreground extraction
JP6125188B2 (ja) 映像処理方法及び装置
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
KR101035055B1 (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
KR101953626B1 (ko) 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
US12131485B2 (en) Object tracking device and object tracking method
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
CN105279772B (zh) 一种红外序列图像的可跟踪性判别方法
JP5271227B2 (ja) 群衆監視装置および方法ならびにプログラム
CN108182381B (zh) 基于快速Adaboost训练算法的自动扶梯乘客检测方法
US20120155707A1 (en) Image processing apparatus and method of processing image
KR20160037643A (ko) 객체 인식을 위한 객체 후보영역 설정방법 및 장치
KR20130058286A (ko) 보행자 검출기의 보행자 검출 방법
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
US9478032B2 (en) Image monitoring apparatus for estimating size of singleton, and method therefor
JP2015148895A (ja) 物体数分布推定方法
JP5864230B2 (ja) 物体検出装置
CN103337076B (zh) 视频监控目标出现范围确定方法和装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 10

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R11 Change to the name of applicant or owner or transfer of ownership requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R11-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

R14 Transfer of ownership recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R14-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)