[go: up one dir, main page]

KR101784611B1 - 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법 - Google Patents

라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법 Download PDF

Info

Publication number
KR101784611B1
KR101784611B1 KR1020160071664A KR20160071664A KR101784611B1 KR 101784611 B1 KR101784611 B1 KR 101784611B1 KR 1020160071664 A KR1020160071664 A KR 1020160071664A KR 20160071664 A KR20160071664 A KR 20160071664A KR 101784611 B1 KR101784611 B1 KR 101784611B1
Authority
KR
South Korea
Prior art keywords
sensor
radar sensor
region
radar
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160071664A
Other languages
English (en)
Inventor
이종훈
이진희
권성경
현유진
손상혁
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020160071664A priority Critical patent/KR101784611B1/ko
Priority to US15/618,662 priority patent/US10782399B2/en
Application granted granted Critical
Publication of KR101784611B1 publication Critical patent/KR101784611B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법이 개시된다. 라이다 센서 및 레이더 센서를 이용한 사람 탐지 방법은 오브젝트를 탐색하고자 하는 탐색 영역에 대한 라이다 데이터 및 레이더 데이터를 수집하는 단계; 상기 수집된 라이다 데이터 및 레이더 데이터에 기초하여 상기 탐색 영역 내에 존재하는 오브젝트를 각각 추출하는 단계; 상기 각각 추출된 오브젝트에 기초하여 상기 라이다 센서 및 상기 레이더 센서에 대해 사람이 존재할 것으로 예상되는 관심 영역을 각각 설정하는 단계; 상기 각각 설정된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교하는 단계; 및 상기 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교한 결과에 기초하여 상기 추출된 오브젝트가 사람인지의 여부를 판단하는 단계를 포함할 수 있다.

Description

라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법{A HUMAN DETECTING APPARATUS AND METHOD USING A LIDAR SENSOR AND A RADAR SENSOR}
본 발명은 라이다 센서 및 레이더 센서를 이용하여 부분적으로 가려진 사람을 탐지하기 위한 방법으로 알고리즘의 계산 량을 최소화하여 라이다 센서 및 레이더 센서를 통해 추출된 오브젝트가 사람인지의 여부를 판단하는 장치 및 방법에 관한 것이다.
기존의 사람 탐지 방법은 주로 라이다 센서와 카메라를 사용한다. 그러나 라이다 센서는 탐지하는 대상의 색깔을 인지하기 어려운 단점이 있고, 카메라는 빛의 밝기 변화에 민감하고, 처리 시간이 길다는 단점이 있다.
또한 라이다 센서와 카메라를 융합하여 사람을 탐지하는 방법은 대상을 정확히 분류하지만 센서들이 빛에 민감하게 반응하여 상황에 따라 탐지 정확도가 다르게 나타날 수 있는 문제가 발생한다. 그리고 부분적으로 가려져 있는 물체를 탐지할 때는 탐지 정확도가 매우 낮으며 긴 처리시간이 요구된다.
반면 레이더 센서는 대상의 색깔과 종류를 구분하지 못하고 좁은 탐지 범위를 가지는 단점이 있다. 또한 레이더 센서와 카메라를 융합하여 사람을 탐지하는 방법은 탐지 대상의 정확한 위치를 얻기 힘들고 좁은 탐지 범위를 가지며, 야간에 활용되기 어려운 문제가 발생한다.
본 발명은 라이다 센서와 레이더 센서를 융합한 사람 탐지 장치를 이용함으로써 라이다 센서의 처리 시간과 연산 량을 줄이고, 부분적으로 가려진 사람을 탐지하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 사람 탐지 방법은 오브젝트를 탐색하고자 하는 탐색 영역에 대한 라이다 데이터 및 레이더 데이터를 수집하는 단계; 상기 수집된 라이다 데이터 및 레이더 데이터에 기초하여 상기 탐색 영역 내에 존재하는 오브젝트를 각각 추출하는 단계; 상기 각각 추출된 오브젝트에 기초하여 상기 라이다 센서 및 상기 레이더 센서에 대해 사람이 존재할 것으로 예상되는 관심 영역을 각각 설정하는 단계; 상기 각각 설정된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교하는 단계; 및 상기 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교한 결과에 기초하여 상기 추출된 오브젝트가 사람인지의 여부를 판단하는 단계를 포함할 수 있다.
상기 설정하는 단계는 상기 라이다 데이터에 기초하여 추출된 오브젝트에 대해 그림자 영역을 생성하는 단계를 더 포함할 수 있다.
상기 설정하는 단계는 상기 라이다 센서의 관심영역에 대한 횡방향 크기는 상기 라이다 센서의 고유한 정확도에 의해 결정된 일정한 크기로 설정하고, 종방향 크기는 상기 라이더 센서와 타겟 간의 상대적인 거리에 따라서 가변적으로 설정할 수 있다.
상기 설정하는 단계는 상기 레이더 센서의 관심영역에 대한 종방향 크기는 상기 레이더 센서의 고유한 정확도에 의해 결정된 일정한 크기로 설정하고, 횡방향 크기는 상기 레이더 센서와 타겟 간의 상대적인 거리에 따라서 가변적으로 설정할 수 있다.
상기 비교하는 단계는 상기 각각 생성된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역이 서로 중첩되는 부분이 존재할 경우, 상기 레이더 데이터를 이용하여 상기 레이더 센서와 상기 오브젝트 간 거리 정보를 추출하고, 상기 라이다 데이터를 이용하여 상기 라이다 센서에 대해 상기 오브젝트가 위치한 수평 각도 정보를 추출하여 상기 오브젝트에 대한 관심 영역의 위치를 상기 라이다 센서의 디스플레이 상에 표시할 수 있다.
상기 비교하는 단계는 상기 각각 생성된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역이 서로 중첩되는 부분이 존재하지 않을 경우, 상기 라이다 센서의 그림자 영역과 상기 레이더 센서의 관심 영역을 비교하는 단계; 및 상기 라이다 센서의 그림자 영역에 상기 레이더 센서의 관심 영역이 포함되는 경우, 상기 레이더 센서의 관심 영역을 상기 라이다 센서의 디스플레이 상에 겹쳐서 표시하는 단계를 포함할 수 있다.
상기 설정하는 단계는 상기 레이더 데이터에 기초하여 추출된 오브젝트 중 움직이는 오브젝트를 분리하는 단계; 상기 분리된 움직이는 오브젝트 중 사람의 이동 속도와 거리에 따른 레이더 반사 면적을 고려하여 사람에 해당하는 오브젝트를 결정하는 단계; 및 상기 결정된 사람에 해당하는 오브젝트에 대해 관심 영역을 설정하는 단계를 포함하고, 상기 판단하는 단계는 상기 결정된 사람에 해당하는 오브젝트에 대한 관심 영역과 서로 중첩되는 상기 라이다 센서의 관심 영역 또는 그림자 영역에 포함된 오브젝트를 사람으로 판단할 수 있다.
상기 라이다 센서 및 레이더 센서의 초기 장착 위치에 의한 오프셋을 고려하여 상기 라이다 센서 및 레이더 센서로부터 수신된 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정하는 단계를 더 포함하고, 상기 수집하는 단계는 상기 좌표의 오차가 보정된 라이다 데이터 및 레이더 데이터를 수집할 수 있다.
본 발명의 일실시예에 따른 사람 탐지 장치는 오브젝트를 탐색하고자 하는 탐색 영역에 대한 라이다 데이터 및 레이더 데이터를 수집하는 수집부; 상기 수집된 라이다 데이터 및 레이더 데이터에 기초하여 상기 탐색 영역 내에 존재하는 오브젝트를 각각 추출하는 추출부; 상기 각각 추출된 오브젝트에 기초하여 상기 라이다 센서 및 상기 레이더 센서에 대해 사람이 존재할 것으로 예상되는 관심 영역을 각각 설정하는 설정부; 상기 각각 설정된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교하는 비교부; 및 상기 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교한 결과에 기초하여 상기 추출된 오브젝트가 사람인지의 여부를 판단하는 판단부를 포함할 수 있다.
상기 라이다 센서 및 레이더 센서의 초기 장착 위치에 의한 오프셋을 고려하여 상기 라이다 센서 및 레이더 센서로부터 수신된 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정하는 보정부를 더 포함하고, 상기 수집부는 상기 좌표의 오차가 보정된 라이다 데이터 및 레이더 데이터를 수집할 수 있다.
본 발명의 일실시예에 의하면, 라이다 센서와 레이더 센서를 융합한 사람 탐지 장치를 이용함으로써 라이다 센서의 처리 시간과 연산 량을 줄이고, 부분적으로 가려진 사람을 탐지할 수 있다.
도 1은 본 발명의 일실시예에 따른 사람 탐지 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 라이더 센서를 통해 측정된 오브젝트의 영상의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 사람 탐지 장치가 수행하는 사람 탐지 방법을 순서대로 나타낸 플로우챠트를 도시한 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 사람 탐지 장치를 도시한 도면이다.
본 발명의 일실시예에 따른 사람 탐지 장치(100)는 보정부(101), 수집부(102), 추출부(103), 설정부(104), 비교부(105) 및 판단부(106)로 구성될 수 있다. 먼저 보정부(101)는 라이다 센서(110) 및 레이더 센서(120)의 초기 장착 위치에 의한 오프셋을 고려하여 라이다 센서(110) 및 레이더 센서(120)로부터 수신된 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정할 수 있다.
일반적으로 라이다 센서(110)를 통해 획득할 수 있는 라이다 데이터는 직각 좌표계로 표시되고, 레이더 센서(120)를 통해 획득할 수 있는 레이더 데이터는 극 좌표계로 표시될 수 있다. 따라서, 본 발명과 같이 라이다 센서(110)와 레이더 센서(120)를 융합한 사람 탐지 장치를 이용하여 사람을 탐지하기 위해서는 레이더 센서(120)를 통해 획득되는 레이더 데이터를 라이다 데이터와 같이 직각 좌표계로 변환하여 표시해야 한다. 따라서, 보정부(101)는 극 좌표계를 직각 좌표계로 변환하는 방법을 포함할 수 있다. 이때, 라이다 센서(110)와 레이더 센서(120)는 사람 탐지 장치(100)에 포함되거나 별도로 존재할 수 있다.
그리고, 라이다 센서(110)와 레이더 센서(120)는 초기 장착된 위치에 따라 동일한 오브젝트를 탐지하더라도 획득 가능한 라이다 데이터와 레이더 데이터는 서로 다른 값을 가질 수 있다. 따라서, 보정부(101)는 라이다 센서(110)와 레이더 센서(120)가 초기 장착된 위치에 의한 오프셋을 고려하여 라이다 센서(110) 및 레이더 센서(120)로부터 수신된 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정할 수 있다.
이때, 보정부(101)는 라이다 센서(110)가 레이더 센서(120)에 비해 우수한 거리 정확도를 나타내기 때문에 라이다 센서(110)를 기준으로 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정할 수 있다. 다만, 보정부(101)는 라이다 센서(110)가 유효한 빛의 세기에 따른 동작 범위 내에서 동작할 경우에는 라이다 센서(110)를 기준으로 좌표의 오차를 보정하고, 그 이외의 경우에는 레이더 센서(120)를 기준으로 좌표의 오차를 보정할 수 있다.
수집부(102)는 오브젝트를 탐색하고자 하는 탐색 영역에 대한 라이다 데이터 및 레이더 데이터를 수집할 수 있다. 이때, 수집부(102)를 통해 수집되는 라이다 데이터 및 레이더 데이터는 라이다 센서(110)와 레이더 센서(120)의 초기 장착된 위치에 의한 오프셋을 고려하여 보정된 데이터일 수 있다.
이때, 라이다 센서(110)를 통해 수집되는 라이다 데이터는 동일한 오브젝트에 대해서 다중 산란 점이 존재하며, 레이더 센서(120)를 통해 수집되는 레이더 데이터는 동일한 오브젝트에 대해서 단일 산란 점이 존재한다.
추출부(103)는 수집된 라이다 데이터 및 레이더 데이터에 기초하여 탐색 영역 내에 존재하는 오브젝트를 각각 추출할 수 있다. 상기 탐색 영역에는 복수의 오브젝트가 존재할 수 있으며, 라이다 센서(110)의 경우 추출된 오브젝트의 후방에 위치한 다른 오브젝트를 감지할 수 없지만 레이더 센서(120)의 경우 추출된 오브젝트의 후방에 위치한 다른 오브젝트를 감지할 수 있다.
설정부(104)는 추출부(103)에 의해 각각 추출된 오브젝트에 기초하여 라이다 센서(110) 및 레이더 센서(120)에 대해 사람이 존재할 것으로 예상되는 관심 영역을 각각 설정할 수 있다. 먼저 설정부(104)는 수집된 라이다 데이터에 기초하여 추출된 오브젝트의 후방으로 그림자 영역을 생성할 수 있다. 그림자 영역은 탐색 영역 중 라이다 센서(110)가 출력하는 레이저 신호가 통과하지 않는 영역을 의미할 수 있다. 이후 설정부(104)는 수집된 라이다 데이터에 기초하여 추출된 오브젝트를 기반으로 라이다 데이터를 디스플레이 상에 이미지로 표현하기 위해 매핑된 오브젝트 맵을 생성하고, 추출된 오브젝트에 대응하는 직각 좌표에 기초하여 관심 영역을 설정할 수 있다. 이때, 설정되는 관심 영역은 수집된 라이다 데이터에 기초하여 사람이 존재할 것으로 예상되는 영역을 의미할 수 있다.
구체적으로 설정부(104)는 라이다 센서(110) 및 레이더 센서(120)에 대해 서로 다른 방식으로 관심 영역을 설정할 수 있다. 먼저 라이다 센서(110)의 경우 횡방향의 거리 정확도가 우수하다. 그러므로 설정부(104)는 관심 영역의 횡방향 크기를 라이다 센서(110)의 고유한 정확도 특성에 의해서 미리 결정된 일정한 크기로 설정할 수 있다. 그리고 설정부(104)는 관심 영역의 종방향의 크기를 라이다 센서(110)와 타겟간의 상대적인 거리(range)에 따라서 가변적으로 설정할 수 있다. 즉, 설정부(104)는 라이다 센서(110)와 타겟간의 상대적인 거리(range)에 따라서 관심 영역의 종방향 크기를 일정한 가중치를 두어 증가시킬 수 있다.
이와는 달리 레이더 센서(120)의 경우 종방향의 거리 정확도가 우수하다. 그러므로 설정부(104)는 관심 영역의 종방향 크기를 레이더 센서(120)의 고유한 정확도 특성에 의해서 미리 결정딘 일정한 크기로 설정할 수 있다. 그리고 설정부(104)는 관심 영역의 횡방향 크기를 레이더 센서(120)와 타겟간의 상대적인 거리에 따라서 가변적으로 설정할 수 있다. 즉, 설정부(104)는 레이더 센서(120)와 타겟간의 상대적인 거리에 따라서 관심 영역의 횡방향 크기를 일정한 가중치를 두어 증가시킬 수 있다.
다음으로 설정부(104)는 수신된 레이더 데이터에 기초하여 추출된 오브젝트의 속도를 기준으로 움직이는 오브젝트와 정지된 오브젝트로 분리할 수 있다. 이때, 설정부(104)는 움직이는 오브젝트 중에서 미리 설정된 기준에 따라서 사람에 해당하는 오브젝트에 대응하는 직각 좌표에 기초하여 관심 영역을 설정할 수 있다. 구체적으로 설정부(104)는 분리된 움직이는 오브젝트 중 사람의 이동 속도와 거리에 따른 레이더 반사 면적(Radar Cross Section, RCS)을 고려하여 사람에 해당하는 오브젝트를 결정하고, 결정된 사람에 해당하는 오브젝트에 대해 관심 영역을 설정할 수 있다.
비교부(105)는 각각 설정된 라이다 센서(110)의 관심 영역과 레이더 센서(120)의 관심 영역을 비교할 수 있다. 보다 구체적으로 비교부(105)는 각각 생성된 라이다 센서(110)의 관심 영역과 레이더 센서(120)의 관심 영역이 서로 중첩되는 경우, 레이더 데이터를 이용하여 레이더 센서(120)와 오브젝트 간 거리 정보를 추출할 수 있다. 또한 비교부(105)는 라이다 데이터를 이용하여 라이다 센서(110)에 대해 오브젝트가 위치한 수평 각도 정보를 추출할 수 있다.
이후 비교부(105)는 라이더 데이터 및 레이더 데이터를 이용하여 추출된 거리 정보와 수평 각도 정보에 기초하여 보다 정확한 관심 영역의 위치를 라이더 센서(110)의 디스플레이에 표시할 수 있다.
그러나 각각 생성된 라이다 센서(110)의 관심 영역과 레이더 센서(120)의 관심 영역이 서로 중첩되지 않는 경우, 비교부(105)는 라이다 센서(110)의 그림자 영역과 상기 레이더 센서(120)의 관심 영역을 비교할 수 있다. 이때, 만약 라이다 센서(110)의 그림자 영역에 레이더 센서(120)의 관심 영역이 포함되는 경우, 레이더 센서(120)의 관심 영역을 라이다 센서(110)의 디스플레이 상에 겹쳐서 표시함으로써 탐색 영역 내에 가려진 장애물이 존재한다는 사실을 표현할 수 있다.
판단부(106)는 라이다 센서(110)의 관심 영역과 레이더 센서(120)의 관심 영역을 비교한 결과에 기초하여 추출된 오브젝트가 사람인지의 여부를 판단할 수 있다. 구체적으로 판단부(106)는 설정부(104)를 통해 설정된 레이더 센서(120)의 관심 영역과 서로 중첩되는 라이다 센서(110)의 관심 영역 또는 그림자 영역에 포함된 오브젝트를 사람으로 판단할 수 있다.
도 2는 본 발명의 일실시예에 따른 라이더 센서를 통해 측정된 오브젝트의 영상의 예를 도시한 도면이다.
본 발명은 라이다 센서(110)와 레이더의 센서(120)를 융합한 사람 탐지 장치(100)를 이용하여 라이다 센서(110)의 처리 시간과 연산 양을 줄이고, 부분적으로 가려진 사람을 탐지하는 방법을 제안한다.
예를 들어, 3D 라이다 센서(110)는 수직각도 해상도(vertical angular resolution)에 따라 다수의 2D 라이다 채널로 구성될 수 있다. 이때, 3D 라이다 센서를 통해 획득한 라이다 데이터는 채널(각도) 별 거리 정보를 포함할 수 있다. 1D 레이더 센서(120)를 통해 획득한 레이더 데이터는 측정 시간, 오브젝트와의 거리 정보 및 속도 정보를 포함할 수 있다. 이때, 3D 라이다 센서(110)를 통해 측정된 거리 정보를 기반으로 오브젝트의 폭과 두께, 높이 정보를 획득할 수 있으며, 1D 레이더 센서(120)를 통해 획득한 레이더 데이터를 이용하여 오브젝트와의 거리 정보 및 속도 정보를 측정할 수 있다.
라이다 센서(110)는 빛을 방사하고, 방사된 빛이 오브젝트에 반사되어 돌아오는 시간을 이용하여 오브젝트와의 거리를 계산한다. 따라서 오브젝트가 다른 장애물에 의해 가려지는 경우 라이다 센서(110)를 이용하여 오브젝트를 탐지하는 것은 어려운 일이다. 이때, 어떤 장애물에 의해서 가려지는 영역은 그림자 영역이라 정의하며, 그림자 영역에는 측정하고자 하는 오브젝트가 존재할 수도 있고 존재하지 않을 수도 있다.
도 2의 (a)는 오브젝트가 장애물에 의해서 가려지지 않은 경우 라이더 센서(110)의 디스플레이 상에 표시되는 영상을 보여준다. 도 2의 (a)에서와 같이 탐색 영역 내에 복수의 오브젝트가 존재할 수 있으며 라이더 센서(110)를 통해 복수의 오브젝트를 추출할 수 있다. 이때, 디스플레이 상에 표시되는 점들은 복수의 오브젝트에 대응하는 라이다 데이터를 나타내고, 해당 점들을 포함하는 사각형은 관심 영역(Region Of Interest, ROI)을 나타낸다. 사람 탐지 장치(100)는 추출된 오브젝트의 후방으로 그림자 영역을 생성할 수 있는데 도 2의 (a)는 그림자 영역이 오브젝트에 대응하는 점들과 겹치지 않으므로 오브젝트가 장애물에 의해서 가려지지 않았다는 것을 알 수 있다.
그러나 이와는 달리 도 2의 (b)에서는 그림자 영역이 오브젝트에 대응하는 점들과 겹치는 것을 볼 수 있다. 즉, 도 2의 (b)의 경우는 오브젝트가 장애물에 의해서 가려졌다는 것을 알 수 있다.
본 발명은 이러한 라이다 센서(110)에 의한 그림자 영역을 이용하여 라이다 센서(110)의 처리 시간과 연산 량을 줄이고, 부분적으로 가려진 사람을 탐지하는 방법을 제공한다.
도 3은 본 발명의 일실시예에 따른 사람 탐지 장치가 수행하는 사람 탐지 방법을 순서대로 나타낸 플로우챠트를 도시한 도면이다.
단계(301)에서 사람 탐지 장치(100)는 라이다 센서(110)와 레이더 센서(120)를 초기화하여 이전 사람 탐지 과정에서 획득한 라이다 데이터 및 레이더 데이터를 초기화할 수 있다.
단계(302)에서 사람 탐지 장치(100)는 라이다 센서(110)를 통해 획득되는 라이다 데이터와 레이더 센서(120)를 통해 획득되는 레이더 데이터의 좌표계를 일치시킬 수 있다. 일반적으로 라이다 센서(110)를 통해 획득할 수 있는 라이다 데이터는 직각 좌표계로 표시되고, 레이더 센서(120)를 통해 획득할 수 있는 레이더 데이터는 극 좌표계로 표시될 수 있다. 따라서 본 발명에 따른 사람 탐지 장치(100)는 레이더 센서(120)를 통해 획득되는 레이더 데이터를 라이다 데이터와 같이 직각 좌표계로 변환할 수 있다.
단계(303)에서 사람 탐지 장치(100)는 라이다 센서(110)와 레이더 센서(120) 간 발생하는 좌표 오차를 보정할 수 있다. 구체적으로 라이다 센서(110)와 레이더 센서(120)는 초기 장착된 위치에 따라 동일한 오브젝트를 탐지하더라도 획득 가능한 라이다 데이터와 레이더 데이터는 서로 다른 값을 가질 수 있다. 따라서, 사람 탐지 장치(100)는 라이다 센서(110)와 레이더 센서(120)가 초기 장착된 위치에 의한 오프셋을 고려하여 라이다 센서(110) 및 레이더 센서(120)로부터 수신된 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정할 수 있다. 이때, 사람 탐지 장치(100)는 라이다 센서(110)가 레이더 센서(120)에 비해 우수한 거리 정확도를 나타내기 때문에 라이다 센서(110)를 기준으로 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정할 수 있다. 다만, 사람 탐지 장치(100)는 라이다 센서(110)가 유효한 빛의 세기에 따른 동작 범위 내에서 동작할 경우에는 라이다 센서(110)를 기준으로 좌표의 오차를 보정하고, 그 이외의 경우에는 레이더 센서(120)를 기준으로 좌표의 오차를 보정할 수 있다.
단계(304)에서 사람 탐지 장치(100)는 오브젝트를 탐색하고자 하는 탐색 영역에 대한 라이다 데이터를 수집할 수 있다. 이때, 사람 탐지 장치(100)를 통해 수집되는 라이다 데이터는 라이다 센서(110)와 레이더 센서(120)의 초기 장착된 위치에 의한 오프셋을 고려하여 보정된 데이터일 수 있다.
단계(305)에서 사람 탐지 장치(100)는 오브젝트를 탐색하고자 하는 탐색 영역에 대한 레이더 데이터를 수집할 수 있다. 이때, 사람 탐지 장치(100)를 통해 수집되는 레이더 데이터는 라이다 센서(110)와 레이더 센서(120)의 초기 장착된 위치에 의한 오프셋을 고려하여 보정된 데이터일 수 있다.
단계(306)에서 사람 탐지 장치(100)는 수집된 라이다 데이터에 기초하여 탐색 영역 내에 존재하는 오브젝트를 추출할 수 있다.
단계(307)에서 사람 탐지 장치(100)는 수집된 레이더 데이터에 기초하여 탐색 영역 내에 존재하는 오브젝트를 추출할 수 있다.
단계(308)에서 사람 탐지 장치(100)는 단계(306)에서 추출된 오브젝트의 후방으로 그림자 영역을 생성할 수 있다. 그림자 영역은 탐색 영역 중 라이다 센서(110)가 출력하는 레이저 신호가 통과하지 않는 영역을 의미할 수 있다.
단계(309)에서 사람 탐지 장치(100)는 단계(306)에서 추출된 오브젝트를 기반으로 라이다 데이터를 디스플레이 상에 이미지로 표현하기 위해 매핑된 오브젝트 맵을 생성할 수 있다.
단계(310)에서 사람 탐지 장치(100)는 단계(306)에서 추출된 오브젝트에 대응하는 직각 좌표에 기초하여 관심 영역을 설정할 수 있다. 이때, 설정되는 관심 영역은 수집된 라이다 데이터에 기초하여 사람이 존재할 것으로 예상되는 영역을 의미할 수 있다.
구체적으로 사람 탐지 장치(100)는 라이다 센서(110) 및 레이더 센서(120)에 대해 서로 다른 방식으로 관심 영역을 설정할 수 있다. 먼저 라이다 센서(110)의 경우 횡방향의 거리 정확도가 우수하다. 그러므로 사람 탐지 장치(100)는 관심 영역의 횡방향 크기를 라이다 센서(110)의 고유한 정확도 특성에 의해서 미리 결정된 일정한 크기로 설정할 수 있다. 그리고 사람 탐지 장치(100)는 관심 영역의 종방향의 크기를 라이다 센서(110)와 타겟간의 상대적인 거리(range)에 따라서 가변적으로 설정할 수 있다. 즉, 사람 탐지 장치(100)는 라이다 센서(110)와 타겟간의 상대적인 거리(range)에 따라서 관심 영역의 종방향 크기를 일정한 가중치를 두어 증가시킬 수 있다.
이와는 달리 레이더 센서(120)의 경우 종방향의 거리 정확도가 우수하다. 그러므로 사람 탐지 장치(100)는 관심 영역의 종방향 크기를 레이더 센서(120)의 고유한 정확도 특성에 의해서 미리 결정딘 일정한 크기로 설정할 수 있다. 그리고 사람 탐지 장치(100)는 관심 영역의 횡방향 크기를 레이더 센서(120)와 타겟간의 상대적인 거리에 따라서 가변적으로 설정할 수 있다. 즉, 사람 탐지 장치(100)는 레이더 센서(120)와 타겟간의 상대적인 거리에 따라서 관심 영역의 횡방향 크기를 일정한 가중치를 두어 증가시킬 수 있다.
단계(311)에서 사람 탐지 장치(100)는 단계(307)에서 추출된 오브젝트를 기반으로 관심 영역을 설정할 수 있다. 보다 구체적으로 사람 탐지 장치(100)는 단계(307)에서 추출된 오브젝트의 속도를 기준으로 움직이는 오브젝트와 정지된 오브젝트로 분리할 수 있다. 이후 사람 탐지 장치(100)는 움직이는 오브젝트 중 사람의 이동 속도와 거리에 따른 레이더 반사 면적(Radar Cross Section, RCS)을 고려하여 사람에 해당하는 오브젝트를 결정하고, 결정된 사람에 해당하는 오브젝트에 대해 관심 영역을 설정할 수 있다.
단계(312)에서 사람 탐지 장치(100)는 단계(310)에서 설정된 라이더 센서(110)에 대한 관심 영역과 단계(311)에서 설정된 레이더 센서(120)에 대한 관심 영역을 비교할 수 있다.
단계(313)에서 사람 탐지 장치(100)는 라이다 센서(110)의 관심 영역과 레이더 센서(120)의 관심 영역이 서로 중첩될 경우, 레이더 데이터를 이용하여 레이더 센서(120)와 오브젝트 간 거리 정보를 추출하고, 라이다 데이터를 이용하여 라이다 센서(110)에 대해 오브젝트가 위치한 수평 각도 정보를 추출함으로써 보다 정확한 관심 영역의 위치를 라이더 센서(110)의 디스플레이에 표시할 수 있다.
그러나 라이다 센서(110)의 관심 영역과 레이더 센서(120)의 관심 영역이 서로 중첩되지 않는 경우, 사람 탐지 장치(100)는 단계(314)와 같이 라이다 센서(110)의 그림자 영역과 상기 레이더 센서(120)의 관심 영역을 비교할 수 있다. 이때, 만약 라이다 센서(110)의 그림자 영역에 레이더 센서(120)의 관심 영역이 포함되는 경우, 레이더 센서(120)의 관심 영역을 라이다 센서(110)의 디스플레이 상에 겹쳐서 표시함으로써 탐색 영역 내에 가려진 장애물이 존재한다는 사실을 표현할 수 있다.
단계(314)에서 사람 탐지 장치(100)는 라이다 센서(110)의 관심 영역과 레이더 센서(120)의 관심 영역을 비교한 결과에 기초하여 추출된 오브젝트가 사람인지의 여부를 판단할 수 있다. 예를 들어, 사람 탐지 장치(100)는 일반 도로에서 사람을 탐지하는 경우, 추출된 오브젝트가 사람이라고 판단되면 해당 오브젝트를 보행자로 인식하고, 사람이 아니라고 판단되면 해당 오브젝트를 장애물 또는 미판단(unknown)으로 인식할 수 있다.
이와 같이 본 발명은 라이더 센서(110)의 관심 영역 중 레이더 센서(120)의 움직이는 오브젝트에 대한 관심 영역만을 추출하고, 추출된 관심 영역 내의 오브젝트만을 사람으로 인식처리할 수 있다. 이러한 방법을 이용함으로써, 라이더 센서(110)를 통해 설정된 모든 관심 영역에 대해서 인식처리를 수행하는 것에 비해서 레이더 센서(120)에 의해서 미리 설정된 기준(이동속도와 거리에 따른 레이더 반사 면적)에 따라서 사람에 해당되는 관심 영역을 추출하여, 인식처리를 함으로써 라이더 센서(110)의 계산 량을 감소시켜 처리시간을 감소시킬 수 있다.
또한, 본 발명의 사람 탐지 장치(100)는 장애물에 가려져 정확히 탐지 되지 않는 오브젝트를 레이더 센서(120)를 이용하여 예측함으로써 사람에 대한 강인성을 확보할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100 : 사람 탐지 장치
101 : 보정부
102 : 수집부
103 : 추출부
104 : 설정부
105 : 비교부
106 : 판단부
110 : 라이다 센서
120 : 레이더 센서

Claims (9)

  1. 오브젝트를 탐색하고자 하는 탐색 영역에 대해 라이다 센서 및 레이더 센서를 이용하여 라이다 데이터 및 레이더 데이터를 수집하는 단계;
    상기 수집된 라이다 데이터 및 레이더 데이터에 기초하여 상기 탐색 영역 내에 존재하는 오브젝트를 각각 추출하는 단계;
    상기 라이다 센서를 통해 추출된 오브젝트에 대해 그림자 영역을 생성하고, 상기 추출된 오브젝트에 기초하여 상기 라이다 센서의 관심 영역을 설정하는 단계;
    상기 레이더 센서를 통해 추출된 오브젝트 중 움직이는 오브젝트에 대한 이동속도 및 거리에 따른 반사 면적에 기초하여 상기 레이더 센서의 관심 영역을 설정하는 단계;
    상기 설정된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교하는 단계; 및
    상기 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교한 결과에 기초하여 움직이는 오브젝트의 존재 여부를 판단하는 단계
    를 포함하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 방법.
  2. 제1항에 있어서,
    상기 비교하는 단계는,
    상기 라이다 센서의 관심 영역과 레이더 센서의 관심 영역이 중첩되는지의 여부를 확인하고,
    상기 판단하는 단계는,
    상기 라이다 센서의 관심 영역과 레이더 센서의 관심 영역이 중첩되는 것으로 확인되면, 상기 중첩되는 관심 영역 내에 움직이는 오브젝트가 존재하는 것으로 판단하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 방법.
  3. 제1항에 있어서,
    상기 비교하는 단계는,
    상기 설정된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역이 중첩되지 않는 경우, 상기 라이다 센서의 그림자 영역과 레이더 센서의 관심 영역이 중첩되는지의 여부를 확인하고,
    상기 판단하는 단계는,
    상기 라이다 센서의 그림자 영역과 레이더 센서의 관심 영역이 중첩되는 것으로 확인되면, 상기 중첩되는 그림자 영역 내에 움직이는 오브젝트가 존재하는 것으로 판단하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 방법.
  4. 제1항에 있어서,
    상기 움직이는 오브젝트를 표시하는 단계
    를 더 포함하고,
    상기 표시하는 단계는,
    상기 라이다 센서를 통해 추출된 상기 움직이는 오브젝트의 수평 각도 정보와 상기 레이더 센서를 통해 추출된 상기 움직이는 오브젝트까지의 거리 정보를 이용하여 상기 라이다 센서의 디스플레이 상에 표시하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 방법.
  5. 제1항에 있어서,
    상기 라이다 센서의 관심 영역을 설정하는 단계는,
    상기 라이다 센서의 관심영역에 대한 횡방향 크기는 상기 라이다 센서의 고유한 정확도에 의해 결정된 일정한 크기로 설정하고, 종방향 크기는 상기 라이다 센서와 타겟 간의 상대적인 거리에 따라서 가변적으로 설정하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 방법.
  6. 제2항에 있어서,
    상기 레이더 센서의 관심 영역을 설정하는 단계는,
    상기 레이더 센서의 관심영역에 대한 종방향 크기는 상기 레이더 센서의 고유한 정확도에 의해 결정된 일정한 크기로 설정하고, 횡방향 크기는 상기 레이더 센서와 타겟 간의 상대적인 거리에 따라서 가변적으로 설정하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 방법.
  7. 제1항에 있어서,
    상기 라이다 센서 및 레이더 센서의 초기 장착 위치에 의한 오프셋을 고려하여 상기 라이다 센서 및 레이더 센서로부터 수신된 라이다 데이터 및 레이더 데이터에 대한 좌표의 오차를 보정하는 단계
    를 더 포함하고,
    상기 추출하는 단계는,
    상기 좌표의 오차가 보정된 라이다 데이터 및 레이더 데이터를 이용하여 상기 탐색 영역 내에 존재하는 오브젝트를 추출하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 방법.
  8. 오브젝트를 탐색하고자 하는 탐색 영역에 대해 라이다 센서 및 레이더 센서를 이용하여 라이다 데이터 및 레이더 데이터를 수집하는 수집부;
    상기 수집된 라이다 데이터 및 레이더 데이터에 기초하여 상기 탐색 영역 내에 존재하는 오브젝트를 각각 추출하는 추출부;
    상기 라이다 센서를 통해 추출된 오브젝트에 대해 그림자 영역을 생성하고, 상기 추출된 오브젝트에 기초하여 상기 라이다 센서의 관심 영역을 설정하고, 상기 레이더 센서를 통해 추출된 오브젝트 중 움직이는 오브젝트에 대한 이동속도 및 거리에 따른 반사 면적에 기초하여 상기 레이더 센서의 관심 영역을 설정하는 설정부;
    상기 설정된 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교하는 비교부; 및
    상기 라이다 센서의 관심 영역과 레이더 센서의 관심 영역을 비교한 결과에 기초하여 추출된 오브젝트가 움직이는 오브젝트인지의 여부를 판단하는 판단부
    를 포함하는 라이다 센서 및 레이더 센서를 이용한 오브젝트 탐지 장치.
  9. 제1항 내지 제7항 중 어느 한 항의 오브젝트 탐지 방법을 수행하기 위한 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.

KR1020160071664A 2016-06-09 2016-06-09 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법 Active KR101784611B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160071664A KR101784611B1 (ko) 2016-06-09 2016-06-09 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법
US15/618,662 US10782399B2 (en) 2016-06-09 2017-06-09 Object detecting method and apparatus using light detection and ranging (LIDAR) sensor and radar sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160071664A KR101784611B1 (ko) 2016-06-09 2016-06-09 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101784611B1 true KR101784611B1 (ko) 2017-11-06

Family

ID=60384125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160071664A Active KR101784611B1 (ko) 2016-06-09 2016-06-09 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법

Country Status (2)

Country Link
US (1) US10782399B2 (ko)
KR (1) KR101784611B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882483B1 (ko) * 2018-01-24 2018-07-27 엘아이지넥스원 주식회사 무인 수상정의 장애물 탐지 장치 및 방법
KR20180116494A (ko) * 2017-04-14 2018-10-25 아가월드 주식회사 오브젝트의 위치 정확성을 향상시키기 위한 실시간 실내 위치 측위 방법 및 시스템
KR20190108018A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
KR20200005863A (ko) * 2018-07-09 2020-01-17 현대모비스 주식회사 차량용 레이더를 이용한 타겟 추적 장치 및 방법
CN111295566A (zh) * 2017-11-13 2020-06-16 三菱电机株式会社 物体识别装置及物体识别方法
KR20200099887A (ko) * 2019-02-15 2020-08-25 주식회사 스프링클라우드 센서 데이터 시각화 장치 및 방법
KR102210601B1 (ko) 2020-10-16 2021-02-02 (주)카네비컴 전력 소비를 감소시키는 라이다 시스템 및 이의 구동 방법
WO2022014851A1 (ko) * 2020-07-13 2022-01-20 (주)카네비컴 감지 영역 설정이 가능한 라이다 시스템
WO2022080549A1 (ko) * 2020-10-12 2022-04-21 (주)투핸즈인터랙티브 이중 라이다 센서 구조의 모션 트래킹 장치
KR20230128684A (ko) * 2022-02-28 2023-09-05 주식회사 에이치엘클레무브 라이다의 감지 정확도 향상을 위한 절단된 호 보정 방법 및 장치

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12399279B1 (en) 2016-02-15 2025-08-26 Red Creamery Llc Enhanced hybrid LIDAR with high-speed scanning
US12123950B2 (en) 2016-02-15 2024-10-22 Red Creamery, LLC Hybrid LADAR with co-planar scanning and imaging field-of-view
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US12399278B1 (en) 2016-02-15 2025-08-26 Red Creamery Llc Hybrid LIDAR with optically enhanced scanned laser
US11092690B1 (en) * 2016-09-22 2021-08-17 Apple Inc. Predicting lidar data using machine learning
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
WO2019182782A1 (en) * 2018-03-21 2019-09-26 Zoox, Inc. Generating maps without shadows
US10504282B2 (en) 2018-03-21 2019-12-10 Zoox, Inc. Generating maps without shadows using geometry
US10699477B2 (en) 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
US10783384B2 (en) * 2018-07-31 2020-09-22 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection using shadows
US10948578B2 (en) * 2018-10-10 2021-03-16 International Business Machines Corporation Distinguishing holographic objects from physical objects
WO2020142924A1 (zh) * 2019-01-09 2020-07-16 深圳市大疆创新科技有限公司 激光雷达的通信方法、激光雷达及上位设备
US11391574B2 (en) * 2019-01-18 2022-07-19 Ford Global Technologies, Llc Object detection
RU2767955C1 (ru) 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов
JP7198232B2 (ja) * 2020-01-28 2022-12-28 株式会社デンソー 物体検出装置
JP7495178B2 (ja) * 2020-04-14 2024-06-04 株式会社Subaru 車両の走行支援装置
WO2021212521A1 (zh) * 2020-04-24 2021-10-28 华为技术有限公司 一种信号处理方法、装置及系统
CN111580116A (zh) * 2020-05-20 2020-08-25 湖北亿咖通科技有限公司 一种车载系统的目标检测性能的评价方法和电子设备
CN113296163B (zh) * 2021-05-24 2024-08-16 深圳绿米联创科技有限公司 人体检测方法、装置及系统、复合传感器及存储介质
US12405380B2 (en) * 2021-06-23 2025-09-02 Vueron Technology Co., Ltd Method for detecting ground using lidar sensor and ground detection device performing same
CN116125488A (zh) * 2021-11-12 2023-05-16 北京万集科技股份有限公司 目标追踪方法、信号融合方法、装置、终端和存储介质
KR20250094787A (ko) * 2023-12-18 2025-06-26 주식회사 비트센싱 레이더의 데이터를 처리하는 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007011391A2 (en) * 2004-10-22 2007-01-25 Set Associates System and method for standoff detection of human carried exposives
JP2011065400A (ja) 2009-09-17 2011-03-31 Daihatsu Motor Co Ltd 物体認識装置
KR101354681B1 (ko) 2012-10-30 2014-02-04 구글 인코포레이티드 차량 횡적 차선 포지셔닝 제어

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142150B2 (en) * 2004-12-15 2006-11-28 Deere & Company Method and system for detecting an object using a composite evidence grid
US8611591B2 (en) * 2007-12-21 2013-12-17 21 Ct, Inc. System and method for visually tracking with occlusions
KR101293108B1 (ko) 2009-05-29 2013-08-12 주식회사 만도 자동차의 제어방법
US8831273B2 (en) * 2010-09-10 2014-09-09 Reald Inc. Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
US9041589B2 (en) * 2012-04-04 2015-05-26 Caterpillar Inc. Systems and methods for determining a radar device coverage region
US8939081B1 (en) 2013-01-15 2015-01-27 Raytheon Company Ladar backtracking of wake turbulence trailing an airborne target for point-of-origin estimation and target classification
JP6064674B2 (ja) 2013-02-28 2017-01-25 株式会社デンソー 物体認識装置
KR20160017400A (ko) 2014-08-06 2016-02-16 휴앤에스(주) 레이더와 레이저를 이용한 정밀촬영장치
US9530062B2 (en) * 2014-12-23 2016-12-27 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
US9921307B2 (en) 2015-01-30 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Combined RADAR sensor and LIDAR sensor processing
DE112016003572T5 (de) * 2015-08-06 2018-05-17 Honda Motor Co., Ltd. Fahrzeugsteuerungsvorrichtung, fahrzeugsteuerungsverfahren und fahrzeugsteuerungsprogramm
KR101714233B1 (ko) 2015-10-06 2017-03-08 현대자동차주식회사 도로상의 물체 검출 장치 및 그 방법
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
JP6649178B2 (ja) * 2016-05-24 2020-02-19 株式会社東芝 情報処理装置、および、情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007011391A2 (en) * 2004-10-22 2007-01-25 Set Associates System and method for standoff detection of human carried exposives
JP2011065400A (ja) 2009-09-17 2011-03-31 Daihatsu Motor Co Ltd 物体認識装置
KR101354681B1 (ko) 2012-10-30 2014-02-04 구글 인코포레이티드 차량 횡적 차선 포지셔닝 제어

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180116494A (ko) * 2017-04-14 2018-10-25 아가월드 주식회사 오브젝트의 위치 정확성을 향상시키기 위한 실시간 실내 위치 측위 방법 및 시스템
KR101977758B1 (ko) 2017-04-14 2019-05-16 아가월드 주식회사 오브젝트의 위치 정확성을 향상시키기 위한 실시간 실내 위치 측위 방법 및 시스템
US11555913B2 (en) 2017-11-13 2023-01-17 Mitsubishi Electric Corporation Object recognition device and object recognition method
CN111295566A (zh) * 2017-11-13 2020-06-16 三菱电机株式会社 物体识别装置及物体识别方法
CN111295566B (zh) * 2017-11-13 2024-04-26 三菱电机株式会社 物体识别装置及物体识别方法
KR101882483B1 (ko) * 2018-01-24 2018-07-27 엘아이지넥스원 주식회사 무인 수상정의 장애물 탐지 장치 및 방법
KR20190108018A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
KR102090487B1 (ko) * 2018-03-13 2020-03-18 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
KR20200005863A (ko) * 2018-07-09 2020-01-17 현대모비스 주식회사 차량용 레이더를 이용한 타겟 추적 장치 및 방법
KR102647927B1 (ko) 2018-07-09 2024-03-15 현대모비스 주식회사 차량용 레이더를 이용한 타겟 추적 장치 및 방법
KR102196171B1 (ko) * 2019-02-15 2020-12-29 주식회사 스프링클라우드 센서 데이터 시각화 장치 및 방법
KR20200099887A (ko) * 2019-02-15 2020-08-25 주식회사 스프링클라우드 센서 데이터 시각화 장치 및 방법
WO2022014851A1 (ko) * 2020-07-13 2022-01-20 (주)카네비컴 감지 영역 설정이 가능한 라이다 시스템
WO2022080549A1 (ko) * 2020-10-12 2022-04-21 (주)투핸즈인터랙티브 이중 라이다 센서 구조의 모션 트래킹 장치
KR102210601B1 (ko) 2020-10-16 2021-02-02 (주)카네비컴 전력 소비를 감소시키는 라이다 시스템 및 이의 구동 방법
KR20230128684A (ko) * 2022-02-28 2023-09-05 주식회사 에이치엘클레무브 라이다의 감지 정확도 향상을 위한 절단된 호 보정 방법 및 장치
KR102739901B1 (ko) 2022-02-28 2024-12-06 주식회사 에이치엘클레무브 라이다의 감지 정확도 향상을 위한 절단된 호 보정 방법 및 장치

Also Published As

Publication number Publication date
US20170356993A1 (en) 2017-12-14
US10782399B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
KR101784611B1 (ko) 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
KR102585219B1 (ko) 차량 속도 제어 방법 및 장치
US10690770B2 (en) Navigation based on radar-cued visual imaging
KR102521655B1 (ko) 자율 주행 방법 및 장치
JP6747269B2 (ja) 物体認識装置
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
JP6511283B2 (ja) 物体検知装置
KR102633140B1 (ko) 주행 정보를 결정하는 방법 및 장치
US7327855B1 (en) Vision-based highway overhead structure detection system
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
KR101787996B1 (ko) 차선 추정 장치 및 그 방법
KR101804681B1 (ko) 저해상도 2d 라이다 센서를 이용한 사람 탐지 장치 및 방법
CN111103594A (zh) 车辆中区分虚假目标的装置和方法及包括其的车辆
US11143511B2 (en) On-vehicle processing device
KR102519666B1 (ko) 이미지 변환 장치 및 방법
KR102145557B1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
CN106503653A (zh) 区域标注方法、装置和电子设备
CN106485233A (zh) 可行驶区域检测方法、装置和电子设备
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
WO2019198076A1 (en) Real-time raw data- and sensor fusion
US20230184946A1 (en) Vehicle Lidar System and Velocity Measuring Method Thereof
JP6411933B2 (ja) 車両状態判定装置
JP2018147399A (ja) 物標検出装置
EP3438933A1 (en) Environment recognition device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160609

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170717

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170922

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170927

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170927

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210623

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220621

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240723

Start annual number: 8

End annual number: 8