[go: up one dir, main page]

KR20170015754A - Vehicle Location Method of Skyline - Google Patents

Vehicle Location Method of Skyline Download PDF

Info

Publication number
KR20170015754A
KR20170015754A KR1020150108623A KR20150108623A KR20170015754A KR 20170015754 A KR20170015754 A KR 20170015754A KR 1020150108623 A KR1020150108623 A KR 1020150108623A KR 20150108623 A KR20150108623 A KR 20150108623A KR 20170015754 A KR20170015754 A KR 20170015754A
Authority
KR
South Korea
Prior art keywords
skyline
vehicle
map data
image
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150108623A
Other languages
Korean (ko)
Other versions
KR102336778B1 (en
Inventor
양상원
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020150108623A priority Critical patent/KR102336778B1/en
Publication of KR20170015754A publication Critical patent/KR20170015754A/en
Application granted granted Critical
Publication of KR102336778B1 publication Critical patent/KR102336778B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06K9/6201
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G06K9/6215
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 스카이라인을 이용한 차량의 측위 방법에 관한 것으로서, 더욱 상세하게는 GPS 수신이 어려운 대도시 빌딩숲과 같은 구조물에 의한 스카이라인이 형성되는 지역에서의 차량 운행 시 상기 차량의 카메라를 이용하여 스카이라인의 영상 이미지를 촬영하는 제1단계, 상기 스카이라인의 이미지와 일치하는 정밀지도 데이터를 검색 추출하는 제2단계, 상기 스카이라인의 이미지에서 하늘 객체와 구조물 객체를 분리하는 제3단계, 상기 하늘 객체와 구조물 객체의 이미지에 정밀지도 데이터를 정합하는 제4단계 및 차량의 위치를 측위하는 제5단계를 통하여 이루어짐으로서, GPS 신호의 수신 없이도 차량의 위치와 차선 레벨을 측위하여 차량의 원활한 주행 또는 자율 주행이 가능하도록 하는 효과를 제공한다.The present invention relates to a method of positioning a vehicle using a skyline, and more particularly, to a method of positioning a vehicle using a camera of the vehicle when the vehicle is traveling in an area where a skyline is formed by a structure such as a large- A second step of extracting a precise map data corresponding to the image of the skyline, a third step of separating a sky object and a structure object from the image of the skyline, A fourth step of aligning the accurate map data to the image of the object and the structure object, and a fifth step of positioning the vehicle, so as to smoothly drive the vehicle or to measure the vehicle position and lane level without receiving GPS signals. Thereby providing an effect of enabling autonomous driving.

Description

스카이라인을 이용한 차량의 측위 방법{Vehicle Location Method of Skyline}Vehicle Location Method of Skyline < RTI ID = 0.0 >

본 발명은 스카이라인을 이용한 차량의 측위 방법에 관한 것으로서, 더욱 상세하게는 도로 주변의 구조물에 의한 GPS 수신이 어려운 지역에서의 차량 운행 시 차량 상부 장착 카메라로 스카이라인을 촬영하여, 촬영 영상과 구축된 정밀지도 데이터와의 비교를 통하여 현재 차선 위치를 측위할 수 있도록 하는 스카이라인을 이용한 차량의 측위 방법이다.
The present invention relates to a method of positioning a vehicle using a skyline, and more particularly, to a method of positioning a vehicle by photographing a skyline with an upper mounted camera when the vehicle is traveling in an area where GPS reception by a structure around the road is difficult, Which is located at the current lane position, through the comparison with the accurate map data.

일반적으로 GPS수신기를 이용하여 위치 측위를 하는 차량 운행 항법시스템(일명 내비게이션)은 최소한 3대의 GPS 위성과 통신하여 각각의 위성과의 통신거리, 통신시간 등을 계산하여 자신의 현재 위치를 정확하게 파악하고 이와 같이 파악된 차량의 현재 위치를 데이터베이스에 저장된 전자지도에 표시하고 운전자는 이를 참고로 하여 자신이 목적하는 위치로 운행하여 갈 수 있는 시스템이다.Generally, a navigation system (a navigation system) that performs positioning by using a GPS receiver communicates with at least three GPS satellites, calculates the communication distance and communication time with each satellite, accurately grasps its current position The present position of the vehicle thus identified is displayed on an electronic map stored in the database, and the driver can go to the desired location by referring to the current position.

이러한 GPS 수신기에 의하여 간단하게 차량의 현재위치를 정확하게 파악할 수 있는 장점이 있다.
Such a GPS receiver has an advantage that it can easily grasp the current position of the vehicle with accuracy.

그러나 상기 GPS 위성에 의한 방법은 대도시 도심 지역의 번화가나 고층 건물 또는 기타 높은 구조물에 의하여 3대의 GPS 위성 중에 어느 하나 이상에 의한 통신 곤란 지역이 발생될 수 있다.However, the method using the GPS satellites may cause a communication difficulty region due to one or more of the three GPS satellites due to the high-rise buildings, high-rise buildings or other high-rise buildings in the urban area of a metropolis.

또한, 대도심 고층 건물 및 높은 구조물들에 의한 GPS 위성 신호의 부정확성으로 인하여 위성통신을 이용한 항법시스템은 오류가 발생할 수 있으며, 이러한 GPS 미 수신 지역에서의 차량을 자동 또는 무인으로 운행할 경우에는 GPS 위성에 의한 운행 방법은 위험할 수 있다.In addition, due to the inaccuracy of the GPS satellite signal due to the high-rise buildings and high structures in the urban center, the navigation system using the satellite communication may cause an error. When the vehicle is operated automatically or unmanned, The method of operating by satellite may be dangerous.

그러므로 GPS 신호의 수신을 방해하거나 제약하는 모든 구조물과 하늘의 경계인 스카이라인만을 이용하여 차량의 위치 및 차선을 측위하는 방법이 요구되어진다.Therefore, there is a need for a method of locating the vehicle position and lane using only the skyline, which is the sky boundary between all the structures that obstruct or restrict the reception of GPS signals.

상술한 문제점을 개선하기 위한 종래의 기술로서는 대한민국 공개특허공보 10-2004-0049765호에 운행 차량 주위의 식별 가능한 지형정보를 이용하여 운행차량의 현재 위치를 파악하고 차량운행을 자동화하는 차량항법 및 자동 운전 장치가 공지되어 있다.As a conventional technique for solving the above-mentioned problems, Korean Patent Laid-Open Publication No. 10-2004-0049765 discloses a method for identifying the current position of a running vehicle using identifiable terrain information around the running vehicle, A driving device is known.

그러나 상기 종래의 기술은 주행 또는 주정차 중인 차량 주위의 교통표지판, 차선, 차량과 지형지물의 위치관계, 교통신호 등을 이용하여 차량의 현재 위치를 정확하게 입체적으로 설정하고, 이와 같은 위치파악을 토대로 차량을 자동 운행할 수 있도록 하는 방법 및 시스템을 제공하는 것으로서, 주로 입체적 교통좌표에 의하여 차량의 현재위치를 파악하고, 상기 파악된 차량의 현재 위치 정보에 의하여 차량을 자동 운행하는 것임을 알 수 있다.However, according to the conventional technique, the current position of the vehicle is precisely three-dimensionally set by using traffic signs, lanes, positional relationship between the vehicle and the landmark, and traffic signals around the vehicle during driving or driving. The present invention provides a method and system for enabling automatic operation of a vehicle, and it is understood that the present position of the vehicle is mainly determined by the three-dimensional traffic coordinates, and the vehicle is automatically operated by the current position information of the detected vehicle.

그러나 상술한 종래의 기술에 있어서 입체적 교통좌표를 센서에 의하여 파악할 시에는 차량의 위치는 파악할 수 있으나 정확한 차선의 위치를 파악하는 데는 한계가 있으며, 차량과 지형지물의 위치파악 관계가 복잡하고 연산의 어려움이 있는 문제점이 있다.However, in the conventional technique described above, when the three-dimensional traffic coordinates are grasped by the sensor, the position of the vehicle can be grasped, but there is a limit in grasping the position of the accurate lane, and the positional relationship between the vehicle and the property is complex, There is a problem with this.

또한, 상기 종래의 기술은 도심 지역의 빌딩 숲 또는 GPS 미 수신 구조물에 의한 상기 스카이라인이 형성되는 지역에서의 차량 주행 시 차량의 현재 위치를 파악함에 있어서 빌딩의 스카이라인을 활용하여 차량의 위치뿐만 아니라 차선 레벨까지를 측위하는 기술과는 많은 차이가 있다.
In addition, the above-described conventional technique uses the skyline of the building to determine the current position of the vehicle when the vehicle is traveling in a region where the skyline is formed by a building forest or a GPS non- However, there are many differences from the technique of positioning to the lane level.

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 차량의 상부에서 지면과 수직 방향의 하늘을 촬영할 수 있는 카메라를 장착하고, GPS가 미수신되는 고층빌딩 또는 다양한 구조물로 가려진 지역에서의 차량 주행 시에 상기 카메라로 촬영하는 스카이라인의 이미지와 정밀지도 데이터와의 정합을 통해 현재위치 및 차선 레벨을 측위하는 방법을 제공하고자 하는 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems of the conventional art, and it is an object of the present invention to provide a vehicle equipped with a camera capable of photographing the sky in the vertical direction from the ground in the upper part of the vehicle, There is provided a method of positioning a current position and a lane level by matching an image of a skyline taken by the camera with precision map data at the time of driving.

또한, 본 발명은 GPS가 미수신되는 지역에서의 차량 주행 시에 GPS 신호의 미약으로 위치 및 차선 파악이 어려운 문제를 해결하는 시스템을 제공하는 목적이 있다.
It is another object of the present invention to provide a system for solving the problem of difficulty in recognizing a position and a lane due to weak GPS signals when a vehicle is traveling in a region where GPS is not received.

본 발명의 상기 목적을 달성하기 위하여 구조물에 의한 스카이라인이 형성되고 GPS가 수신이 방해되는 지역에서의 차량 주행 시, 상기 차량의 상부에 위치한 카메라를 활용하여 지면에서 수직 방향으로 스카이라인의 영상 이미지를 취득하는 제1단계, 상기 제1단계에서 촬영된 스카이라인의 영상 이미지와 일치하는 정밀지도 데이터를 상기 차량의 내부에 장착된 내비게이션을 이용하여 검색하고 취득하는 제2단계, 상기 제1단계에서 촬영된 스카이라인의 영상 이미지에서 하늘 객체와 구조물 객체 이미지를 분리하는 제3단계, 상기 제3단계의 상기 하늘 객체와 상기 구조물 객체의 이미지 상에 상기 정밀지도 데이터에 의하여 상기 하늘 객체에는 도로명 및 차선 정보가 정합되고, 상기 구조물 객체에는 상기 구조물의 정보가 정합되어지는 제4단계 및 상기 제4단계의 정합되어진 정보에 의하여 상기 차량의 현재 위치 및 차선 레벨을 주기적으로 측위하는 제5단계로 이루어지는 것을 통하여 달성되어진다.
In order to achieve the object of the present invention, when a vehicle is traveling in an area where a skyline is formed by a structure and GPS reception is obstructed, a video image of the skyline in a vertical direction on the ground A second step of searching for and acquiring accurate map data matching the video image of the skyline photographed in the first step using navigation installed in the vehicle, A third step of separating a sky object and a structure object image from a video image of the captured skyline, a third step of separating the sky object and the structure object image from the sky object and the image of the structure object, A fourth step in which the information is matched, the structure object is matched with the information of the structure, Been by matching information of the stage 4 is accomplished through what is made of a fifth step of positioning the current position of the vehicle and the lane-level periodically.

따라서 본 발명의 스카이라인을 이용한 차량의 측위 방법은 대도시의 빌딩숲이나 구조물에 의한 GPS 수신이 어려운 지역에서 현재 차량의 위치를 파악하기 어려운 문제를 해결 하여 GPS 신호의 수신 없이도 차량의 자율 주행이 가능하도록 하는 효과를 제공한다.Therefore, the positioning method of the vehicle using the skyline of the present invention solves the problem that it is difficult to grasp the current position of the vehicle in a region where GPS reception is difficult due to the building forest or structure of a large city, .

또한, 본 발명은 여러 가지의 센서를 사용하지 않고 카메라와 내비게이션의 통신 수단만을 활용하며, 능동적 측위 주기의 설정으로 시스템의 비용절감 효과를 제공한다.In addition, the present invention utilizes only the communication means of the camera and the navigation without using various sensors, and provides the cost reduction effect of the system by setting the active positioning period.

또한, 본 발명은 스카이라인을 형성하는 구조물에 의하여 GPS의 신호 수신이 방해되어질 때 정밀지도 데이터에 의하여 차량의 위치를 획득할 수 있는 효과를 제공하는 것이다.
In addition, the present invention provides an effect of acquiring the position of the vehicle by precise map data when the GPS signal reception is obstructed by the structure forming the skyline.

도 1은 본 발명에 따른 스카이라인을 이용한 차량의 측위 방법의 흐름을 나타내는 흐름도이고,
도 2는 본 발명의 일실시예에 따른 GPS 미수신 빌딩숲에서 카메라를 활용하여 빌딩 스카이라인을 촬영하는 예시도,
도 3은 본 발명의 일실시예에 따른 차량의 위치에 따라 구별되는 스카이라인의 예를 나타내는 예시도,
도 4a는 본 발명의 일실시예에 따른 교차로의 스카이라인 이미지와 일치하는 교차로의 정밀지도 데이터,
도 4b는 본 발명의 일실시예에 따른 직진로의 스카이라인 이미지와 일치하는 직진로의 정밀지도 데이터,
도 5는 본 발명의 일실시예에 따른 빌딩 스카이라인을 통한 차선 레벨 측위를 나타내는 예시도이다.
1 is a flowchart showing a flow of a positioning method of a vehicle using a skyline according to the present invention,
2 is a diagram illustrating an example of photographing a building skyline using a camera in a GPS non-receiving building forest according to an embodiment of the present invention,
3 is an exemplary view showing an example of a skyline distinguished according to the position of a vehicle according to an embodiment of the present invention;
FIG. 4A is a block diagram illustrating the precision map data of an intersection matching the skyline image of an intersection according to an embodiment of the present invention,
FIG. 4B is a diagram showing the accuracy map data in the straight line corresponding to the skyline image in the straight line according to the embodiment of the present invention,
5 is an exemplary diagram illustrating lane level positioning through a building skyline in accordance with an embodiment of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and the inventor may appropriately define the concept of the term in order to best describe its invention It should be construed as meaning and concept consistent with the technical idea of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

본 발명은 GPS 수신이 어려운 빌딩숲 또는 구조물에 의한 스카이라인 형성되는 도로를 차량이 진행하고 있을 경우 스카이라인 상의 하늘의 형상이 빌딩이나 구조물을 제외한 도로면을 포함하는 지면의 모습과 유사함에 착안하여 차량의 현재 위치를 파악하고 상기 차량의 차선 레벨까지 측위하는 기술을 제공하는 것이다.The present invention is based on the fact that, when a vehicle is traveling on a road in which a skyline is formed by a building forest or a structure that is difficult to receive GPS, the shape of the sky on the skyline is similar to that of a ground including a road surface excluding a building or a structure And to provide a technique of determining the current position of the vehicle and positioning it to the lane level of the vehicle.

보통 상기 스카이라인이란 대도시의 중심 밀집지역에서 주로 나타나는 고층 빌딩과 같은 건축물이 하늘과 만나는 경계 지점을 연결한 선을 지칭하는 것을 일반적으로 의미하나, 본 발명에서의 상기 스카이라인이란 차량의 주행 차로에 대하여 차량에서 수직으로 하늘을 바라보았을 때, 양옆으로 높이 솟아서 GPS 신호의 수신을 방해하거나 제약하는 모든 구조물과 하늘과의 경계를 의미하는 것으로 해석한다.Generally, the skyline generally refers to a line connecting a boundary point where a building such as a high-rise building, which mainly appears in a central densely populated area of a large city, meets sky. In the present invention, Is interpreted to mean the boundary between the sky and all structures that obstruct or restrict the reception of GPS signals when they are viewed from the vehicle in the sky vertically.

이하 본 발명의 일실시예에 따른 도심 중심업무지구에서와 같은 빌딩숲에서의 스카이라인을 이용한 차량의 측위 방법을 중점으로 상세히 설명하기로 한다.Hereinafter, a method of positioning a vehicle using a skyline in a building forest, such as in an urban central business district according to an embodiment of the present invention, will be described in detail.

도 1은 본 발명에 따른 스카이라인을 이용한 차량의 측위 방법의 흐름을 나타내는 흐름도이다.1 is a flowchart showing a flow of a positioning method of a vehicle using a skyline according to the present invention.

이에 도시와 같이 본 발명은 상기 차량의 카메라를 이용하여 스카이라인의 영상 이미지를 촬영하는 제1단계(S100), 상기 스카이라인의 이미지와 일치하는 정밀지도 데이터를 검색 추출하는 제2단계(S200), 상기 스카이라인의 이미지에서 하늘 객체와 구조물 객체를 분리하는 제3단계(S300), 상기 하늘 객체와 구조물 객체의 이미지에 정밀지도 데이터를 정합하는 제4단계(S400) 및 차량의 위치를 측위하는 제5단계(S500)를 통하여 이루어진다.As shown in the drawing, the present invention includes a first step (S100) of photographing a video image of a skyline using a camera of the vehicle, a second step (S200) of searching and extracting precise map data matching the image of the skyline, A third step S300 of separating the sky object and the structure object from the image of the skyline, a fourth step S400 of matching the accurate map data to the sky object and the image of the structure object, And the fifth step S500.

상기 제1단계(S100)는 상기 차량의 상부에 위치한 카메라를 활용하여 지면에서 수직 방향으로 스카이라인의 영상 이미지를 촬영하는 단계로서, 도 2는 본 발명의 일실시예에 따른 GPS 미수신 빌딩숲에서 카메라를 활용하여 빌딩 스카이라인을 촬영하는 예시를 보여준다.The first step S100 is a step of photographing an image of a skyline in a vertical direction on the ground using a camera located on the upper part of the vehicle. It shows an example of shooting a building skyline using a camera.

이때 상기 카메라는 바람직하게 사각(寫角)이 충분히 넓은 광각렌즈를 활용한다. 또는 사각(寫角)이 180도를 초과하여 촬영할 수 있는 어안렌즈를 활용하는 것을 특징으로 한다. 이는 상기 광각렌즈의 활용 시 좁은 공간에서 넓은 각도를 촬영할 수 있고 깊은 피사체심도를 이용하여 초점이 맞는 부위가 넓어 화면 구석구석까지 선명하게 찍히는 효과를 제공하기 위함이다.At this time, the camera preferably utilizes a wide angle lens having a sufficiently large angle. Or a fisheye lens which can take a picture with a square angle exceeding 180 degrees. This is to provide an effect that a wide angle can be photographed in a narrow space when utilizing the wide angle lens and a wide area where a focused object is widened by using a deep object depth, so that every corner of the screen is clearly captured.

상기 카메라로 촬영된 스카이라인 이미지는 유선 또는 무선중의 어느 한 통신 방식을 사용하여 상기 차량의 내부에 위치하는 내비게이션으로 전송되어진다.The skyline image photographed by the camera is transmitted to navigation located inside the vehicle using either a wired or wireless communication scheme.

본 발명의 상기 내비게이션은 일반적인 내비게이션 기능을 기본적으로 포함하며 상기 카메라와의 연동 및 외부 네트워크와 연동하는 통신 수단과, 영상 이미지를 처리하는 내장 소프트웨어를 더 포함하여 위치 측위 및 위치 정보를 사용자에게 알려주는 차량의 내비게이션 장치이다.The navigation system of the present invention basically includes a general navigation function, and includes communication means for interlocking with the camera, interlocking with an external network, and built-in software for processing a video image to inform the user of positional positioning and positional information A navigation device of a vehicle.

도 3은 본 발명의 일실시예에 따른 차량의 위치에 따라 구별되는 스카이라인의 예를 나타내는 예시도이다.3 is an exemplary view showing an example of a skyline distinguished according to the position of a vehicle according to an embodiment of the present invention.

도시와 같이 빌딩숲에서의 스카이라인 영상 이미지는 교차로의 스카이라인과 직진도로의 스카이라인 특성이 구별되어짐을 알 수 있다.The image of the skyline in the building forest, like the city, shows that the skyline of the intersection and the skyline characteristic of the straight road are distinguished.

상기 제2단계(S200)는 상기 제1단계(S100)에서 촬영된 스카이라인의 영상 이미지와 일치하는 정밀지도 데이터를 상기 차량의 내부에 장착된 내비게이션의 통신 수단을 이용하여 네트워크 서버에서 검색하고 취득하는 단계이다.The second step (S200) searches the network server for the precision map data matching the video image of the skyline photographed in the first step (S100) using the communication means of the navigation installed in the vehicle and acquires .

이때 상기 정밀지도 데이터는 라이더(LiDAR, Light Detection And Ranging), 카메라 및 GPS와 기타 센서등을 통하여 도로 및 주변의 위치 정보를 취득하는 고정밀 지도 구축 차량에 의하여 생성되어진 데이터로서, 구조물에 의한 스카이라인 형상 및 차선에 대한 정보를 포함하고 상기 빌딩과 같은 구조물에 대한 정보와 차선의 좌표 위치가 맵핑되어 네트워크 서버 상에 기 구축하여 저장되어 있는 지도 데이터를 의미한다.At this time, the precision map data is data generated by a high-precision map construction vehicle that acquires position information on the road and its surroundings through a LiDAR (Light Detection And Ranging), a camera, a GPS and other sensors, Shape and lane of a building, and map data that is previously constructed and stored on a network server by mapping information of a structure such as the building and coordinates of a lane.

또한, 상기 정밀지도 데이터는 일정 높이에서 지면 방향의 수직으로 항공 촬영하여 건물 및 도로의 형상이 나타나는 항공지도 데이터를 추가적으로 포함하여 활용할 수도 있다.In addition, the precision map data may further include aerial map data in which aerial photographs are taken vertically at a predetermined height in the direction of the ground, and the shapes of buildings and roads appear.

도 4a는 본 발명의 일실시예에 따른 교차로의 스카이라인 이미지와 교차로의 정밀지도 데이터가 서로 일치함을 보여주는 예시도이고, 도 4b는 직진도로의 스카이라인 이미지와 일치하는 정밀지도 데이터의 예시를 보여준다.FIG. 4A is an exemplary view showing that a skyline image of an intersection and an accurate map data of an intersection coincide with each other according to an embodiment of the present invention, and FIG. 4B is an example of precision map data coinciding with a skyline image of a straight road Show.

상기 제3단계(S300)는 상기 제1단계(S100)에서 촬영된 스카이라인의 영상 이미지에서 하늘 객체와 구조물 객체 이미지를 분리하는 단계이다. 이는 MPEG(Moving Picture Experts Group) 또는 JPEG(Joint Photographic coding Experts Group)등에서 사용하는 영상 이미지에서 객체를 분리하는 알고리즘이 이용되어진다.The third step S300 is a step of separating the sky object and the structure object image from the image of the skyline photographed in the first step S100. An algorithm for separating objects from video images used in MPEG (Moving Picture Experts Group) or JPEG (Joint Photographic Coding Experts Group) is used.

이때 상기 하늘 객체는 촬영된 상기 스카이라인의 영상 이미지 상에서 가상의 도로로 인식되는 공간상의 영역으로, 상기 카메라 초점의 중심 위치에 따라 차선 레벨 측위가 가능한 영역임을 알 수 있다.At this time, it can be seen that the sky object is an area on the space recognized as a virtual road on the video image of the captured skyline, and is a region capable of positioning at the lane level according to the center position of the camera focus.

또한, 본 발명의 상기 구조물 객체는 차량에서 수직으로 하늘을 바라보았을 때, 상기 하늘 객체를 제외한 고층빌딩이나 건물뿐만 아니라 가로등, 조명등, 가로수 또는 간판 및 이중 도로의 상부도로와 같은 GPS의 신호 수신을 방해할 수 있는 모든 사물의 영역을 의미한다.In addition, the structure object of the present invention can be used to receive GPS signals such as a streetlight, an illuminated light, a roadside or signboard, and a roadway of a double road as well as a skyscraper or a building other than the sky object, It means the area of all things that can interfere.

이러한 상기 구조물들은 상기 정밀지도 데이터 상에 기 구축하여 저장되어 있으므로 상기 정밀지도 데이터에 따른 위치 좌표를 정합시킬 수 있는 것이다.Since the structures are preliminarily stored on the precise map data, they can match the position coordinates according to the precise map data.

그러므로 상기 제4단계(S400)는 상기 하늘 객체와 상기 구조물 객체의 이미지 상에 상기 정밀지도 데이터에 의하여 상기 하늘 객체에는 도로명 및 차선 정보가 정합되고, 상기 구조물 객체에는 건물 또는 구조물의 정보가 정합되어지는 단계이다.Therefore, in the fourth step S400, the sky object is matched with the road name and the lane information by the precise map data on the image of the sky object and the structure object, and the information of the building or the structure is registered in the structure object Is a losing step.

상기 제5단계(S500)는 상기 제4단계(S400)의 정합되어진 정보에 의하여 상기 차량의 방향, 위치 및 주행 차선 레벨을 주기적으로 측위하는 단계이다.The fifth step S500 is a step of periodically positioning the direction, the position, and the driving lane level of the vehicle according to the matched information of the fourth step S400.

또한, 도 5는 본 발명의 일실시예에 따른 스카이라인을 통한 차선 레벨 측위를 나타내는 예시도로서, 도시와 같이 상기 카메라 초점의 중심 위치에 따라 상기 하늘 객체 상에서 차선 레벨까지도 측위가 가능함을 나타낸다.5 is a diagram illustrating an example of lane-level positioning through a skyline according to an exemplary embodiment of the present invention. As shown in FIG. 5, it is shown that the lane level can be positioned on the sky object according to the center position of the camera focus.

이때 상기 제5단계(S500)는 상기 정밀지도 데이터를 참조하여 도로 형상의 변화가 일정 범위로 적은 지점에서는 측위 주기를 일정시간 길게 하고, 도로 형상의 변화가 많은 지점에서는 측위 주기를 일정시간 짧게 하여 CPU의 부하를 줄이는 시스템의 저전력 운영을 할 수 있다.In the fifth step S500, the positioning cycle is lengthened by a predetermined time at a point where the change of the road shape is small by referring to the precision map data, and the positioning period is shortened by a predetermined time at the point where the change of the road shape is large It is possible to operate the system with low power to reduce the load on the CPU.

본 발명의 다른 실시예로는 GPS가 미수신되는 이중 교량 또는 이중 고가도로의 하부 도로에서 상부를 바라보았을 때, 상부 구조물의 스카이라인에 따른 경계 모습이 정밀지도 데이터상의 구조물 정보와 비교될 수 있으며, 이때도 상술한 바와 같은 방법으로 도로 양옆으로의 하늘 객체와 구조물 객체를 이용하여 차량의 위치 및 차선 레벨을 측위할 수 있는 것이다.In another embodiment of the present invention, when the upper part is viewed from the lower road of the double bridge or the double elevated road where GPS is not received, the boundary shape along the skyline of the upper structure can be compared with the structure information on the precise map data, The position and the lane level of the vehicle can be determined by using the sky object and the structure object on both sides of the road as described above.

본 발명의 또 다른 실시예로는 도로 양옆으로 가로수가 빽빽이 들어서서 GPS가 미수신되는 지역에서의 주행 시에도 가로수들 사이로 보이는 스카이라인의 하늘 모습이 도로의 형상과 유사함으로, 정밀지도 데이터상의 가로수 구조물 정보와 비교하여 차량의 위치 및 차선 레벨을 측위할 수 있는 것이다.In another embodiment of the present invention, the sky line of the skyline, which is seen through the roadside trees even when driving in an area where GPS is not received, is closely packed with roads on both sides of the road, The position of the vehicle and the lane level can be determined.

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, Various changes and modifications will be possible.

Claims (7)

구조물에 의한 스카이라인이 형성되고 GPS 수신이 방해되는 지역에서의 차량 주행 시,
상기 차량의 상부에 위치한 카메라를 활용하여 지면에서 수직 방향으로 스카이라인의 영상 이미지를 취득하는 제1단계;
상기 제1단계에서 촬영된 스카이라인의 영상 이미지와 일치하는 정밀지도 데이터를 상기 차량의 내부에 장착된 내비게이션을 이용하여 검색하고 취득하는 제2단계;
상기 제1단계에서 촬영된 스카이라인의 영상 이미지에서 하늘 객체와 구조물 객체 이미지를 분리하는 제3단계;
상기 제3단계의 상기 하늘 객체와 상기 구조물 객체의 이미지 상에 상기 정밀지도 데이터에 의하여 상기 하늘 객체에는 도로명 및 차선 정보가 정합되고, 상기 구조물 객체에는 상기 구조물에 관한 정보가 정합되어지는 제4단계; 및
상기 제4단계의 정합되어진 정보에 의하여 상기 차량의 현재 위치 및 차선 레벨을 주기적으로 측위하는 제5단계를 통하여 이루어지는 것을 특징으로 하는 스카이라인을 이용한 차량의 측위 방법.
When the vehicle is traveling in an area where the skyline is formed by the structure and GPS reception is obstructed,
A first step of acquiring a video image of a skyline in a vertical direction on the ground using a camera located at an upper portion of the vehicle;
A second step of searching and acquiring accurate map data corresponding to a video image of the skyline photographed in the first step using navigation installed in the vehicle;
A third step of separating a sky object and a structure object image from a video image of the skyline photographed in the first step;
A fourth step of matching the road name and the lane information to the sky object by the precise map data on the image of the sky object and the structure object in the third step and the information on the structure is matched to the structure object, ; And
And a fifth step of periodically locating the current position and the lane level of the vehicle according to the matched information of the fourth step.
제1 항에 있어서,
상기 카메라는 광각렌즈이거나 사각(寫角)이 180도를 초과하여 촬영할 수 있는 어안렌즈를 활용하는 것을 특징으로 하는 스카이라인을 이용한 차량의 측위 방법.
The method according to claim 1,
Wherein the camera is a wide-angle lens or a fisheye lens capable of photographing with an angle of more than 180 degrees.
제1 항에 있어서,
상기 정밀지도 데이터는 상기 구조물에 의한 스카이라인의 형상에 대한 이미지 정보를 포함하고, 상기 구조물 및 도로에 대한 정보와 좌표 위치가 맵핑되어 네트워크 서버 상에 기 구축하여 저장되어 있는 지도 데이터인 것을 특징으로 하는 스카이라인을 이용한 차량의 측위 방법.
The method according to claim 1,
The precision map data is map data that includes image information about the shape of the skyline by the structure and is previously constructed and stored on the network server by mapping the information about the structure and the road with the coordinate position. A method of positioning a vehicle using a skyline.
제3 항에 있어서,
상기 정밀지도 데이터는 일정 높이에서 지면 방향의 수직으로 항공 촬영한 항공지도 데이터를 더 포함하는 것을 특징으로 하는 스카이라인을 이용한 차량의 측위 방법.
The method of claim 3,
Wherein the precision map data further includes aerial map data obtained by aerial photographing at a predetermined height vertically in the direction of the ground.
제1 항에 있어서,
상기 하늘 객체는 상기 스카이라인의 영상 이미지 상에서 가상의 도로로 인식되는 공간상 영역으로, 상기 카메라 초점의 중심 위치에 따라 차선 레벨 측위가 가능한 영역인 것을 특징으로 하는 스카이라인을 이용한 차량의 측위 방법.
The method according to claim 1,
Wherein the sky object is a spatial image area recognized as an imaginary road on the image of the skyline, and is an area in which the lane level positioning is possible according to the center position of the camera focus.
제1 항에 있어서,
상기 구조물 객체는 상기 스카이라인의 영상 이미지 상에서 GPS의 신호 수신을 방해할 수 있는 도로 주변의 구조물을 포함하는 영역으로, 상기 정밀지도 데이터에 따라 상기 구조물의 정보를 정합시킬 수 있는 객체인 것을 특징으로 하는 스카이라인을 이용한 차량의 측위 방법.
The method according to claim 1,
The structure object is an area including a structure around the road that can obstruct the reception of GPS signals on the image of the skyline, and is an object capable of matching information of the structure according to the precise map data. A method of positioning a vehicle using a skyline.
제1 항에 있어서,
상기 정밀지도 데이터를 참조하여 도로 형상의 변화가 일정 범위의 이내 지점에서는 측위 주기를 일정시간 길게 하고, 도로 형상의 변화가 일정 범위를 초과 지점에서는 측위 주기를 일정시간 짧게 하는 것을 특징으로 하는 스카이라인을 이용한 차량의 측위 방법.
The method according to claim 1,
The positioning period is lengthened by a predetermined time at a point within a certain range of change of the road shape with reference to the precision map data, and the positioning period is shortened by a predetermined time at a point where the change of the road shape exceeds a certain range. A method of positioning a vehicle using the method.
KR1020150108623A 2015-07-31 2015-07-31 Vehicle Location Method of Skyline Active KR102336778B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150108623A KR102336778B1 (en) 2015-07-31 2015-07-31 Vehicle Location Method of Skyline

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150108623A KR102336778B1 (en) 2015-07-31 2015-07-31 Vehicle Location Method of Skyline

Publications (2)

Publication Number Publication Date
KR20170015754A true KR20170015754A (en) 2017-02-09
KR102336778B1 KR102336778B1 (en) 2021-12-08

Family

ID=58154628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150108623A Active KR102336778B1 (en) 2015-07-31 2015-07-31 Vehicle Location Method of Skyline

Country Status (1)

Country Link
KR (1) KR102336778B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221349A1 (en) * 2018-05-17 2019-11-21 에스케이텔레콤 주식회사 Device and method for calibrating camera for vehicle
CN111238490A (en) * 2018-11-29 2020-06-05 北京地平线机器人技术研发有限公司 Visual positioning method and device and electronic equipment
KR20220105969A (en) * 2021-01-21 2022-07-28 티맵모빌리티 주식회사 Terminal positioning device and terminal positioning method
KR20230044912A (en) * 2021-09-27 2023-04-04 한국전자통신연구원 Method and apparatus for positioning using image and radio signals
KR20230120211A (en) * 2022-02-08 2023-08-17 한라대학교산학협력단 Self-position recognition device of an autonomous vehicle
US12211266B2 (en) 2020-08-18 2025-01-28 Samsung Electronics Co., Ltd. Method for obtaining position information using image and electronic device supporting the same
US12284435B2 (en) 2020-09-17 2025-04-22 Samsung Electronics Co., Ltd. Electronic device and server for determining user's position-related information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070098103A (en) * 2006-03-31 2007-10-05 (주)더싸인 Navigation system and navigation method using the same
KR101231011B1 (en) * 2011-12-16 2013-02-07 현대자동차주식회사 Apparatus and method for detecting location of vehicle in shaded area
KR20130024402A (en) * 2011-08-31 2013-03-08 재단법인대구경북과학기술원 Outdoor seamless positioning method and apparatus thereof
KR101265711B1 (en) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d vehicle around view generating method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070098103A (en) * 2006-03-31 2007-10-05 (주)더싸인 Navigation system and navigation method using the same
KR20130024402A (en) * 2011-08-31 2013-03-08 재단법인대구경북과학기술원 Outdoor seamless positioning method and apparatus thereof
KR101265711B1 (en) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d vehicle around view generating method and apparatus
KR101231011B1 (en) * 2011-12-16 2013-02-07 현대자동차주식회사 Apparatus and method for detecting location of vehicle in shaded area

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221349A1 (en) * 2018-05-17 2019-11-21 에스케이텔레콤 주식회사 Device and method for calibrating camera for vehicle
KR20190131799A (en) * 2018-05-17 2019-11-27 에스케이텔레콤 주식회사 Apparatus and method for providing camera calibration for vehicle
CN111238490A (en) * 2018-11-29 2020-06-05 北京地平线机器人技术研发有限公司 Visual positioning method and device and electronic equipment
US12211266B2 (en) 2020-08-18 2025-01-28 Samsung Electronics Co., Ltd. Method for obtaining position information using image and electronic device supporting the same
US12284435B2 (en) 2020-09-17 2025-04-22 Samsung Electronics Co., Ltd. Electronic device and server for determining user's position-related information
KR20220105969A (en) * 2021-01-21 2022-07-28 티맵모빌리티 주식회사 Terminal positioning device and terminal positioning method
KR20230044912A (en) * 2021-09-27 2023-04-04 한국전자통신연구원 Method and apparatus for positioning using image and radio signals
KR20230120211A (en) * 2022-02-08 2023-08-17 한라대학교산학협력단 Self-position recognition device of an autonomous vehicle

Also Published As

Publication number Publication date
KR102336778B1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
KR102336778B1 (en) Vehicle Location Method of Skyline
CN110057373B (en) Method, apparatus and computer storage medium for generating high-definition semantic map
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
CN108303721B (en) Vehicle positioning method and system
EP3290952B1 (en) Automatic localization geometry detection
EP3343172B1 (en) Creation and use of enhanced maps
JP5841849B2 (en) Navigation system and method using encoded markers
KR102425735B1 (en) Autonomous Driving Method and System Using a Road View or a Aerial View from a Map Server
CN111351494B (en) Navigation system and computer readable medium
CN101395645B (en) Image processing system and method
EP3008708B1 (en) Vision augmented navigation
US9948853B2 (en) Camera parameter calculation device, navigation system and camera parameter calculation method
CN116026345A (en) System and method for vehicle navigation
CN109154506B (en) Method and system for determining a global position of a first landmark
CN115667847B (en) Vehicle control device and vehicle position estimation method
US20180273031A1 (en) Travel Control Method and Travel Control Apparatus
CN110945379A (en) Determining yaw error from map data, lasers and cameras
KR20160002178A (en) Apparatus and method for self-localization of vehicle
CN108885106A (en) It is controlled using the vehicle part of map
CN104748754B (en) Vehicle positioning method and system
KR20160147016A (en) Method and system for determining a position relative to a digital map
CN106980657A (en) A kind of track level electronic map construction method based on information fusion
JP4577655B2 (en) Feature recognition device
JP5769149B2 (en) Mobile mapping system, roadside object measurement method using the same, and position specifying program
CN115917255A (en) Vision-Based Prediction of Position and Turn Markings

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150731

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200616

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150731

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210512

Patent event code: PE09021S01D

PN2301 Change of applicant

Patent event date: 20211015

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211125

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211203

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211203

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241120

Start annual number: 4

End annual number: 4