[go: up one dir, main page]

KR102053099B1 - 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법 - Google Patents

어라운드 뷰 모니터링 시스템 및 그것의 동작 방법 Download PDF

Info

Publication number
KR102053099B1
KR102053099B1 KR1020180065286A KR20180065286A KR102053099B1 KR 102053099 B1 KR102053099 B1 KR 102053099B1 KR 1020180065286 A KR1020180065286 A KR 1020180065286A KR 20180065286 A KR20180065286 A KR 20180065286A KR 102053099 B1 KR102053099 B1 KR 102053099B1
Authority
KR
South Korea
Prior art keywords
image
image data
viewing angle
distortion correction
synthesizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180065286A
Other languages
English (en)
Inventor
김기범
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020180065286A priority Critical patent/KR102053099B1/ko
Priority to US16/431,494 priority patent/US11021104B2/en
Priority to CN201910492112.6A priority patent/CN110576794B/zh
Priority to DE102019208338.2A priority patent/DE102019208338B4/de
Application granted granted Critical
Publication of KR102053099B1 publication Critical patent/KR102053099B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

본 발명에 따른 어라운드 뷰 모니터링(around view monitoring; AVM) 시스템의 동작 방법은, 차량의 서로 다른 위치들에 배치된 이미지 센서들로부터 영상 데이터 획득하는 단계, 영상 개선을 위하여 상기 영상 데이터에 대하여 영상 처리를 수행하는 단계, 상기 처리된 영상 데이터에 대하여 렌즈 왜곡 보정을 수행하는 단계, 상기 보정된 영상 데이터로부터 중복 영역을 검출하는 단계, 상기 검출된 중복 영역이 영상 합성시 중첩되지 않도록 단일 시야각 영상 데이터를 합성하는 단계, 및 상기 합성된 영상 데이터를 출력하는 단계를 포함할 수 있다.

Description

어라운드 뷰 모니터링 시스템 및 그것의 동작 방법{AROUND VIEW MONITORING SYSTEM AND OPERATING METHOD THEREOF}
본 발명은 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법에 관한 것이다.
차량용 전장기술의 발전과 영상처리 기술이 발전하면서 최근 ADAS(advanced driver assistance system) 시스템에 대한 연구가 활 발하게 진행되고 있다. 최근에는 차량 주위에 복수의 카메라를 설치하여 차량 주변의 360˚전방향의 영상을 보여주는 어라운드 뷰 모니터링(AVM, around view monitoring) 시스템도 적용되고 있다. AVM 시스템은 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 차량 주변의 영상을 조합하여 운전자가 하늘에서 차량을 바라보는 듯한 탑 뷰(top view) 영상을 제공함으로써, 운전자가 차량 주변 장애물이 화면상에 확인할 수 있도록 한다.
등록특허: 10-1714213, 등록일: 2017년 03월 02일, 제목: 렌즈 영상 왜곡 보정 장치. 등록특허: 10-1807090, 등록일: 2017년 12월 04일, 제목: 영상 왜곡 보정 장치 및 방법. 등록특허: 10-1764106, 등록일: 2017년 07월 27일, 제목: AVM 시스템 및 사각지대 영상 합성 방법.
본 발명의 목적은 사각지대를 개선하는 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법을 제공하는데 있다.
어라운드 뷰 모니터링(around view monitoring; AVM) 시스템의 동작 방법은: 차량의 서로 다른 위치들에 배치된 이미지 센서들로부터 영상 데이터 획득하는 단계; 영상 개선을 위하여 상기 영상 데이터에 대하여 영상 처리를 수행하는 단계; 상기 처리된 영상 데이터에 대하여 렌즈 왜곡 보정을 수행하는 단계; 상기 보정된 영상 데이터로부터 중복 영역을 검출하는 단계; 상기 검출된 중복 영역이 영상 합성시 중첩되지 않도록 단일 시야각 영상 데이터를 합성하는 단계; 및 상기 합성된 영상 데이터를 출력하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 차량의 서로 다른 위치들은, 전방, 후방, 좌측, 우측을 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 렌즈 왜곡 보정을 수행하는 단계는, 상기 영상 데이터에 대한 영상 중심을 설정하는 단계; 렌즈 왜곡 보정율 함수의 계수를 설정하는 단계; 상기 설정된 계수에 대응하는 가변 비율에 따라 상기 영상 데이터의 수평 영상 보간을 수행하는 단계; 및 상기 영상 데이터에 대한 수직 영상 보간을 수행하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 검출된 중복 영역이 영상 합성시 중첩되지 않도록 영상 출력 방법을 선택하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 영상 출력 방법을 선택하는 단계는, 상기 검출된 중복 영역 중에서 사전에 결정된 영역을 선택하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 사전에 결정된 영역은 상기 AVM 시스템의 사용자에 의해 결정되는 것을 특징으로 한다.
실시 예에 있어서, 상기 영상 데이터를 합성하는 단계는, 상기 중복 영역 중에서 시야각 기준 영상을 선택하는 단계; 및 상기 시야각 기준 영상을 이용하여 영상 데이터를 합성하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 영상 데이터를 합성하는 단계는, 영상 데이터 사이의 경계면 부분은 상기 선택된 중복 영역의 기준 영상의 렌즈 왜곡 보정률을 조정함으로써 합성하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 시야각 기준 영상을 선택하는 단계는, 조향정보 혹은 초음파 기반 물체 방향 정보를 근거로 하여 상기 시야각 기준 영상을 선택하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 조향정보가 사전에 결정된 조향각 이상이라는 것을 지시할 때, 측방외각영역 표시를 확대하도록 상기 시야각 기준 영상이 선택되는 것을 특징으로 한다.
실시 예에 있어서, 상기 초음파 기반 물체 방향 정보가 최근접 물체 위치가 중심 표시 영역이라는 것을 지시할 때, 상기 중심 표시 영역을 변경하기 위하여 상기 시야각 기준 영상이 선택되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 어라운드 뷰 모니터링(around view monitoring; AVM) 시스템은, 차량에 배치되고, 상기 차량의 주변 환경으로부터 영상 데이터를 획득하는 복수의 카메라들; 상기 복수의 카메라들로부터 영상 데이터를 수신 받고, 상기 수신된 영상 데이터를 영상 개선을 위하여 처리하고, 상기 처리된 영상 데이터의 렌즈 왜곡 보정을 수행하고, 상기 보정된 영상 데이터로부터 중복 영역을 검출하고, 영상 합성시 중복 영역의 시야각을 중첩시키지 않는 영상 출력 방법을 선택하고, 상기 선택된 영상 출력 방법에 따라 선택된 영상 데이터를 합성하는 영상 신호 처리 장치; 및 상기 영상 신호 처리 장치로부터 합성된 영상 데이터를 디스플레이하는 디스플레이 장치를 포함할 수 있다.
실시 예에 있어서, 상기 영상 신호 처리 장치는, 상기 검출된 중복 영역에서 사전에 결정된 영역을 선택하고, 상기 선택된 중복 영역 기준 영상의 합성 경계면의 렌즈 왜곡 보정율을 조정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 영상 신호 처리 장치는 조향정보 혹은 초음파 기반 물체 방향 정보를 이용하여 상기 중복 영역 기준 영상을 선택하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 AVM 시스템 및 그것의 동작 방법은 단일 시야각을 기준으로 영상을 합성함으로써, 사각지대에서 물체가 사라지는 현상을 근본적으로 방지할 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 AVM(around view monitoring) 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 AVM 시스템(10)의 단일 시야각 기준으로 AVM 영상을 표시하는 방법을 개념적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 AVM 시스템(10)에서 시야 각 차이로 발생하는 연결 부위 사각지대를 회피하는 것을 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 AVM 시스템(10)의 중복 영역 출력 방법을 예시적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 AVM 시스템(10)에서 중복 연결 부분의 왜곡 보정 정도를 조정하는 방법을 예시적으로 보여주는 도면이다.
도 6는 본 발명의 실시 예에 따른 가변 비율 왜곡 보정 방법을 예시적으로 보여주는 도면이다.
도 7은 본 발명의 실시 예에 따른 AVM 시스템(10)의 동작 방법을 예시적으로 보여주는 흐름도이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 혹은 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시 예에 따른 AVM(around view monitoring) 시스템(10)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, AVM 시스템(10)은 복수의 카메라들(110, 120, 130, 140), 영상 신호 처리 장치(200), 및 디스플레이 장치(300)를 포함할 수 있다.
복수의 카메라들(110, 120, 130, 140)의 각각은 사전에 결정된 차량의 위치에 배치되고, 차량 주변의 영상 데이터를 획득할 수 있다. 도 1에서 카메라들(110, 120, 130, 140)의 각각은 차량의 전방, 후방, 좌측방, 우측방에 각각 배치될 수 있다. 하지만, 본 발명의 카메라의 개수 및 배치는 여기에 제한되지 않는다고 이해되어야 할 것이다.
실시 예에 있어서, 카메라들(110, 120, 130, 140)의 각각은 차량의 주변 환경의 촬상하도록 180도 이상의 시야각을 갖는 광각 카메라로 구현될 수 있다.
영상 신호 처리 장치(200)는 유선 혹은 무선을 통하여 복수의 카메라들(110, 120, 130, 140)로부터 영상 데이터를 수신 받고, 수신된 영상 데이터를 운전자(사용자)의 운전을 보조하기 위한 영상 데이터로 처리하도록 구현될 수 있다.
실시 예에 있어서, 영상 신호 처리 장치(200)는 영상 개선을 위하여 다양한 처리 동작을 수행할 수 있다. 예를 들어, Bayer 영역에 대하여, 카메라들(110, 120, 130, 140)의 이미지 센서로부터 출력된 원본 영상(raw image)가 처리될 수 있다. RGB 영역에 대하여 색 정보 보정 및 조절 제어가 수행될 수 있다. YUV 영역에 대하여 영상 개선 및 최적화가 수행될 수 있다. 또한, 영상 신호 처리 장치(200)는, 영상 데이터에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion; CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다.
실시 예에 있어서, 영상 신호 처리 장치(200)는 후방 카메라(예, 120)에 특화된 기술로써 영상 데이터를 처리할 수 있다. 여기서 후방 카메라에 특화된 기술은 LDC(lens distortion correction), 영상 합성(image stitching) 등을 포함할 수 있다.
실시 예에 있어서, 영상 신호 처리 장치(200)는 영상 합성시 시야 각 차이로 발생하는 연결 부위 사각지대를 회피하도록 구현될 수 있다. 예를 들어, 영상 신호 처리 장치(200)는 특정 영역의 시야각을 중첩하지 않고, 하나의 시야각으로 영상을 합성할 수 있다. 이때 연결 부분은 왜곡 보정 정도가 감소될 수 있다.
디스플레이 장치(300)는 영상 신호 처리 장치(200)로부터 처리된 영상 데이터를 디스플레이 혹은 제어 하도록 구현될 수 있다. 실시 예에 있어서, 디스플레이 장치(300)는 내비게이션(navigation)을 포함할 수 있다.
일반적인 AVM 시스템은 복수의 카메라로부터 수신된 영상을 합성할 때 시야각으로 인하여 사각지대의 물체가 사라지는 현상을 야기할 수 있다. 반면에, 본 발명의 실시 예에 따른 AVM 시스템(10)은 단일 시야각을 기준으로 영상을 합성함으로써, 사각지대에서 물체가 사라지는 현상을 근본적으로 방지할 수 있다.
도 2는 본 발명의 실시 예에 따른 AVM 시스템(10)의 단일 시야각 기준으로 AVM 영상을 표시하는 방법을 개념적으로 보여주는 도면이다. 우선 4개의 카메라(110, 120, 130, 140)로부터 영상 데이터가 영상 신호 처리 장치(200)로 수신될 수 있다. 영상 신호 처리 장치(200)에서 수신된 4개의 영상에 대한 렌즈 왜곡 보정(LDC; lens distortion correction)이 수행될 수 있다.
도 2에서는 2개의 단일 시야각 영상 출력 방법이 도시된다. 1)의 경우 단일 카메라를 기준으로 시야각은 왼쪽 영역이 오른쪽 영역보다 크게 설정될 수 있다. 2)의 경우 단일 카메라를 기준으로 시야각은 오른쪽 영역이 왼쪽 영역보다 크게 설정될 수 있다. 한편, 중첩 영역이 없도록 단일 시야각 영상 출력 방법은 여기에 제한되지 않는다고 이해되어야 할 것이다.
실시 예에 있어서, 1)의 경우 전방의 중첩 영역(②), 측방의 중첩 영역(①, ④), 후방의 중첩(③)이 제거될 수 있다. 다른 실시 예에 있어서, 2)의 경우 전방 중첩 영역(①), 측방의 중첩 영역(②, ③), 후방의 중첩 영역(④)이 제거될 수 있다.
이후, 4개 영상을 합성함으로써 차량 주변 영상이 생성될 수 있다. 추가로, 조향각 정보 혹은 물체 방향 정보 등과 같은 환경 정보에 따라 1) 및 2)는 변환 기능이 가능하다.
도 3은 본 발명의 실시 예에 따른 AVM 시스템(10)에서 시야각 차이로 발생하는 연결 부위 사각지대를 회피하는 것을 보여주는 도면이다. 4개 카메라의 영상 합성시 시야각 차이로 인하여 발생되는 연결 부위 사각지대가 존재할 수 있다. 이러한 영상 합성 화면을 보고 주차할 경우, 사각지대에 물체(사람)이 존재할 때 위험 상황이 도출될 수 있다. 반면에 본 발명의 실시 예에 따른 AVM 시스템(10)은 특정 영역의 시야각을 중첩하지 않고 하나의 시야각으로 영상을 합성할 수 있다. 여기서 연결 부분(경계면 부분)에서는 왜곡 보정 정도가 조정될 수 있다. 본 발명의 AVM 시스템(10)에서 영상 합성할 때, 단일 시야각 영상 데이터를 이용하기 때문에 사각지대가 근본적으로 발생되지 않는다.
도 4는 본 발명의 실시 예에 따른 AVM 시스템(10)의 중복 영역 출력 방법을 예시적으로 보여주는 도면이다. 도 4를 참조하면, 조향 정보(기준1)와 초음파 기반 최근접 물체 방향 정보(기준2)으로 영상 출력 형태가 결정될 수 있다.
실시 예에 있어서, 특정 조향각(θ) 이상일 때, 측방 외각 영역 표시 영역이 확대될 수 있다(기준1). 조향각이 후측방에 대응할 때, 케이스 1의 표시 방법(영상 출력 출력 방법)이 선택될 수 있다. 조향각이 전측방에 대응할 때, 케이스 2의 표시 방법이 선택될 수 있다. 조향각이 전방에 대응할 때, 케이스 3의 표시 방법이 선택될 수 있다. 조향각이 후방에 대응할 때, 케이스 4의 표시 방법이 선택될 수 있다.
실시 예에 있어서, 최근접 물체가 중심 영역일 경우, 중심 표시 영역이 변경될 수 있다(기준2). 차량이 후진 할 때에는, 케이스 1에서 4로 변경되고, 케이스 4에서 1로 변경될 수 있다. 차량이 전진 할 때에는, 케이스 2에서 3으로 변경되고 케이스 3에서 2로 변경될 수 있다.
도 5는 본 발명의 실시 예에 따른 AVM 시스템(10)에서 중복 연결 부분의 왜곡 보정 정도를 조정하는 방법을 예시적으로 보여주는 도면이다. 도 5를 참조하면, 중복 연결 부분의 왜곡 보정 정도는 가변 비율 왜곡 보정에 의해 조정될 수 있다.
도 6는 본 발명의 실시 예에 따른 가변 비율 왜곡 보정 방법을 예시적으로 보여주는 도면이다. 도 6를 참조하면, 중복 연결 부분에 대한 가변 비율 왜곡 보정 방법은 다음과 같이 진행될 수 있다. 먼저는 영상 데이터에 대한 영상 중심이 설정될 수 있다. 이후 렌즈 왜곡 보정율 함수에 의거하여 계수가 설정될 수 있다. 이로써 설정된 계수에 따라 가변 왜곡 보정율이 증가/감소가 제어될 수 있다. 다음으로 영상 데이터에 대한 수평 영상 보간이 수행될 수 있다. (a), (b)의 경우는 가변 비율만큼 픽셀 이동 및 변환이 이루어진다. (c), (d)는 가변 비율 변환으로 보간 공간을 의미한다. 다음으로 영상 데이터에 대한 수직 영상 보간이 수행될 수 있다.
도 7은 본 발명의 실시 예에 따른 AVM 시스템(10)의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 7를 참조하면, AVM 시스템(10)의 동작은 다음과 같이 진행될 수 있다.
카메라(110, 120, 130, 140)의 각각의 렌즈를 통하여 이미지 센서에 영상 데이터가 획득될 수 있다. 획득된 영상 데이터는 대응하는 영상 데이터 처리기에 의해 처리될 수 있다. 처리된 영상 데이터는 대응하는 렌즈 왜곡 보정기에 의해 왜곡 보정이 수행될 수 있다. 이후에 4개의 영상 중복 영역 검출기에서 대응하는 중복 영역이 검출될 수 있다.
이후에 영상 출력 방법 선택기에서 중복 영역이 제거되고, 단일 시야각에 따른 영상 출력이 선택될 수 있다. 검출된 중복 영역 중에서 원하는 영역이 선택될 수 있다. 예를 들어, 측방 중심일 경우에는 측방 영역 기준으로 중복 영역이 표시될 수 있다. 실시 예에 있어서, 사용자 선택에 따른 시야각 영상이 표시될 수 있다.
이후 영상 합성기에서 선택된 4개의 영상 데이터가 합성될 수 있다. 실시 예에 있어서, 선택된 중복 영역 중에서 원하는 영역을 기준으로 영상이 합성될 수 있다. 실시 예에 있어서, 영상 합성시 다른 영상들 간의 경계면 부분은, 선택된 중복 영역 기준 영상의 렌즈 왜곡 보정률을 조정시킴으로써 합성될 수 있다.
한편, 상술된 영상 데이터 처리기, 렌즈 왜곡 보정기(LDC), 영상 중복 영역 검출기, 영상 출력 방법 선택기, 및 영상 합성기는, 도 2에 도시된 영상 신호 처리 장치(200)에 소프트웨어, 하드웨어, 혹은 펌웨어적으로 포함될 수 있다. 이후, 합성된 데이터가 최종적으로 디스플레이 장치(300)로 출력될 수 있다. 즉, 4개의 영상 데이터에 대응하는 최종적인 합성 영상 데이터가 출력될 수 있다.
본 발명에 따른 단계들 및/또는 동작들은 기술분야의 통상의 기술자에 의해 이해될 수 있는 것과 같이, 다른 순서로, 또는 병렬적으로, 또는 다른 에포크(epoch) 등을 위해 다른 실시 예들에서 동시에 일어날 수 있다.
실시 예에 따라서는, 단계들 및/또는 동작들의 일부 또는 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/또는 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 또는 수행될 수 있다. 하나 이상의 비-일시적 컴퓨터-판독가능 매체는 예시적으로 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합일 수 있다. 또한, 본 명세서에서 논의된 "모듈"의 기능은 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합으로 구현될 수 있다.
본 발명의 실시 예들의 하나 이상의 동작들/단계들/모듈들을 구현/수행하기 위한 하나 이상의 비-일시적 컴퓨터-판독가능 매체 및/또는 수단들은 ASICs(application-specific integrated circuits), 표준 집적 회로들, 마이크로 컨트롤러를 포함하는, 적절한 명령들을 수행하는 컨트롤러, 및/또는 임베디드 컨트롤러, FPGAs(field-programmable gate arrays), CPLDs(complex programmable logic devices), 및 그와 같은 것들을 포함할 수 있지만, 여기에 한정되지는 않는다.
한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
10: AVM 시스템
110, 120, 130, 140: 카메라
200: 영상 신호 처리 장치
300: 디스플레이 장치

Claims (14)

  1. 어라운드 뷰 모니터링(around view monitoring; AVM) 시스템의 동작 방법에 있어서:
    차량의 서로 다른 위치들에 배치된 이미지 센서들로부터 영상 데이터 획득하는 단계;
    영상 개선을 위하여 상기 영상 데이터에 대하여 영상 처리를 수행하는 단계;
    상기 처리된 영상 데이터에 대하여 렌즈 왜곡 보정을 수행하는 단계;
    상기 보정된 영상 데이터로부터 중복 영역을 검출하는 단계;
    상기 검출된 중복 영역이 영상 합성시 중첩되지 않도록 단일 시야각 영상 데이터를 합성하는 단계; 및
    상기 합성된 영상 데이터를 출력하는 단계를 포함하고,
    상기 영상 데이터를 합성하는 단계는,
    상기 중복 영역 중에서 시야각 기준 영상을 선택하는 단계; 및
    상기 시야각 기준 영상을 이용하여 영상 데이터를 합성하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 차량의 서로 다른 위치들은, 전방, 후방, 좌측, 우측을 포함하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    상기 렌즈 왜곡 보정을 수행하는 단계는,
    상기 영상 데이터에 대한 영상 중심을 설정하는 단계;
    렌즈 왜곡 보정율 함수의 계수를 설정하는 단계;
    상기 설정된 계수에 대응하는 가변 비율에 따라 상기 영상 데이터의 수평 영상 보간을 수행하는 단계; 및
    상기 영상 데이터에 대한 수직 영상 보간을 수행하는 단계를 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 검출된 중복 영역이 영상 합성시 중첩되지 않도록 영상 출력 방법을 선택하는 단계를 더 포함하는 방법.
  5. 제 4 항에 있어서,
    영상 출력 방법을 선택하는 단계는,
    상기 검출된 중복 영역 중에서 사전에 결정된 영역을 선택하는 단계를 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 사전에 결정된 영역은 상기 AVM 시스템의 사용자에 의해 결정되는 것을 특징으로 하는 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 영상 데이터를 합성하는 단계는,
    영상 데이터 사이의 경계면 부분은 상기 선택된 중복 영역의 기준 영상의 렌즈 왜곡 보정률을 조정함으로써 합성하는 단계를 포함하는 방법.
  9. 제 1 항에 있어서,
    상기 시야각 기준 영상을 선택하는 단계는,
    조향정보 혹은 초음파 기반 물체 방향 정보를 근거로 하여 상기 시야각 기준 영상을 선택하는 단계를 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 조향정보가 사전에 결정된 조향각 이상이라는 것을 지시할 때, 측방외각영역 표시를 확대하도록 상기 시야각 기준 영상이 선택되는 것을 특징으로 하는 방법.
  11. 제 9 항에 있어서,
    상기 초음파 기반 물체 방향 정보가 최근접 물체 위치가 중심 표시 영역이라는 것을 지시할 때, 상기 중심 표시 영역을 변경하기 위하여 상기 시야각 기준 영상이 선택되는 것을 특징으로 하는 방법.
  12. 차량에 배치되고, 상기 차량의 주변 환경으로부터 영상 데이터를 획득하는 복수의 카메라들;
    상기 복수의 카메라들로부터 영상 데이터를 수신 받고, 상기 수신된 영상 데이터를 영상 개선을 위하여 처리하고, 상기 처리된 영상 데이터의 렌즈 왜곡 보정을 수행하고, 상기 보정된 영상 데이터로부터 중복 영역을 검출하고, 영상 합성시 중복 영역의 시야각을 중첩시키지 않는 영상 출력 방법을 선택하고, 상기 선택된 영상 출력 방법에 따라 선택된 영상 데이터를 합성하는 영상 신호 처리 장치; 및
    상기 영상 신호 처리 장치로부터 합성된 영상 데이터를 디스플레이하는 디스플레이 장치를 포함하고,
    상기 영상 신호 처리 장치는, 상기 중복 영역 중에서 시야각 기준 영상을 선택하고, 상기 시야각 기준 영상을 이용하여 영상 데이터를 합성하는 것을 특징으로 하는 어라운드 뷰 모니터링(around view monitoring; AVM) 시스템.
  13. 제 12 항에 있어서,
    상기 영상 신호 처리 장치는, 상기 검출된 중복 영역에서 사전에 결정된 영역을 선택하고, 상기 선택된 중복 영역 기준 영상의 합성 경계면의 렌즈 왜곡 보정율을 조정하는 것을 특징으로 하는 AVM 시스템.
  14. 제 13 항에 있어서,
    상기 영상 신호 처리 장치는 조향정보 혹은 초음파 기반 물체 방향 정보를 이용하여 상기 중복 영역 기준 영상을 선택하는 것을 특징으로 하는 AVM 시스템.
KR1020180065286A 2018-06-07 2018-06-07 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법 Active KR102053099B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180065286A KR102053099B1 (ko) 2018-06-07 2018-06-07 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법
US16/431,494 US11021104B2 (en) 2018-06-07 2019-06-04 Around view monitoring system and operating method thereof
CN201910492112.6A CN110576794B (zh) 2018-06-07 2019-06-06 Avm系统及其操作方法
DE102019208338.2A DE102019208338B4 (de) 2018-06-07 2019-06-07 Rundumsicht-überwachungssystem und verfahren zum betrieb davon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180065286A KR102053099B1 (ko) 2018-06-07 2018-06-07 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법

Publications (1)

Publication Number Publication Date
KR102053099B1 true KR102053099B1 (ko) 2019-12-06

Family

ID=68651933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180065286A Active KR102053099B1 (ko) 2018-06-07 2018-06-07 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법

Country Status (4)

Country Link
US (1) US11021104B2 (ko)
KR (1) KR102053099B1 (ko)
CN (1) CN110576794B (ko)
DE (1) DE102019208338B4 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767910A (zh) * 2020-06-15 2020-10-13 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
RU2811845C1 (ru) * 2020-06-15 2024-01-18 Чонгкинг Чанган Аутомобайл Ко., Лтд Автомобильная самонастраивающаяся система датчиков на основе распознавания окружающей обстановки

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
CN113242431B (zh) * 2021-05-13 2023-04-25 山西省智慧交通研究院有限公司 一种面向路侧感知的标注数据预处理方法
JP2024054743A (ja) * 2022-10-05 2024-04-17 トヨタ自動車株式会社 車両用画像表示装置、車両用画像表示プログラム及び車両用画像表示方法
CN116416321A (zh) * 2023-02-13 2023-07-11 星河智联汽车科技有限公司 一种车载全景环视自动标定方法、系统、设备及存储介质
FR3149262A1 (fr) 2023-05-30 2024-12-06 Renault S.A.S Système et procédé pour afficher une vue d’une zone de sol couverte par un véhicule

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120130798A (ko) * 2011-05-23 2012-12-04 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
KR101714213B1 (ko) 2015-09-09 2017-03-09 현대오트론 주식회사 렌즈 영상 왜곡 보정 장치
KR101764106B1 (ko) 2017-04-07 2017-08-03 (주)캠시스 Avm 시스템 및 사각지대 영상 합성 방법
KR101795271B1 (ko) * 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
KR101807090B1 (ko) 2016-06-20 2017-12-08 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006036933B4 (de) 2006-08-08 2024-01-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
KR101376210B1 (ko) 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
CN104512328B (zh) * 2013-09-27 2016-11-09 比亚迪股份有限公司 汽车环视图像生成方法及汽车环视系统
CN103810686A (zh) * 2014-02-27 2014-05-21 苏州大学 无缝拼接全景辅助驾驶系统及方法
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
CN104786933A (zh) * 2015-03-04 2015-07-22 江苏大学 一种全景影像驾驶辅助装置及方法
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120130798A (ko) * 2011-05-23 2012-12-04 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
KR101714213B1 (ko) 2015-09-09 2017-03-09 현대오트론 주식회사 렌즈 영상 왜곡 보정 장치
KR101795271B1 (ko) * 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
KR101807090B1 (ko) 2016-06-20 2017-12-08 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
KR101764106B1 (ko) 2017-04-07 2017-08-03 (주)캠시스 Avm 시스템 및 사각지대 영상 합성 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767910A (zh) * 2020-06-15 2020-10-13 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
CN111767910B (zh) * 2020-06-15 2023-01-06 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
RU2811845C1 (ru) * 2020-06-15 2024-01-18 Чонгкинг Чанган Аутомобайл Ко., Лтд Автомобильная самонастраивающаяся система датчиков на основе распознавания окружающей обстановки

Also Published As

Publication number Publication date
DE102019208338A1 (de) 2019-12-12
US11021104B2 (en) 2021-06-01
DE102019208338B4 (de) 2022-03-17
CN110576794A (zh) 2019-12-17
CN110576794B (zh) 2023-01-31
US20190375330A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
KR102053099B1 (ko) 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
US8144033B2 (en) Vehicle periphery monitoring apparatus and image displaying method
US20090009604A1 (en) Image processing system and method
US9247217B2 (en) Vehicle periphery monitoring device and vehicle periphery image display method
JP3300337B2 (ja) 画像処理装置および監視システム
JP5143009B2 (ja) 映像表示装置及び映像表示方法
WO2015043507A1 (zh) 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统
JP2001218197A (ja) 車両用周辺表示装置
WO2013077138A1 (ja) 車両周辺監視用画像生成装置
US9214034B2 (en) System, device and method for displaying a harmonized combined image
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
KR102177878B1 (ko) 영상 처리 장치 및 방법
JP5195841B2 (ja) 車載カメラ装置および車両
KR101436445B1 (ko) 차량 주변 영상 표시 방법
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
US11017508B2 (en) Image matching method and apparatus
CN118413752A (zh) 图像处理系统、可移动设备、图像处理方法和存储介质
KR20150014311A (ko) 어라운드뷰 제공 장치, 방법 및 차량
US20180069998A1 (en) Imaging apparatus, imaging system, and vehicle
JP4862321B2 (ja) 車載カメラ装置
JP2883264B2 (ja) 複眼撮像装置
JP4846627B2 (ja) 表示制御装置
KR20160139606A (ko) 차량의 파노라마 영상 표시장치 및 방법
JP7708176B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7