KR20020033816A - 감시시스템 - Google Patents

Abstract

복잡한 운전조작의 보조를 위하여, 보는 것만으로 안심하고 차를 운전할 수 있는 합성화상을 운전자에게 제공한다. 차량에 설치된 카메라의 촬상화상을 이용하여, 차량 후방의 좌우 180 도 시야를 갖는 화상을 반전시켜 표시한다. 또 자기 차량의 후진 시 주행 궤적(41)을 함께 표시한다(a). 또한 먼 곳의 영역(43)을 확대하고, 서브윈도우(44)에 표시하거나(b), 차량으로부터의 거리를 나타내는 보조선(45, 46, 47)을 함께 표시하거나(c) 한다.

Description

감시시스템{MONITORING SYSTEM}

종래, 차량 주위를 카메라를 이용하여 감시하는 장치로서, 차량의 뒤 트렁크부 등에 후방을 향해 카메라를 설치하고, 이 카메라에서 얻어진 화상을 운전자에게 제공하는 시스템이 알려져 있다. 이로써 운전자는 일일이 거울을 보는 일없이 차량 후방 상황을 알 수 있다. 또 최근에는 그저 단순하게 카메라화상을 제시하는 것뿐만 아니라, 카메라화상에 타이어의 이동궤적을 함께 제시하는 시스템(이를 '종래방식 1'로 함)도 알려지고 있다. 이로써 운전자는, 차량후방 상황을 파악할 수 있음과 동시에 차량의 전진도 예측 가능하게 된다.

단 종래방식 1에서 차량후방 상황을 알 수는 있지만, 그 이외의 부분에 관해서는 육안과 거울에 의존할 수밖에 없다. 이에 반해 자기 차량과 그 주위 전체의 위치관계를 객관적으로 알기 쉽게 운전자에게 알리기 위한 시스템으로서, 문헌 1: 일특개평 11-78692호 공보에 기재된 장치 등이 있다. 이 문헌 1에서는, 복수 대(8 대)의 차량용 영상제공을 위한 카메라를 차량 주위에 설치하고, 각 카메라로 촬영된 화상을 변형시킨 화상(이하 '부분화상'이라 함)을 합성시켜, 자기 차량 주위를 한번에 둘러볼 수 있는 새로운 화상을 얻는다는 방식(이를 '종래방식 2'로 함)이 개시되어 있다. 특히 복수 카메라의 촬영화상을 변형시켜 배치할 때, 부분화상끼리, 서로 인접하는 경계부분의 연속성을 유지함으로써, 자기 차량과 주위 물체의 대략적 위치관계를 파악하기 쉬운 화상을 운전자에게 제공할 수 있다.

그러나 여러 운전상황에 있어서, 상술한 종래방식에 의하여 합성된 화상을 운전자에게 제시할 경우에 다음과 같은 문제가 생긴다.

1. 종래방식 1의 문제와 해결해야 할 과제

종래방식 1에서는, 카메라화상이 차량 후단부보다 후방부분 중 제한된 영역밖에 비추지 않으므로, 자기차량 후단부보다 앞부분, 예를 들어 자기차량 좌우 차체와 주위 물체와의 접촉정도는 도어미러로밖에 판단할 수 없다. 때문에 그 부분의 접촉 정도와 후방상황 양쪽을 파악하기 위해서는, 표시화상과 도어미러의 병용을 운전자에게 강요하게 되어 운전자의 부담이 컸다.

또 종래방식 1은 차량후방의 제한된 시야의 상황을 표시하는 것이다. 따라서 광범위한 상황을 알 필요가 있는 운전상황에서 이용하는데는 적당하지 못하다. 예를 들어 도 4와 같이 후진하면서 핸들을 크게 꺾어 차량을 도로로 유도하는 경우, 도로 좌우로부터의 접근 차량을 확인하기 위해서는 실질적으로 180 도의 후방 시야를 포함하는 화상을 운전자에게 제시할 필요가 있는데, 종래방식 1에서 제시되는 화상은 시야가 좁기 때문에 이와 같은 용도에는 전혀 이용할 수가 없다.

따라서 해결해야 할 제 1 과제는, 도 4와 같은 경우에 있어서 보는 것만으로안심하고 차를 운전할 수 있는 합성화상을 운전자에게 제공하는 것이다.

2. 종래방식 2의 문제와 해결해야 할 과제

·제 1 문제: 표시범위

종래방식 2에서는 자기차량 측근 주위의 위치관계를 알기 쉽게 제시하기 위해, 주위사황을 마치 자기차량 위에서 내려다보는 것과 같은 화상을 제시하는 것만을 개시하고 있다. 그러나 자기차량 근방과 그 이외 부분 양방이 동시에 파악 가능한 화상의 제시방법에 관해서는 아무것도 개시되지 않았다. 따라서 다음 예 (a), (b)와 같은 운전상황에서는 종래방식 2에 따른 합성화상을 제시하는 것만으로는 운전 지원에 충분하다고 할 수 없다.

(a) 도로변 등으로의 접근

도로변 등으로의 접근을 실시할 경우, 운전자에게 보여주는 화상에 대하여 다음의 2 가지 점이 요구된다. 즉 도로변으로의 접근 상태가 어느 정도인가 하는 점과, 그대로 전진 또는 후진했을 때 그 진행방향 전방에, 예를 들어 전주나 발권기 등의 장애물이 있는지의 여부, 대향 차량이 오는지 여부, 또는 그들 존재가 확인됐을 때, 접촉하지 않고 피할 수 있는지 여부의 점이다.

그러나 조감화상에서는 보여지는 범위가 제한되므로, 도로변으로의 접근상태를 상세하게 보고자 하면 측근 주위만을 비추는 화상이 필요하게 되는 한편, 진행방향 전방을 보기 위해서는 적어도 수 미터에서 수십 미터 전방까지 보이는 화상이 필요해진다. 어느 경우든 한 개의 화상으로 양쪽의 요구를 만족시킬 수는 없다.

따라서 해결해야 할 제 2 과제는 도로변 등으로의 접근과 같은 경우에 있어서, 자기차량의 도로변으로의 접근정도만이 아닌 전진 또는 후진했을 때의 진행방향 전방의 상황도 동시에 알 수 있는 합성화상을 운전자에게 제공하는 것이다.

(b) 핸들방향조작을 포함한 주차

주차시에 있어서 이 조감(鳥瞰)화상을 제시하는 경우, 주차조작의 첫 단계에서 부드럽게 후진할 경우에는 후방 상황의 확인이 필요하다. 그러나 조감화상에서는 보이는 범위가 제한되므로, 상기 후진 시의 후방확인을 위해서는 미러를 사용하지 않을 수 없어 운전자의 부담이 커진다. 또 주차할 때 핸들조작(전후의 미세한 이동에 의해 차를 목적장소로 유도하는 조작)을 빈번하게 하는 경우에는 후방확인만이 아닌 전방확인도 필요해진다.

따라서 해결해야 할 제 3 과제는 핸들조작을 포함한 주차에 있어서, 주위상황뿐 아니라 전진 또는 후진할 때 진행방향의 전방 상황도 동시에 알 수 있는 합성화상을 운전자에게 제공하는 것이다.

·제 2 문제: 물체의 소실

물체의 소실이란, 경계부분에서 적어도 노면 부분이 연속되도록 화상을 변형하기 위해, 그 변형에 따라 변형되는 입체물이, 부분화상의 레이아웃을 위해 삭제된다는 문제이다.

도 17의 (a)는 차량의 오른쪽 뒤 구석에 세운 막대(P1)를 나타낸다. 이 막대(P1)는 도 2에 나타내는 카메라(2)와 카메라(3) 양쪽에서 촬영된 것으로 하면, 카메라(2) 촬영화상의 막대(P1A)는 화상변형에 의해 막대(P1)의 접지점을 기준으로 아래로 늘어난 것처럼 왜곡된다. 한편 카메라(3) 촬영화상의 막대(P1B)는 화상변형에 의해 막대(P1) 접지점을 기준으로 오른쪽으로 늘어난 것처럼 왜곡된다. 그런데, 각각의 막대(P1A, P1B)는 모두 부분화상으로 이용되지 않는 영역으로 늘어나므로, 늘어난 부분이 삭제되어 결과적으로 막대(P1)가 지면과 접한 부분밖에 합성화상 상에는 남지 않는다(도 17의 (b)). 따라서 합성화상에서는 실제로 존재하는 막대가 인식되기 어려워진다. 이것이 물체 소실의 문제를 일으키는 원인이다.

따라서 해결해야 할 제 4 과제는, 상술한 문제를 회피하고 자기차량과 주위 물체와의 대략적 위치관계, 및 주위 물체와의 거리가 동시에 파악될 수 있는 합성화상을 운전자에게 제공하는 것이다.

·제 3 문제: 경계의 불연속성

종래방식 2에서는 인접하는 부분화상끼리의 경계에서 연속성을 유지하도록 각각의 카메라화상 변형을 실시하지만, 경계의 모든 부분에서 연속성을 유지하는 것은 원리적으로 어렵다. 따라서 본 방식에서는, 적어도 노면부분이 위화감 없이 파악될 수 있도록 노면부분에서의 연속성을 유지하도록 변형시키는 것을 개시한다. 그러나 이 때문에 노면 이외의 물체는 늘어난 것처럼 크게 왜곡되고, 이것이 부분화상의 경계부분에 위치하는 노면 이외의 물체가 이 경계에서 불연속으로 된다는 문제를 일으킨다. 예를 들어 도 18에서는, 카메라(2)와 카메라(3)의 화상을 각각 변형시켜 얻은 부분화상끼리의 경계에 위치하는 주차 중인 차량이, 이 경계부분을 경계로 불연속으로 돼버려 결과적으로 불분명한 화상이 돼버리는 예를 나타낸다. 따라서 이와 같은 불분명한 화상에서는 주위 물체와의 거리가 파악되지 않기 때문에, 운전자는 결국 미러 등을 보고 이를 확인하는 작업을 요구 당하게 되어 부담이커진다.

따라서 해결해야 할 제 5 과제는, 상기 문제를 회피하고 적어도 카메라화상에서 안전운전에 필요한 정보를 반드시 포함하는 식의 합성화상을 운전자에게 제공하는 것이다.

또 상기 부분화상끼리 경계에서의 불연속성 문제를 감안하면, 다양한 운전상황에서 합성화상의 어디에 경계를 주는가가, 합성화상의 유용성과 크게 관련된다. 일반적으로 복잡한 운전조작의 많은 부분, 예를 들어 주차(종렬, 병렬)나 접근 등에 있어서, 운전자가 상세 상황을 알고 싶은 장소는 차량 전후보다 오히려 좌우 측방 180 도 영역에 집중한다는 것이, 발명자들이 피검사자 10 인 정도를 대상으로 실시한 실험을 통해 알았다.

따라서 차량의 좌우 측방이 보다 연속적으로 되도록 합성화상을 제시하는 것이 제 6 과제인 것으로 생각되지만, 종래방식 2에서는 이러한 과제에 대한 해결책에 대해 아무 개시도 되어 있지 않다.

본 발명은, 차량에 설치한 복수 카메라의 촬상화상을 이용하여 합성화상을 생성하는 화상처리기술에 관한 것이며, 특히 차량운전 시의 안전확인 보조 등에 이용되는 감시시스템에 유효한 기술에 속한다.

도 1은 본 발명의 각 실시예에 관한 감시시스템의 구성을 나타내는 블록도.

도 2는 카메라 배치의 일례를 나타내는 도면.

도 3은 도 2에 나타내는 각 카메라 촬상화상의 예를 나타내는 도면.

도 4는 본 발명의 제 1 실시예가 적합한 상황의 예로서, 차량을 후진시키면서 크게 핸들을 꺾어 도로로 유도하는 경우를 나타내는 도면.

도 5는 본 발명의 제 1 실시예에 관한 화면형태의 예.

도 6은 원통모델을 이용한 화상생성도.

도 7은 사발(bowl)모델을 이용한 화상생성도.

도 8은 본 발명의 제 2 실시예에 관한 화면형태의 예.

도 9는 본 발명의 제 3 실시예에 관한 화면형태의 예.

도 10은 본 발명의 제 3 실시예에 관한 화면형태의 예.

도 11은 본 발명의 제 4 실시예에 관한 화상의 예.

도 12는 가상시점화상에서 경계부근의 물체가 소실되는 조건을 설명하기 위한 도면.

도 13은 본 발명의 제 5 실시예에 관한 화면형태의 예.

도 14는 본 발명의 제 6 실시예에 관한 화면형태의 예.

도 15는 본 발명의 제 6 실시예에 관한 화면모드 절환의 예.

도 16은 도 15에 나타낸 화면모드 절환을 가능하게 하는 시스템 구성을 나타내는 블록도.

도 17은 본 발명의 제 4 과제를 설명하기 위한 도면.

도 18은 본 발명의 제 5 과제를 설명하기 위한 도면.

도 19는 본 발명의 제 2 실시예에 관한 화면형태의 다른 예.

도 20은 본 발명의 제 3 실시예에 관한 화면형태의 다른 예.

도 21은 본 발명의 제 3 실시예에 관한 화면형태의 또 다른 예.

상기 제 1 과제를 해결하기 위하여 본 발명이 강구한 해결수단은, 감시시스템으로서, 차량에 설치되며 차량 후방의 촬영범위로서 실질적으로 좌우 180 도의 시야를 포함하는 적어도 1 대의 카메라와, 상기 카메라의 촬영화상을 입력으로 하고, 입력된 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하며, 상기 화상처리부는 차량 후방의 실질적으로 좌우 180 도 시야를 포함하는 화상을 반전시켜 표시하는 모드를 갖는 것이다.

이 발명에 의하면, 차량 후방의 좌우 180 도 시야를 둘러본 화상이 반전되어 표시된다. 때문에 이용자는 이 시야범위에 존재하는 물체를, 표시된 화상에 의해 확실하게 포착할 수 있다.

또 상기 제 2 과제를 해결하기 위하여 본 발명이 강구한 해결수단은, 감시시스템으로서, 차량 주위를 촬영하는 적어도 1 개의 카메라와, 상기 카메라의 촬영화상을 입력으로 하며, 이 카메라 화상으로 합성화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고, 상기 화상처리부는 당해 차량의 적어도 1 개 타이어의 접지부분을 포함하는 차량 측근부분의 확대축소율이, 차량 주변부분의 확대축소율보다 상대적으로 커지도록 합성된 합성화상을 표시하는 모드를 갖는 것이다.

이 발명에 의하면, 당해 차량의 적어도 1 개 타이어의 접지부분을 포함하는 차량 측근부분이, 차량 주변부분보다 상대적으로 확대축소율이 높은 합성화상이 표시된다. 이로써 이용자는 차량의 바로 옆이나 바로 밑의 상세한 상황과 진행방향의 전방 상황을, 같은 화상으로부터 동시에 확인 가능해진다.

그리고 상기 합성화상은 상기 차량 측근부분에서 상기 차량 주변부분을 향해 멀어질수록 확대축소율이 작아지는 것이 바람직하다.

그리고 상기 감시시스템의 화상처리부는 상기 합성화상을, 당해 차량의 측면을 따른 부분이 직선성을 갖도록 생성하는 것이 바람직하다.

또 상기 감시시스템에 있어서, 상기 카메라의 적어도 1 개는 적어도 차체 측면의 일부 및 앞 타이어의 일부를 촬영범위에 포함하도록 설치되며, 상기 화상처리부는 상기 적어도 1 개의 카메라 촬영화상을 이용하여, 상기 차체 측면 및 앞 타이어를 포함하도록 상기 합성화상을 생성하는 것이 바람직하다.

또 본 발명은 감시시스템으로서, 차량 주위를 촬영하는 적어도 1 개의 카메라와, 상기 카메라의 촬영화상을 입력으로 하고, 이 카메라화상으로부터 합성화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고, 상기 카메라의 적어도 1 개는 적어도 당해 차량 타이어의 일부를 촬영범위에 포함하도록 설치되며, 상기 화상처리부는 상기 적어도 1 개의 카메라 촬영화상을 이용하여 상기 타이어를 포함하도록 상기 합성화상을 생성하는 것이다.

또 상기 제 3 과제를 해결하기 위하여 본 발명이 강구한 해결수단은, 감시시스템으로서, 차량 주위를 촬영하는 적어도 1 대의 카메라와, 상기 카메라의 촬영화상을 입력으로 하고, 이 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하며, 상기 화상처리부는 차량의 이동방향 또는 이동가능방향의 화상을 상기 가상시점화상과의 위치관계를 유지하면서 상기 가상시점화상과 나열시켜 표시하는 모드를 갖는 것이다.

이 발명에 의하면 차량의 이동방향 또는 이동가능방향의 화상이, 가상시점화상과의 위치관계를 유지하면서 나란히 표시된다. 이로써 이용자는 차량주위의 상황뿐 아니라, 전진 또는 후진했을 때의 진행방향 전방의 상황까지도, 동일 화상으로 동시에 확인 가능해진다.

또한 상기 제 4 과제를 해결하기 위하여 본 발명이 강구한 해결수단은, 감시시스템으로서, 차량 주위를 촬영하는 복수의 카메라와, 상기 각 카메라의 촬영화상을 입력으로 하고, 이들 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고, 상기 복수의 카메라는 촬영범위가 중복되는 제 1 및 제 2 카메라를 포함하며, 상기 화상처리부는 상기 제 1 카메라를 사용하고 또 상기 제 2 카메라는 사용하지 않고 작성한 제 1 가상시점화상과, 상기 제 2 카메라를 사용하고 또 상기 제 1 카메라는 사용하지 않고 작성한 제 2 가상시점화상을 생성 가능하게 구성된 것이다.

이 발명에 의하면 촬영범위가 중복되는 제 1 및 제 2 카메라에 대하여, 한쪽 카메라를 사용하고 또 다른 쪽 카메라는 사용하지 않고 작성한 복수의 가상시점화상이 생성 가능해진다. 즉 각 가상시점화상에서, 작성에 사용한 한쪽 카메라 촬영범위에 있어서의, 다른 쪽 카메라와의 중복부분과 비 중복부분이 모두 포함되므로, 중복부분에 존재하는 물체가 가상시점화상 상에서 소실되는 일이 없다. 이 때문에 가상시점화상의 연속성을 유지하기 위해 실시하는 카메라화상의 가공에 기인하여 발생하는, 촬영범위 중복부분의 물체소실 문제를 회피할 수 있다. 따라서 안전운전에 필요한 정보가 반드시 포함된 화상을 운전자에게 제공할 수 있게된다.

그리고 상기 감시시스템의 화상처리부는, 상기 제 1 및 제 2 가상시점화상을 동일 화면에 나열하여 표시하는 모드를 갖는 것이 바람직하다.

또 상기 감시시스템의 제 1 가상시점화상은, 차량 측방에 설치된 카메라에 의해 촬영된 화상만을 사용한 가상시점화상이며, 제 2 가상시점화상은 차량 전후에 설치된 카메라에 의해 촬영된 화상만을 사용한 가상시점화상인 것이 바람직하다.

또, 상기 제 5 과제를 해결하기 위하여 본 발명이 강구한 해결수단은, 감시시스템으로서, 차량 주위를 촬영하는 복수의 카메라와, 상기 각 카메라의 촬영화상을 입력으로 하고, 이들 카메라화상을 이용하여 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고, 상기 복수의 카메라는, 적어도 당해 차량의 좌 후방부를 촬영하는 제 1 카메라와, 차량의 우 후방부를 촬영하는 제 2 카메라를 포함하며, 상기 화상처리부는 가상시점화상과 함께, 상기 제 1 카메라 또는 제 2 카메라의 촬영화상의 적어도 일부를 표시하는 모드를 갖는 것이다.

이 발명에 의하면, 가상시점화상과 함께 좌우의 도어미러에서 본 것 같은 카메라화상이 표시된다. 이로써 이용자는, 가상시점화상에 의해 자기차량과 주위 물체와의 대략적 위치관계를, 도어미러 화상에 의해, 운전석 후방의 차량 측방 물체와 자기 차와의 거리를, 모두 한 개의 화면으로부터 시선이동 없이 확인할 수 있다.

또한 상기 제 6 과제를 해결하기 위하여 본 발명이 강구한 해결수단은, 감시시스템으로서, 차량 주위를 촬영하는 복수의 카메라와, 상기 각 카메라의 촬영화상을 입력으로 하고, 이들 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고, 상기 화상처리부는 가상시점화상의 생성에 있어서, 차량 측부에 설치한 카메라로 촬영된 화상을 우선시켜 사용하는 모드를 갖는 것이다.

이 발명에 의하면, 어느 모드에서는 차량 측부에 설치한 카메라로 촬영된 화상이, 가상시점화상 생성에 우선 사용된다. 이 때문에 복잡한 운전조작의 많은 부분에서, 운전자가 상세 상황을 알고 싶어하는 장소인 차량 측방영역에 있어서 불연속 부분이 없는, 보기 쉬운 화상을 운전자에게 제공 가능해진다.

이하 본 발명의 실시예에 대하여, 도면을 참조하면서 설명하기로 한다. 우선 각각의 실시예를 실현하기 위해 필요한, 본 발명에 관한 감시시스템의 전체구성에 대하여 설명하고, 이어서 본 발명에 관한 각종 표시화면형태 예에 대하여 상세하게 설명한다.

도 1은 본 발명에 관한 감시시스템 구성을 나타내는 블록도이다. 도 1에 나타내는 감시시스템에 있어서, 화상처리부(20)는 카메라(11)로부터 출력된 복수의 카메라화상을 입력으로 하고, 이들을 변형/합성시켜 새로운 화상을 생성한다. 이 합성화상은 표시장치(30)에 의해 표시된다. 화상처리부(20)에 의해 본 발명에 관한 화상처리장치가 구성된다.

그리고 본원 명세서에서, '합성화상'이란 복수의 카메라화상으로부터 생성된 화상만이 아닌, 1 개의 카메라화상을 변형/합성시킴으로써 생성된 화상도 포함하는 것으로 한다.

본 발명의 표시장치(30)는, 전형적으로는 액정디스플레이지만 플라즈마디스플레이 등의 다른 표시디바이스를 사용할 수도 있다. 또 본 발명의 디스플레이는,차량탑재형 GPS 단말디스플레이(이른바 카 네비게이션 시스템 디스플레이)와 공용시킨 것이라도 좋으며, 이와는 별도로 준비한 것이어도 된다.

촬상부(10)는, 전형적으로는 CCD, CMOS디바이스 등 고체촬상소자를 갖는 컬러 또는 모노크롬 디지털 카메라이다. 또 촬영수단은, 예를 들어 렌즈와, 프리즘 또는 거울의 조합으로 구성되며, 렌즈, 프리즘 또는 거울로의 입사광이 소정 광로를 거쳐 촬영수단으로부터 떨어진 위치에 있는 촬상소자로 전달되도록 구성되어도 된다.

도 2는 카메라 배치의 예, 도 3은 도 2에 나타낸 각 카메라의 촬상화상의 예이다. 도 2에서, WL1~WL5는 백선, P1~P4는 막대이다. 도 2의 예에서는 2 대의 카메라 조(組)를 프론트그릴, 좌우 도어미러, 뒤 트렁크의 합계 4 개소 8 대 사용한 경우를 나타낸다. 도 2에 나타낸 카메라 배치는, 차의 전후좌우 4 면 각각 180 도 시야의 화상을 얻기 위한 것으로, 현재의 카메라로는 1 개로 180도의 시야를 확보할 수 없으므로, 편의상 2 대의 카메라를 한 조로 하여 실질적으로 180 도 시야를 얻도록 한 것이다.

화상처리부(20)는 도 3에 나타낸 바와 같은 8 매의 카메라화상(한 조의 카메라를 1 대로 한 경우는 4 매의 카메라화상)을 변형/합성하고, 예를 들어 차량 위쪽에서 수직 하방으로 내려다 본 것 같은 합성화상을 생성한다. 합성화상 생성을 위해서는, 화상변형처리나 변형된 화상의 필요한 부분을 자른 부분화상의 합성처리(경계부분 유연화 등의 처리(이하 경계처리)를 포함)가 필요해지는데, 도 1의 구성에서는 매핑테이블(Mapping table) 참조부(21)를 구비하여, 촬상화상 가공을 하나의 공정에서 실시하기 위해 매핑테이블(MPT)을 이용한다.

화상처리부(20)는 카메라(1~N)로부터의 촬상화상을 입력하고, 이들 촬상화상을 가공한다. 여기서의 가공은, ① 화상변형 절단처리, ② 절단된 부분화상의 합성처리(경계처리 포함)이다. 이들 ①과 ②의 처리는 각각 별도로 실행해도 되며, 전부 또는 일부가 1 개 공정으로 실행되어도 된다. 도 1에서는 촬영화상 가공을 1 개 공정에서 실시하기 위해 매핑테이블을 구비한 구성으로 한다.

'매핑테이블'이란, 합성화상의 화소와 각 카메라화상의 화소데이터의 대응관계가 기술된 테이블을 말하며, 합성화상의 생성처리를 고속으로 실시하기 위해 이용된다. 이와 같은 매핑테이블을 기하변환 등을 이용한 계산이나 수작업 등으로 미리 작성해 둠으로써, 원하는 합성화상을 고속으로 생성할 수 있다. 그리고 매핑테이블을 대체함으로써 화면표시모드를 절환할 수 있다.

매핑테이블은 구체적으로, 예를 들어 ROM(EEPROM 등 기입/소거 가능한 ROM을 포함) 또는 RAM에 저장된다. 매핑테이블의 저장은 예를 들어, 화상처리부 내의 프로세서가 계산으로 구한 매핑데이터를 ROM 또는 RAM에 기입함으로써 실현시켜도 되며, 펌웨어(firmware)로서 제공되는 매핑테이블 데이터를, 통신회선이나 디스크 드라이브 등의 데이터 전송수단을 이용하여 RAM 또는 ROM에 기입하도록 해도 된다.

다음에 본 발명에 관한 각종 표시화면 형태 예에 대하여 상세히 설명하기로 한다.

(제 1 실시예)

제 1 실시예는 상술한 제 1 과제를 해결하기 위해 이루어진 발명의 한 형태이며, 예를 들어 도 4와 같이 후진하면서 크게 핸들을 꺾어 차량을 도로로 유도하는 경우, 도로 좌우로부터의 접근 차량을 확인하기 위해 이용된다.

다음에 표시화면형태의 예에 대하여 설명한다.

도 5의 (a)는 확인에 이용하기 위한 본 실시예에 관한 화면형태의 일례이며, 구체적으로는 도 2에 나타내는 카메라(3) 및 카메라(7)로 촬영된 화상을 이용하여, 차량후방의 좌우 180 도 시야를 갖는 화상을 반전시켜 표시하고, 이것에 자기 차의 후진 시 주행 궤적(41)을 함께 표시한 예이다(합성 원본인 촬영화상은 도시 생략). 도 5의 (a)에서 알 수 있는 바와 같이, 차량 후단이 차량에 수직으로 통하는 도로에 대해 거의 직면하고 있는 상황에서, 그 도로의 한쪽 끝에서 다른 쪽 끝까지 즉 좌우 180 도를 볼 수 있다. 따라서 운전자는 이 화상을 봄으로써, 예를 들어 실제로 좌측에서 접근하는 차량(42)의 모습을 운전석에 앉아 파악할 수 있다.

도 5의 (b)는 본 실시예에 관한 화면형태의 다른 일례이다. 이 형태는 카메라나 화면의 해상도가 낮은 등의 이유에 의해, 먼 곳으로부터 다가오는 차량까지의 거리를 알기 어려울 경우에 이용하면 좋다. 구체적으로는 먼 곳의 영역(점선 장방형 영역(43))을 확대시켜, 화면 중 별도의 장소에 서브윈도우(실선 장방형 영역(44))로서 표시한다. 이로써 전체화상에서는 먼 곳과 근방을 한번에 파악할 수 있으며, 또 먼 곳의 상태는 서브윈도우로 확인 가능해진다. 서브윈도우는 전체화상 상에 첨부되므로 운전에 중요한 정보가 이것 때문에 가려지는 것을 가능한 한 방지하기 위해 첨부장소를 미리 정해두면 좋다.

도 5의 (c)도 본 실시예에 관한 화면형태의 다른 일례이다. 이 형태는 먼곳에서 다가오는 차량까지의 거리를 잘 알 수 없을 경우에, 거리를 나타내는 보조선을 화상에 중복시켜 표시하는 것이다. 이로써 접근차량의 대략 거리를 알 수 있다. 도 5의 (c)에서는 실선(45), 작은 점선(46) 및 굵은 점선(47)에 의해 각각, 자기차량에서 좌우로 약 2m, 약 5m 및 약 10m의 위치가 표시된다.

다음으로 이와 같은 180 도 시야를 갖는 화상을 작성하는 방법을 간단히 설명한다.

도 6은 페어카메라 화상을 원통모델에 각각 투영시키고, 그 투영화상을 그대로 장방형 화상면에 끝에서부터 열거해 가도록 하여, 시야 180 도의 파노라마화상을 얻는 방법을 나타낸다. 이 방법에서는 세로 폭이 카메라 시야범위의 각도에 대응하므로, 카메라의 어떤 방향으로도 동일 배율의 화상이 얻어진다.

또 도 7은 원통 이외의 모델로서 사발형상의 모델을 이용하여 시야 180 도 화상을 얻는 방법을 나타낸다. 카메라화상을 모델에 투영시키는 점은 도 6과 마찬가지이지만, 그 투영화상을 보는 가상시점을 설정하고 투시투영 변환에 의하여 화상을 작성하는 점이 다르다. 이 모델에서는 사발 형상을 변형시키거나 가상시점의 위치를 이동시킴으로써, 자기 차의 정 후방을 확대하고 주변방향을 축소시킨 화상을 작성하거나, 역으로 자기 차의 정 후방을 축소하고 주변방향을 확대시킨 화상을 작성하는 것도 가능하다.

여기서 본 실시예에서는 후방 180 도 시야를 표시하는 예를 나타내지만, 실질적으로 시야를 180 도 정도 갖는 것으로 실용상 문제가 없다면, 반드시 180 도를 포함하도록 카메라를 설치할 필요는 없으며, 그보다 약간 작은 시야각이라도 문제없다. 또 당연하지만, 하늘이 찍힌 부분 등 후방 안전확인에 필요없는 부분에 관해서는 절단시켜 표시해도 상관없다.

(제 2 실시예)

제 2 실시예는 상술한 제 2 과제를 해결하기 위해 이루어진 발명의 한 형태이며, 예를 들어 도로변 등으로의 접근과 같은 경우로서, 자기 차의 도로변 접근 상태뿐만 아니라 전진 또는 후진 시, 진행방향의 전방 상태도 동시에 알 수 있는 합성화상을 운전자에게 제공하는 것이다.

다음에 표시화면 형태의 예에 대하여 설명한다.

도 8의 (a), (b)는 도 2에 나타내는 카메라(1, 2, 5, 6)의 4개 카메라를 사용하여 작성한 본 실시예에 관한 화면형태를 나타낸 것이다(합성 원본인 촬영화상은 도시 생략). 자기 차량의 오른쪽 화상은 카메라(1)와 카메라(2)를, 또 왼쪽 화상은 카메라(5)와 카메라(6)의 화상을 이용하여 각각 작성된 것이다. 각각의 합성화상은, 타이어의 접지부분을 포함하는 차량 측근부분의 확대축소율이, 차량 주변부분의 확대축소율보다 상대적으로 높아지도록 합성된다. 그리고 차량 측근부분에서 차량 주변부분을 향해 멀어질수록 확대축소율이 작아진다.

이와 같은 화상 합성방법의 예를 간단히 설명한다. 이와 같은 화상 합성을 간단히 작성하는 유효한 방법의 한가지는, 제 1 실시예의 화상합성과 마찬가지로, 모델을 사용하여 합성하는 방법이다. 예를 들어 도 7에 나타낸 사발 모델을 이용하면, 도 8의 (a) 왼쪽 화상은 다음과 같이 하여 합성할 수 있다.

1. 사발 모델의 바닥이 차량 카메라(5)와 카메라(6) 사이 위치의 노면 상에 접하도록, 사발 모델을 작성한다. 이 때 사발 모델의 크기는 차량이 사발 내면으로 완전히 감싸여질 정도의 크기로 해둔다.

2. 카메라(5)와 카메라(6)로 촬영된 화상을 각각 사발 내면으로 투영시킨다.

3. 가상시점을 카메라(5)와 카메라(6) 사이의 위치에서 위쪽(예를 들어 4m)에 아래방향으로 설치하고, 2의 처리에서 사발에 투영된 카메라(5)와 카메라(6)의 화상을, 상기 가상시점에서 바라본다.

이들 3 단계의 처리에 의하여 도 8의 (a) 왼쪽에 나타낸 바와 같은, 타이어 접지부분을 포함하는 차량 측근부분의 확대축소율이, 차량 주변부분의 확대축소율보다 상대적으로 높아지도록 합성된 화상을 얻을 수 있다.

여기서, 왜 사발형 모델을 이용하면 주변부분이 축소되는가 하면, 카메라화상을 투영시키는 모델 면(본 예에서는 사발 내면)이 가상시점의 방향(본 예에서는 직하 방향)에 평행으로 가까워짐에 따라 모델 면에 투영된 화상이 축소된다는 기하학적 성질에 기초하기 때문이다.

상기 방식의 커다란 장점은, 사발모델을 변형하거나 함으로써 차량 측근부분의 확대축소율에 대한 차량 주변부분의 확대축소율을 자유롭게 정할 수 있다는 점을 들 수 있다. 예를 들어 사발모델이 원형일 경우, 사발 저면에 상당하는 부분을 중심으로 하여, 방향에 관계없이 밑에서 멀어짐에 따라 축소된 화상이 얻어진다. 또 사발모델을 저면은 그대로 두고 형태만 타원형으로 한다. 이 타원형의 장축방향이 차량 측면에 일치하도록 하면, 사발 저면에 상당하는 부분을 중심으로 차량 진행방향 부분의 축소 정도는, 차량 옆 방향의 축소 정도보다는 작게 할 수 있다.물론 반대도 가능하다.

또 여기서는 타이어의 접지부분을 포함하는 차량 측근부분의 확대축소율이, 차량 주변부분의 확대축소율보다 상대적으로 높아지도록 합성된 화상을, 사발모델을 이용하여 합성하는 방법에 대하여 설명하지만, 사발모델 이외의 방법을 이용한 합성이 가능함은 물론이다.

또 카메라가 차체에 설치되며 그 카메라의 거의 상방 아래쪽 방향으로 가상시점을 설정하고, 상기 사발모델을 이용하여 화상을 합성한다. 즉 카메라 설치장소를 중심으로 상술한 바와 같은 축소변형을 실시해도, 차체 측면의 직선성, 및 거기서 전방 진행방향으로의 직선성은 유지된다. 도 8의 (b)의 화상은 카메라(1, 2)의 거의 상방 아래쪽 방향으로 가상시점을 설정하고 사발모델을 이용하여 합성한 화상을 이용하여 작성된다.

다음으로 도 8의 (a)를 이용한, 도로변에 있는 도랑까지의 접근 상태를 구체적으로 설명한다. 도 8의 (a)에서는 차량의 조수석 옆에서 도로변에 있는 도랑까지의 여유가 어느 정도인가 알 수 있도록, 차량 측근부분을 확대시키고, 이 측근부분에 대하여 적어도 5㎝ 정도는 알아볼 수 있는 해상도를 유지한다. 더욱이 자기 차량이 도로 쪽으로 어느 정도 가까워졌는지를 보는 것만으로 판단할 수 있도록, 자기 차량의 타이어도 보이도록 표시한다(실선 원 영역(51)). 실험에 의하여 이와 같은 화상을 제시함으로써, 이제까지 도로변으로의 접근에 대해 10㎝ 이하로 하기가 어려웠던 운전자가, 쉽게 5㎝ 이내까지 접근할 수 있게 되는 것을 알 수 있다. 즉 이 표시형태가 접근운전에 큰 효과를 갖고 있음이 확인된다.

한편, 본 표시형태로써 자기차량과 그 오른쪽 옆을 통과하고자 하는 대향차량과의 간격 여유가 어느 정도인가도 확인할 수 있다(점선 원 영역(52)). 도 8의 (b)는 도 8의 (a)와 동일 표시형태이며 이와 같은 확인을 행하는 상황예를 나타낸다. 본 표시형태에서는 전방이 직선성을 유지하고 축소되므로, 전후 타이어에 접하도록 그은 선(TYRE1과 TYRE3을 지나는 선(54) 및 TYRE2와 TYRE4를 지나는 선(53))이 자기 차의 진행선이 된다. 이 때문에 오른쪽 앞에서 대향차가 다가오는 경우, 그 대향차가 오른쪽 진행선보다 오른쪽에 있는지, 아니면 진행선을 걸치고 있는지를 봄으로써, 대향차와의 접촉 여부를 쉽게 판단할 수 있다. 물론 전방으로 갈수록 화면이 축소되므로, 대향차가 아직 떨어진 장소로부터 다가오고 있는 상황에서도, 미리 화면상으로 상기 판단이 가능하므로, 운전자는 여유있게 자기차량을 조작할 수 있다. 도 8의 (b)의 예에서는 오른쪽 진행선보다 확실하게 오른쪽에 있는 대향차가, 자기차량의 오른쪽 옆을 접촉하지 않고 무사히 통과해 가는 것을 알 수 있다. 여기서 전방 상태는 적어도 약 5m 앞이 보이면 운전조작이 쉽다는 것이 실험을 통해 확인되었다.

단 실제로 대향차와 비껴갈 경우는, 이것만으로는 불충분한 경우도 있다. 즉 도어미러 등, 차체보다 더 바깥쪽으로 돌출된 물체가 있는 경우는 화면확인과 동시에 역시 운전자의 시각에 의한 확인도 필요하다.

그리고 도 8에서는 4 개의 타이어 모두를 표시하는 것으로 하지만, 일부의 타이어, 예를 들어 앞 타이어만을 합성화상에 표시시켜도 상관없다.

이상 지금까지는 제 2 실시예의 화면형태를 4 대의 카메라를 이용한 경우를예로 들어 설명하였다. 물론 본 발명은 이에 한정되는 것이 아니며, 1 대의 카메라만을 이용해도 실시할 수 있다. 예를 들어 원가 등의 제약에서, 조수석 쪽의 차량측면에 전방 쪽 카메라 1 대밖에 설치할 수 없을 경우라도, 본 발명에 의하여 도로변으로의 접근에 유효한 화상을 이용자에게 제공 가능하다.

도 19는 1 대의 카메라만을 이용한 본 실시예에 관한 화면형태를 복수 카메라를 이용한 경우와 비교하여 나타낸 도면이다. 도 19 중 (a)는 차량 좌우에 설치된 4 대의 카메라(RF, RR, LF, LR) 카메라화상의 예, (b)는 (a)에 나타내는 4 개의 카메라화상으로부터 도 8과 마찬가지로 작성한 합성화상이다. 이에 반해 (c)는 (a)에서 카메라(LF)의 카메라화상만으로 합성한 화상이다. 여기서 도 19의 (b), (c)의 자기차량 일러스트는, 합성화상에 대한 자기 차 위치를 알기 쉽게 하기 위해 첨부한 것으로서, 화상에 포함되는 자기차량 부분과 반드시 일치하는 것은 아니다.

도 19의 (c)의 예에서, 화상합성에 이용되는 카메라는 1 대뿐이므로, 화상에 비치는 시야범위는 (b)의 예보다 한정된다. 그러나 차량 측근부분을 확대시킴으로써 적어도 5㎝ 정도는 알아볼 수 있을 정도의 해상도를 유지하여, 차량 조수석 옆에서 도로변 도랑까지 어느 정도 여유가 있는지 알 수 있게 되어있다. 더욱이 화상을 보는 것만으로 자기 차가 인도 쪽으로 어느 정도 접근했는지를 용이하게 인식할 수 있도록, 자기 차의 타이어도 비치도록 표시된다(실선 원 영역).

따라서 (c)와 같은 화상이 표시되면, 좁은 길에서 조수석 쪽 도로변에 도랑이 있는 경우와 같은 주행환경에 있어서, 전방으로부터의 대향 차를 피하는 경우에도, 도로변의 도랑에 타이어가 빠지는지 여부를 확인하며, 전진하면서 도로변으로의 접근이 가능해진다. 물론 이 경우 대향차와의 간격은 운전자 자신이 확인할 필요가 있기는 하지만 접근에 대한 운전부담은 대폭 경감된다.

그리고 어안렌즈를 사용함으로써, 1 대의 카메라로도 충분히 넓은 시야범위를 얻을 수 있다. 예를 들어 차량의 조수석 쪽 측방에 시야각이 180도 전후의 어안렌즈가 부착된 카메라를 설치하고, 이 카메라화상을 이용하여 본 발명을 실현시켜도 된다. 이로써 운전석과 반대쪽 측방의 화상을 넓은 범위로 표시할 수 있으므로, 보다 안전하게 운전할 수 있게 된다.

(제 3 실시예)

제 3 실시예는 상술한 제 3 과제를 해결하기 위해 이루어진 발명의 한 형태로서, 예를 들어 핸들회전을 수반하는 식의 주차에 있어서 주위 상황뿐 아니라 전진 혹은 후진 시 진행방향의 전방상태도 동시에 알 수 있는 식의 합성화상을 운전자에게 제공하는 것이다.

다음으로 표시화면형태의 예에 대하여, 차량의 정지 시, 전진 시, 및 후진 시의 3 가지 상황에 따라 도 9 및 도 10을 이용하여 구체적으로 설명한다(합성 원본인 촬영화상은 도시 생략).

1. 차량 정지 시의 표시형태 예:

도 9의 (a)는 위쪽에서 내려다 본 가상시점화상에 대하여, 자기차량의 전방 및 후방에 상당하는 부분에, 각각의 방향에서 먼 곳을 파악하기 위해 필요한 화상을 첨부한 예이다. 자기차량 주변만이 아닌, 자기차량이 움직이는 방향의 전방상태까지 한눈에 알 수 있으므로, 신호정지 시 등의 경우에 발진 직전 및 직후의 주위상황 확인에 이용하거나, 또는 종렬주차, 병렬주차에도 적용 가능하다.

2. 차량이 저속 전진 중의 표시형태 예:

도 9의 (b), (c)는 모두 위에서 내려다본 가상시점화상에 대하여, 자기차량 전방에 상당하는 부분에, 전방에서 먼 곳을 파악하기 위해 필요한 화상을 첨부한 예이다. 자기차량 주변만이 아닌 진행방향의 전방상태까지를 한눈에 알 수 있다.

도 9의 (b)와 (c)의 다른 점은 전방에서 먼 곳의 파악을 위한 화상의 차이이다. 우선 도 9의 (b)는 내려다본 화상과 전방화상과의 경계가 노면부분에서 이어지므로, 전방 장애물이 자기차량 전방의 어느 위치에 있는지 쉽게 알 수 있다. 저속주행 시로서, 발진 시뿐만 아니라 좁은 길 주행이나 요금소 등에서의 접근에도 유효하다. 한편, 도 9의 (c)는 내려다본 화상에서 사각(死角)이 되는 부분을 보충하기 위해 전방화상의 시야를 180 도로 한 경우이다. 화상끼리의 경계가 이어지지 않는 문제가 있기는 하지만, 전방에 관한 폭 넓은 시야의 정보를 한번에 볼 수 있다는 장점이 있다. 특히 발진 전의 전방 180 도 주위의 확인에 적합하다.

여기서 가상시점화상에 대해서는, 전진 속도가 늘어남에 따라 자기차량 앞의 영역이 넓어지도록, 역으로 전진 속도가 내려감에 따라 자기차량 위치가 화면 중앙에 오도록 연속적으로 바꾸어도 상관없다. 또 일정 속도를 초과하면 화면형태를 뒤의 파노라마화상만으로 하도록 해도 된다.

3. 차량이 후진 중의 표시형태 예:

도 10의 (a), (b)는 모두 위에서 내려다본 가상시점화상에 대하여 자기차량 후방에 상당하는 부분에, 후방에서 먼 곳을 파악하기 위해 필요한 화상을 첨부한예이다. 자기차량 주변만이 아닌 후진방향의 전방상태까지 한눈에 알 수 있다.

도 10의 (a), (b)의 다른 점은 후방에서 먼 곳을 파악하기 위한 화상의 차이이다. 우선 도 10의 (a)는 내려다본 화상과 전방화상의 경계가 노면부분에서 이어지도록 한 경우이다. 노면부분에서 이어지므로 전방 장애물이 자기차량 전방의 어느 위치에 있는가를 쉽게 알 수 있다. 상기 경계부분에서 노면의 연속성을 가짐으로써, 종렬주차, 병렬주차의 개시 시에 표시하는 화상에 적합하다. 한편, 도 10의 (b)는 내려다본 화상에서 사각이 되는 부분을 보충하기 위해, 후방화상의 시야를 180 도로 한 경우이다. 화상끼리의 경계가 이어지지 않는다는 문제는 있지만, 사각부분이 많은 차량후방에 관하여, 사각이 없어지는 장점이 있다. 특히 후진 전의 후방 180 도 주위의 확인에 적합하다.

여기서 가상시점화상에 대해서는 후진속도가 늘어남에 따라 자기차량 후부영역이 넓어지도록, 역으로 후진속도가 내려감에 따라 자기차량의 위치가 화면 중앙으로 오도록 연속적으로 바꾸어도 상관없다.

또 도 9의 (a)에 나타낸 바와 같은 표시형태는, 차량이 전혀 움직이지 않는 경우에만 표시할 뿐만 아니라, 핸들회전 등 전진과 후진이 빈번하게 반복될 때 표시해도 된다. 예를 들어 핸들회전 시, 도 9의 (b)와 도 10의 (a)를 바꾸어 표시하면 보기에 번거로운 경우도 있다. 이와 같은 경우, 속도의 절대값이 소정값 이하의 기간은 도 9의 (a)에 나타낸 바와 같은 화상을 항상 표시해두어도 된다.

이상 지금까지는, 제 3 실시예의 화면형태를 8 대의 카메라를 이용한 경우를 예로 들어 설명하였다. 물론 본 발명은 이에 한정되는 것이 아니며, 예를 들어 원가 등의 제약으로 차량 후면 중앙부에 카메라가 2 대 또는 1 대밖에 설치할 수 없을 경우라도, 본 발명에 의하여, 후진 시에 유효한 화상을 이용자에게 제공 가능하다.

도 20은 2 대의 카메라를 이용한 본 실시예에 관한 화면형태를 나타내는 도면이다. 도 20 중 (a)는 차량 후면에 설치된 2 대의 카메라(BR, BL) 카메라화상의 예, (b)는 가상시점화상을 작성할 때의 가상시점 위치(차량 후단 중앙부의 위에서 똑바로 내려다봄)를 나타내는 도면, (c)는 (a)에 나타내는 2 개의 카메라화상을 이용하여 생성한 합성화상이다. 도 20의 (c)의 합성화상에서는, 위에서 내려다본 가상시점화상이 아래에 배치되며, 또 후방에서 먼 곳을 파악하기 위해 필요한 화상이 그 위에 배치된다.

본 예와 같이 차량후방에 설치한 2 대의 카메라만을 이용할 경우, 차량측방의 화상을 얻을 수는 없지만, 차량후방에 대해서는 시야범위가 거의 180 도의 화상을 얻을 수 있으므로, 자기차량의 주변뿐만 아니라 후진방향의 전방상태까지 한눈에 화상으로 알 수 있다. 이 때문에 병렬주차나 종렬주차에 있어서 후진 시에는 이와 같은 2 대의 카메라를 이용하여 생성한 합성화상이라도 충분히 실용적이다.

도 21은 1 대의 카메라를 이용한 본 실시예에 관한 화면형태를 나타내는 도면이다. 도 21 중 (a)는 차량 후면에 설치된 1 대의 카메라화상, (b)는 가상시점화상을 작성할 때의 가상시점 위치(차량 후단 중앙부 위에서 똑바로 내려다봄)를 나타내는 도면, (c)는 (a)에 나타내는 카메라화상을 이용하여 생성한 합성화상이다. 도 21의 (c)의 합성화상에서는 위에서 내려다본 가상시점화상이 아래에 배치되며, 또 후방에서 먼 곳을 파악하기 위해 필요한 화상이 그 위에 배치된다.

본 예에서는 카메라가 1 대뿐이므로, 차량 측방만이 아닌, 차량 대각선 후방도 시야범위 외가 된다. 그러나 도 21의 (c)를 보면 알 수 있는 바와 같이, 카메라의 화각이 130 도 정도 있으면 후방확인에 충분한 시야가 얻어져, 자기차량 주변뿐만 아니라 후진방향의 전방상태까지 한눈에 알 수 있다. 때문에 이와 같은 1 대의 카메라를 이용하여 생성한 합성화상이라도, 병렬주차나 종렬주차에 있어서의 후진 시 충분히 실용적이다. 또한 어안렌즈를 사용함으로써 1 대의 카메라로도 충분히 넓은 시야범위를 얻을 수 있다.

여기서 도 20의 (c) 및 도 21의 (c)에서 자기차량의 일러스트는, 합성화상에 대한 자기차량 위치를 알기 쉽게 하기 위해 첨부한 것이다. 그리고 일러스트의 크기를 합성화상에 대해 정확히 일치시킴으로써, 운전이 더욱 수월해짐은 물론이다.

(제 4 실시예)

제 4 실시예는 상술한 제 4 과제를 해결하기 위해 이루어진 발명의 한 형태로서, 카메라화상을 변형·절개하여 합성한 가상시점화상에 있어서도, 노면 이외의 물체가 소실되지 않는 합성화상을 운전자에게 제공하는 것이다.

다음에 표시화면형태의 예에 대하여 도면을 이용하여 구체적으로 설명한다.

도 11의 (a)는 본 실시예에 관한 화상의 예로서, 차량 측방에서 뒤쪽을 향한 카메라(카메라 (2, 6))만을 이용한 제 1 가상시점화상과, 뒤쪽의 페어카메라(카메라 (3, 7))만을 이용한 제 2 가상시점화상을, 병렬로 나열하여 화면에 표시한 예를 나타낸다. 이들 가상시점화상은 각각 촬영 범위가 중복되는 카메라(카메라(2)와카메라(3) 또는 카메라(6)와 카메라(7))에 대하여, 한쪽 카메라는 사용하고 다른 쪽 카메라는 사용하지 않고 작성한 가상시점화상이다. 각 가상시점화상에 있어서 그 작성에 사용한 한쪽 카메라의 촬영범위에 대해서는, 다른 쪽 카메라와의 중복부분과 비 중복부분이 모두 포함된다. 이로써 도 17의 (b)의 가상시점화상에서는 소멸됐던 자기차량 오른쪽 후방 끝에 세운 막대(P1)가, 2 개의 가상시점화상 어느 쪽도 소멸돼지 않고 비친다. 물론 화면에 나열 표시하는 대신에, 복수의 가상시점화상을 별도의 화면에 표시시켜 화면이 바뀌도록 해도 된다.

일반적으로 이와 같은 노면 외 물체가 소멸되는 현상은 다음과 같은 2 가지 조건이 모두 만족됐을 때 일어난다.

조건 1 : 경계를 구성하는 2 개의 부분화상의 원점이 되는 각각의 카메라가 이 물체를 촬영하는 방향이 다른 점,

이는 물체를 보는 방향이 2 개의 카메라에서 달라지면, 각각의 카메라화상을 가상시점화상으로 변형했을 때, 물체가 왜곡되어 가는 방향이 다르다는 것을 의미한다. 이는 도 17의 (a)의 막대(P1) 변형에서도 확실히 알 수 있다.

조건 2 : 이 물체가 부분화상끼리의 경계부근에 있는 점,

이는 변형에 의해 왜곡된 물체가 경계부근에 있을 경우, 부분화상을 작성하기 위한 절단 처리로써, 왜곡되어 늘어진 부분이 거의 지워져버린다는 것을 의미한다. 이것도 도 17의 (a) 의 막대(P1) 변형에서 알 수 있다.

따라서 조건 1이 만족되지 않는 한 물체가 지워지는 일은 없다. 도 12의 (a)는 조건 2를 만족시키면서도 물체가 지워지지 않는 예를 나타낸 개념도이다.도 12의 (a)에서는 막대가 차량 후방의 페어카메라 바로 뒤에 서 있지만, 조건 1을 만족시키지 않으므로 즉, 카메라(3)도 카메라(7)도 막대에 대하여 거의 같은 방향을 향하고 있으므로, 어느 카메라화상을 변형시켜도 막대는 마찬가지로 화면 아래로 늘어나게 왜곡된다. 때문에 경계부분에서, 카메라(3)의 부분화상과 카메라(7)의 부분화상을 혼합하는 처리 등을 실시함으로써, 막대가 소실되는 것을 방지한다는 것이다.

마찬가지로 조건 2가 만족되지 않으면 물체는 거의 소실되지 않는다. 도 12의 (b)는 조건 1을 만족시키면서도 물체가 지워지지 않는 예를 나타낸 개념도이다. 도 12의 (b)에서는 막대가 차량 오른쪽 대각선 후방으로 조금 떨어져 서있고, 다른 장소에 위치하는 2 대의 카메라(2, 3)의 시야범위에 있으므로 조건 1을 만족시킨다. 그러나 조건 2를 만족시키지 않으므로, 즉 카메라(2)의 부분화상과 카메라(3)의 부분화상 경계로부터 떨어져 있으므로, 카메라(3)의 부분화상에서 밑에서부터 화면 오른쪽으로 늘어난 듯 왜곡된 막대는, 적어도 경계까지는 소실되지 않고 남아 비친다.

이로써, 화면 구성안을 설계할 경우 하나의 지침으로서, 상기 조건 1을 회피하기 위하여, 1 개의 화면에 다른 2 개의 카메라화상으로 작성된 부분화상끼리의 경계를 만들지 않는다는 점을 들 수 있다. 상술한 도면은 확실한 그 한 예를 나타낸 것으로, 카메라(2)와 카메라(3)의 경계, 및 카메라(6)와 카메라(7)의 경계를 동일화면에 작성하지 않기 위해 2 개의 화면으로 나눈 것이다.

또 도 2와 같은 8 개 카메라화상을 사용한 경우에는, 도 11의 (b)의 예에 나타낸 것과 같은 2 화면으로 화상을 구성할 수 있다(합성 원본인 촬영화상을 도시 생략). 도 11의 (b)에서는 가상시점화상에 있어서, 양옆의 카메라만을 사용한 합성화상과, 전후의 카메라만을 사용한 합성화상을, 병렬로 나열하여 화면에 표시한다. 어떤 경우든, 상기 지침에 기초하여 작성된 것이라면, 본 예에서 나타낸 것 이외의 화면구성으로도 물론 상관없다.

(제 5 실시예)

제 5 실시예는 상술한 제 5 과제를 해결하기 위해 이루어진 발명의 한 형태로서, 가상시점화상에 있어서 인접하는 부분화상끼리의 경계에서 화상이 비연속, 불선명함 때문에 운전에 지장을 주는 것을 막기 위하여, 비연속이 될만한 부분을 찍은 별도의 화상을 가상시점화상에 끼워 넣어 운전자에게 제시한다.

다음에 표시화면형태의 예에 대하여 도면을 이용하여 구체적으로 설명한다.

도 13의 (a)는 도 2에 나타내는 카메라(2, 3, 6, 7)의 4 개 카메라를 이용하여 생성한 화면형태를 나타낸 도면이다. 전체적으로는, 상기 4 개 카메라화상을 이용하여 합성한, 위에서 내려다본 가상시점화상이 사용되며, 화상 상부의 절반 오른쪽에 당해 차량의 오른쪽 후방부를 촬영하는 카메라(2)의 좌우반전화상을, 화상 상부의 절반 왼쪽에 당해 차량의 왼쪽 후방부를 촬영하는 카메라(6)의 좌우반전화상을, 서브윈도우를 설정하여 표시하고 있다. 가상시점화상에 있어서, 점선으로 둘러싸인 타원 부분에서는, 주차차량과의 접근정도가 대략적으로밖에 파악할 수 없다. 그러나 서브윈도우로 표시한 카메라(2)의 좌우반전화상에서 실선으로 둘러싸인 원 부분을 봄으로써, 주차차량의 접근정도를 한눈에 파악할 수 있다.

또 도 13의 (b)는 도 2에 나타낸 카메라(2, 3, 6, 7)의 4 개 카메라를 이용하여 생성한 다른 화면형태를 나타낸 도면이다(합성 원본인 촬영화상은 도시 생략). 전체적으로는 카메라(3, 7)의 화상을 이용하여 합성한, 위에서 대각선 후방으로 내려다보고 좌우를 반전시킨 가상시점화상이 사용되며, 화상 하부 절반의 오른쪽에 카메라(2)의 반전화상을, 화상 하부 절반의 왼쪽에 카메라(6)의 반전화상을, 서브윈도우를 설정하여 표시하고 있다. 도 13의 (b)의 예에서는 가상시점화상의 주시점이 화면 전체의 상부 절반에 오는 것으로 상정되므로, 서브윈도우를 화면 하부 절반의 오른쪽과 왼쪽에 각각 배치한다. 효과는 도 13의 (a)와 마찬가지이다.

모든 예에 있어서 서브윈도우는, 배경화상으로서의 가상시점화상 중 감추어져도 운전에 지장을 주지 않는 부분에 고정배치해도 되며, 주위 상황 등에 따라 배치장소를 적절히 움직여도 상관없다.

이와 같은 화면구성으로 함으로써, 가상시점화상에 의하여 자기차량과 주위물체의 위치관계가 파악 가능함과 동시에, 경계에서 불연속으로 되는 부분에 관해서는, 서브윈도우에 표시된 미러화상을 봄으로써 차량 주위 물체와의 접근 정도의 상세를, 시선의 이동 없이 파악할 수 있다.

(제 6 실시예)

제 6 실시예는 상술한 제 6 과제를 해결하기 위해 이루어진 발명의 한 형태로서, 복잡한 운전조작 시에 상세한 상황을 파악하고 싶은 장소인 자기차량의 측방영역에 대하여 다른 부분에 우선시켜 운전자에게 제시하는 것이다.

도 14의 (a), (b)는 복잡한 운전조작의 하나인 종렬주차에 있어서, 주차동작 개시와 주차동작 도중의 합성화상을 각각 나타낸 도면이다. 어느 가상시점화상에서든, 차량 측부에 설치한 카메라를 우선시켜 사용함으로써, 주차 중의 차량(P_CAR)이 카메라(4 및 5)만으로 화상에 재현되므로 불연속이 되는 문제가 해소된다.

물론 부분화상의 배치를 이와 같은 형태로 하면, 불연속 부분이 차량 전후에 집중하므로 그 부분에서 이용자에게 위화감을 줄 가능성이 있다. 그러나 이 점에 관해서는 예를 들어 제 3 실시예에서 서술한 바와 같이, 차량 진행방향의 전방을 파악하기 위해 필요한 화상을 가상시점화상에 나열시켜 표시하는 등으로 불연속 부분의 위화감을 완화시킬 수 있다.

상술한 예에서는 차량 측방의 카메라를 우선시켜 사용함으로써, 종렬주차 시 주시하는 부분이 보기 쉬워지도록 가상시점화상의 경계를 구성한다. 이 부분화상끼리의 경계는, 용도나 운전상황에 따라 적절하게 바꾸어도 된다. 이로써 운전자에게 있어서 보다 보기 쉬운 화상을 제공하는 것이 가능해진다.

도 15는 병렬주차 시 부분화상끼리의 경계 절환의 일례를 나타내는 도면이다. 병렬주차를 할 때, 동작개시 당초(도 15의 (a))부터 도중(도 15의 (b))까지는, 차량 측방의 물체(예를 들어 주차 중의 차량(P_CAR_S) 등)와의 접촉 여부를 주로 하여 확인할 필요가 있다. 이 때문에 차량 측부에 설치한 카메라를 우선 사용하여, 차량 측부 카메라의 촬영화상을 가능한 한 넓게 이용한 가상시점화상을 제시한다. 한편, 차량의 약 절반이 이미 주차공간으로 들어선 최종단계에서는 차량 후방의 물체(예를 들어 주차 중의 차량(P_CAR_B) 등)와의 접촉 여부를 주로 하여 확인할 필요가 있다. 이 때문에 차량 후부에 설치한 카메라를 우선 사용하여, 차량 후부 카메라의 촬영화상을 가능한 한 넓게 이용한 가상시점화상을 제시한다.

여기서 차량 측부의 카메라를 우선하는 모드에서 차량 후부 카메라를 우선하는 모드로의 절환에는, 예를 들어 차량에 설치한, 후방물체 검지를 행하는 센서의 검지신호를 트리거로서 이용하면 된다. 만일 차량 후방에 어떤 물체가 존재한다는 것을 센서가 검지하면, 이를 트리거로 하여 차량 후부의 카메라를 우선하는 화면모드로 절환하면 된다.

또 절환 트리거로서는, 물체검지센서 대신에 예를 들어, 핸들조작이나 기어조작 등 어느 것을 사용해도 상관없다. 또한 운전자가 수동으로 화면모드를 바꾸어도 물론 상관없다.

도 16은 상술한 화면모드의 절환을 가능하게 하는 시스템 구성을 나타내는 블록도이다. 도 16의 구성에서는, 매핑테이블 선택부(25)가 화면모드 절환신호(예를 들어 물체검지센서의 신호 등)를 받아, 그 신호내용에 따라 매핑테이블(MPT)을 절환한다. 예를 들어 상기와 같은 자동절환을 실현하기 위해서는, 차량 측부의 카메라를 우선하는 화면모드의 매핑테이블과, 차량 후부의 카메라를 우선하는 화면모드의 매핑테이블을 미리 준비해두면 된다.

이상 본 발명의 목적을 실현하기 위한 합성화상의 표시형태를 설명하였다. 여기서 이 합성화상을 실현하기 위한 장치구성으로는, 표시하는 화상의 양에 상당하는 매핑테이블을 준비해두도록 해도 좋으며, 상황에 따라 매핑테이블을 자동으로작성해도 상관없다.

또 본 발명에 있어서 차량이란, 보통자동차, 경자동차, 화물자동차, 버스 등을 포함한다. 또 본 발명의 기술사상이 적용될 수 있는 것이라면, 기중기, 굴삭기 등의 특수차량도 본 발명의 차량으로 할 수 있다.

여기서 이상의 설명에서는, 본 발명에 관한 감시시스템은 차량에 적용하는 것으로 하지만, 차량 이외의 이동체, 예를 들어 비행기나 선박 등이라도, 마찬가지로 적용할 수 있다. 또 이동체 이외의 감시대상, 예를 들어 점포, 주거, 전시장 등에 카메라를 설치해도 된다.

또 복수 카메라의 설치위치나 대수는 여기서 나타낸 것에 한정되지 않는다. 예를 들어 각 페어카메라를 차량의 네 모퉁이에 각각 배치해도 상관없다.

또 본 발명에 관한 화상처리부의 기능은, 그 전부 또는 일부를, 전용 하드웨어를 이용하여 실현시켜도 상관없으며, 소프트웨어로 실현시켜도 상관없다. 또한 본 발명에 관한 화상처리부의 기능 전부 또는 일부를 컴퓨터로 실행시키기 위한 프로그램을 저장시킨 기록매체나 전송매체를 이용하는 것도 가능하다. 예를 들어 컴퓨터를 이용한 구성에서, 화상합성부 등의 각 처리수단을, CPU로 실행되는 소프트웨어로 실현하고 ROM 또는 RAM에 저장시켜두어도 상관없다.

이상과 같이 본 발명에 의하면, 차량후방의 좌우 180 도 시야를 둘러본 화상이 반전되어 표시되므로, 이용자는 이 시야범위에 존재하는 물체를, 표시된 화상에 의하여 확실하게 포착할 수 있다. 따라서 도 4에 나타낸 바와 같이 직각으로 후진하면서 도로로 진입하는 등의 경우에, 타인의 도움 없이도, 화상을 보는 것만으로그 운전조작이 실행 가능해진다.

또 본 발명에 의하면 당해 차량의 적어도 1 개 타이어의 접지부분이 상대적으로 확대되어, 차량으로부터 멀어짐에 따라 축소된 화상이 표시되므로 이용자는, 차량 측근직하의 상세한 상황과 진행방향의 전방상태를 동일화상에서 동시에 확인 가능해진다. 따라서 도로변 등으로의 접근 시, 자기차량의 도로변으로의 접근 정도뿐만 아니라, 전진 또는 후진할 때 진행방향의 전방상태를 알 수 있어, 운전에 익숙하지 않은 운전자라도 화상을 보는 것만으로 좁은 길 주행에서의 대향차량과의 스침, 접근 등을 매우 간단하게 할 수 있게 된다.

또 본 발명에 의하면 차량의 이동방향 또는 이동 가능한 방향의 화상이, 가상시점화상과의 위치관계를 유지하면서 나열 표시되기 때문에 이용자는, 차량 주위의 상황뿐만 아니라 전진 또는 후진할 때의 진행방향 전방 상태까지도, 동일화상에서 동시에 확인 가능해진다. 따라서 핸들회전을 수반하는 등의 주차에서 전진/후진의 경우에, 진행방향 상태를 일일이 육안이나 미러로 확인할 필요가 없어져 운전에 집중할 수 있게 된다.

또한 본 발명에 의하면, 각 가상시점화상에 있어서, 촬영범위의 중복부분에서 어느 한쪽의 카메라화상이 삭제되지 않고 이용되므로, 중복부분에 존재하는 물체가 가상시점화상 상에서 소실되는 일이 없다. 이로써 안전운전에 필요한 정보를 반드시 포함한 화상을 운전자에게 제공하는 것이 가능해져, 운전자는 화상만으로 안심하고 주위 상황을 확인할 수 있다.

또 본 발명에 의하면 가상시점화상과 함께, 좌우의 도어미러에서 본 것 같은카메라화상이 표시된다. 이로써 이용자는 가상시점화상으로 자기차량과 주위물체와의 대략적 위치관계를, 도어미러화상으로 운전석 후방의 차량 측방 물체와 자기차량과의 거리를, 모두 하나의 화면에서 확인할 수 있다. 이로써 운전자는, 도어미러 확인이나 육안 확인을 하지 않아도 화면을 보는 것만으로 주위 상황을 알 수 있으므로, 화면만으로 안심하고 운전에 집중할 수 있게된다.

또한 본 발명에 의하면 어느 모드에서는, 차량 측부에 설치한 카메라로 촬영된 화상이, 가상시점화상의 생성에 우선하여 이용된다. 이로써 복잡한 운전조작을 필요로 하는 운전상황의 많은 부분에서 운전자가 상세하게 알고 싶은 장소인 차량의 측방영역에 있어서, 불연속 부분을 갖지 않는 위화감 적은 화상을 운전자에게 제공하는 것이 가능해진다.

Claims (12)

1. 차량에 설치되며 차량 후방의 촬영범위로서 실질적으로 좌우 180 도의 시야를 포함하는 적어도 1 대의 카메라와,

   상기 카메라의 촬영화상을 입력으로 하고, 입력된 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하며,

   상기 화상처리부는,

   차량 후방의 실질적으로 좌우 180 도 시야를 포함하는 화상을 반전시켜 표시하는 모드를 갖는 것을 특징으로 하는 감시시스템.
2. 차량 주위를 촬영하는 적어도 1 개의 카메라와,

   상기 카메라의 촬영화상을 입력으로 하며, 이 카메라 화상으로 합성화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고,

   상기 화상처리부는,

   당해 차량의 적어도 1 개의 타이어 접지부분을 포함하는 차량 측근부분의 확대축소율이, 차량 주변부분의 확대축소율보다 상대적으로 커지도록 합성된 합성화상을 표시하는 모드를 갖는 것을 특징으로 하는 감시시스템.
3. 제 2 항에 있어서,

   상기 합성화상은, 상기 차량 측근부분에서 상기 차량 주변부분을 향해 멀어질수록 확대축소율이 작아지는 것을 특징으로 하는 감시시스템.
4. 제 2 항에 있어서,

   상기 화상처리부는,

   상기 합성화상을, 당해 차량의 측면을 따른 부분이 직선성을 갖도록 생성하는 것임을 특징으로 하는 감시시스템.
5. 제 2 항에 있어서,

   상기 카메라의 적어도 1 개는, 적어도 차체 측면의 일부 및 앞 타이어의 일부를 촬영범위에 포함하도록 설치되며,

   상기 화상처리부는,

   상기 적어도 1 개의 카메라 촬영화상을 이용하여, 상기 차체 측면 및 앞 타이어를 포함하도록 상기 합성화상을 생성하는 것임을 특징으로 하는 감시시스템.
6. 차량 주위를 촬영하는 적어도 1 개의 카메라와,

   상기 카메라의 촬영화상을 입력으로 하고, 이 카메라화상으로부터 합성화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고,

   상기 카메라의 적어도 1 개는, 적어도 당해 차량 타이어의 일부를 촬영범위에 포함하도록 설치되며,

   상기 화상처리부는,

   상기 적어도 1 개의 카메라 촬영화상을 이용하여 상기 타이어를 포함하도록 상기 합성화상을 생성하는 것임을 특징으로 하는 감시시스템.
7. 차량 주위를 촬영하는 적어도 1 대의 카메라와,

   상기 카메라의 촬영화상을 입력으로 하고, 이 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하며,

   상기 화상처리부는,

   차량의 이동방향 또는 이동가능방향의 화상을, 상기 가상시점화상과의 위치관계를 유지하면서 상기 가상시점화상과 나열시켜 표시하는 모드를 갖는 것을 특징으로 하는 감시시스템.
8. 차량 주위를 촬영하는 복수의 카메라와,

   상기 각 카메라의 촬영화상을 입력으로 하고, 이들 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고,

   상기 복수의 카메라는 촬영범위가 중복되는 제 1 및 제 2 카메라를 포함하며,

   상기 화상처리부는,

   상기 제 1 카메라를 사용하고 또 상기 제 2 카메라는 사용하지 않고 작성하며, 상기 제 1 카메라의 촬영범위의 상기 제 2 카메라와의 중복부분과 비 중복부분을 포함하는 제 1 가상시점화상과, 상기 제 2 카메라를 사용하고 또 상기 제 1 카메라는 사용하지 않고 작성하며, 상기 제 2 카메라의 촬영범위에서의 상기 제 1 카메라와의 중복부분과 비중복부분을 포함하는 제 2 가상시점화상을 생성 가능하게 구성된 것을 특징으로 하는 감시시스템.
9. 제 8 항에 있어서,

   상기 화상처리부는, 상기 제 1 및 제 2 가상시점화상을 동일 화면에 나열시켜 표시하는 모드를 갖는 것을 특징으로 하는 감시시스템.
10. 제 8 항에 있어서,

    상기 제 1 가상시점화상은, 차량 측방에 설치된 카메라에 의해 촬영된 화상만을 사용한 가상시점화상이며,

    상기 제 2 가상시점화상은, 차량 전후에 설치된 카메라에 의해 촬영된 화상만을 사용한 가상시점화상인 것을 특징으로 하는 감시시스템.
11. 차량 주위를 촬영하는 복수의 카메라와,

    상기 각 카메라의 촬영화상을 입력으로 하고, 이들 카메라화상을 이용하여 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고,

    상기 복수의 카메라는, 적어도 당해 차량의 좌 후방부를 촬영하는 제 1 카메라와, 차량의 우 후방부를 촬영하는 제 2 카메라를 포함하며,

    상기 화상처리부는 가상시점화상과 함께, 상기 제 1 카메라 또는 제 2 카메라의 촬영화상의 좌우반전된 화상의 적어도 일부를 표시하는 모드를 갖는 것을 특징으로 하는 감시시스템.
12. 차량 주위를 촬영하는 복수의 카메라와,

    상기 각 카메라의 촬영화상을 입력으로 하고, 이들 카메라화상으로부터 가상시점에서 본 화상을 생성하여 표시장치에 표시하게 하는 화상처리부를 구비하고,

    상기 화상처리부는,

    가상시점화상의 생성에 있어서, 차량 측부에 설치한 카메라로 촬영된 화상을 우선시켜 사용하는 모드를 갖는 것을 특징으로 하는 감시시스템.