DE102009036200A1

DE102009036200A1 - Verfahren zur Überwachung einer Umgebung eines Fahrzeugs

Info

Publication number: DE102009036200A1
Application number: DE102009036200A
Authority: DE
Inventors: Joachim Dipl.-Inform. Gloger; Thomas Ruland
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2009-08-05
Filing date: 2009-08-05
Publication date: 2010-05-06
Also published as: CN102473239B; US8750572B2; JP2013501280A; WO2011015283A1; JP5667629B2; CN102473239A; US20120121136A1; EP2462538A1

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung einer Umgebung (U) eines Fahrzeugs (F), wobei die Umgebung (U) und in dieser vorhandene Objekte (O1, O2) mittels zumindest einer ersten Bilderfassungseinheit (1) und einer zweiten Bilderfassungseinheit (2), deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst werden, wobei aus mittels der Bilderfassungseinheiten (1, 2) erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild (G) erzeugt wird, welches das Fahrzeug (F) und dessen Umgebung (U) aus einer Vogelperspektive zeigt. Dabei wird in Abhängigkeit von ermittelten Positionen der Objekte (O1, O2) in dem Gesamtbild (G) zwischen einem ersten Einzelbildbereich (EB1) und einem zweiten Einzelbildbereich (EB2) ein Verlauf zumindest einer Grenzlinie (L1 bis L3), die sich von einem Ursprung zum Bildrand des Gesamtbilds erstreckt, derart vorgegeben, dass die Grenzlinie (L1 bis L3) abseits der Objekte (O1, O2) verläuft.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung einer Umgebung eines Fahrzeugs, wobei die Umgebung und in dieser vorhandene Objekte mittels zumindest einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst wird, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt.
Fahrzeuge zum Güter- oder Personentransport sind häufig durch große Fahrzeugabmessungen und/oder eine geringe Übersichtlichkeit gekennzeichnet. Daraus resultiert, dass insbesondere ein Rangieren mit diesen Fahrzeugen für einen Fahrer sehr schwierig ist. Deshalb ist es vorteilhaft, Fahrzeuge und deren Umgebung, insbesondere eine Umgebung hinter oder neben diesem, aus einer Vogelperspektive auf einem Bildschirm darzustellen, so dass das Fahrzeug und dessen gesamte Umgebung für den Fahrer sichtbar sind.
Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen zu einer derartigen Überwachung und Darstellung einer Umgebung eines Fahrzeugs bekannt, wobei einem Fahrer des Fahrzeugs insbesondere ein Bild des Fahrzeugs und dessen Umgebung aus einer Vogelperspektive ausgegeben wird. Dadurch wird für den Fahrer eine verbesserte Rundumsicht geschaffen, die diesem als Assistenzfunktion und Unterstützung während des Fahrbetriebs, beispielsweise bei einem Rangieren des Fahrzeugs, dient. Weiterhin können Unfälle vermieden werden, welche sich häufig aufgrund einer schlechten Rundumsicht, insbesondere bei großen und schwer überschaubaren Fahrzeugen, ereignen. Dabei wird häufig ein Gesamtbild mit der Darstellung des Fahrzeugs und dessen Umgebung aus der Vogelperspektive aus mehreren aneinander angrenzenden oder sich überlappenden Bildaufnahmen ermittelt.
Aus der WO 2008/150153 A1 ist ein Verfahren zur Erzeugung eines Panoramablicks bzw. Rundumsicht auf einen Straßenrand bekannt. Dabei werden mit einem Laserscanner stichprobenartig Laserscandaten erfasst, wobei der Laserscanner an einem Fahrzeug angeordnet ist und jeder der Stichproben Positionsdaten und Lagebestimmungsdaten zugeordnet sind. Weiterhin wird mittels einer ebenfalls an dem Fahrzeug angeordneten Kamera zumindest eine Bildsequenz erfasst, wobei jedem Bild der Bildsequenz wiederum Positionsdaten und Lagebestimmungsdaten zugeordnet sind. Aus den Laserscandaten wird eine Oberfläche ermittelt, wobei eine Position der Oberfläche in Abhängigkeit von den Laserscandaten zugeordneten Positionsdaten und Lagebestimmungsdaten ermittelt wird. Der Panoramablick bzw. eine Rundumsicht wird für die besagte Oberfläche aus zumindest einer Bildsequenz in Abhängigkeit der Position dieser und der jedem der Bilder zugeordneten Positionsdaten und Lagebestimmungsdaten bestimmt.
Weiterhin offenbart die US 2006/0192660 A1 eine Vorrichtung zur Anzeige einer Umgebung eines Fahrzeugs. Die Vorrichtung umfasst eine erste Erfassungseinheit, welche an einer Seite des Fahrzeugs angeordnet und zur Erfassung eines ersten Bilds vorgesehen ist. Zusätzlich ist eine zweite Erfassungseinheit zur Erfassung eines zweiten Bilds vorgesehen, wobei die zweite Erfassungseinheit relativ zur ersten Erfassungseinheit vor dieser angeordnet ist. Ferner ist zur Anzeige der erfassten Bilder und zur Anzeige der Umgebung des Fahrzeugs eine Anzeigeeinheit vorgesehen. Mittels einer Bildverarbeitungseinheit wird eine Grenzlinie zwischen dem ersten und dem zweiten Bild in einem aus diesen Bildern gebildeten Gesamtbild derart definiert, dass die Grenzlinie identisch mit einer geraden Linie ist, welche eine Position der ersten Kamera und eine Position der zweiten Kamera miteinander verbindet.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Überwachung einer Umgebung eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem Verfahren zur Überwachung einer Umgebung eines Fahrzeugs werden die Umgebung und in dieser vorhandene Objekte mittels zumindest einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt.
Um in dem Überlappungsbereich befindliche Objekte, beispielsweise von einer Grundfläche erhabene Objekte wie Personen, Hindernisse oder andere Gegenstände insbesondere auch bei Fahrzeugen mit einer großen Fahrzeuglänge sicher, vollständig und in ihrer realen Form auf dem Gesamtbild darzustellen, wird erfindungsgemäß in Abhängigkeit von ermittelten Positionen der Objekte in dem Gesamtbild zwischen einem ersten Einzelbildbereich und einem zweiten Einzelbildbereich ein Verlauf einer Grenzlinie, die sich von einem Ursprung zum Bildrand des Gesamtbilds erstreckt, derart variabel vorgegeben, dass die Grenzlinie abseits der Objekte verläuft.
Dabei wirken sich in besonders vorteilhafter Weise beim Zusammensetzen der aneinander angrenzenden Einzelbildbereiche zu dem Gesamtbild in der Vogelperspektive in den Überlappungsbereichen der Bilderfassungseinheiten auftretende Diskontinuitäten, insbesondere Verzerrungen und/oder Sprungstellen, welche zu einer gebrochenen und nicht vollständigen Darstellung der Objekte führen können, nicht negativ auf die Darstellung der Objekte in dem Gesamtbild aus. Insbesondere wird die unvollständige und nicht kontinuierliche Darstellung der Objekte auf dem Gesamtbild vermieden, da aufgrund der variablen Vorgabe der Grenzlinie mit einem derartigen Verlauf, dass diese die Objekte nicht berührt, eine optimale, d. h. vollständige und kontinuierliche optische Darstellung der Objekte auf dem Gesamtbild realisiert wird.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1 schematisch einen Ausschnitt eines Gesamtbilds nach dem Stand der Technik, welches ein Fahrzeug, dessen Umgebung und ein Objekt aus einer Vogelperspektive zeigt,
2 schematisch den Ausschnitt eines Gesamtbilds mit einer variabel vorgebbaren Grenzlinie zwischen einem ersten und einem zweiten Einzelbildbereich,
3 schematisch eine Unterteilung des Gesamtbilds in mehrere Einzelbildbereiche,
4 schematisch einen rechteckigen Verlauf der Grenzlinie zwischen dem ersten Einzelbildbereich und dem zweiten Einzelbildbereich des Gesamtbilds, und
5 schematisch einen kurvenförmigen Verlauf der Grenzlinie zwischen dem ersten Einzelbildbereich und dem zweiten Einzelbildbereich des Gesamtbilds.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein Ausschnitt eines Gesamtbilds G nach dem Stand der Technik dargestellt, welches ein Fahrzeug F, dessen Umgebung U und ein Objekt O1 aus einer Vogelperspektive zeigt.
Am vorderen Ende des Fahrzeugs F ist eine erste Bilderfassungseinheit 1 und an der rechten Seite des Fahrzeugs F ist eine zweite Bilderfassungseinheit 2 angeordnet, mittels welchem das Fahrzeug F und dessen Umgebung U erfassbar sind. Dabei überlappen sich Erfassungsbereiche der Bilderfassungseinheiten 1 und 2 zumindest teilweise.
Die Bilderfassungseinheiten 1 und 2 sind vorzugsweise um Kameras, welche jeweils einen großen Erfassungsbereich aufweisen. Dabei kann es sich neben herkömmlichen Kameras insbesondere um omnidirektionale Kameras handeln. Diese können beispielsweise mosaikbasierte Kameras, rotierende Kameras, Kameras mit speziellen Weitwinkellinsen, so genannten Fischaugen-Linsen, sein oder auf einem katadioptrischen System basieren.
Die Bilderfassungseinheiten 1 und 2 erfassen Einzelbilder des Fahrzeugs F, dessen Umgebung U und das Objekts O1, wobei diese Einzelbilder mittels einer nicht näher dargestellten Bildverarbeitungseinheit in das Gesamtbild G umgewandelt. Das Gesamtbild G zeigt das Fahrzeug F, dessen Umgebung und das Objekt O1, bei welchem es sich neben einer Person auch um Hindernisse oder andere Gegenstände handeln kann, aus der Vogelperspektive von einem Betrachtungspunkt aus. Die Einzelbilder werden mittels der Bildverarbeitungseinheit anhand einer Projektion der Einzelbilder auf eine virtuelle Referenzebene umgewandelt.
Bei dieser virtuellen Referenzebene handelt es sich insbesondere um eine Ebene, welche auf Höhe einer Fahrbahn des Fahrzeugs F, d. h. auf dem Boden, der eine Grundfläche darstellt, angeordnet ist.
Da das Objekt O1, welches von der Grundfläche erhaben ist, d. h. aus dieser herausragt, von den Bilderfassungseinheiten 1 und 2 aus unterschiedlichen Perspektiven erfasst wird, kann es zu einer optisch gebrochenen und/oder zumindest teilweise unvollständigen Darstellung des Objekts O1 im Gesamtbild G kommen, wenn sich das Objekt O1 im Bereich der Grenzlinie L oder direkt auf dieser befindet, wobei die Grenzlinie L einen mittels der ersten Bilderfassungseinheit 1 und auf die Referenzebene projizierte ersten Einzelbildbereich EB1 von einem mittels der zweiten Bilderfassungseinheit 2 und auf die Referenzebene projizierten zweiten Einzelbildbereich EB2 trennt.
Um die optisch gebrochene und/oder zumindest teilweise unvollständige Darstellung des Objekts O1 im Gesamtbild G zu vermeiden, wird in Abhängigkeit von einer ermittelten Position des Objekts O1 in dem Gesamtbild G ein Verlauf der Grenzlinie L1 derart vorgegeben, dass die Grenzlinie abseits des Objekts O1 verläuft.
In 2 sind derartige Verläufe der Grenzlinie L1 abseits des Objekts O1 dargestellt, wobei die Grenzlinie L1 stets derart verläuft, dass das Objekt O1 nicht von dieser geschnitten oder berührt wird.
Zu einer derartigen Vorgabe des Verlaufs der Grenzlinie L1 wird zunächst die Position des Objekts O1 in der Umgebung des Fahrzeugs F ermittelt, wobei dies mittels der Bilderfassungseinheiten 1 und 2 und der Bildverarbeitungseinheit erfolgt. Aus dieser Position des Objekts O1 in der Umgebung des Fahrzeugs F und der bekannten Ausrichtung der Bilderfassungseinheiten 1, 2 wird anschließend ermittelt, in welcher Position das Objekt O1 in dem Gesamtbild G dargestellt wird.
In Abhängigkeit von dieser Position des Objekts O1 in dem Gesamtbild G werden die Einzelbildbereiche EB1 und EB2 bei deren Erzeugung anhand der Bildverarbeitungseinheit derart berechnet, dass die Grenzlinie abseits des Objekts O1 verläuft. Dieser variable Verlauf der Grenzlinie L1 ist dadurch möglich, dass die Bilderfassungseinheiten 1, 2 derart ausgerichtet sind, dass der Überlappungsbereich zwischen den Erfassungsbereichen entsteht, so dass in dem Überlappungsbereich die Umgebung U und das in dieser befindliche Objekt O1 von beiden Bilderfassungseinheiten 1, 2 erfasst wird.
Im dargestellten Ausführungsbeispiel ist die Grenzlinie L1 als Gerade ausgebildet, welche derart um ihren Ursprung in einer vorderen Ecke des Fahrzeugs F geschwenkt ist, dass diese das Objekt O1 nicht berührt.
Zusätzlich ist zwischen der Grenzlinie L1 und dem Objekt O1 ein Toleranzbereich T1 ausgebildet. Somit ist stets, insbesondere auch bei Bewegungen des Fahrzeugs F und des Objekts O, eine optimale Darstellung des Fahrzeugs F, dessen Umgebung U und des Objekts O1 auf dem Gesamtbild G sichergestellt.
3 zeigt das Gesamtbild G mit dem Fahrzeug F, dessen Umgebung U und zwei Objekte O1, O2, wobei das Gesamtbild G mehrfach unterteilt ist. Um beide Objekte O1, O2 fehlerfrei auf dem Gesamtbild G darzustellen, ist der erste Einzelbildbereich EB1 auf dem Gesamtbild G derart durch den zweiten Einzelbildbereich EB2 unterbrochen dargestellt, dass das Objekt O2 in dem zweiten Einzelbildbereich EB2 dargestellt wird, jedoch randseitig von dem ersten Einzelbildbereich EB1 umgeben ist.
Zusätzlich ist auch der zweite Einzelbildbereich EB2 derart durch den ersten Einzelbildbereich EB1 unterbrochen dargestellt, dass das erste Objekt O1 in dem ersten Einzelbildbereich E1 dargestellt wird, jedoch randseitig von dem zweiten Einzelbildbereich EB2 umgeben ist.
Mit anderen Worten: Es wird über die Fläche des Gesamtbilds G mehrfach zwischen den Eingabebildbereichen EB1 und EB2 gewechselt.
Die Einzelbildbereiche EB1, EB2 sind dabei jeweils durch Grenzlinien L1 bis L3 voneinander getrennt, wobei die Grenzlinien L1 bis L3 wiederum derart verlaufen, dass diese die Objekte O1, O2 nicht berühren und dass sich zwischen den Grenzlinien L1 bis L3 und den Objekten O1, O2 Toleranzbereiche T1 bis T4 ausbilden. Aus dem Verlauf der Grenzlinien L1 bis L3 resultiert eine optimale Darstellung der Objekte O1, O2, da diese in der Perspektive der jeweiligen Bilderfassungseinheit 1, 2 dargestellt werden, in welcher diese eindeutig, fehlerfrei und vollständig erfasst sind.
4 zeigt einen weiteren Verlauf der Grenzlinie L1 zwischen dem Ursprung an der vorderen Ecke des Fahrzeugs F und dem Bildrand des Gesamtbilds G. Dabei verläuft die Grenzlinie L1 derart, dass sie einen Teilabschnitt eines Rechtecks darstellt, wobei sich das Objekt O1 im Gesamtbild G oberhalb der Grenzlinie L1 befindet und der Toleranzbereich T1 zwischen dem Objekt O1 und der Grenzlinie L1 ausgebildet ist.
In nicht näher dargestellten Weiterbildungen kann die Grenzlinie alternativ auch polygonartig um ein oder mehrere Objekte verlaufen, so dass stets eine optimale und vollständige Darstellung der Objekte anhand des Gesamtbilds G möglich ist.
In 5 ist ein Gesamtbild G dargestellt, welches das Fahrzeug F, dessen Umgebung U und die Objekte O1 und O2 zeigt, wobei die Grenzlinie L1 derart kurvenförmig verläuft, dass das erste Objekt O1 in dem ersten Einzelbildbereich EB1 oberhalb der Grenzlinie L1 und das zweite Objekt O2 unterhalb der Grenzlinie L1 in dem Gesamtbild G verläuft. Weiterhin ist auch der Ursprung der Grenzlinie L1 von der vorderen Ecke des Fahrzeugs F an dessen Front in Richtung der ersten Bilderfassungseinheit 1 versetzt, so dass ein veränderter virtueller Beobachtungspunkt auf das Gesamtbild G entsteht. Dadurch wird eine weitere Verbesserung der Darstellung der Objekte O1, O2 erzielt.

1: Bilderfassungseinheit
2: Bilderfassungseinheit
EB1, EB2: Einzelbildbereich
F: Fahrzeug
G: Gesamtbild
L1 bis L3: Grenzlinie
O1, O2: Objekt
T1 bis T4: Toleranzbereich
U: Umgebung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- WO 2008/150153 A1 [0004]
- US 2006/0192660 A1 [0005]

Claims

Verfahren zur Überwachung einer Umgebung (U) eines Fahrzeugs (F), wobei die Umgebung (U) und in dieser vorhandene Objekte (O1, O2) mittels zumindest einer ersten Bilderfassungseinheit (1) und einer zweiten Bilderfassungseinheit (2), deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst werden, wobei aus mittels der Bilderfassungseinheiten (1, 2) erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild (G) erzeugt wird, welches das Fahrzeug (F) und dessen Umgebung (U) aus einer Vogelperspektive zeigt, dadurch gekennzeichnet, dass in Abhängigkeit von ermittelten Positionen der Objekte (O1, O2) in dem Gesamtbild (G) zwischen einem ersten Einzelbildbereich (EB1) und einem zweiten Einzelbildbereich (EB2) ein Verlauf zumindest einer Grenzlinie (L1 bis L3), die sich von einem Ursprung zum Bildrand des Gesamtbilds (G) erstreckt, derart vorgegeben wird, dass die Grenzlinie (L1 bis L3) abseits der Objekte (O1, O2) verläuft.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Grenzlinie (L1 bis L3) derart vorgegeben wird, dass zwischen der Grenzlinie (L1 bis L3) und dem jeweiligen Objekt (O1, O2) ein Toleranzbereich (T1 bis T3) entsteht.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein virtueller Beobachtungspunkt auf das Gesamtbild (G) in Abhängigkeit von den Positionen der Objekte (O1, O2) variabel vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Gesamtbild (G) in Abhängigkeit von den Positionen der Objekte (O1, O2) derart unterteilt wird, dass ein Einzelbildbereich (EB1, EB2) einer der Bilderfassungseinheiten (1, 2) durch zumindest einen Einzelbildbereich (EB1, EB2) der jeweils anderen Bilderfassungseinheit (1, 2) unterbrochen dargestellt wird.