-
Die Erfindung betrifft ein Verfahren für Fahrerassistenz für eine Kombination, wobei die Kombination ein Kraftfahrzeug und einen Anhänger umfasst, wobei ein erstes Kamerabild mittels eines ersten Kamerasystems erzeugt wird, das an dem Kraftfahrzeug angeordnet ist, ein zweites Kamerabild mittels eines zweiten Kamerasystems erzeugt wird, das an dem Anhänger angeordnet ist, und ein kombiniertes Bild mittels einer Recheneinheit des Kraftfahrzeugs erzeugt wird, indem die Kamerabilder derart überlagert werden, dass das zweite Kamerabild einen Unterabschnitt des ersten Kamerabilds abdeckt. Ferner betrifft die Erfindung ein entsprechendes Fahrerassistenzsystem sowie ein Computerprogramm und ein computerlesbares Speicherungsmedium.
-
In einem bekannten System für Fahrerassistenz werden zwei Kameras verwendet, die jeweils an einer Heckseite des Kraftfahrzeugs und an einer Heckseite des Trailers angebracht sind. Die resultierenden Kamerabilder werden auf eine überlagerte Weise im Cockpit des Kraftfahrzeugs auf einem Bildschirm wiedergegeben, so dass sich für einen Fahrer des Kraftfahrzeugs virtuell ein Blick durch den Anhänger ergibt. Dadurch kann erreicht werden, dass die Sicht des Fahrers weniger ernsthaft durch den Anhänger eingeschränkt ist. Solch ein System ist beispielsweise im Dokument
EP 3 342 645 A1 beschrieben.
-
Allerdings besteht ein Nachteil darin, dass bei Abbiege- oder Manövrieroperationen, bei denen das Kraftfahrzeug und der Anhänger nicht entlang einer gemeinsamen Längsachse bewegt werden, die Position des Anhängers in dem Kamerabild der Kraftfahrzeugkamera von der Position des Kamerabilds der Anhängerkamera abweichen kann. Dadurch führen abgedeckte Abschnitte in dem überlagerten Bild für den Fahrer dazu, dass das Kamerabild der Anhängerkamera einerseits tatsächlich freie Abschnitte abdeckt und dass andererseits Teile des Anhängers die Sicht einschränken.
-
Daher besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes Konzept für Fahrerassistenz für eine Kombination zu spezifizieren, bei dem eine Sichteinschränkung für einen Fahrer der Kombination weiter verringert ist, insbesondere, wenn die Kombination nicht geradeaus fährt.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren für Fahrerassistenz, ein Fahrerassistenzsystem, ein Computerprogramm und ein computerlesbares Speicherungsmedium gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Entwicklungen und weitere Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Das verbesserte Konzept basiert auf der Idee, die Position eines Unterabschnitts in dem kombinierten Bild zu bestimmen, der von dem Kamerabild eines Anhängerkamerasystems abgedeckt wird, abhängig von einem Kupplungswinkel der Kombination. Darin wird der Kupplungswinkel in Abhängigkeit von Zustandsdaten oder auf der Grundlage von zeitabhängigen Bilddaten bestimmt, abhängig davon, ob sich die Kombination vorwärts oder rückwärts bewegt.
-
Gemäß einem ersten unabhängigen Aspekt des verbesserten Konzepts wird ein Verfahren für Fahrerassistenz für eine Kombination spezifiziert, insbesondere für einen Fahrer der Kombination, wobei die Kombination ein Kraftfahrzeug und einen Anhänger umfasst, wobei der Anhänger insbesondere mit dem Kraftfahrzeug verbunden ist, insbesondere auf eine bezüglich des Kraftfahrzeugs drehbare Weise. Ein erstes Kamerabild wird mittels eines ersten Kamerasystems erzeugt, das an dem Kraftfahrzeug angeordnet ist, und ein zweites Kamerabild wird mittels eines zweiten Kamerasystems erzeugt, das an dem Anhänger angeordnet ist. Zeitabhängige Bilddaten werden mittels des zweiten Kamerasystems erzeugt. Das erste Kamerasystem kann auch als Kraftfahrzeugkamerasystem bezeichnet werden und das zweite Kamerasystem kann auch als Anhängerkamerasystem bezeichnet werden. Mittels einer Recheneinheit des Kraftfahrzeugs wird ein kombiniertes Bild erzeugt, indem das erste und das zweite Kamerabild derart überlagert werden, dass das zweite Kamerabild einen Unterabschnitt des ersten Kamerabilds abdeckt. Darin wird ein Kupplungswinkel der Kombination mittels der Recheneinheit bestimmt. Mittels des Sensorsystems der Kombination werden Zustandsdaten der Kombination bestimmt und die zeitabhängigen Bilddaten werden mittels des zweiten Kamerasystems erzeugt. Es wird mittels der Recheneinheit bestimmt, ob sich die Kombination vorwärts oder rückwärts bewegt. Der Kupplungswinkel wird mittels der Recheneinheit bestimmt, auf der Grundlage der Zustandsdaten, wenn sich die Kombination vorwärts bewegt, und auf der Grundlage einer Änderung der zeitabhängigen Bilddaten, wenn sich die Kombination rückwärts bewegt.
-
Eine Position des Unterabschnitts, insbesondere innerhalb des kombinierten Bilds, wird mittels der Recheneinheit in Abhängigkeit von dem Kupplungswinkel bestimmt.
-
Insbesondere wird das kombinierte Bild mittels einer Recheneinheit auf der Grundlage von und entsprechend der Position des in Abhängigkeit von dem Kupplungswinkel bestimmten Unterabschnitts erzeugt, derart, dass die Position des zweiten Kamerabilds innerhalb des kombinierten Bilds von dem Kupplungswinkel abhängt.
-
Das erste Kamerasystem ist insbesondere mit dem Kraftfahrzeug verbunden oder an dem Kraftfahrzeug montiert, insbesondere an einer Heckseite des Kraftfahrzeugs. Darin entspricht die Heckseite des Kraftfahrzeugs einer Seite des Kraftfahrzeugs, die dem Anhänger zugewandt ist.
-
Das zweite Kamerasystem ist insbesondere mit dem Anhänger verbunden oder an diesem Anhänger montiert, insbesondere an einer Heckseite des Anhängers. Darin entspricht die Heckseite des Anhängers einer Seite des Anhängers, die von dem Kraftfahrzeug abgewandt ist.
-
Das erste Kamerasystem umfasst mindestens eine erste Kamera zum Erzeugen des ersten Kamerabilds. Das zweite Kamerasystem umfasst mindestens eine zweite Kamera zum Erzeugen des zweiten Kamerabilds. Allerdings ist eine Orientierung der mindestens einen ersten Kamera und der mindestens einen zweiten Kamera insbesondere derart, dass die jeweilige Sichtrichtung davon parallel zu einer gemeinsamen Längsachse der Kombination orientiert ist, wenn sich die Kombination entlang der gemeinsamen Längsachse der Kombination vorwärts geradeaus bewegt.
-
Hier und im Folgenden bezeichnen „vorwärts“ und entsprechende Ausdrücke eine Fahrtrichtung der Kombination, in welcher das Kraftfahrzeug den Anhänger zieht. Hier und im Folgenden bezeichnen „rückwärts“ und entsprechende Ausdrücke eine Fahrtrichtung der Kombination, in welcher das Kraftfahrzeug den Anhänger schiebt, folglich insbesondere eine Fahrtrichtung, die nicht nach vorne oder vorwärts orientiert ist.
-
Insbesondere ist das erste Kamerasystem derart angeordnet, dass das erste Kamerabild mindestens einen Teil des Anhängers sowie mindestens einen Teil einer Umgebung des Kraftfahrzeugs zeigt, insbesondere um den Anhänger herum. Insbesondere zeigt das erste Kamerabild eine Frontseite des Anhängers oder einen Teil der Fronseite des Anhängers sowie optional eine linke oder eine rechte Seite des Anhängers, in Abhängigkeit von dem Kupplungswinkel der Kombination. Dabei ist die Frontseite des Anhängers eine Seite des Anhängers, die dem Kraftfahrzeug zugewandt ist, die folglich der Heckseite des Anhängers entgegengesetzt ist.
-
Das zweite Kamerasystem ist insbesondere derart angeordnet, dass das zweite Kamerabild eine Umgebung des Anhängers zeigt, insbesondere eine Umgebung des Anhängers, der die Heckseite des Anhängers zugewandt ist.
-
In dem kombinierten Bild ist das zweite Kamerabild insbesondere kleiner als das erste Bild. Insbesondere entspricht eine Erweiterung oder eine Größe des Unterabschnitts einer Erweiterung oder einer Größe des zweiten Bilds in dem kombinierten Bild.
-
Dass das zweite Kamerabild den Unterabschnitt des ersten Kamerabilds in dem kombinierten Bild abdeckt, kann beispielsweise derart verstanden werden, dass der Unterabschnitt des ersten Kamerabilds in dem kombinierten Bild nicht sichtbar ist und stattdessen das zweite Kamerabild sichtbar ist.
-
Die Position des Unterabschnitts ist insbesondere eine laterale oder horizontale Position des Unterabschnitts innerhalb des ersten Kamerabilds.
-
Durch die Okklusion des Unterabschnitts mit dem zweiten Kamerabild wird ein Teil der Umgebung des Anhängers, der im ersten Kamerabild durch den Anhänger abgedeckt wird, in dem kombinierten Bild sichtbar gemacht. Dadurch kann der Fahrer ein größeres Gebiet der Umgebung der Kombination sehen, insbesondere, wenn das kombinierte Bild auf einer Anzeigevorrichtung oder einer Anzeige des Kraftfahrzeugs angezeigt wird.
-
Durch Bestimmen des Unterabschnitts in Abhängigkeit von dem Kupplungswinkel und insbesondere durch die entsprechende Positionierung des zweiten Kamerabilds in dem kombinierten Bild in Abhängigkeit von dem Kupplungswinkel folgt das zweite Kamerabild einer relativen Bewegung in dem kombinierten Bild, insbesondere einer Dreh- oder Schwenkbewegung des Anhängers in Bezug auf das Kraftfahrzeug, so dass keine zusätzlichen Totwinkelabschnitte innerhalb des kombinierten Bilds durch die relative Bewegung entstehen oder dass zumindest die Größe solcher Totwinkelabschnitte beschränkt oder verringert wird. Beispielsweise können Abschnitte als Totwinkelabschnitte bezeichnet werden, in welchen das zweite Kamerabild das erste Kamerabild abdeckt, obgleich sich kein Teil des Anhängers an dem entsprechenden Ort in dem ersten Kamerabild befindet. Zusätzlich können Abschnitte als Totwinkelabschnitte bezeichnet werden, in welchen der Anhänger Teile des ersten Kamerabilds abdeckt, ohne dass diese durch eine entsprechende Überlagerung des zweiten Kamerabilds kompensiert werden.
-
Dadurch wird eine dynamische Adaptierung des kombinierten Bilds ermöglicht, so dass Sichteinschränkung für den Fahrer aufgrund des Anhängers verbessert wird, selbst bei Drehbewegungen des Anhängers bezüglich des Kraftfahrzeugs, also mit einen nichtverschwindenden Kupplungswinkel.
-
Der Kupplungswinkel ist insbesondere ein Gierwinkel des Anhängers. Dabei ist der Gierwinkel des Anhängers insbesondere mit Bezug auf eine Längsachse des Kraftfahrzeugs derart definiert, dass der Kupplungswinkel der Kombination oder der Gierwinkel des Anhängers einem Winkel entspricht, den eine Längsachse des Anhängers mit einer Längsachse des Kraftfahrzeugs bildet. Dabei ist der Gier- oder Kupplungswinkel beispielsweise gleich null, wenn die zwei Längsachsen zusammenfallen oder parallel zueinander sind.
-
Dabei entsprechen die Längsachsen des Kraftfahrzeugs und des Anhängers einer Bewegungsrichtung der Kombination in einer jeweiligen Neutralstellung eines Lenksystems der Kombination und des Kraftfahrzeugs, insbesondere bei einem Lenkwinkel des Kraftfahrzeugs von null Grad.
-
Das erste und das zweite Kamerabild sowie das kombinierte Bild können insbesondere Frames oder Teile von entsprechenden Bildsequenzen oder Videos sein.
-
Insbesondere können die Verfahrensschritte des Erzeugens der Kamerabilder und des kombinierten Bilds, insbesondere einschließlich der Bestimmung des Kupplungswinkels und der Bestimmung der Position des Unterabschnitts in Abhängigkeit von dem Kupplungswinkel, wiederholt, insbesondere periodisch oder kontinuierlich, derart durchgeführt werden, dass die Position des Unterabschnitts innerhalb des kombinierten Bilds dynamisch, also wiederholt, periodisch oder kontinuierlich, an den entsprechenden Kupplungswinkel angepasst werden kann. Dabei wird die Position des zweiten Kamerabilds in dem kombinierten Bild kontinuierlich an den Kupplungswinkel angepasst.
-
Die Erzeugung des ersten und/oder des zweiten Kamerabilds kann auch Durchführen entsprechender Bildkorrekturen und/oder Bildtransformationen umfassen. Beispielsweise kann eine Kompensation für Weitwinkelartefakte, beispielsweise Fischaugeneffekte, oder andere Bildartefakte oder -verzerrungen durchgeführt werden, um die jeweiligen Kamerabilder zu erzeugen. Insbesondere kann die Erzeugung der Kamerabilder auch eine jeweilige Perspektivanpassung und/oder ein jeweiliges Beschneiden der zugrundeliegenden Erfassungen der Kamerasysteme umfassen. Die entsprechenden Korrekturen oder Transformationen können durch eine jeweilige weitere Recheneinheit des jeweiligen Kamerasystems oder durch einen Teil der Recheneinheit durchgeführt werden.
-
Die Recheneinheit empfängt insbesondere die Zustandsdaten über ein Bussystem, insbesondere ein CAN-Bus-System, des Kraftfahrzeugs oder der Kombination, das insbesondere die Recheneinheit mit dem Sensorsystem verbindet.
-
Insbesondere enthalten die Zustandsdaten Eingabevariablen, beispielsweise zeitabhängige Eingabevariablen, für odometrische Bestimmung des Kupplungswinkels. Insbesondere beinhalten die Zustandsdaten einen Lenkwinkel des Kraftfahrzeugs oder der Kombination, beispielsweise einen Lenkradwinkel und/oder einen Radwinkel.
-
Dabei kann man unter odometrischer Bestimmung des Kupplungswinkels beispielsweise verstehen, dass der Kupplungswinkel aus gemessenen Variablen bestimmt wird, insbesondere den Eingabevariablen des Sensorsystems zu bestimmten Zeitpunkten. Alternativ oder zusätzlich zu dem Lenkwinkel dazu können die Zustandsdaten gemessene Variablen umfassen hinsichtlich eines Chassis der Kombination, beispielsweise eine Raddrehzahl oder eine Radumdrehungsrichtung, hinsichtlich einer Gierrate des Kraftfahrzeugs und/oder hinsichtlich einer Position, beispielsweise GNSS-Koordinaten, des Kraftfahrzeugs oder der Kombination.
-
Die Zustandsdaten, insbesondere der Lenkwinkel, beispielsweise eine zeitliche Progression des Lenkwinkels, erlaubt Schätzen, und dadurch Bestimmen, des Kupplungswinkels, insbesondere auf der Grundlage eines odometrischen Modells, insbesondere bei Vorwärtsfahrt der Kombination.
-
Die Bestimmung des Kupplungswinkels auf der Grundlage der Zustandsdaten, beispielsweise mittels des odometrischen Modells, weist den Vorteil auf, dass ein Rechenaufwand für die Recheneinheit dafür gering ist.
-
Die Recheneinheit kann bestimmen, ob sich die Kombination vorwärts oder rückwärts bewegt, insbesondere auf der Grundlage der Zustandsdaten.
-
Insbesondere entsprechen die zeitabhängigen Bilddaten zu einem gegebenen Zeitpunkt dem zweiten Kamerabild.
-
Bestimmen des Kupplungswinkels auf der Grundlage der zeitlichen Änderung der zeitabhängigen Bilddaten weist den Vorteil auf, dass der Kupplungswinkel unabhängig von einer Bewegungsrichtung der Kombination bestimmt werden kann, da die Änderung der zeitabhängigen Bilddaten die Bewegung des Anhängers eindeutig repräsentiert, ohne auf ein Modell mit optional eingeschränkter Gültigkeit zurückgreifen zu müssen.
-
Durch die Kombination der zwei Ansätze zum Bestimmen des Kupplungswinkels kann die Sichteinschränkung, wie beschrieben, unabhängig von dem Umstand, ob sich die Kombination vorwärts oder rückwärts bewegt, verringert werden. Zusätzlich kann ein erforderlicher Rechenaufwand dadurch verringert werden, dass bei Vorwärtsfahrt auf die odometrische Bestimmung des Kupplungswinkels zurückgegriffen wird.
-
Gemäß mindestens einer Ausführungsform wird der Kupplungswinkel auf der Grundlage der Zustandsdaten odometrisch bestimmt, wenn sich die Kombination vorwärts bewegt.
-
Gemäß mindestens einer Ausführungsform wird der Lenkwinkel des Kraftfahrzeugs mittels eines Lenkwinkelsensors des Sensorsystems zum Erfassen der Zustandsdaten bestimmt und der Kupplungswinkel wird auf der Grundlage des bestimmten Lenkwinkels mittels der Recheneinheit bestimmt.
-
Insbesondere wird der Lenkwinkel zu verschiedenen Zeitpunkten bestimmt und der Kupplungswinkel wird auf der Grundlage von entsprechenden Werten des Lenkwinkels zu den verschiedenen Zeitpunkten bestimmt, insbesondere auf der Grundlage einer Änderung des Lenkwinkels zwischen den unterschiedlichen Zeitpunkten.
-
Gemäß mindestens einer Ausführungsform des Verfahrens für Fahrerassistenz wird das kombinierte Bild mittels einer Anzeigevorrichtung des Kraftfahrzeugs angezeigt, beispielsweise mittels einer Anzeige, insbesondere dem Fahrer angezeigt.
-
Gemäß mindestens einer Ausführungsform wird auf der Grundlage der zeitabhängigen Bilddaten mittels der Recheneinheit ein Satz von Bewegungsvektoren erzeugt und der Kupplungswinkel wird auf der Grundlage des Satzes von Bewegungsvektoren mittels der Recheneinheit bestimmt.
-
Gemäß mindestens einer Ausführungsform wird mittels der Recheneinheit ein Blockabgleichalgorithmus auf die zeitabhängigen Bilddaten angewandt, um den Kupplungswinkel zu bestimmen.
-
Gemäß mindestens einer Ausführungsform wird die Position des Unterabschnitts in Abhängigkeit vom Kupplungswinkel mittels der Recheneinheit bestimmt, so dass Okklusion eines Sichtfelds des ersten Kamerasystems durch den Anhänger zumindest teilweise in dem kombinierten Bild oder durch die Erzeugung des kombinierten Bilds kompensiert wird.
-
Darin entspricht das Sichtfeld des ersten Kamerasystems insbesondere einem Teil der Umgebung des Kraftfahrzeugs, welcher mittels des ersten Kamerabilds wiedergegeben werden kann. Darin entspricht die Okklusion des Sichtfelds durch den Anhänger dem Umstand, dass in dem ersten Kamerabild Teile der Umgebung der Kombination oder des Kraftfahrzeugs in dem ersten Kamerabild durch den Anhänger nicht sichtbar sind.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird ein Fahrerassistenzsystem für eine Kombination oder ein Kraftfahrzeug spezifiziert, wobei die Kombination das Kraftfahrzeug und den Anhänger umfasst. Das Fahrerassistenzsystem umfasst ein erstes Kamerasystem, ein zweites Kamerasystem und eine Recheneinheit. Das erste Kamerasystem kann sich an dem Kraftfahrzeug befinden oder an diesem angeordnet sein und kann ausgelegt sein zum Erzeugen eines ersten Kamerabilds. Das zweite Kamerasystem kann sich an dem Anhänger befinden oder an diesem angeordnet sein und kann ausgelegt sein zum Erzeugen eines zweiten Kamerabilds sowie von zeitabhängigen Bilddaten. Die Recheneinheit ist ausgelegt zum Überlagern des ersten und des zweiten Kamerabilds zum Erzeugen eines kombinierten Bilds, so dass das zweite Kamerabild einen Unterabschnitt des ersten Kamerabilds abdeckt. Dabei ist die Recheneinheit ausgelegt oder programmiert zum Bestimmen eines Kupplungswinkels der Kombination. Das Fahrerassistenzsystem ist mit einem Sensor, insbesondere der Kombination oder des Kraftfahrzeugs, verbindbar oder beinhaltet das Sensorsystem und ist mit diesem verbunden. Das Sensorsystem ist ausgelegt zum Bestimmen von Zustandsdaten der Kombination. Das zweite Kamerasystem ist ausgelegt zum Erzeugen von zeitabhängigen Bilddaten. Die Recheneinheit ist ausgelegt oder programmiert zum Bestimmen, ob sich die Kombination vorwärts oder rückwärts bewegt. Die Recheneinheit ist ausgelegt zum Bestimmen des Kupplungswinkels auf der Grundlage der Zustandsdaten, wenn sich die Kombination vorwärts bewegt. Die Recheneinheit ist ausgelegt zum Bestimmen des Kupplungswinkels auf der Grundlage der Änderung der zeitabhängigen Bilddaten, wenn sich die Kombination rückwärts bewegt. Die Recheneinheit ist ausgelegt zum Bestimmen einer Position des Unterabschnitts in Abhängigkeit von dem Kupplungswinkel.
-
Die Recheneinheit ist insbesondere ausgelegt oder programmiert zum Erfassen der Zustandsdaten, insbesondere über ein CAN-Bus-System oder ein anderes Bussystem der Kombination oder des Kraftfahrzeugs, um den Kupplungswinkel auf der Grundlage der Zustandsdaten zu bestimmen.
-
Gemäß mindestens einer Ausführungsform ist das Fahrerassistenzsystem mit einem Lenkwinkelsensor des Sensorsystems verbindbar oder umfasst den Lenkwinkelsensor und ist mit diesem verbunden. Der Lenkwinkelsensor ist ausgelegt zum Bestimmen eines Lenkwinkels des Kraftfahrzeugs. Die Recheneinheit ist ausgelegt oder programmiert zum Erfassen des Lenkwinkels und zum Bestimmen des Kupplungswinkels auf der Grundlage des Lenkwinkels.
-
Gemäß mindestens einer Ausführungsform ist die Recheneinheit ausgelegt oder programmiert zum Anwenden eines Blockabgleichalgorithmus auf die zeitabhängigen Bilddaten, um den Kupplungswinkel zu bestimmen.
-
Weitere Ausführungsformen des Fahrerassistenzsystems gemäß dem verbesserten Konzept ergeben sich unmittelbar aus den verschiedenen Ausgestaltungen des Verfahrens gemäß dem verbesserten Konzept und umgekehrt. Insbesondere ist ein Fahrerassistenzsystem, beispielsweise eine Recheneinheit des Fahrerassistenzsystems, ausgelegt oder programmiert zum Durchführen eines Verfahrens gemäß dem verbesserten Konzept oder das Fahrerassistenzsystem führt ein Verfahren gemäß dem verbesserten Konzept durch.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist ein Kraftfahrzeug spezifiziert, das ein Fahrerassistenzsystem gemäß dem verbesserten Konzept umfasst.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist eine Kombination spezifiziert, die ein Kraftfahrzeug und einen Anhänger umfasst, wobei die Kombination ein Fahrerassistenzsystem gemäß dem verbesserten Konzept umfasst.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist ein Computerprogramm mit Anweisungen spezifiziert, wobei die Anweisungen, bei Ausführung des Computerprogramms durch ein Fahrerassistenzsystem gemäß dem verbesserten Konzept, insbesondere durch die Recheneinheit des Fahrerassistenzsystems, das Fahrerassistenzsystem veranlassen, ein Verfahren gemäß dem verbesserten Konzept durchzuführen.
-
Insbesondere bei Ausführung des Computerprogramms veranlassen die Anweisungen das Fahrerassistenzsystem zum Durchführen eines Verfahrens gemäß dem verbesserten Konzept, wenn das Fahrerassistenzsystem dafür erforderliche Komponenten umfasst.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts ist ein computerlesbares Speicherungsmedium spezifiziert, auf welchem ein Computerprogramm gemäß dem verbesserten Konzept gespeichert ist.
-
Weitere Merkmale der Erfindung werden anhand der Ansprüche, der Figuren und der Beschreibung der Figuren ersichtlich. Die in der Beschreibung oben erwähnten Merkmale und Merkmalskombinationen sowie die Merkmale und Merkmalskombinationen, die nachstehend in der Beschreibung der Figuren erwähnt und/oder allein in den Figuren gezeigt werden, sind nicht nur in der jeweiligen spezifizierten Kombination verwendbar, sondern auch in anderen Kombinationen, ohne vom Schutzumfang der Erfindung abzuweichen. Somit sind Implementationen auch als durch die Erfindung eingeschlossen und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert werden, sich allerdings durch separate Merkmalskombinationen aus den erläuterten Implementationen ergeben und durch diese erzeugt werden können. Implementationen und Merkmalskombinationen, die somit nicht alle der Merkmale eines ursprünglich formulierten unabhängigen Anspruchs umfassen, sind auch als offenbart anzusehen. Darüber hinaus sind Implementationen und Merkmalskombinationen, insbesondere durch die oben dargelegten Implementationen, die sich über die in den Beziehungen der Ansprüche dargelegten Merkmalskombinationen hinaus erstrecken oder von diesen abweichen, als offenbart anzusehen.
-
Im Folgenden wird die Erfindung auf der Grundlage von spezifischen Ausführungsformen und zugehörigen schematischen Zeichnungen ausführlicher beschrieben. In den Figuren sind identische oder funktional identische Elemente mit identischen Bezugszeichen versehen. Die Beschreibung identischer oder funktional identischer Elemente wird, soweit angebracht, nicht notwendigerweise in verschiedenen Figuren wiederholt.
-
In den Figuren gilt Folgendes:
- 1 zeigt eine Kombination mit einem Ausführungsbeispiel eines Fahrerassistenzsystems gemäß dem verbesserten Konzept;
- 2 zeigt ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens gemäß dem verbesserten Konzept;
- 3 zeigt eine schematische Darstellung eines kombinierten Bilds in einer ersten Situation; und
- 4 zeigt eine schematische Darstellung eines kombinierten Bilds in einer zweiten Situation.
-
In 1 ist eine Kombination 8 gezeigt, die ein Kraftfahrzeug 9 und einen Anhänger 10 umfasst.
-
Das Kraftfahrzeug 9 umfasst eine Anhängerkupplung 28, mittels welcher der Anhänger 10, insbesondere eine Zugdeichsel 29 des Anhängers 10, drehbar mit dem Kraftfahrzeug 9 verbunden ist. Das Kraftfahrzeug 9 weist eine Längsachse 15 auf und der Anhänger 10 weist eine Längsachse 16 auf, die beispielsweise einer Orientierung oder einer Längsachse der Zugdeichsel 29 entspricht.
-
Die Längsachse 16 des Anhängers bildet einen Kupplungswinkel 14 der Kombination mit der Längsachse 15 des Kraftfahrzeugs 9 aus, der insbesondere einem Gierwinkel des Anhängers in Bezug auf jeweils das Kraftfahrzeug 9 und die Längsachse 15 des Kraftfahrzeugs 9 entspricht. Beispielsweise ist der Kupplungswinkel 14 derart definiert, dass der Kupplungswinkel bei zusammenfallender Orientierung der Längsachse 15 und der Längsachse 16 gleich null ist.
-
Die Kombination 8 umfasst ein Ausführungsbeispiel eines Fahrerassistenzsystems 27 gemäß dem verbesserten Konzept.
-
Das Fahrerassistenzsystem 27 umfasst eine erste Kamera 11, die an einer Heckseite des Kraftfahrzeugs 9 dem Anhänger 10 zugewandt angeordnet ist, und beispielsweise als die Rückfahrkamera des Kraftfahrzeugs ausgelegt ist.
-
Das Fahrerassistenzsystem 27 umfasst zusätzlich eine zweite Kamera 12, die an einer Heckseite des Anhängers 10 dem Kraftfahrzeug 9 abgewandt angeordnet ist.
-
Das Fahrerassistenzsystem 27 umfasst zusätzlich eine Recheneinheit 13, die mit den Kameras 11, 12 gekoppelt ist. Insbesondere kann die Recheneinheit 13 jeweilige zeitabhängige Bilddaten von der ersten Kamera 11 und der zweiten Kamera 12 erhalten.
-
Das Kraftfahrzeug 9 oder die Kombination 8 umfasst beispielsweise ein Sensorsystem 17, wobei das Sensorsystem 17 insbesondere einen Lenkwinkelsensor 17' des Kraftfahrzeugs 9 umfasst. Optional kann das Sensorsystem 17 Teil des Fahrerassistenzsystems 27 sein.
-
Im Folgenden wird die Funktionalität des Fahrerassistenzsystems 27 unter Bezugnahme auf ein Ausführungsbeispiel eines Verfahrens gemäß dem verbesserten Konzept beschrieben, wie es in 2 schematisch gezeigt ist, und unter Bezugnahme auf die beispielhaften kombinierten Bilder 21, 24, wie sie jeweils in 3 und 4 gezeigt sind.
-
In 2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens für Fahrerassistenz gemäß dem verbesserten Konzept dargestellt.
-
In Schritt 1 des Verfahrens wird mittels der ersten Kamera 11 ein erstes Kamerabild 19 erzeugt. In Schritt 2 des Verfahrens wird mittels der zweiten Kamera 12 ein zweites Kamerabild 20 erzeugt. Das erste und das zweite Kamerabild 19, 20 oder jeweilige entsprechende Bilddaten werden von den Kameras 11, 12 an die Recheneinheit 13 gesendet. In Schritt 3 des Verfahrens bestimmt die Recheneinheit 13 den Kupplungswinkel 14.
-
In einem optionalen Schritt 4 des Verfahren können das erste und/oder das zweite Kamerabild 19, 20 beispielsweise mittels eines Bildverarbeitungsalgorithmus angepasst, korrigiert oder transformiert werden.
-
In einem optionalen Schritt 5 des Verfahrens können Kalibrierungsdaten der Kameras 11, 12 mittels der Recheneinheit erfasst oder abgerufen werden.
-
In Schritt 6 des Verfahrens bestimmt die Recheneinheit 13 ein kombiniertes Bild 21 aus den Kamerabildern 19, 20. Dabei werden die Kamerabilder 19, 20 derart überlagert, dass das zweite Kamerabild 20 einen Unterabschnitt des ersten Kamerabilds 19 abdeckt. Eine entsprechende Wiedergabe des kombinierten Bilds 21 ist in 3 dargestellt. Dabei kann die Recheneinheit, wenn angemessen, optional die Kalibrierungsdaten und/oder -ergebnisse des Schritts 4 berücksichtigen.
-
In 3 bewegt sich die Kombination 8 beispielsweise gerade vorwärts. Der von dem zweiten Kamerabild 20 abgedeckte Unterabschnitt entspricht zumindest teilweise einer Position des Anhängers 10, wie sie auf dem ersten Kamerabild 21 zu sehen wäre, würde das zweite Kamerabild 20 nicht überlagert. Durch die Überlagerung der Kamerabilder 19, 20 können die gemeinsamen Informationen von beiden Kamerabildern 19, 20 in dem kombinierten Bild 21 wiedergegeben werden, so dass der Anhänger 10 virtuell teiltransparent oder unsichtbar wird.
-
Das kombinierte Bild 21 kann beispielsweise auf einer Anzeigevorrichtung 30 angezeigt werden, beispielsweise auf einer Anzeige eines Infotainmentsystems oder einem Head-Up-Display des Kraftfahrzeugs 9. Daher kann der Fahrer des Kraftfahrzeugs 9 auf die erweiterten Informationen des kombinierten Bilds 21 zurückgreifen und die entsprechend verbesserte Sicht insbesondere bei Manövrieroperationen nutzen.
-
Dadurch, dass die Position, insbesondere die laterale Position, des Unterabschnitts und somit des zweiten Kamerabilds 20 innerhalb des kombinierten Bilds 21 unter Anpassung in Abhängigkeit von dem Kupplungswinkel 14 bestimmt wurde, wird eine Situation, wie sie in 4 dargestellt ist, gemäß dem verbesserten Konzept vermieden.
-
Die Recheneinheit 13 kann den Kupplungswinkel beispielsweise auf der Grundlage von Zustandsdaten des Sensorsystems 17, insbesondere auf der Grundlage eines Lenkwinkels, bestimmen, welcher mittels des Lenkwinkelsensors 17', in Schritt 3 des Verfahrens, bestimmt oder gemessen wird, wenn sich die Kombination 8 vorwärts bewegt. Hierfür kann die Recheneinheit 13 beispielsweise auf ein odometrisches Modell zurückgreifen, das in der Lage ist, dem Lenkwinkel oder einer zeitlichen Progression des Lenkwinkels einen Wert, insbesondere einen Schätzwert, für den Kupplungswinkel 14 zuzuordnen.
-
Falls sich die Kombination 8 rückwärts bewegt, kann die Recheneinheit 13 zeitabhängige Bilddaten der zweiten Kamera 12 analysieren und den Kupplungswinkel auf der Grundlage von zeitlichen Änderungen der zeitabhängigen Bilddaten der zweiten Kamera 12 in Schritt 3 bestimmen.
-
Dafür kann die Recheneinheit 13 beispielsweise einen Blockabgleichalgorithmus auf die zeitabhängigen Bilddaten anwenden.
-
Im Folgenden wird eine Ausführungsform zum Bestimmen des Kupplungswinkels 14 in Abhängigkeit von den zeitabhängigen Bilddaten der zweiten Kamera 12 beschrieben. Zuerst werden von der zweiten Kamera 12 zu einem ersten und einem zweiten Zeitpunkt Kamerabilder aufgenommen. Die Kamerabilder zum ersten und zum zweiten Zeitpunkt, die im Folgenden auch als erstes und zweites Bild bezeichnet werden können, sind beispielsweise derart konditioniert, dass sie eine Draufsicht der Kombination 8 wiedergeben.
-
Zum Berechnen von Bildbewegungsvektoren kann/können das erste und/oder das zweite Bild jeweils in mehrere Blöcke aufgeteilt werden. Gewisse Blöcke können zu einem interessierenden Bereich kombiniert werden. Die Recheneinheit 13 kann entsprechende Blöcke des ersten Bilds mit zugehörigen Blöcken des zweiten Bilds abgleichen, um die Bewegung der Kombination 8 und entsprechende Bewegungsvektoren zu identifizieren. Zum Abgleichen der Blöcke kann beispielsweise ein mehrdimensionales Blockabgleichverfahren und/oder ein künstliches Neuronales Netz eingesetzt werden. Insbesondere können typische Blockabgleichverfahren, wie sie auf dem Gebiet der Videokomprimierung bekannt sind, eingesetzt werden.
-
Beispielsweise kann ein Abweichungswert der miteinander abgeglichenen Blöcke auf der Grundlage einer Abweichungsfunktion berechnet werden. Die Abweichungsfunktion kann eine Korrelationsfunktion, eine Kreuzkorrelationsfunktion, eine Summe absoluter Differenzen, eine Summe quadrierter Differenzen, eine Funktion hinsichtlich transformierter Differenzen oder eine Funktion für Frequenzspektralanalyse umfassen.
-
Dann kann die Recheneinheit 13 beispielsweise den Kupplungswinkel 14 in Abhängigkeit von dem Abweichungswert bestimmen.
-
In 4 ist ein weiteres kombiniertes Bild 24 dargestellt, das nicht mittels eines Verfahrens gemäß dem verbesserten Konzept oder mittels eines Fahrerassistenzsystems gemäß dem verbesserten Konzept erzeugt wurde. Das kombinierte Bild 24 wurde durch Überlagerung eines weiteren ersten Kamerabilds 22 einer Rückfahrkamera und eines weiteren zweiten Kamerabilds 23 einer Anhängerkamera erzeugt, wobei die Position des Unterabschnitts, den das weitere zweite Kamerabild 23 abdeckt, statisch, somit unabhängig von einem Kupplungswinkel, bestimmt wurde. Daher treten in einem ersten Abschnitt 25 und in einem zweiten Abschnitt 26 Bildabschnitte auf, in welchen Bildinformationen für den Fahrer in dem weiteren kombinierten Bild 24 angezeigt werden, was für diesen nicht nützlich ist und seine Sicht verdecken. In dem ersten Abschnitt 25 deckt das weitere zweite Kamerabild 23 beispielsweise einen Teil der Umgebung ab, der tatsächlich durch das weitere erste Kamerabild 22 angezeigt werden könnte. Der Anhänger deckt einen Teil der Umgebung in dem zweiten Abschnitt 26 ab, der tatsächlich durch das weitere zweite Kamerabild 23 wiedergegeben werden könnte.
-
Durch ein Verfahren und ein Fahrerassistenzsystem gemäß dem verbesserten Konzept kann jeweils die nachteilige Situation von 4 vermieden werden.
-
Auf der Grundlage des verbesserten Konzepts kann, wie beschrieben, die Position des zweiten Kamerabilds dynamisch angepasst werden, um Totwinkelabschnitte zu verhindern. Dafür kann die Recheneinheit odometrische Daten oder ein odometrisches Modell und/oder einen Computervisionsalgorithmus einsetzen. Dadurch werden Nachteile existierender Systeme überwunden, wenn das Kraftfahrzeug und der Anhänger nicht entlang einer gemeinsamen Längsachse orientiert sind. Insbesondere kann dadurch sicheres Rücksetzen und/oder Parken der Kombination erleichtert werden.
-
Das verbesserte Konzept kann insbesondere unabhängig von der Art des Anhängers und des Kraftfahrzeugs eingesetzt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-