[go: up one dir, main page]

DE102013209721A1 - Method for calibrating a TOF camera - Google Patents

Method for calibrating a TOF camera Download PDF

Info

Publication number
DE102013209721A1
DE102013209721A1 DE102013209721.2A DE102013209721A DE102013209721A1 DE 102013209721 A1 DE102013209721 A1 DE 102013209721A1 DE 102013209721 A DE102013209721 A DE 102013209721A DE 102013209721 A1 DE102013209721 A1 DE 102013209721A1
Authority
DE
Germany
Prior art keywords
tof camera
respect
camera
stored
tof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013209721.2A
Other languages
German (de)
Inventor
Oliver Kirsch
Hannes Rene Boehm
Frank Schliep
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johnson Controls GmbH
Original Assignee
Johnson Controls GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johnson Controls GmbH filed Critical Johnson Controls GmbH
Priority to DE102013209721.2A priority Critical patent/DE102013209721A1/en
Priority to PCT/EP2013/067214 priority patent/WO2014029720A1/en
Publication of DE102013209721A1 publication Critical patent/DE102013209721A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer TOF-Kamera (1) in Bezug auf eine beliebig geformte Oberfläche (3) eines Bauteiles, wobei mittels der TOF-Kamera (1) eine Entfernungsinformation der TOF-Kamera (1) zu der Oberfläche (3) oder zumindest zu einem Abschnitt der Oberfläche (3) erfasst wird. Erfindungsgemäß sind eine Oberflächenform der Oberfläche (3) und eine ideale Position der TOF-Kamera (1) in Bezug auf die Oberflächenform gespeichert und es wird eine Abweichung der Ausrichtung der TOF-Kamera (1) in Bezug auf die Oberfläche (3) oder zumindest den Abschnitt der Oberfläche (3) ermittelt.The invention relates to a method for calibrating a TOF camera (1) with respect to an arbitrarily shaped surface (3) of a component, the TOF camera (1) providing distance information from the TOF camera (1) to the surface (3 ) or at least to a portion of the surface (3) is detected. According to the invention, a surface shape of the surface (3) and an ideal position of the TOF camera (1) with respect to the surface shape are stored and there is a deviation in the orientation of the TOF camera (1) with respect to the surface (3) or at least determined the section of the surface (3).

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer TOF-Kamera in Bezug auf eine beliebig geformte Oberfläche eines Bauteiles. The invention relates to a method for calibrating a TOF camera with respect to an arbitrarily shaped surface of a component.

Es sind so genannte TOF-Kameras (Time of flight camera) bekannt, die eine Szene aktiv beleuchten, beispielsweise mittels Infrarotlicht, und mittels eines Sensors die Laufzeit des zur Beleuchtung verwendeten Lichtes ermitteln. Auf dieser Grundlage wird dann eine Entfernung des beleuchteten Objekts von der Kamera bestimmt. TOF-Kameras sind heute schon als Bestandteil von Benutzerschnittstellen für Interaktionen mittels Gesten ohne Kontaktierung eines Festkörpers bekannt, wobei die Gesten insbesondere von einer Person in der Luft ausgeführt werden. Dieser Vorgang wird mittels einer TOF-Kamera erfasst, wobei der Körper der die Gesten ausführenden Person oder bestimmte Körperteile der Person und ein Hintergrund als Bezugsbereich für die TOF-Kamera dienen. In einer Anzahl von Anwendungen kann sich der Hintergrund verändern und ist kein wesentlicher Bestandteil eines Algorithmus zur Erfassung dreidimensionaler Daten. So-called TOF cameras (Time of Flight Camera) are known which actively illuminate a scene, for example by means of infrared light, and determine the transit time of the light used for the illumination by means of a sensor. On this basis, a distance of the illuminated object from the camera is then determined. TOF cameras are already known today as part of user interfaces for interactions by means of gestures without contact of a solid, the gestures being executed in particular by a person in the air. This process is detected by means of a TOF camera, with the body of the person performing the gestures or certain body parts of the person and a background serving as the reference area for the TOF camera. In a number of applications, the background may change and is not an integral part of an algorithm for acquiring three-dimensional data.

Aus der US 2011/0050589 A1 ist ein Verfahren zur Gesten basierenden Informations- und Befehlseingabe für ein Fahrzeug bekannt. Zur Durchführung des Verfahrens ist eine Oberfläche vorgesehen, die von einer Hand eines Benutzers erreichbar ist, so dass eine Berührung durch den Benutzer erfasst wird. Ein Benutzer schreibt auf der Oberfläche durch Handbewegung, die von einem Gestenerfassungs-Modul, beispielsweise einer Kamera, erfasst wird. Die Oberfläche, auf die geschrieben wird, kann an einem Lenkrad und/oder einer Armlehne des Fahrzeuges angeordnet sein. From the US 2011/0050589 A1 For example, a method for gesture based information and command input for a vehicle is known. To perform the method, a surface is provided that can be reached by a user's hand, so that a touch is detected by the user. A user writes on the surface by hand movement detected by a gesture detection module, such as a camera. The surface to be written on may be disposed on a steering wheel and / or an armrest of the vehicle.

Darüber hinaus ist in der US 2012/0068956 A1 ein Fingerzeig, Gesten basierende Benutzerschnittstelle für Fahrzeuge beschrieben. Ein adaptives Schnittstellen-System weist eine Benutzschnittstelle zur Steuerung eines Fahrzeugsystems, einen Sensor zur Erfassung einer Position einer Extremität eines Benutzers auf, wobei ein Sensorsignal erzeugt wird, welches die Position der Extremität repräsentiert. Zudem ist ein Prozessor vorgesehen, welcher mit dem Sensor und der Benutzerschnittstelle verbunden ist. Der Prozessor empfängt das Sensorsignal, analysiert das Sensorsignal nach einer zugrundeliegenden Vorgabe, um einen Richtungsvektor in Bezug auf das Zeigen der Extremität des Benutzers zu ermitteln und konfiguriert die Benutzerschnittstelle anhand des ermittelten Richtungsvektors. In addition, in the US 2012/0068956 A1 a finger-pointing, gesture-based user interface for vehicles described. An adaptive interface system comprises a user interface for controlling a vehicle system, a sensor for detecting a position of a limb of a user, wherein a sensor signal is generated, which represents the position of the limb. In addition, a processor is provided, which is connected to the sensor and the user interface. The processor receives the sensor signal, analyzes the sensor signal for an underlying constraint to determine a directional vector related to the pointing of the extremity of the user, and configures the user interface based on the determined directional vector.

Aufgabe der vorliegenden Erfindung ist es, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kalibrierung einer TOF-Kamera in Bezug auf eine beliebig geformte Oberfläche anzugeben. The object of the present invention is to provide a method, which is improved over the prior art, for calibrating a TOF camera with respect to an arbitrarily shaped surface.

Die Aufgabe wird mit einem Verfahren zur Kalibrierung einer TOF-Kamera in Bezug auf eine beliebig geformte Oberfläche eines Bauteiles gelöst, wobei mittels der TOF-Kamera eine Entfernungsinformation der TOF-Kamera zu der Oberfläche oder zumindest zu einem Abschnitt der Oberfläche erfasst wird. Erfindungsgemäß sind eine Oberflächenform der Oberfläche und eine ideale Position der TOF-Kamera in Bezug auf die Oberflächenform gespeichert und eine Abweichung der Ausrichtung der TOF-Kamera in Bezug auf die Oberfläche oder zumindest den Abschnitt der Oberfläche wird ermittelt. Mittels der TOF-Kamera werden Tiefeninformationen im Erfassungsbereich der TOF-Kamera erfasst und gespeichert. Darauffolgend werden die erfassten Entfernungsinformationen in Form von Tiefeninformationen mittels linearer Transformation in das Koordinatensystem der TOF-Kamera übertragen und eine Abweichung zwischen der erfassten Position von einer idealen Position der Oberfläche oder zumindest des Abschnittes der Oberfläche in Bezug zu der TOF-Kamera wird ermittelt. The object is achieved with a method for calibrating a TOF camera with respect to an arbitrarily shaped surface of a component, wherein by means of the TOF camera distance information of the TOF camera to the surface or at least to a portion of the surface is detected. According to the invention, a surface shape of the surface and an ideal position of the TOF camera with respect to the surface shape are stored, and a deviation of the alignment of the TOF camera with respect to the surface or at least the portion of the surface is detected. The TOF camera captures and stores depth information within the scope of the TOF camera. Subsequently, the acquired distance information in the form of depth information is linearly transformed into the coordinate system of the TOF camera, and a deviation between the detected position of an ideal position of the surface or at least the portion of the surface with respect to the TOF camera is detected.

Mittels eines solchen Verfahrens wird die TOF-Kamera kalibriert, wodurch es in besonders vorteilhafter Weise möglich ist, eine im Fahrzeug implementierte Funktion mittels durch einen Benutzer getätigter Gesten zu steuern. Dabei dient die Oberfläche in Verbindung mit der TOF-Kamera als Benutzerschnittstelle. By means of such a method, the TOF camera is calibrated, whereby it is possible in a particularly advantageous manner to control a vehicle-implemented function by means of gestures made by a user. The surface in conjunction with the TOF camera serves as a user interface.

Insbesondere wird die Transformation der gespeicherten Daten der Oberflächenform mit den Tiefeninformationen in einer Anpassung mittels der Methode der kleinsten Quadrate optimiert, wobei freie Parameter dieser Anpassung zumindest ein Drehwinkel und zumindest eine lineare Verschiebung sind. In particular, the transformation of the stored surface shape data with the depth information is optimized in a least squares fit, with free parameters of this fit being at least one rotation angle and at least one linear displacement.

Besonders bevorzugt wird die Methode der kleinsten Quadrate zur Optimierung der linearen Transformation verwendet, wobei es mit dieser Methode möglich ist, die Tiefeninformation in Bezug auf die Oberflächenform auszuwerten. It is particularly preferred to use the method of least squares for optimizing the linear transformation, whereby it is possible with this method to evaluate the depth information in relation to the surface form.

In einer vorteilhaften Ausgestaltung des Verfahrens wird die Anpassung in Abhängigkeit zumindest eines Drehwinkels und/oder einer linearen Verschiebung durchgeführt. Vorteilhaft stellen bzw. stellt der Drehwinkel und/oder die lineare Verschiebung freie Parameter in der mittels der Methode der kleinsten Quadrate durchgeführten Anpassung dar. In an advantageous embodiment of the method, the adaptation is carried out as a function of at least one angle of rotation and / or a linear displacement. Advantageously, the angle of rotation and / or the linear displacement represent free parameters in the adaptation carried out by means of the least-squares method.

Ein Ausgangspunkt der Optimierung ist vorzugsweise die gespeicherte ideale Position der Oberfläche in Bezug zu der TOF-Kamera. Diese ideale Position stellt vorteilhaft den Ausgangspunkt zur Optimierung dar, wodurch dieser eine Referenz hinsichtlich einer Abweichung der Ausrichtung der TOF-Kamera bildet. A starting point of the optimization is preferably the stored ideal position of the surface in relation to the TOF camera. This ideal position advantageously provides the starting point Optimization, whereby this forms a reference to a deviation of the orientation of the TOF camera.

Insbesondere wird das Ergebnis der Optimierung, eine ermittelte reale Position und eine Ausrichtung der Oberfläche zur Ausführung einer Interaktion, gespeichert. Die Parameter der realen Position und der Ausrichtung werden anschließend verwendet, um eine Interaktion eines Fahrzeuginsassen in Bezug auf die Oberfläche zu erfassen. In particular, the result of the optimization, a determined real position, and an orientation of the surface for performing an interaction are stored. The parameters of the real position and the orientation are then used to detect an interaction of a vehicle occupant with respect to the surface.

In einer weiteren vorteilhaften Ausgestaltung weist die Oberfläche zumindest eine Kennzeichnung auf, mittels welcher Tiefeninformationen in mittels der TOF-Kamera erfassten Bilddaten bestimmt werden. In a further advantageous embodiment, the surface has at least one identification, by means of which depth information is determined in image data acquired by means of the TOF camera.

Diese Kennzeichnungen bilden Merkmale, die in besonders vorteilhafter Weise zur Erleichterung einer Annäherung des Verfahrens zur Kalibrierung der TOF-Kamera an ein Optimum dienen. Mittels der Kennzeichnungen wird insbesondere ein Wiedererkennen von Tiefeninformationen in mittels der TOF-Kamera erfassten Bilddaten ermöglicht. These markings form features which are particularly advantageous for facilitating an approximation of the method for calibrating the TOF camera to an optimum. By means of the markings, in particular recognition of depth information in image data acquired by means of the TOF camera is made possible.

Alternativ oder zusätzlich ist die Oberfläche mit Kennzeichnungen versehen, mittels derer Licht anders reflektiert wird als von der Oberfläche. D. h., dass die Kennzeichnungen bevorzugt ein Reflexionsverhalten aufweisen, welches sich von einem Reflexionsverhalten der Oberfläche, insbesondere im Infrarot-Spektrum, unterscheidet. Unter Erfüllung vorgegebener Bedingungen können diese Kennzeichnungen in besonders vorteilhafter Weise dazu verwendet werden, rotatorische und/oder translatorische Freiheitsgrade bei der Optimierung zu eliminieren. Alternatively or additionally, the surface is provided with markings by means of which light is reflected differently than from the surface. This means that the markings preferably have a reflection behavior which differs from a reflection behavior of the surface, in particular in the infrared spectrum. By satisfying predetermined conditions, these markings can be used in a particularly advantageous manner to eliminate rotational and / or translatory degrees of freedom in the optimization.

Wiederum alternativ dazu können die Kennzeichnungen zur Reflexion von Infrarot-Strahlung und die Oberfläche das gleiche Reflexionsverhalten im sichtbaren Lichtspektrum aufweisen, so dass die Kennzeichnungen für das menschliche Auge nicht sichtbar sind. Alternatively, the reflections for reflection of infrared radiation and the surface may have the same reflection behavior in the visible light spectrum, so that the markings are not visible to the human eye.

Mittels des Verfahrens ist es in besonders vorteilhafter Weise möglich, eine von einem Fahrzeuginsassen gewünschte Interaktion in Bezug auf eine Oberfläche unabhängig von der Ausgestaltung der Oberflächenform, d. h. unabhängig von der Oberflächengeometrie durchzuführen. By means of the method, it is possible in a particularly advantageous manner, an interaction desired by a vehicle occupant in relation to a surface, regardless of the configuration of the surface shape, d. H. regardless of the surface geometry.

Anhand der beigefügten schematischen Figur wird die Erfindung näher erläutert. Reference to the accompanying schematic figure, the invention is explained in detail.

Dabei zeigt die: It shows:

1 schematisch eine Vorrichtung zur Durchführung eines Verfahrens zur Kalibrierung einer TOF-Kamera in einem Fahrzeuginnenraum. 1 schematically an apparatus for performing a method for calibrating a TOF camera in a vehicle interior.

1 zeigt eine Vorrichtung zur Kalibrierung einer TOF-Kamera 1 in einem Fahrzeuginnenraum F. 1 shows a device for calibrating a TOF camera 1 in a vehicle interior F.

Die Vorrichtung weist die TOF-Kamera 1, deren Erfassungsbereich 2 auf eine dreidimensional gewölbte Oberfläche 3 gerichtet ist, eine Rechnereinheit 4 und eine mit der Rechnereinheit 4 gekoppelte Speichereinheit 5 auf. The device has the TOF camera 1 whose coverage 2 on a three-dimensional arched surface 3 is directed, a computer unit 4 and one with the computer unit 4 coupled storage unit 5 on.

Die TOF-Kamera 1 ist beispielsweise vorgesehen, eine durch die Person ausgeführten Gesten zu erfassen, um eine mit dieser Geste verknüpfte Aktion auszuführen. Hierzu ist die TOF-Kamera 1 mit der Rechnereinheit 4 verbunden, mittels welcher mit der TOF-Kamera 1 erfasste Bilddaten verarbeitet und ausgewertet werden. The TOF camera 1 For example, it is intended to detect a gesture made by the person to perform an action associated with that gesture. This is the TOF camera 1 with the computer unit 4 connected by means of which with the TOF camera 1 captured image data processed and evaluated.

Mittels der Vorrichtung ist es beispielsweise möglich, durch eine Geste in Bezug auf die in dem Fahrzeuginnenraum F angeordnete gewölbte Oberfläche 3 die gewünschte Aktion auszulösen und/oder auszuführen. Diese Interaktion mit der Oberfläche 3 erfordert, dass die TOF-Kamera 1 zur Erfassung von Tiefeninformationen in Form von dreidimensionalen Bilddaten in Bezug auf die Oberfläche 3 exakt kalibriert, also ausgerichtet ist. Mittels der Kalibrierung der TOF-Kamera 1 in Bezug auf die Oberfläche 3 kann sichergestellt werden, dass beispielsweise die Interaktion mit der Oberfläche 3 präzise erfasst wird. Ist die TOF-Kamera 1 in Bezug auf die Oberfläche 3 kalibriert, kann z. B. ein Abstand einer Fingerspitze eines Fahrzeuginsassen zu der Oberfläche 3 ermittelt werden. By means of the device it is possible, for example, by a gesture with respect to the arranged in the vehicle interior F curved surface 3 to trigger and / or execute the desired action. This interaction with the surface 3 that requires the TOF camera 1 for acquiring depth information in the form of three-dimensional image data related to the surface 3 calibrated exactly, so it is aligned. By means of the calibration of the TOF camera 1 in terms of the surface 3 can be ensured, for example, the interaction with the surface 3 is detected precisely. Is the TOF camera 1 in terms of the surface 3 calibrated, z. B. a distance of a fingertip of a vehicle occupant to the surface 3 be determined.

Mittels eines in der Rechnereinheit 4 oder der Speichereinheit 5 gespeicherten vorgegebenen Schwellwertes hinsichtlich des ermittelten Abstandes kann bestimmt werden, ob sich der Finger des Fahrzeuginsassen nah oder fern zu der Oberfläche 3 in dem Fahrzeuginnenraum F befindet. Diese somit ermittelten Informationen können anschließend weiterverwendet werden, um beispielsweise eine entsprechende Software-Reaktion in Bezug auf eine mittels der TOF-Kamera 1 und der Oberfläche 3 gebildete Benutzerschnittstelle hervorzurufen oder auszulösen. By means of one in the computer unit 4 or the storage unit 5 stored predetermined threshold with respect to the determined distance can be determined whether the finger of the vehicle occupant near or far from the surface 3 in the vehicle interior F is located. These thus determined information can then be used further, for example, a corresponding software reaction with respect to one by means of the TOF camera 1 and the surface 3 to create or trigger a user interface.

In einem idealen System ist eine Kalibrierung der TOF-Kamera 1 in Bezug auf einen Bezugspunkt, im vorliegenden Fall die Oberfläche 3, nicht erforderlich. Dazu kann die TOF-Kamera 1 in dem Fahrzeuginnenraum F an einer optimalen Position angeordnet werden, wobei der Erfassungsbereich 2 der TOF-Kamera 1 auf die Oberfläche 3 als Bezugspunkt gerichtet ist. In an ideal system is a calibration of the TOF camera 1 with respect to a reference point, in this case the surface 3 , not mandatory. This can be done by the TOF camera 1 be arranged in the vehicle interior F at an optimal position, wherein the detection area 2 the TOF camera 1 on the surface 3 as a reference point.

Oftmals entspricht die wirkliche Position der TOF-Kamera 1 aufgrund vorgegebener Bedingungen, wie z. B. einer Fehlanordnung und/oder thermischer Ausdehnungen verschiedener Materialien, nicht der idealen Position der TOF-Kamera 1 in Bezug auf die Oberfläche 3. Zudem sind erfasste räumliche Bilddaten generell abhängig von thermischen Abweichungen. Often, the real position of the TOF camera 1 due to predetermined conditions, such. B. misalignment and / or thermal expansion of different materials, not the ideal position of the TOF camera 1 in terms of the surface 3 , In addition, acquired spatial image data are generally dependent on thermal deviations.

Aufgrund dessen können die anhand der mittels der TOF-Kamera 1 erfassten Bilddaten ermittelten Informationen nicht verwendet werden, um eine Berührung der Oberfläche 3 zu erfassen. Because of this, the basis of the using the TOF camera 1 captured image data is not used to contact the surface 3 capture.

Zur Kalibrierung der TOF-Kamera 1 ist vorgesehen, dass mittels der TOF-Kamera 1 eine Tiefeninformation der TOF-Kamera 1 zu der Oberfläche 3 oder zumindest zu einem Abschnitt der Oberfläche 3 erfasst wird, wobei eine Oberflächenform und eine optimale Position, d. h. eine ideale Position der TOF-Kamera 1 in Bezug auf die Oberflächenform 3 vorzugsweise in der Speichereinheit 5, die auch in die Steuereinheit 4 integriert sein kann, gespeichert sind. To calibrate the TOF camera 1 is provided that by means of the TOF camera 1 a depth information of the TOF camera 1 to the surface 3 or at least to a portion of the surface 3 is detected, with a surface shape and an optimal position, ie an ideal position of the TOF camera 1 in terms of surface shape 3 preferably in the storage unit 5 that also in the control unit 4 can be integrated, stored.

Die TOF-Kamera 1 erfasst Tiefeninformationen der sich momentan im Erfassungsbereich 2 der TOF-Kamera befindenden Szene, welche ebenfalls gespeichert werden. Darauffolgend werden Koordinaten der Oberflächenform mittels linearer Transformation in das Koordinatensystem der TOF-Kamera 1 übertragen. The TOF camera 1 Captures depth information currently in the detection area 2 the TOF camera scene, which are also stored. Subsequently, coordinates of the surface shape by linear transformation into the coordinate system of the TOF camera 1 transfer.

Insbesondere wird die Transformation der gespeicherten Daten der Oberflächenform mit den Tiefeninformationen in einer Anpassung mittels der Methode der kleinsten Quadrate optimiert, wobei freie Parameter dieser Anpassung zumindest ein Drehwinkel und zumindest eine lineare Verschiebung sind. Ein Ausgangspunkt der Optimierung ist die gespeicherte ideale Position der Oberfläche 3 in Bezug zu der TOF-Kamera 1. In particular, the transformation of the stored surface shape data with the depth information is optimized in a least squares fit, with free parameters of this fit being at least one rotation angle and at least one linear displacement. A starting point of the optimization is the stored ideal position of the surface 3 in relation to the TOF camera 1 ,

Beispielsweise wird das Ergebnis der Optimierung, eine ermittelte reale Position und eine Ausrichtung der Oberfläche 3 zur Ausführung einer Interaktion, gespeichert. Die Parameter der realen Position und der Ausrichtung werden anschließend verwendet, um eine Transformation der Kamera-Koordinaten in das Koordinatensystem der Oberflächenform der Oberfläche 3 durchzuführen. Diese Transformation ist erforderlich, um eine Interaktion des Fahrzeuginsassen in Bezug auf die Oberfläche 3 zu erfassen. For example, the result of the optimization, a determined real position and an orientation of the surface 3 to perform an interaction, saved. The parameters of the real position and the orientation are then used to transform the camera coordinates into the coordinate system of the surface shape of the surface 3 perform. This transformation is required to allow an interaction of the vehicle occupant with respect to the surface 3 capture.

Um eine Annäherung des Verfahrens zur Kalibrierung an ein Optimum zu erleichtern, insbesondere, um eine besonders genaue Kalibrierung zu realisieren, kann vorgesehen sein, dass die Oberfläche 3 eindeutige Merkmale 6 aufweist, welche ein Wiedererkennen der Tiefeninformationen in den erfassten Bilddaten ermöglicht. In order to facilitate an approximation of the method for calibration to an optimum, in particular in order to realize a particularly accurate calibration, it can be provided that the surface 3 unique features 6 which allows recognition of the depth information in the acquired image data.

Zwei solcher Merkmale 6 sind ausreichend zueinander beabstandet, und ermöglichen es somit, Parameter zur Optimierung der Anpassung der Methode der kleinsten Quadrate zu beseitigen. Two such features 6 are sufficiently spaced apart, thus making it possible to eliminate parameters for optimizing the least squares fit.

Weiterhin kann vorgesehen sein, dass die Oberfläche 3 mit Kennzeichnungen versehen ist, welche ein anderes Rexflexionsverhalten im Infrarot-Spektrum aufweisen als das der Oberfläche 3. Diese Kennzeichnungen sind außerhalb der Oberfläche 3 im Amplitudenimage angeordnet und können dazu verwendet werden, rotatorische und translatorische Freiheitsgrade bei der Optimierung zu eliminieren. Furthermore, it can be provided that the surface 3 is provided with markings which have a different Rexflexionsverhalten in the infrared spectrum than that of the surface 3 , These markings are outside the surface 3 arranged in the amplitude image and can be used to eliminate rotational and translational degrees of freedom in the optimization.

Solche Kennzeichnungen zur Reflexion von Infrarot-Strahlung können auch das gleiche Reflexionsverhalten aufweisen wie die Oberfläche 3 im sichtbaren Lichtspektrum, so dass sie für das menschliche Auge nicht sichtbar sind. Such markings for the reflection of infrared radiation can also have the same reflection behavior as the surface 3 in the visible light spectrum, so that they are not visible to the human eye.

Diese Kennzeichnungen können als so genannte Retro-Reflektoren ausgebildet sein und sind vorzugsweise aus einem Material gebildet, welches zumindest größtenteils zur Reflexion eine bestimmte Geometrie anstatt verschiedener Reflexionskoeffizienten nutzt. Das ist dadurch bedingt, dass die Beleuchtung für die TOF-Kamera 1 im Allgemeinen vergleichsweise nah an einer Empfangsoptik der TOF-Kamera 1 angeordnet ist. These markings may be formed as so-called retro-reflectors and are preferably formed of a material which at least largely uses for reflection a certain geometry instead of different reflection coefficients. This is due to the fact that the lighting for the TOF camera 1 generally comparatively close to a receiving optics of the TOF camera 1 is arranged.

Das oben beschriebene Verfahren erfordert nicht, dass die Optimierung in bestimmten Koordinatensystemen ausgeführt wird. Es ist vielmehr möglich, die Optimierung in beliebigen Koordinatensystemen durchzuführen. The method described above does not require optimization to be performed in certain coordinate systems. Rather, it is possible to perform the optimization in arbitrary coordinate systems.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1
TOF-Kamera TOF camera
2 2
Erfassungsbereich detection range
3 3
Oberfläche surface
4 4
Rechnereinheit computer unit
5 5
Speichereinheit storage unit
6 6
Merkmal feature
F F
Fahrzeuginnenraum Vehicle interior

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2011/0050589 A1 [0003] US 2011/0050589 A1 [0003]
  • US 2012/0068956 A1 [0004] US 2012/0068956 A1 [0004]

Claims (9)

Verfahren zur Kalibrierung einer TOF-Kamera (1) in Bezug auf eine beliebig geformte Oberfläche (3) eines Bauteiles, wobei mittels der TOF-Kamera (1) eine Entfernungsinformation der TOF-Kamera (1) zu der Oberfläche (3) oder zumindest zu einem Abschnitt der Oberfläche (3) erfasst wird, dadurch gekennzeichnet, dass eine Oberflächenform der Oberfläche (3) und eine ideale Position der TOF-Kamera (1) in Bezug auf die Oberflächenform gespeichert sind und eine Abweichung der Ausrichtung der TOF-Kamera (1) in Bezug auf die Oberfläche (3) oder zumindest den Abschnitt der Oberfläche (3) ermittelt wird. Method for calibrating a TOF camera ( 1 ) with respect to an arbitrarily shaped surface ( 3 ) of a component, wherein by means of the TOF camera ( 1 ) a distance information of the TOF camera ( 1 ) to the surface ( 3 ) or at least to a portion of the surface ( 3 ), characterized in that a surface shape of the surface ( 3 ) and an ideal position of the TOF camera ( 1 ) are stored with respect to the surface shape and a deviation of the alignment of the TOF camera ( 1 ) in relation to the surface ( 3 ) or at least the portion of the surface ( 3 ) is determined. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Koordinaten der Oberflächenform mittels linearer Transformation in ein dreidimensionales Koordinatensystem der TOF-Kamera (1) übertragen werden. A method according to claim 1, characterized in that coordinates of the surface shape by means of linear transformation in a three-dimensional coordinate system of the TOF camera ( 1 ) be transmitted. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Transformation der gespeicherten Geometrie der Oberflächenform in einer Anpassung mittels der Methode der kleinsten Quadrate optimiert wird. A method according to claim 1 or 2, characterized in that the transformation of the stored geometry of the surface shape is optimized in a fitting by means of the least squares method. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Anpassung in Abhängigkeit zumindest eines Drehwinkels und/oder einer linearen Verschiebung durchgeführt wird. A method according to claim 3, characterized in that the adaptation is carried out as a function of at least one rotation angle and / or a linear displacement. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Ausgangssituation der Optimierung eine ideale Position der TOF-Kamera (1) zu der Oberfläche (3) verwendet wird. Method according to one of the preceding claims, characterized in that the starting position of the optimization is an ideal position of the TOF camera ( 1 ) to the surface ( 3 ) is used. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein Ergebnis der Optimierung gespeichert wird. A method according to claim 5, characterized in that a result of the optimization is stored. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Oberfläche (3) zumindest eine Kennzeichnung aufweist, mittels welcher Tiefeninformationen in mittels der TOF-Kamera (1) erfassten Bilddaten bestimmt werden. Method according to one of the preceding claims, characterized in that the surface ( 3 ) has at least one marking, by means of which depth information in by means of the TOF camera ( 1 ) are determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Oberfläche (3) mit Kennzeichnungen versehen ist, mittels derer Licht anders reflektiert wird als von der Oberfläche (3). Method according to one of the preceding claims, characterized in that the surface ( 3 ) is provided with markings, by means of which light is reflected differently than from the surface ( 3 ). Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mittels der Kennzeichnungen rotatorische und/oder translatorische Freiheitsgrade eliminiert werden. A method according to claim 8, characterized in that by means of the labels rotational and / or translational degrees of freedom are eliminated.
DE102013209721.2A 2012-08-20 2013-05-24 Method for calibrating a TOF camera Withdrawn DE102013209721A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013209721.2A DE102013209721A1 (en) 2012-08-20 2013-05-24 Method for calibrating a TOF camera
PCT/EP2013/067214 WO2014029720A1 (en) 2012-08-20 2013-08-19 Method for calibrating a tof camera

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012016524.2 2012-08-20
DE102012016524 2012-08-20
DE102013209721.2A DE102013209721A1 (en) 2012-08-20 2013-05-24 Method for calibrating a TOF camera

Publications (1)

Publication Number Publication Date
DE102013209721A1 true DE102013209721A1 (en) 2014-02-20

Family

ID=50029693

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013209721.2A Withdrawn DE102013209721A1 (en) 2012-08-20 2013-05-24 Method for calibrating a TOF camera

Country Status (2)

Country Link
DE (1) DE102013209721A1 (en)
WO (1) WO2014029720A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015207768A1 (en) * 2015-04-28 2016-11-03 Volkswagen Aktiengesellschaft Improved gesture recognition for a vehicle
DE102016003021A1 (en) * 2016-03-12 2017-09-14 Audi Ag Motor vehicle control device and method for determining a position of an installed in a motor vehicle optical sensor
DE102017222534B3 (en) 2017-12-12 2019-06-13 Volkswagen Aktiengesellschaft A method, computer readable storage medium having instructions, apparatus, and system for gauging augmented reality goggles in a vehicle, vehicle suitable for the method, and augmented reality goggles suitable for the method
CN110852180A (en) * 2019-10-17 2020-02-28 上海快仓智能科技有限公司 TOF camera calibration method for automatic guided vehicle and automatic guided vehicle
CN111289989A (en) * 2018-12-10 2020-06-16 英飞凌科技股份有限公司 Method and apparatus for determining rotation parameters for conversion between coordinate systems
DE102020003090A1 (en) 2020-05-22 2020-07-16 Daimler Ag Mono camera and method for identifying a partial area of an image sensor
DE102022001562A1 (en) 2022-05-04 2022-06-23 Mercedes-Benz Group AG Procedure for the dynamic calibration of a camera

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599547A (en) * 2019-08-30 2019-12-20 深圳奥比中光科技有限公司 TOF camera calibration device and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050589A1 (en) 2009-08-28 2011-03-03 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US20120068956A1 (en) 2010-09-21 2012-03-22 Visteon Global Technologies, Inc. Finger-pointing, gesture based human-machine interface for vehicles

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19962997B4 (en) * 1999-12-24 2010-06-02 Robert Bosch Gmbh Method for calibrating a sensor system
DE102004033468A1 (en) * 2004-06-05 2005-12-22 Adc Automotive Distance Control Systems Gmbh Procedure for calibrating a camera
DE102007043905A1 (en) * 2007-09-14 2008-05-29 Daimler Ag Omni-directional camera calibrating method for use in object i.e. vehicle, involves calibrating camera during operation based on object unit that is identified in detected image information, and determining image and object positions
JP5393318B2 (en) * 2009-07-28 2014-01-22 キヤノン株式会社 Position and orientation measurement method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050589A1 (en) 2009-08-28 2011-03-03 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US20120068956A1 (en) 2010-09-21 2012-03-22 Visteon Global Technologies, Inc. Finger-pointing, gesture based human-machine interface for vehicles

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015207768A1 (en) * 2015-04-28 2016-11-03 Volkswagen Aktiengesellschaft Improved gesture recognition for a vehicle
DE102015207768B4 (en) * 2015-04-28 2020-03-12 Volkswagen Aktiengesellschaft Improved gesture recognition for a vehicle
DE102016003021A1 (en) * 2016-03-12 2017-09-14 Audi Ag Motor vehicle control device and method for determining a position of an installed in a motor vehicle optical sensor
DE102016003021B4 (en) * 2016-03-12 2017-11-23 Audi Ag Motor vehicle control device and method for determining a position of an installed in a motor vehicle optical sensor
DE102017222534B3 (en) 2017-12-12 2019-06-13 Volkswagen Aktiengesellschaft A method, computer readable storage medium having instructions, apparatus, and system for gauging augmented reality goggles in a vehicle, vehicle suitable for the method, and augmented reality goggles suitable for the method
US11017745B2 (en) 2017-12-12 2021-05-25 Volkswagen Aktiengesellschaft Method, computer readable storage medium having instructions, apparatus and system for calibrating augmented reality goggles in a transportation vehicle, transportation vehicle suitable for the method, and augmented reality goggles suitable for the method
CN111289989A (en) * 2018-12-10 2020-06-16 英飞凌科技股份有限公司 Method and apparatus for determining rotation parameters for conversion between coordinate systems
US11762096B2 (en) 2018-12-10 2023-09-19 Infineon Technologies Ag Methods and apparatuses for determining rotation parameters for conversion between coordinate systems
CN111289989B (en) * 2018-12-10 2024-04-09 英飞凌科技股份有限公司 Method and apparatus for determining rotation parameters for conversion between coordinate systems
CN110852180A (en) * 2019-10-17 2020-02-28 上海快仓智能科技有限公司 TOF camera calibration method for automatic guided vehicle and automatic guided vehicle
DE102020003090A1 (en) 2020-05-22 2020-07-16 Daimler Ag Mono camera and method for identifying a partial area of an image sensor
DE102022001562A1 (en) 2022-05-04 2022-06-23 Mercedes-Benz Group AG Procedure for the dynamic calibration of a camera

Also Published As

Publication number Publication date
WO2014029720A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
DE102013209721A1 (en) Method for calibrating a TOF camera
EP2183661B1 (en) Method for determining the position of an actuation element, in particular a finger of a user, in a motor vehicle and position determination device
DE10361341B4 (en) Device for operating a hob
DE102012222972A1 (en) Method for determining trajectory of driving maneuver, involves inputting symbol on touch-sensitive display device by user, where target pose is recognized depending on input symbol
DE102011053449A1 (en) Man-machine interface on finger-pointer and gesture-based for vehicles
EP3025223A1 (en) Method and device for remote-controlling a function of a vehicle
DE102015115526A1 (en) Method for target detection of target objects, in particular for the target detection of operating elements in a vehicle
DE102013012466A1 (en) Operating system and method for operating a vehicle-side device
WO2014108153A1 (en) Method for synchronizing display devices in a motor vehicle
EP3146454B1 (en) Control device for a medical appliance
DE102008004970A1 (en) Operating system for use in cockpit of motor vehicle, has operating unit mechanically moved between position and another position by actuating element when detecting approximation of actuator to operating elements
EP3366434B1 (en) Method for checking a function of a vehicle and/or at least one operating device
EP2915022A1 (en) Method for inputting a control command for a component of a motor vehicle
DE102017201799A1 (en) User interface, means of transport and method of user discrimination
DE202014010352U1 (en) Gesture recognition device
DE102019200632B4 (en) Control system with portable interface unit and motor vehicle with the control system
DE102015225374A1 (en) Arrangement, means of locomotion and method for guiding a means of transportation
EP3232372A1 (en) User interface, means of locomotion and method for detecting a hand of a user
DE102015002300A1 (en) Input device for a touch-sensitive input surface
DE102013013166A1 (en) Car with head-up display and associated gesture operation
WO2017137558A1 (en) Method and arrangement for the highly accurate positioning of a robot-guided interaction apparatus by means of radar
DE102013019570A1 (en) Operating device with non-contact font input function for a motor vehicle, motor vehicle and method for operating an operating device
DE102013000080A1 (en) Method for activating function of e.g. clock in vehicle, involves generating signal for triggering function of device in vehicle, while determined distance at which control action signal is generated is smaller than threshold value
DE102015203675A1 (en) User interface and method for selecting a display element on a user interface
US9410980B2 (en) Work monitoring system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee