DE4420422C2

DE4420422C2 - Technical complex eye for dynamic machine vision

Info

Publication number: DE4420422C2
Application number: DE4420422A
Authority: DE
Inventors: Ernst-Dieter Prof Dr Dickmanns
Original assignee: Individual
Current assignee: Individual
Priority date: 1994-06-10
Filing date: 1994-06-10
Publication date: 1997-09-18
Anticipated expiration: 2014-06-11
Also published as: DE4420422A1

Description

Die Erfindung betrifft ein technisches Komplexauge für dynamisches maschinelles Sehen, insbesondere für Fahrzeuge, wie es im Patentanspruch 1 näher beschrieben ist.The invention relates to a technical complex eye for dynamic machine vision, in particular for vehicles, as described in claim 1 is described.

Im Stand der Technik sind autonom mobile Systeme bekannt, bei denen ihre Fahrtrichtung und Geschwindigkeit mit Hilfe einer Auswertung von Bildern gesteuert wird, die mit Videokameras aufgenommen werden. Dabei werden Plattformen mit Kameras verwendet, bei denen eine Weitwinkelkamera und eine Telekamera näherungsweise koaxial auf den Zielpunkt hin orientiert sind. Mit der Weitwinkelkamera soll ein großes Gesichtsfeld im Nahbereich erfaßt werden, mit der Telekamera eine hohe Auflösung bei entfernteren Zielen.In the prior art, autonomously mobile systems are known in which their direction of travel and speed is controlled with the help of an evaluation of images, which with Video cameras are recorded. Platforms with cameras are used where a wide-angle camera and a telecamera are approximately coaxial on the Are oriented towards the target point. With the wide-angle camera, a large field of view in Close range can be captured with the telecamera a high resolution at more distant Aim.

Bei dem bekannten System ist nachteilig, daß der Blickwinkel der Weitwinkelkamera nicht groß genug ist, um beispielsweise den überholenden Verkehr zu beobachten. Es ist mit dem System auch nicht möglich, gleichzeitig zur Seite und nach vorne zu schauen. Weiterhin erlaubt die Kombination aus einer Telekamera und einer nahebei angebrachten Weitwinkelkamera keine Stereo-Auswertung. Ein echtes räumliches Sehen (stationär) ist bei den bekannten Systemen daher nicht möglich. Eine dem räumlichen Sehen angenäherte Bildauswertung kann nur so erfolgen, daß aus der Veränderung der Position des Fahrzeuges gegenüber den von der Kamera erfaßten, außerhalb des Fahrzeuges befindlichen Gegenständen eine Aussage über die gegenseitige räumliche Orientierung gemacht wird. Mit dem herkömmlichen bifokalen System ist es nicht möglich, im Nahbereich, wenige Meter vor dem Fahrzeug, eine Stereo-Auswertung zu erzielen. Dies ist aber beispielsweise dann notwendig, wenn Fahrzeuge eng hintereinander in Kolonnen fahren. Das herkömmliche System versagt erst recht, wenn im Stau die Fahrzeuge dicht hintereinander stehen und die Telekamera nur einen kleinen Teil des Vorderfahrzeugs erfaßt.The known system has the disadvantage that the viewing angle of the wide-angle camera is not large enough, for example, to observe the overtaking traffic. It is with the system also not possible to look sideways and forward at the same time. Furthermore, the combination of a telecamera and a nearby one allows Wide angle camera no stereo evaluation. Real spatial vision (stationary) is not possible with the known systems. One for spatial vision approximate image evaluation can only be done so that from the change in position of the vehicle compared to those detected by the camera, outside the vehicle objects, a statement about the mutual spatial orientation is made. With the conventional bifocal system it is not possible to Close range, a few meters in front of the vehicle to achieve a stereo evaluation. This But is necessary, for example, when vehicles are in close succession in columns drive. The conventional system only fails when the vehicles are tight in a traffic jam stand in a row and the telecamera only a small part of the vehicle in front detected.

Weiterhin wird in der US-PS 3492419 eine Vorrichtung beschrieben, deren Ziel darin besteht, die Bildauswahl aus mehreren Datenströmen von örtlich verteilten Videokameras mit Zoomobjektiven zur künstlerischen Gestaltung von Fernsehaufnahmen durch einen Kameramann zu ermöglichen, wobei dieser die vorgesehenen Motoren zur Einstellung der Blickrichtung und der Brennweite der Zoomobjektive betätigt. Dabei ist die mittlere von drei Kameras fix montiert, während sich die zwei äußeren relativ dazu verdrehen lassen, so daß ein Panoramaeffekt ohne Überlappung der Bildbereiche erzielt wird.Furthermore, a device is described in US Pat. No. 3,492,419 described, the goal of which is the image selection from multiple data streams from locally distributed Video cameras with zoom lenses for artistic Design of television recordings by a cameraman to enable, the engine provided for setting the viewing direction and the focal length the zoom lenses operated. The middle of three cameras fixed while the two outer twist relative to it so that a Panorama effect without overlapping the image areas is achieved.

Ferner wird in der WO 85/02917 eine ferngesteuerte, in der Höhe ausfahrbare Plattform (5 bis 50 m Höhe) mit Kameras zur Aufnahme von Fotografien oder Fernsehbildern von einem erhöhten Punkt beschrieben.Furthermore, in WO 85/02917 a remote-controlled, in extendable platform (5 to 50 m height) with Cameras for taking photographs or Described television pictures from an elevated point.

Dementsprechend ist es Aufgabe der Erfindung, ein technisches Komplexauge von Fahrzeugen, insbesondere von autonom mobilen Systemen, so auszugestalten, daß ein großes Blickfeld erreicht und im zentralen Nahbereich eine echte Stereo-Auswertung ermöglicht wird, wobei weiterhin der Bereich, der für eine Stereo-Auswertung zugänglich ist, auch von einer Telekamera erfaßt werden soll. Dadurch wird die Stereointerpretation erleichtert, was als trinokulares Stereo bezeichnet wird und zur Vereinfachung des Korrespondenzproblems führt. Accordingly, it is an object of the invention to provide a technical complex eye To design vehicles, in particular of autonomously mobile systems, so that a A large field of vision is achieved and a real stereo evaluation in the central close-up range is made possible, the area still accessible for a stereo evaluation is also to be captured by a telecamera. This is the stereo interpretation relieved what as a trinocular stereo is referred to and for Simplification of the correspondence problem leads.

Diese Aufgabe wird erfindungsgemäß durch die im Patentanspruch 1 aufgeführten Merkmale gelöst.This task will solved according to the invention by the features listed in claim 1.

Die erfindungsgemäße Anordnung der Weitwinkelkameras weicht gegenüber herkömmlichen Stereo-Bildauswertungssystemen dadurch ab, daß die Kameras nicht konvergent orientiert sind, d. h. ihre optischen Achsen sind nicht auf den gleichen Zielpunkt hin orientiert, sondern sie divergieren, laufen also auseinander. Damit wird ein großer Blickbereich erreicht, so daß gleichzeitig nach vorne und zur Seite geschaut werden kann. Wenn in einem Fahrzeug vorne und hinten je eine Plattform mit dieser Ausgestaltung vorhanden ist, so kann durch zusätzliches Drehen der beiden Plattformen um relativ kleine Winkel der gesamte Bereich von 360° beobachtet werden. Der Schwenkbereich jeder Plattform des Kameraträgers um die vertikale Achse wird so ausgelegt, daß je eine Hemisphäre erfaßt werden kann. Erfindungsgemäß ist das Teleobjektiv so angeordnet und ausgebildet, daß es mit seinem Sichtbereich denjenigen Bereich abdeckt, in dem sich die Sichtbereiche der beiden Weitwinkelobjektive überlappen; damit wird direkt eine Auswertung auf multiplen Skalen ermöglicht (unterschiedliche Ortsauflösung des gleichen Szenenausschnitts). Es erlaubt eine besonders schnelle und genaue Erfassung von sich bewegenden Objekten. Wird beispielsweise in dem Weitwinkelbereich ein sich bewegendes Objekt entdeckt, dann wird die Plattform so gedreht, -daß dieses Objekt in dem hochauflösenden Telebereich der Telekamera liegt, so daß es genauer analysiert werden kann (sakkadisches Sehen).The arrangement of the wide-angle cameras according to the invention differs conventional stereo image evaluation systems in that the cameras do not are convergent, d. H. their optical axes are not the same Oriented towards the target point, but they diverge, so they diverge. So that becomes a large viewing area reached, so that at the same time looking forward and to the side can be. If there is a platform with this in the front and rear of a vehicle Design is available, so can by rotating the two platforms the entire area of 360 ° can be observed at relatively small angles. Of the Each platform of the camera carrier swivels around the vertical axis designed that one hemisphere can be detected. According to the invention Telephoto lens arranged and designed so that it is the one with its field of vision Covering the area in which the viewing areas of the two wide-angle lenses are located overlap; this enables an evaluation on multiple scales directly (different spatial resolution of the same scene section). It allows one particularly fast and accurate detection of moving objects. Becomes For example, if a moving object is detected in the wide-angle area, then the platform rotated so that this object in the high-resolution telephoto range Telecamera is located so that it can be analyzed more precisely (saccadic vision).

Vorzugsweise sind die Weitwinkelkameras zwischen etwa 5 und 12 cm auseinandergesetzt, so daß man gegenüber dem herkömmlichen Systemen eine vergrößerte Stereobasis erhält. Eine Stereobasis von 6,5 cm entspricht dem menschlichen Augenabstand.The wide-angle cameras are preferably between approximately 5 and 12 cm set apart, so that one over the conventional systems enlarged stereo base. A stereo base of 6.5 cm corresponds to the human Pupillary distance.

Besonders bevorzugte Bemessungen für die Öffnungswinkel der Weitwinkelkameras, der Telekamera und für den Winkel zwischen den optischen Achsen der Weitwinkelkameras sind in den Unteransprüchen angegeben. Die Telekamera kann für bestimmte Anwendungen vorteilhafterweise ein Zoom-Objektiv erhalten.Particularly preferred dimensions for the opening angle of the wide-angle cameras, the Telecamera and for the angle between the optical axes of the wide-angle cameras are specified in the subclaims. The telecamera can be used for certain Applications advantageously get a zoom lens.

Nach einer weiteren Ausgestaltung sind zwei Telekameras vorgesehen, die unterschiedliche Öffnungswinkel (und damit unterschiedliche Brennweite) besitzen, um auch hier das sakkadische Sehen auf multiplen Skalen ausnützen zu können (trifokales Sehen). Die Brennweitenverhältnisse sind vorzugsweise 1 : 4. Diese Ausgestaltung hat gegenüber dem Zoom-Objektiv den Vorteil, daß gleichzeitig Bilder unterschiedlicher Auflösung vom gleichen Objekt vorhanden sind, was zu einer vorteilhaften Gestaltung der Auswertealgorithmen genutzt werden kann.According to a further embodiment, two telecameras are provided have different aperture angles (and thus different focal lengths) to be able to take advantage of the saccadic vision on multiple scales (trifocal See). The focal length ratios are preferably 1: 4. This configuration has the advantage over the zoom lens that at the same time images of different Resolution of the same object are present, resulting in an advantageous design of the Evaluation algorithms can be used.

Die Video-Kameras sind vorzugsweise als CCD-Kameras ausgeführt. In diesem Fall ist es möglich, die CCD-Sensoren und die zugehörigen Objektive der Kameras in einem Gehäuse unterzubringen, so daß man eine besonders kompakte Konstruktion erzielt (Fig. 1).The video cameras are preferably designed as CCD cameras. In this case, it is possible to accommodate the CCD sensors and the associated lenses of the cameras in one housing, so that a particularly compact construction is achieved ( FIG. 1).

Zur Drehung der Plattform des Kameraträgers werden Stellmotoren, sogenannte Torquemotoren, eingesetzt, die hohe Drehbeschleunigungen und hohe Drehgeschwindigkeiten erlauben und damit ermöglichen, daß der Kameraträger sich schnell auf ein neues Objekt einstellen kann. Da bei hohen Drehgeschwindigkeiten die Kameras einen Bildpunkt nicht als Punkt, sondern als Strich erfassen, kann bei solchen hohen Drehgeschwindigkeiten eine vernünftige Bildauswertung nicht mehr erfolgen. Aus diesem Grunde werden nach einer weiteren Ausgestaltung der Erfindung die Plattformen der Kameraträger mit Drehgeschwindigkeits-Sensoren ausgestattet, deren Ausgangssignal einem Schwellwertdetektor zugeführt wird. Dieser Schwellwertdetektor gibt ein Statusbit ab, das dem Auswertungsrechner für die Bildsignale mitteilt, ob die aktuell abgegebenen Bildsignale für eine Bildauswertung brauchbar sind oder nicht.Servo motors, so-called, are used to rotate the platform of the camera carrier Torque motors, used, the high spin and high Allow rotation speeds and thus allow the camera wearer to can quickly adjust to a new object. Because at high speeds the Cameras can capture a pixel not as a point but as a line high rotation speeds a reasonable image evaluation no longer take place. Out for this reason, according to a further embodiment of the invention, the platforms the camera carrier is equipped with rotation speed sensors, their output signal is fed to a threshold detector. This threshold detector gives a status bit from, which tells the evaluation computer for the image signals whether the currently delivered Image signals are useful for image evaluation or not.

Die für die Umdrehung der Plattform vorgesehenen Motoren sind vorzugsweise so dimensioniert, daß eine sogenannte "Sakkaden-Steuerung", d. h. eine der Augenbewegung entsprechende schnelle Blickrichtungsänderung für den Kameraträger möglich ist. Damit wird eine permanente Überwachung des gesamten Sichtbereiches bei reduziertem Datenstrom möglich, während bei den bisherigen Systemen hierzu eine Vielzahl von fächerartig angeordneten Kameras notwendig war. Diese Vielzahl von Kameras hat zur Folge, daß eine wesentlich größere Bilddatenmenge verarbeitet werden mußte, und insbesondere war es notwendig, beim Erkennen von sich bewegenden Objekten im Übergangsbereich zwischen zwei Kameras zeitvariabel zwei Videosignale auszuwerten, weil das Objekt von dem Blickbereich einer Kamera in den der nächsten Kamera wandert. In der vorliegenden Anordnung wird das Objekt im grobauflösenden Bild entdeckt, dann im hochauflösenden Bild nach Blickzuwendung (im Bruchteil einer Sekunde) genau analysiert, wobei keine Umschaltung zwischen Videosignalen erfolgen muß; bei gleicher Erkennungsleistung wird der Datenstrom von den abbildenden Sensoren um Größenordnungen reduziert. Das Objekt von Interesse wird immer im Zentrum eines Bildes gehalten (Blickfixierung). The motors provided for the rotation of the platform are preferably such dimensions that a so-called "saccade control", d. H. one of the eye movements corresponding rapid change of direction of view for the camera wearer is possible. In order to permanent monitoring of the entire field of vision with reduced Data stream possible, whereas in the previous systems a large number of fan-shaped cameras was necessary. This variety of cameras has been used Consequence that a much larger amount of image data had to be processed, and in particular, it was necessary to recognize moving objects in the Transition area between two cameras to evaluate two video signals at variable times, because the object moves from the field of view of one camera to that of the next camera. In the present arrangement, the object is then discovered in the high-resolution image in the high-resolution image after looking at it (in a fraction of a second) exactly analyzed, with no need to switch between video signals; at the same Detection performance is based on the data stream from the imaging sensors Orders of magnitude reduced. The object of interest is always in the center of one Image held (gaze fixation).

Die Brennweiten der Objektive und die Pixeldichte der verwendeten CCD-Bildsensoren sind so ausgewählt, daß im Nahbereich (< etwa 5 m) eine Auflösung von etwa 5 mm/Pixel und im Fernbereich (ca. 200 m) mit der Telekamera eine Auflösung von etwa 5 cm/Pixel erreicht wird; letzteres gestattet in dieser Entfernung die einigermaßen sichere Erkennung von 12 cm breiten, normgerechten Spurbegrenzungslinien.The focal lengths of the lenses and the pixel density of the CCD image sensors used are selected so that in the close range (<about 5 m) a resolution of about 5 mm / pixel and in the far range (approx. 200 m) with the telecamera a resolution of approx 5 cm / pixel is reached; the latter allows the somewhat safe distance Detection of 12 cm wide, standard-compliant lane boundaries.

Wie die Praxis gezeigt hat, soll bei der Bildauswertung für sehende Straßenfahrzeuge mit bifokalen Kamerapaaren das Brennweitenverhältnis nicht größer als etwa 4 sein, damit man von der Auswertung eines Bildes auf die des anderen leicht umsteigen kann. Daraus folgt eine trifokale Brennweitenstaffelung, so daß bei 1/2-Zoll Kameras die Brennweiten beispielsweise zu 4, 16 und 50 (bzw. 64) mm gewählt werden.As practice has shown, the image evaluation for sighted road vehicles should be included bifocal camera pairs the focal length ratio should not be greater than about 4 so one can easily switch from evaluating one image to the other. Out of it follows a trifocal focal length grading, so that the focal lengths with 1/2 inch cameras for example, 4, 16 and 50 (or 64) mm can be selected.

Im folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispielen beschrieben und näher erläutert. Es zeigen:In the following, the invention is illustrated by the figures Described embodiments and explained in more detail. Show it:

Fig. 1a schematisch eine erste kompakte Ausführungsform der Erfindung von oben, FIG. 1a schematically shows a first compact embodiment of the invention from above,

Fig. 1b die Ausführungsform von Fig. 1a von vorn, wobei eine zweite Telekamera vorgesehen ist, FIG. 1b, the embodiment of Fig. 1a from the front, wherein a second telecamera is provided,

Fig. 2a und 2b die Überlappung der Sichtbereiche der einzelnen Kameras. FIGS. 2a and 2b, the overlapping of the fields of view of the individual cameras.

Fig. 3 eine weitere Ausgestaltung mit zwei Weitwinkelobjektiven bei großer Stereobasis und zwei lichtstarken Telekameras, Fig. 3 shows a further embodiment with two wide angle lenses for large stereo base and two high-intensity telecameras,

Fig. 4 eine Ausgestaltung mit 4 käuflichen Miniatur-Einzelkameras. Fig. 4 shows an embodiment with 4 commercially available miniature single cameras.

Die Fig. 1(a) zeigt eine Draufsicht auf die Plattform (2) des Kameraträgers. Auf der Plattform sind am Kameragehäuse 1 mit den abbildenden Sensoren 11, 12, 13 zwei Weitwinkelkameras 3 und 4 montiert, deren optische Achsen 5, 6 einen Winkel von β_w (z. B. 52,8°) einschließen, wobei sie symmetrisch zur Blickrichtung 7 der Plattform angeordnet sind. Die Stereobasis S, die durch den Abstand der Scheitelpunkte der Öffnungswinkel bestimmt ist, beträgt zwischen 5 und 12 cm, in dem dargestellten Beispiel vorzugsweise etwa 6 cm. Zwischen den beiden Weitwinkelkameras ist eine Telekamera 8 angeordnet, deren optische Achse in einer Ebene mit den Achsen der Weitwinkelkameras liegt. Der Öffnungswinkel σ_m der Telekamera ist so gewählt, daß die Telekamera genau denjenigen Bildbereich der Weitwinkelkameras erfaßt, in dem sich deren Sichtbereiche überlappen. Ist der Öffnungswinkel der Weitwinkelkameras und σ_m der Öffnungswinkel der Telekamera, so ist der Gesichtsfeldwinkel γ = 2σ_w - σ_m. Die entsprechenden Verhältnisse sind in der Fig. 2 dargestellt. In Fig. 2a beträgt der Öffnungswinkel der Weitwinkelkameras σ_m 65°, der der Telekamera 15° und das Gesichtsfeld damit 115°. Es ist erkennbar, daß für größere Entfernungen der Überlappungsbereich der Weitwinkelkameras und damit der Stereobereich bis auf einen Randstreifen von etwa 3 cm mitten in dem Telebereich der Telekamera liegt (Fig. 2a). Die Plattform (2) ist um eine horizontale und einer vertikale Achse schwenkbar. Fig. 1 (a) shows a plan view of the platform ( 2 ) of the camera carrier. On the platform, two wide-angle cameras 3 and 4 are mounted on the camera housing 1 with the imaging sensors 11 , 12 , 13 , the optical axes 5 , 6 of which enclose an angle of β _w (z. B. 52.8 °), being symmetrical to Viewing direction 7 of the platform are arranged. The stereo base S, which is determined by the distance between the vertices of the opening angles, is between 5 and 12 cm, in the example shown preferably about 6 cm. A telecamera 8 is arranged between the two wide-angle cameras, the optical axis of which lies in one plane with the axes of the wide-angle cameras. The opening angle σ _{m of} the telephoto camera is selected such that the telephoto camera captures precisely that image area of the wide-angle cameras in which their viewing areas overlap. If the opening angle of the wide-angle cameras and σ _{m is} the opening angle of the telecamera, the field of view angle is γ = 2σ _w - σ _m . The corresponding relationships are shown in FIG. 2. In Fig. 2a, the opening angle of the wide-angle cameras σ _{m is} 65 °, that of the telecamera is 15 ° and the field of view is 115 °. It can be seen that, for larger distances, the overlap area of the wide-angle cameras and thus the stereo area, apart from an edge strip of approximately 3 cm, lies in the middle of the telephoto area of the telephoto camera ( FIG. 2a). The platform ( 2 ) can be pivoted about a horizontal and a vertical axis.

Die Telekamera 8 kann vorteilhaft mit einem Zoom-Objektiv ausgestattet sein.The telecamera 8 can advantageously be equipped with a zoom lens.

Fig. 1b zeigt eine optionale Gestaltung, bei der auf die erste Telekamera eine zweite Telekamera 9 für trifokales Sehen montiert ist. FIG. 1b shows an optional configuration wherein the first telecamera a second telecamera 9 is mounted for trifocal vision.

Fig. 2a und 2b zeigen die Überlappung der Sichtbereiche der einzelnen Kameras. FIGS. 2a and 2b show the overlapping of the fields of view of the individual cameras.

Ab einer Entfernung von 2 m (Einsatzbereich) sind der Stereobereich und der angegebene σ_m-Bereich für praktische Zwecke identisch (bis auf ca. 3 cm Randstreifen).From a distance of 2 m (application area), the stereo area and the specified σ _m area are identical for practical purposes (apart from approx. 3 cm edge strips).

Bei trifokaler Auslegung (Fig. 2b) kann der Stereobereich σ_Stereo zusammen mit dem Gesichtsfeld γ vergrößert werden; so kann bereits in 5 m Entfernung ein Objekt der Breite 2 m (z. B. LKW) voll im Stereobereich erfaßt werden. Gleichzeitig erlaubt das zweite starke Teleobjektiv die doppelte Sichtweite bei gleicher Auflösung, was für höhere Fahrgeschwindigkeit zur Hinderniserkennung und zum Lesen von Schildern wesentliche Vorteile bringt. In Fig. 2b ist der Öffnungswinkel der Weitwinkelkameras σ_m = 77°, der Öffnungswinkel der Telekamera 8, σ_m = 23° und der der Telekamera 9, σ_τ = 7°.With a trifocal design ( Fig. 2b) the stereo area σ _stereo can be enlarged together with the field of view γ; an object with a width of 2 m (e.g. truck) can be fully captured in the stereo area at a distance of 5 m. At the same time, the second strong telephoto lens allows twice the range of vision with the same resolution, which brings significant advantages for higher driving speeds for obstacle detection and reading of signs. In FIG. 2b the opening angle of the wide-angle cameras is σ _m = 77 °, the opening angle of the telecamera 8 , σ _m = 23 ° and that of the telecamera 9 , σ _τ = 7 °.

Die Fig. 3 zeigt ein zweites Ausführungsbeispiel, bei dem zwischen den beiden Weitwinkelkameras zwei Telekameras angeordnet sind, wobei die optischen Achsen der Kameras vorzugsweise in einer Ebene liegen. Die CCD-Bildsensoren 11, 12, 13, 14 sind alle in dem gleichen integralen Gehäuse 15 enthalten, so daß sich eine sehr kompakte Einheit ergibt. Die Stereobasis S ist hier bewußt groß gewählt, um die kleinere Brennweite zu kompensieren. In dem dargestellten Beispiel beträgt der Winkel zwischen den optischen Achsen der Weitwinkelkameras 53°, der Öffnungswinkel der Weitwinkelkameras 3 und 4 beträgt 77°. Die Telekamera 8 dient dazu, den Stereobereich der Weitwinkelkameras mit höherer Auflösung zu erfassen; dementsprechend beträgt der Öffnungswinkel 24°. Die zweite Telekamera 9 dient zum Erfassen sehr entfernter Objekte, ihr Öffnungswinkel beträgt 5 bis 7°. Die Brennweitenstaffelung der Kameras beträgt dementsprechend 4 : 16 : 64. Der Drehwinkel der Plattform um die Vertikalachse ist in Fig. 3 mit w_z bezeichnet. FIG. 3 shows a second exemplary embodiment, in which two telecameras are arranged between the two wide-angle cameras, the optical axes of the cameras preferably being in one plane. The CCD image sensors 11 , 12 , 13 , 14 are all contained in the same integral housing 15 , so that a very compact unit results. The stereo base S is deliberately chosen to be large in order to compensate for the smaller focal length. In the example shown, the angle between the optical axes of the wide-angle cameras is 53 °, the opening angle of the wide-angle cameras 3 and 4 is 77 °. The telecamera 8 serves to capture the stereo area of the wide-angle cameras with a higher resolution; accordingly the opening angle is 24 °. The second telephoto camera 9 is used to detect very distant objects, its opening angle is 5 to 7 °. The focal length grading of the cameras is accordingly 4: 16: 64. The angle of rotation of the platform about the vertical axis is designated w _z in FIG. 3.

In der Tabelle 1 sind die Beziehungen zwischen Brennweite f, dem Öffnungswinkel σ und dem Winkel je Bildpunkt auf dem Sensor wiedergegeben, wobei die Pixeldichte des Sensors 320 pro Zeile beträgt:Table 1 shows the relationships between the focal length f, the aperture angle σ and the angle per pixel is reproduced on the sensor, the pixel density of the Sensor 320 per line is:

Objektiv-Tabelle (1/2 Zoll CCD) Lens table (1/2 inch CCD)

Die Plattform kann seitlich um eine Vertikalachse um bis zu 60° in beide Richtungen gedreht werden und besitzt einen Nickbereich für Drehungen um eine Horizontalachse von etwa 5 bis 10° aufwärts wie abwärts.The platform can move laterally around a vertical axis of up to 60 ° in both directions be rotated and has a pitch area for rotations around a horizontal axis from about 5 to 10 ° upwards and downwards.

Die Fig. 4 zeigt einen entsprechenden Aufbau aus einzelnen Miniatur-CCD-Kameras in der Draufsicht. Dem Vorteil in der Modularität steht der Nachteil größerer Bauhöhe und der Handhabung von 4 Videokabeln gegenüber. Die Bezugszeichen entsprechen denen in den vorigen Bildern. Die Brennweiten der Telekameras betragen 16 bzw. 50 mm. FIG. 4 shows a corresponding construction from individual miniature CCD cameras in the plan view. The advantage in modularity is offset by the disadvantage of greater height and the handling of 4 video cables. The reference numerals correspond to those in the previous pictures. The focal lengths of the telecameras are 16 and 50 mm.

Claims

1. Technical complex eye for dynamic machine vision, in particular for vehicles, with a platform that can be rotated and controlled about two axes, on which three or more recording cameras with image sensors are arranged, two wide-angle cameras ( 3 , 4 ) on the platform ( 2 ) are arranged in such a way that their optical axes are diverging in one plane and the bisector of the angle defines the visual axis ( 7 ) of the complex eye ( 1 ), with the visual areas of the wide-angle cameras ( 3 , 4 ) overlapping in front of the platform ( 2 ) and at least a first telephoto camera ( 8 ) is aligned with this overlap area and a stereo evaluation for machine spatial vision in the central near area takes place by means of an evaluation computer, in which the sensor signals of all cameras are evaluated simultaneously.

2. Technical complex eye according to claim 1, characterized in that the opening angle of the wide-angle cameras ( 3 , 4 ) is in each case between 50 degrees and 80 degrees, that their optical axes ( 5 , 6 ) lie in a plane parallel to the platform plane and the from their optical axes included angles between 40 degrees and 60 degrees, and that the opening angle of the first telephoto camera ( 8 ) is between 15 degrees and 25 degrees.

3. Technical complex eye according to claim 2, characterized in that the opening angle of the wide-angle cameras ( 3 , 4 ) are each about 65 degrees and the opening angle of the first telephoto camera ( 8 ) is about 15 degrees, and that the angle between the optical axes ( 5 , 6 ) of the wide-angle cameras ( 3 , 4 ) and the visual axis ( 7 ) is approximately 25 degrees in each case.

4. Technical complex eye according to one of claims 1 or 2, characterized in that a second telephoto camera ( 9 ) is provided, the optical axis of which is aligned parallel to that of the first telephoto camera ( 8 ) and the opening angle of which is smaller than that of the first telecamera ( 8 ) is.

5. Technical complex eye according to claim 4, characterized in that the opening angle of the wide-angle cameras ( 3 , 4 ) each about 77 degrees, the opening angle of the first telephoto camera ( 8 ) 24 degrees and the opening angle of the second telephoto camera ( 9 ) 5 to 7 Degrees.

6. Technical complex eye according to one of claims 1 to 5, characterized in that the stereo base ( 10 ) formed by the wide-angle cameras ( 3, 4 ) is between 5 cm and 12 cm.

7. Technical complex eye according to one of claims 1 to 6, characterized in that all cameras ( 3 , 4 , 8 , 9 ) are constructed integrated in one housing.

8. Technical complex eye according to one of claims 1 to 7, characterized in that the platform ( 2 ) has one or more rotational speed sensors.

9. Technical complex eye according to claim 8, characterized in that the output signal of everyone Rotation speed sensor a threshold detector is supplied, the output signal of a Evaluation computer as status bit for image evaluation is fed.

10. Technical complex eye according to claim 8 or 9, characterized in that a saccade control is provided with the actuators of the platform ( 2 ) are controlled so that the overlap area of the wide-angle cameras ( 3 , 4 ) and the telescopic area reflexively in the shortest possible time aimed at a striking combination of features in one of the wide-angle viewing areas.