DE19753040A1 - Verfahren und Apparat zur Erzeugung von 3D-Bildern für die visuelle 3D-Wahrnehmung auf der Basis von virtuellen oder reellen Bildern - Google Patents

Description

1. Technisches Anwendungsgebiet

Das technische Anwendungsgebiet besteht in der Erzeugung von 3D-Bildern für die visuelle 3D-Wahrnehmung auf der Basis von virtuellen oder reellen Bildern für die 3D-Wiedergabe. Dabei ist klar, daß der 3D-Effekt erst durch das äußerst komplexe Zusammenwirken technischer Komponenten und des visuellen Sinnes des betrachtenden Subjekts entsteht. Im Extremfall muß dies nicht ein Mensch sein, sondern es kann auch ein Tier sein.

Hierbei geht es ganz allgemein um die 3D-Vision im 3D-Video-, bzw. 3D- Fernsehbereich, bzw. um 3D-Multimedia-Anwendungen des allgemein bekannten Sprachgebrauchs. Es können so beispielsweise 3D-Filme wiedergegeben werden. Auch die Wiedergabe von berechneten 3D-Computergraphiken auf der Grundlage der Darstellung von virtuellen oder reellen 3D-Bildern ist möglich. Die Bilddaten liegen vorzugsweise in Form von digital gespeicherten Daten vor, beispielsweise in Form einer Punktwolke. Der 3D-Eindruck kann farbiger Natur sein, und es können auch bewegte Objekte und Szenen dargestellt werden.

2. Stand der Technik

Die Erzeugung von virtuellen oder reellen 3D-Bildern (im herkömmlichen Sprachgebrauch) zur visuellen Wahrnehmung für die 3D-Wiedergabe basiert beim Stand der Technik auf der Erzeugung von zwei differentiell unterschiedlichen Bildern für das linke und das rechte Auge. Für diese Art der Betrachtung ist in vielen Fällen eine zweiäugige Betrachterbrille notwendig, die entweder zwei unterschiedliche Farbfilter für die beiden Augen oder zwei unterschiedlich eingestellte Polarisatoren aufweist.

Auch gibt es Shutterbrillen, die abwechselnd ein Bild für das rechte und das linke Auge freigeben. Es gibt auch Brillen, in welchem in jedem Augenkanal ein separates Bild erzeugt wird. Obwohl die Qualität dieser 3D-Bildwiedergabe sehr gut sein kann, wird diese Technik jedoch aus oft sehr subjektiven Gründen abgelehnt und erfährt selbst im Hausgebrauch bisher keine sehr große Akzeptanz. Eine Ausnahme stellt die medizinische Operationstechnik dar. Hier trägt beispielsweise der Chirurg eine Spezialbrille, als Cyberbrille bezeichnet, s. VDI-Nachrichten vom 14.11.1997, Nr. 46, S. 3.

Eine weitere Möglichkeit besteht darin, die Position der Augenachsen des menschlichen Betrachters mittels elektronischer Kameratechnik zu bestimmen (Headfinder, Trucking System) und so von einer gemeinsamen Bildschirmoberfläche für das linke und das rechte Auge ein jeweils unterschiedliches Bild mittels spezieller Technik zu erzeugen. Dies ist jedoch nur für einen Beobachter möglich und stellt sicher eine gute technische Möglichkeit dar, schließt aber beispielsweise das 3D-Familienfernsehen mit mehreren Betrachtern aus.

Letztendlich, basierend auf der von Nipkow vorgeschlagenen Technik, gibt es die Darstellung von 3D-Bildern mittels eines Shutters. Dazu wird im Echtzeitbetrieb das Perspektivitätszentrum eines Bildes ständig verändert und gleichzeitig wird nur ein Spalt des Bildes zur Betrachtung freigegeben. Der Shutter kann dabei mechanisch oder optoelektronisch aufgebaut sein. In jedem Fall ist durch die nur spaltweise Freigabe des Bildes das Bild recht lichtschwach, da nur ein sehr geringer Teil der Lichtenergie jeweils den Beobachter erreicht.

Aufgabe der Erfindung ist es ein Verfahren und eine Vorrichtung anzugeben, die keine Laserstrahlung und/oder Spezialbrille benötigt und dabei die Tiefenschärfe und die Auflösung zu verbessern.

Erfindungsgemäß wird dies erreicht durch das Verfahren und Vorrichtung nach den Ansprüchen 1 und 2. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.

3. Mit der Erfindung gelöste Aufgabe

Die Erfindung löst die Aufgabe der Erzeugung von virtuellen und reellen 3D-Bildern für die visuelle Wahrnehmung der 3D-Gestalt technischer und natürlicher Körper im Raum sowie kompletter Szenen auch auf Film- oder Theaterbühnen. Außerdem wird die Wiedergabe von berechneten 3D-Computergraphiken auf der Grundlage der Darstellung von virtuellen oder reellen 3D-Bildern ermöglicht, die in Form einer 3D-Punktwolke vorliegen.

Bewegte und farbige 3D-Szenen können mit einem sehr hohen Tiefeneindruck und mit hoher lateraler Auflösung in Form von virtuellen oder reellen 3D-Bildern für die visuelle Wahrnehmung als 3D-Objekte dargestellt werden. Der Applikationsbereich wird im Home-Bereich für das Fernsehen, die Videofilm-Wiedergabe, aber auch für Computeranwendungen, ganz allgemein im Multimedia-Bereich gesehen.

Auch im professionellen Bereichen wie in der Medizin, u. a. der chirugischen Operationstechnik, der Luft- und Raumfahrt, der Simulationstechnik ganz allgemein, der rechnergestützten Konstruktion (CAD) sowie weiterer C-Techniken wird die Aufgabe der 3D-Darstellung von Daten gelöst. In der naturwissenschaftlichen Forschung können reale Daten oder Modelle, wie beispielsweise Moleküldarstellungen räumlich präsentiert werden. Gleiches gilt für DNA-Sequenzen in der Molekularbiologie und die Modellierung von Genen in der Gentechnik.

Die Möglichkeit der räumlichen Darstellung von mathematischen Funktionen in Ausbildung und Forschung ist ebenfalls zu erwähnen, aber auch die allgemeine Schulausbildung. Nicht zu vergessen ist die Präsentation von Kunstobjekten und Modeartikeln. Wesentlich sind ebenfalls die Möglichkeiten zur Unterstützung der Orientierung von Personen und rechnergesteuerten Objekten im Raum.

Die 3D-Bilder können als virtuelle Bilder betrachtet werden, beispielsweise, indem der Betrachter wie vor einem Schirm sitzt und in einen Apparat blickt.

Aber auch die Erzeugung von reellen Bildern für die 3D-Großbildwiedergabe für ein größeres Publikum ist machbar. Dies ist mit einer 3D-Laser-Show vergleichbar.

4. Erreichte Verbesserungen und Vorteile gegenüber dem Stand der Technik

Die Anwendung der Erfindung vergrößert den Tiefendarstellungsbereich, bzw. den Tiefeneindruck und die Bildqualität, also auch die Brillanz und die Punktdichte, bei der Wiedergabe von 3D-Bildern.

Auch wird die für die Bilderzeugung eingesetzte Energie optimal genutzt. Es entsteht ein helles Bild. Die Beobachtung des 3D-Bildes ist grundsätzlich durch mehr als eine Person möglich. Auf das Tragen einer Spezialbrille kann verzichtet werden.

Auf die Verwendung von gerichteter Laserstrahlung, wie bei Laser-Projektoren notwendig, kann verzichtet werden.

5. Grundzüge des Lösungsweges

Es werden die Grundzüge des Verfahrens und der Anordnung zur Erzeugung von virtuellen und reellen 3D-Bildern für die visuelle Wahrnehmung gemeinsam beschrieben.

Das Verfahren zur Erzeugung von virtuellen und reellen 3D-Bildern für die visuelle Wahrnehmung besteht darin, daß mittels einer gerasterten, rechnergesteuerten und damit adressierbaren, lichtgebenden Struktur, die grundsätzlich volumenhafter oder flächiger Natur sein kann, beispielsweise ein Array aus mikrooptischen Bauelementen wie ein Mikrolaser-Array oder ein Mikrofaser-Array mit fasergekoppelten, rechnergesteuerten Lichtquellen unterschiedlicher Wellenlänge, bzw. Spektralverteilung ein vorzugsweise planares selbstleuchtendes Teilbild, im Sinne eines beispielsweise achssenkrechten Schnittes durch ein reales oder berechnetes 3D-Objekt, also als Berandungskurve, dargestellt wird. Es ist jedoch auch möglich, dazu eine separate Lichtquelle mit einem rechnergesteuerten Mikro- Spiegel-Array (Direct Mirror Device = DMD) zu koppeln. Die Information über das darzustellende 3D-Bild liegt in Form eines digitalen Datensatzes, beispielsweise in Form einer Punktwolke vor.

Dieses vorzugsweise planare und selbstleuchtende Teilbild auf dem Array aus mikrooptischen Bauelementen, welches weiterhin als erstes Array bezeichnet wird, wird durch ein erstes Objektiv mit einem telezentrischen Ausgang, also telezentrisch auf der dem ersten Array abgewandten Seite, vorzugsweise als reelles Bild scharf abgebildet. Für die Schärfe besteht dabei ein Tiefenbereich, der sich mit geringerer Apertur des Objektivs auf der telezentrischen Seite vergrößert, wobei allerdings die Lichtstärke des Objektivs und damit die Helligkeit auch abnimmt. Dieser Tiefenbereich basiert auf der Zulassung eines akzeptablen Zerstreuungskreisdurchmessers für die zu beobachtenden Bildpunkte, der sich letztendlich aus dem optischen Gesamtaufbau und dem visuellen Auflösungsvermögen der betrachtenden Person bestimmt. Grundsätzlich kann auch dieses erste Array linear bewegt werden, nur wird dies als technisch nicht so vorteilhaft angesehen.

Im Tiefenbereich der Schärfe des telezentrischen Objektivs, befindet sich ein weiteres Array mit mikrooptischen Bauelementen, welches weiterhin als zweites Array bezeichnet wird, mit mikrooptischen und fokussierenden, vorzugsweise passiven Bauelementen. Auf diesem zweiten Array entsteht das reelle Bild des planaren und selbstleuchtenden Teilbildes auf dem ersten Array.

Weiterhin ist das zweite Array mit einem vorzugsweise linear arbeitenden, rechnersteuerbaren Präzisions-Scanner mit einer Bewegungsrichtung in Richtung der Achse des telezentrischen Objektivs verbunden.

Dabei besitzt der Scanner ein präzises Linearführungssystem, vorzugsweise ein Parallelfedersystem für die präzise lineare Bewegung des zweiten Arrays mit einem Hub in der Größenordnung von einigen Millimetern bis einigen Zentimetern, jedoch im Tiefenbereich der Schärfe im telezentrischen Strahlengang.

Die Parallelfedern des Parallelfedersystems können vorteilhafterweise aus hochelastischem, einkristallinen Silizium bestehen.

Dabei befindet sich der Scanner mit dem zweiten Array, vorzugsweise im Vakuum, und ist mit einem Hochleistungs-Linearmotor mit einem rechnergekoppelten Präzisionsweggeber gekoppelt. So wird erreicht, daß eine präzise lineare Vor- Rückwärtsbewegung mit beispielsweise 25 Hz Hubfrequenz entsprechend einer vorgegebenen Sollfunktion erreicht werden kann, ohne daß eine unerwünschte Dämpfung im Sinne einer Bremsung durch die Luft auftreten kann.

Querbewegungen des Arrays zur optischen Achse können rechnergesteuert durchaus von Nutzen sein, wenn beispielsweise das zweite Array aus mehreren Teil-Arays besteht, die jeweils einen eigenen Linearmotor besitzen und so die mechanischen Bruchstellen praktisch unsichtbar gemacht werden sollen. So kann eine besonders große Aray-Fläche, beispielsweise für die Großbildprojektion dargestellt werden. Die Querbewegung wird bei der Bildpunktadressierung auf dem ersten Array berücksichtigt, ist also eingerechnet.

In Abhängigkeit von der jeweiligen aktuellen, rechnergeführten Stellung des zweiten Arrays wird auf dem ersten Array jeweils ein Schnittbild der abzubildenden 3D- Struktur selbstleuchtend dargestellt. So werden beispielsweise bis zu 1000 selbstleuchtende und gegebenenfalls farbige Schnittbilder pro Sekunde auf dem ersten Array erzeugt. Je nach den technischen Möglichkeiten und Zielvorgaben kann eine höhere oder geringere Schnittbildfrequenz realisiert werden.

Das Array besteht vorzugsweise aus konvexen Mikrolinsen, also mit fokussierender Wirkung. Dabei ist die Größe der Mikrolinsen so gewählt, daß jede Mikrolinse beispielsweise einem Bildpunkt entspricht. Durch die rechnergesteuerte Präzisionbewegung des zweiten Arrays mit etwa 25 Hz und innerhalb des Schärfebereiches des telezentrischen Objektivs entsteht so für den menschlichen Beobachter der Eindruck eines 3D-Bildes im Raum. Durch die Anordnung von fokussierenden Mikrolinsen mit einer relativ großen numerischen Apertur, beispielsweise 0,3 oder mehr wird von jedem leuchtenden Bildpunkt ein Lichtbündel in einen relativ großen Raumwinkelbereich abgestrahlt.

Dieses so entstehende Bild hat zwar schon einen 3D-Charakter für den Beobachter, weist jedoch nur eine relativ geringe Tiefe auf und ist relativ klein. Deshalb wird ein zweites Abbildungsobjektiv mit dem Ziel der Vergrößerung des Bildes und der Tiefe nachgeschaltet. Dabei kann die Abbildung des Bildes auf dem zweiten Linsenarray, welches als ein Zwischenbild angesehen werden kann, im Sinne der technischen Optik durch das zweite Objektiv virtuell oder reell erfolgen.

Wesentlich ist dabei, daß bei der virtuellen Abbildung mit beiden Augen gleichzeitig durch das zweite Objektiv geschaut wird. Dabei weist das zweite Array in Bezug zum zweiten Objektiv eine intrafokale Position mit dem Grenzfall der fokalen Position auf. In der fokalen Position des zweiten Arrays wird von einem Betrachter hinter dem zweiten Objektiv ein Bild im Unendlichen gesehen. Bei der linearen Bewegung des Arrays in Richtung des zweiten Objektivs entsteht das Bild als virtuelles Bild, welches jedoch mit dem Auge wie bei der Lupenbetrachtung ohne Schirm betrachtet werden kann.

Für die Großbild-Projektion wird ein reelles Bild erzeugt. Dabei befindet sich das zweite Array jeweils in der extrafokalen Projektion des zweiten Abbildungsobjektivs, welches dann ein speziell angepaßtes Projektionsobjektiv darstellt. Die reellen Bilder entstehen in Lichtrichtung hinter diesem Objektiv, beispielsweise in einer Nebelwand oder einer Nebelkammer. Auch ist eine rechnergesteuerte dreidimensionale Matrix mit rechnergesteuerten Mikroreflektoren denkbar, die im 25 Hz-Takt in unterschiedlichen Tiefen, also im Raum, geschaltet werden, beispielsweise so, daß der Strahl auftrifft oder passieren kann. So entsteht ebenfalls ein 3D-Eindruck für den Beobachter. Auch Schleierwände sind für mehr künstlerische Vorhaben einsetzbar.

Bei der virtuellen Darstellung der Bilder kann als zweites Objektiv eine monolithische Linse mit einem Durchmesser deutlich oberhalb des Augenabstandes benutzt werden. Besser ist jedoch eine so große Linse in der Art einer Fresnel-Linse aus Teilstücken, auch Mikroteilstücken, zu gestalten, die hinsichtlich aller Abbildungsfehler, einschließlich der Farbfehler korrigiert sein sollte. Diese große Linse besitzt genau eine optische Achse. Auch hierbei können Mikrolinsen zum Einsatz kommen. Beispielsweise können sogar mehrere Mikrolinsen in Lichtrichtung hintereinander angeordnet sein, um die Abbildungsfehler zu korrigieren, bzw. eine Optimierung der Abbildung zu erreichen.

Bei der Gestaltung der großen Linse können alle Möglichkeiten des optischen Know­ hows der Abbildungskorrektur, einschließlich der Mikrostrukturierung für die Gestaltung der Linse eingesetzt werden. Auch modernste Mikro- Antireflexionstechniken können für die Oberflächengestaltung der Linse eingesetzt werden. Anstelle einer derartigen High-Tech-Linse kann auch für das zweite Objektiv auch ein mehrlinsiges Objektiv eingesetzt werden.

Dabei kann das zweite Objektiv so mit einem luftdichten Rezipienten gekoppelt werden, daß das zweite Array, der Scanner, die Innenseite des zweiten Objektivs und die Rezipientenwände das bereits genannte ein Vakuum umschließen. Dabei besitzt der Rezipient ein transparentes Eintrittsfenster, durch welches das Licht aus dem telezentrischen Objektiv auf das zweite Array fällt.

Es ist auch denkbar, daß nur das zweite Array und der Scanner sich im Vakuum befinden. Hierbei stellen jedoch möglicherweise die schiefen Strahlen, die sich aufgrund der große Apertur der Mikrolinsen ergeben, ein Abbildungsproblem in Zusammenhang mit dem dann notwendigen Austrittsfenster dar. Es kann Astigmatismus auftreten.

Bei der Gestaltung des zweiten Arrays können die Kenntnisse der Dynamik bewegter elastischer Körper angewendet werden. Die aufgrund der nicht geringen Beschleunigungskräfte im zweiten Array durch den Hochleistungs-Linearmotor auftretenden dynamischen Verformungen des zweiten Arrays, welches aus Kunststoff bestehen kann, können in die Entstehung der Bilder für den 3D-Effekt eingerechnet werden. Schließlich ist die Oberflächenform des zweiten Arrays grundsätzlich frei wählbar. Die Form des Arrays zu einem bestimmten Zeitpunkt muß nur recht genau bekannt sein. So ist auch eine gekrümmte Form denkbar, beispielsweise im Sinne einer Massen- und Deformationsminimierung. Dies ist möglich, da alle Punkte für die Entstehung der einzelnen Bilder zeitlich und örtlich adressierbar sind.

Das zweite Objektiv kann auch ein Konkav-Spiegel, vorzugsweise in einer Off-axis- Anordnung, sein. Dabei befindet sich das zweite Array dabei in einer On-axis- Position. Zur Korrektur von Abbildungsfehlern kann auch die Kombination von Konkav-Spiegel und einer oder mehrere Linsen gewählt werden. Auch dieser Ansatz kann mit mikrooptischen Komponenten als Fresnel-Spiegel gestaltet werden. Wesentlich ist auch hier nur, daß dieser Spiegel eine einzige optische Achse besitzt.

Es ist völlig klar, daß es bei der 3D-Visualisierung um Datenströme im Giga-Byte- Bereich pro Sekunde gehen kann. Dabei können auch Datenreduktionstechniken eingesetzt werden.

Die Bildaufnahme von realen 3D-Objekten und Szenen kann mit der von der gleichen Anmelderin mit der Priorität vom 5. 11.1997 eingereichten Patentanmeldung mit dem Titel "Verfahren und Apparat zur Erzeugung einer 3D-Punktwolke für die Topometrie (3D-Videometrie) oder die 3D-Vision für Multimedia-Applikationen, (DE- 197 49 974.0-31)" realisiert werden.

6. Ausführungsbeispiele

In der Fig. 1 wird der Apparat zur Erzeugung von 3D-Bildern für die visuelle 3D- Wahrnehmung auf der Basis von virtuellen oder reellen Bildern in den wesentlichen Komponenten dargestellt. Die auf einer adressierbaren lichtgebenden Struktur in Form einer Laserdioden-Matrix entstehende und rechnergesteuerte Lichtbildserie wird durch ein erstes Objektiv mit telezentrischem Ausgang abgebildet.

Das aktuelle Bild gelangt durch ein Fenster auf ein Mikrolinsen-Array mit fokussierenden Mikrolinsen. Jede Mikrolinse stellt einen Bildpunkt dar, von welchem ein weit geöffnetes Bündel aufgrund der relativ großen numerischen Apertur der Mikrolinsen, beispielsweise von 0,3 ausgeht. Das Mikrolinsen-Array ist mit einem rechnergesteuerten hochpräzisen Linear-Scanner verbunden. In der Laserdiodenmatrix werden die Bilder so erzeugt, daß ein reales oder virtuelles 3D- Objekt in Höhenschnitte zerlegt wird und die jeweils an der Oberfläche des 3D- Objektes liegenden Objektpunkte als Bildpunkte auf der Laserdiodenmatrix dargestellt werden. Das 3D-Objekt liegt als 3D-Punktwolke vor. Unter Beachtung der Abbildungsverhältnisse durch das 1. Objektiv wird der Linear-Scanner mit dem Mikrolinsen-Array so bewegt, daß das reale oder virtuelle 3D-Objekt, dessen 3D- Datensatz als Punktwolke und so als Vorlage für die Steuerung der Laserdiodenmatrix diente, in geometrisch ähnlichem Sinne aufgebaut wird.

Zur ungehinderten Bewegung des Mikrolinsen-Arrays befindet sich der Linear- Scanner im Vakuum. Dadurch wird eine Behinderung der hochdynamischen Bewegung durch die Luftreibung ausgeschlossen.

Die von den Mikrolinsen, die faktisch die Bildpunkte darstellen, des Mikrolinsen- Arrays ausgehenden Strahlenbündel werden durch ein zweites Objektiv geführt. Dies ist praktisch eine große Linse mit einer Lupenwirkung, beispielsweise mit einer Brennweite von 400 mm. Diese große Linse kann aus heutiger Sicht ein absolutes High-Tech-Produkt unter Einbeziehung aller modernen optischen Technologien darstellen mit dem Ziel der Korrektur der Abbildung des Mikrolinsen-Arrays unter den realen Bedingungen der Betrachtung des 3D-Bildes durch eine Gruppe von Personen aus unterschiedlichen Tiefen des Wohnraumes.

Aufgrund der stets intrafokalen Lage des Mikrolinsen-Arrays entsteht im Sinne der technischen Optik ein virtuelles Bild, welches von einer oder mehreren Personen direkt wahrgenommen werden kann. Unter Beachtung der gesamten Abbildung von der Laserdiodenmatrix bis zum Auge des oder der Beobachter wird die Laserdiodenmatrix und der Linear-Scanner so gesteuert, daß einerseits ein 3D- Eindruck entsteht, der dem natürlichen Empfinden sehr nahe kommt. Andererseits sind spezielle, auch extrem verzerrende Effekte, speziell für Multimedia- Anwendungen, machbar.

Fig. 2 zeigt die Entstehung des virtuellen Bildes beim Betrachter. Bei der Bewegung des Punktes A auf dem Mikrolinsen-Array von der Position 1 in die Position 2 entstehen die virtuellen Punkte A1' und A2' in der bekannten Art und Weise, nämlich in unterschiedlicher Tiefe und Größe. Diese Abbildungsverhältnisse müssen im Zusammenhang mit der 3D-Punktwolke in die Steuerungsinformation für die Laserdiodenmatrix und den Linear-Scanner umgerechnet werden. So entsteht im Zusammenhang mit der visuellen 3D-Wahrnehmung der 3D-Eindruck beim Betrachter.

Claims (1)

1. Anordnung zur Erzeugung eines Eindrucks von 3D-Bildern für die visuelle Wahrnehmung auf der Basis von virtuellen oder reellen Bildern für die 3D-Vision im 3D-Video-, bzw. 3D-Fernsehbereich, bzw. für 3D-Multimedia-Anwendungen, dadurch gekennzeichnet, daß mittels einer gerasterten, rechnergesteuerten und damit adressierbaren, lichtgebenden Struktur, die grundsätzlich volumenhafter oder flächiger Natur sein kann, beispielsweise ein Array aus mikrooptischen Bauelementen wie ein Mikrolaser-Array oder ein Mikrofaser-Array mit fasergekoppelten, rechnergesteuerten Lichtquellen unterschiedlicher Wellenlänge, bzw. Spektralverteilung ein vorzugsweise planares selbstleuchtendes Teilbild, im Sinne eines beispielsweise achssenkrechten Schnittes durch ein reales oder berechnetes 3D-Objekt, dargestellt wird und die Information über das darzustellende 3D-Bild in Form eines digitalen Datensatzes als 3D-Punktwolke vorliegt und ein erstes Objektiv mit einem telezentrischen Ausgang der lichtgebenden Struktur zugeordnet ist und dem ersten Objektiv ein zweites mikrooptisches Array zugeordnet ist, welches mit einem rechnergesteuerten Linear-Scanner verbunden ist, dem wiederum ein zweites Abbildungsobjektiv zur Erzeugung von virtuellen oder reellen Bildern nachgeordnet ist.