WO2025011782A1

WO2025011782A1 - Verfahren und vorrichtung zur verknüpfung realer aktuatoren mit virtuellen objekten

Info

Publication number: WO2025011782A1
Application number: PCT/EP2024/053712
Authority: WO
Inventors: Thomas PETERSEIL
Original assignee: Individual
Current assignee: Individual
Priority date: 2023-07-13
Filing date: 2024-02-14
Publication date: 2025-01-16
Anticipated expiration: 2026-01-13

Abstract

Anordnung und Verfahren zur datentechnischen Verknüpfung realer Aktuatoren technischer Funktionen eines Geräts (12), die von einer Bedienperson (15) mittels Steuerhebel (1) und auf einem Schalterfeld (7) angeordneten Schaltelementen (6) betätigbar sind, mit computergenerierten, virtuellen Objekten (O) umfassend eine Simulationsrecheneinheit (11) zur Erstellung der virtuellen Objekte (O) und eine tragbare Wiedergabeeinheit (14) zum Einblenden der von der Simulationsrecheneinheit (11) erstellten virtuellen Objekte (O) in das von der Bedienperson (15) wahrgenommene Blickfeld (B) einer realen Umgebung. Es wird vorgeschlagen, dass mittels Betätigungssensoren (3) für die Schaltelemente (6) eine Betätigung eines Schaltelements (6) detektiert und ein entsprechendes Schaltsignal an einen ersten Lagesensor (2) gesendet wird, und der erste Lagesensor (2) die Stellung des Schalthebels (1) detektiert und ein entsprechendes Stellsignal sowie das Schaltsignal an die Simulationsrecheneinheit (11) sendet, und die Simulationsrecheneinheit (11) die technischen Funktionen der Aktuatoren als virtuelle Objekte (O) in Abhängigkeit von den Stellsignalen und den Schaltsignalen simuliert.

Description

Verfahren und Vorrichtung zur Verknüpfung realer Aktuatoren mit virtuellen Objekten

Die Erfindung betrifft eine Anordnung zur datentechnischen Verknüpfung realer, von einer Bedienperson mittels Steuerhebel und auf einem Schalterfeld angeordneten Schaltelementen betätigbarer Aktuatoren technischer Funktionen eines Geräts mit computergenerierten, virtuellen Objekten umfassend eine Simulationsrecheneinheit zur Erstellung der computergenerierten, virtuellen Objekte und eine mit der Simulationsrecheneinheit über eine Signalverbindung verbundene Wiedergabeeinheit zum Einblenden der von der Simulationsrecheneinheit erstellten computergenerierten, virtuellen Objekte in das von der Bedienperson wahrgenommene Blickfeld einer realen Umgebung, insbesondere in das Sichtfeld einer transparenten Datenbrille, gemäß dem Oberbegriff von Anspruch 1. Die Erfindung betrifft des Weiteren ein entsprechendes Verfahren zur datentechnischen Verknüpfung realer Aktuatoren technischer Funktionen eines Geräts mit computergenerierten, virtuellen Objekten, gemäß dem Oberbegriff von Anspruch 6.

Bei der vorliegenden Erfindung handelt es sich um eine Anwendung so genannter „Mixed-Reality (MR) "-Systeme oder „Augmented Reality (AR) "-Systeme. Hierbei erfolgt das Einblenden eines von einer Simulationsrecheneinheit computergenerierten, virtuellen Objektes in das von einer Person wahrgenommene Blickfeld einer realen Umgebung in Abhängigkeit von der momentanen Position und Blickrichtung der Person, für deren Bestimmung in herkömmlicher Weise unterschiedliche Sensoren wie Beschleunigungssensoren (Accelerometer oder G-Sensoren), mitunter auch in Kombination mit Magnetometern und/oder Gyroskopen, sowie GPS-Systeme verwendet werden, die in der Regel an der Wiedergabeeinheit angeordnet sind. Als Wiedergabeeinheiten werden insbesondere Datenbrillen verwendet, also Vorrichtungen, die wie eine Brille getragen werden und in der Lage sind virtuelle Objekte in der realen Welt anzuzeigen und diese Objekte in Relation zu realen Objekten im Raum zu positionieren. Hierfür wird mithilfe einer entsprechenden Transformationsmatrix eine Umrechnung des „virtuellen Koordinatensystems" der virtuellen Szenerie in das Anzeige-Koordinatensystem der Wiedergabeeinheit vorgenommen. Des Weiteren ist es bekannt Wiedergabeeinheiten mit einer Kamera auszustatten, deren kartesisches Koordinatensystem ebenfalls mit dem virtuellen Koordinatensystem und dem Koordinatensystem der Wiedergabeeinheit harmonisiert ist. Position und Raumlage realer Objekte relativ zum Weltkoordinatensystem der realen Umgebung können in weiterer Folge in das virtuelle Koordinatensystem durch Methoden des optischen und sensorgestützten Trackings umgerechnet werden. Solche Datenbrillen werden auch als „Augmented-Reality"- Brillen oder „Mixed-Reality"-Brillen bezeichnet. Eine Person, die eine solche Brille aufgesetzt hat, sieht die Umgebung wie durch eine normale Sehbrille, allerdings können ihr (holographisch virtuelle) Objekte in das Sichtfeld eingeblendet werden. Alternativ ist auch die Verwendung von Linsen denkbar, die als Wiedergabeeinheit das Einblenden von virtuellen Objekten in das Blickfeld des Benutzers erlauben. Unterschiedliche Verfahren und Vorrichtungen zur Weiterbildung solcher AR-Systeme wurden etwa im österreichischen Patent AT 518.667 des Anmelders, im Europäischen Patent EP 3776148 Bl des Anmelders, oder den europäischen Patentanmeldungen EP 19709693.6 und EP 21735597.3 des Anmelders beschrieben.

Eine vielversprechende Anwendung besteht in der Ausbildung und im Training von zivilen und militärischen Einsatzkräften, beispielsweise der Polizei, der Feuerwehr oder des Militärs. Die Einsatzkräfte müssen hierfür mitunter die Bedienung von Geräten wie Spezialfahrzeugen und sonstiger Gerätschaften erlernen, wobei sie sich beispielsweise auf einem Trainingsgelände bewegen und in unterschiedlichen Szenarien richtig reagieren müssen. Im Rahmen der vorliegenden Erfindung ist hierbei auch von Aktuatoren technischer Funktionen dieser Geräte die Rede. Diese Aktuatoren können Stellzylinder und Zündsysteme beispielsweise für die Stellung eines Panzerrohres und die Schussabgabe sein, oder Stellzylinder und Pumpen für die Stellung eines Löschmittelauswerfers und das Auswerfen von Löschmittel eines Flughafenlöschfahrzeuges. Ein Training dieser Art kann in der Praxis sehr aufwändig und auch sehr teuer sein, etwa wenn Soldaten die Bedienung und die Schussabgabe eines Panzers im Gefecht erlernen sollen , oder Einsat z kräfte der Flughafenfeuerwehr das Löschen eines Flugzeugs .

Daher wurden Simulatoren vorgeschlagen, in denen die Bedienkanzel für ein Gerät nachgebaut wird, die auszubildende Person sich aber gänzlich in einer virtuellen Welt bewegt . Der Nachteil solcher Simulatoren besteht aber darin, dass sie die Wirklichkeit nur begrenzt nachbilden können, und zwar insbesondere hinsichtlich der realen Anforderung sich unter Lärm, Erschütterung und Staub mit einem Gerät wie einem Panzer in einem Gefechts feld bewegen zu müssen und einen zielgenauen Schuss abzugeben, was aber genau das Ziel eines solchen Trainings ist .

Für die Ausbildung und das Training von Einsatzkräften wäre es daher am besten, wenn sich die aus zubildende Person mit einem realen Gerät durch ein reales Trainingsgelände bewegen könnte , und dabei vielfältige Szenarien simuliert werden könnten, in denen die aus zubildende Person das Beherrschen des Geräts üben könnte . Mithilfe des Einblendens virtueller Obj ekte könnten vielfältige Szenarien s imuliert werden .

Es besteht daher das Z iel der Erfindung darin Vorrichtungen und Verfahren bereitzustellen, mit denen beispielsweise die zur Ausbildung und zum Training von zivilen und militärischen Einsatz kräften verwendeten technischen Geräte mit AR-Systemen datentechnisch verknüpft werden können . Ausbildung und Training von zivilen und militärischen Einsatzkräften beispielsweise könnten auf diese Weise verbessert und kostengünstiger werden .

Dieses Ziel wird durch die Merkmale von Anspruch 1 erreicht . Anspruch 1 bezieht sich auf eine Anordnung zur datentechnischen Verknüpfung realer , von einer Bedienperson mittels Steuerhebel und auf einem Schalterfeld angeordneten Schaltelementen betätigbarer Aktuatoren technischer Funktionen eines Geräts mit computergenerierten, virtuellen Obj ekten umfassend eine Simulationsrecheneinheit zur Erstellung der computergenerierten, virtuellen Obj ekte und eine mit der Simulationsrecheneinheit über eine Signalverbindung verbundene Wiedergabeeinheit zum Einblenden der von der Simulationsrecheneinheit erstellten computergenerierten, virtuellen Objekte in das von der Bedienperson wahrgenommene Blickfeld einer realen Umgebung, insbesondere in das Sichtfeld einer transparenten Datenbrille. Erfindungsgemäß wird hierbei vorgeschlagen, ein erster Lagesensor für den Steuerhebel, sowie Betätigungssensoren für die Schaltelemente vorgesehen sind, wobei die Betätigungssensoren über eine Signalleitung mit dem ersten Lagesensor verbunden sind und ausgelegt sind eine Betätigung eines Schaltelements zu delektieren und ein entsprechendes Schaltsignal über die Signalleitung an den ersten Lagesensor zu senden, und der erste Lagesensor über eine erste Datenverbindung mit der Simulationsrecheneinheit verbunden ist und ausgelegt ist die Stellung des Schalthebels zu delektieren und ein entsprechendes Stellsignal sowie das Schaltsignal an die Simulationsrecheneinheit zu senden, und die Simulationsrecheneinheit ausgelegt ist die technischen Funktionen der Aktuatoren als computergenerierte, virtuelle Objekte zum Einblenden in das von der Bedienperson wahrgenommene Blickfeld einer realen Umgebung in Abhängigkeit von den Stellsignalen und den Schaltsignalen zu simulieren, wobei die Betätigungssensoren einen flächigen Träger mit zumindest einem Flächenbereich umfassen, der in seiner Formgebung der Oberflächenform des Schalterfelds entspricht, und auf dem Sensorelemente in Positionierungen angeordnet sind, die der Positionierung der Schaltelemente auf dem Schalterfeld entsprechen.

Die Erfindung bezieht sich somit auf Geräte, bei denen bestimmte Funktionen des Geräts über einen Steuerhebel und Schaltelemente, die auf dem Schalterfeld angeordnet sind, gesteuert werden. Mit dem Steuerhebel („Joystick") und den Schaltelementen werden unterschiedliche Aktuatoren technischer Funktionen betätigt, beispielsweise Stellzylinder, Zündsysteme, Pumpen, Stellmotoren und dergleichen. Erfindungsgemäß ist für die Abnahme der Stellbewegungen des Steuerhebels ein erster Lagesensor vorgesehen, der die räumliche Stellung des Steuerhebels delektiert, die in herkömmlicher Weise das Stellsignal für einen Aktuator des Geräts erzeugt. Dieser Lagesensor wird am Steuerhebel des Geräts befestigt. Es ist also nicht notwendig in die Steuerung des Geräts einzugreifen, um die Stellsignale zu erhalten, sondern die Stellungen des Steuerhebels werden durch die erfindungsgemäße Anordnung eigens abgenommen und daraus die Stellsignale gewonnen. Der Lagesensor kann etwa als IMU („Inertial Measurement Unit"; Inertiale Messeinheit) ausgeführt sein. IMUs sind an sich bekannt und ermöglichen die Detektion und Messung von Translationen sowie Rotationen mithilfe von Inertialsensoren wie Beschleunigungssensoren und Drehratensensoren. Aus diesen Messwerten kann die momentane Stellung des Steuerhebels errechnet werden. Als Beschleunigungssensoren eignen sich für die erfindungsgemäße Anordnung beispielsweise herkömmliche Sensoren mit einer Auflösung von 16-Bit und einer Abtastrate von 400 Hz. Als Drehratensensoren eignen sich für die erfindungsgemäße Anordnung beispielsweise herkömmliche Gyroskope mit einer Auflösung von 16-Bit und einer Abtastrate von 400 Hz. Um die Genauigkeit der Messung zu verbessern und eine Langzeitdrift zu korrigieren werden in IMUS zumeist auch Magnetfeldsensoren verwendet .

Die Betätigungssensoren detektieren eine Betätigung der Schaltelemente, Wie in weiterer Folge noch genauer erläutert werden wird. Da es eine Vielzahl an unterschiedlichen Schaltelementen gibt, etwa Tastschalter, Kippschalter, Wippschalter, Kontaktschalter, Schiebeschalter und dergleichen, wird auch die Ausführung der Betätigungssensoren variieren, wobei jedem Schaltelement ein Betätigungssensor zugeordnet ist. Bei Verwendung mehrerer Schaltelemente sind entsprechend mehrere Betätigungssensoren vorgesehen. Bei Verwendung unterschiedlicher Schaltertypen können auch Betätigungssensoren unterschiedlicher Ausführung vorgesehen sein. In der Regel sind diese Schaltelemente aber in räumlicher Nähe zueinander angeordnet, um eine rasche und einfache Bedienung zu ermöglichen. Die Fläche, über die diese Schaltelemente verteilt angeordnet sind, wird auch als Schalterfeld bezeichnet.

Die erfindungsgemäße Architektur sieht des Weiteren vor, dass die Betätigungssensoren über eine Signalleitung mit dem ersten Lagesensor verbunden ist, und der erste Lagesensor über eine erste Datenverbindung mit der Simulationsrecheneinheit. Der erste Lagesensor ist hierfür mit Schnittstellen für die Signalleitungen versehen, die beispielsweise als USB- Schnittstellen ausgeführt sind. Über diese Schnittstellen können Messungen der Betätigungssensoren in Echtzeit gestreamt werden. Die erste Datenverbindung zwischen Lagesensor und Simulationsrecheneinheit ist vorzugsweise drahtlos ausgeführt, beispielsweise über ein WLAN. Falls mehrere Steuerhebel mit jeweils einem Lagesensor verwendet werden, können die Lagesensoren drahtlos synchronisiert werden, indem alle Messungen mit einem Zeitstempel einer gemeinsamen Uhr versehen werden. Hierfür sind die Lagesensoren mit einem gemeinsamen Router verbunden. Ein solches synchronisiertes Netzwerk lässt sich beispielsweise mit einem WLAN-Router und USB-Ladehubs verwirklichen .

Die Simulationsrecheneinheit ist erfindungsgemäß ausgelegt die technischen Funktionen der Aktuatoren als computergenerierte, virtuelle Objekte zum Einblenden in das von der Bedienperson wahrgenommene Blickfeld einer realen Umgebung in Abhängigkeit von den Stellsignalen und den Schaltsignalen zu simulieren. Somit besteht nicht nur die Möglichkeit die technische Funktion an sich zu simulieren, also der Bedienperson beispielsweise das Heben und Senken eines Panzerrohres oder eine Schussabgabe als virtuelle Objekte in sein Blickfeld zu projizieren, sondern auch die Möglichkeit eine Interaktion dieser technischen Funktionen mit realen oder virtuellen Objekten zu simulieren, beispielsweise die Detonation eines virtuellen Schusses in einem virtuellen Ziel, oder die Bekämpfung von virtuellen Flammen an einem Flugzeug mithilfe von virtuellem Löschmittel. Die erfindungsgemäße Anordnung dient somit der datentechnischen Verknüpfung realer Aktuatoren technischer Funktionen eines Geräts mit computergenerierten, virtuellen Objekten, sodass technische Funktionen des Geräts wie die Schussabgabe eines Panzers oder das Auswerfen von Löschmittel eines Löschfahrzeuges als virtuelle Objekte simuliert werden können. Die Bedienperson kann dabei mit dem realen Gerät unter realen Einsatzbedingungen hantieren, und auch die Steuerung des Geräts wird an sich nicht verändert. Nur müsste bei den oben genannten Beispielen eines Panzers etwa keine reale Schussabgabe erfolgen, oder bei einem Flughafenlöschfahrzeug müsste kein reales Löschmittel ausgeworfen werden.

Hinsichtlich des Betätigungssensors wird vorgeschlagen, dass es sich bei den Sensorelementen jeweils um Membran-Taster handelt, und der flächige Träger als PCB-Leiterplatte ausgeführt ist, die an den Positionen der Sensorelemente mit Ausnehmungen versehen ist. Eine solche Ausführung ist einfach und kostengünstig ausführbar und eignet sich für weitestgehend ebene Schalterfelder, sodass der flächige Träger keine oder nur geringe Krümmung aufweisen muss, weil PCB-Leiterplatten weitestgehend starr sind. An den Positionen der Sensorelemente, die erfindungsgemäß den Positionen der Schaltelemente entsprechen, ist die Leiterplatte mit Ausnehmungen versehen. Handelt es sich bei den Schaltelementen beispielsweise um Tastschalter, können die Tastschalter über die Ausnehmungen der Leiterplatte uneingeschränkt betätigt werden. Die Membran-Taster befinden sich an den Stellen der Ausnehmungen, indem die Membran-Taster die Ausnehmungen bedecken, sodass bei einer Betätigung eines Tastschalters auch der Membran-Taster betätigt wird. Membran-Taster sind in unterschiedlicher Ausführung bekannt und werden in der Regel mithilfe mehrerer Folienlagen verwirklicht, wobei auf einer Grundfolie eine Trennfolie und eine Deckfolie angeordnet sind und durch Drücken Leiterbahnen der Trennfolie mit Leiterbahnen der Grundfolie elektrisch kontaktiert werden. Der flächige Träger wird mit zumindest einem Flächenbereich in Größe und Formgebung der Oberflächenform des Schalterfelds angepasst und am Schalterfeld befestigt. In dieser Gebrauchslage sind in diesem Flächenbereich die Sensorelemente in Positionierungen angeordnet, die der Positionierung der Schaltelemente auf dem Schalterfeld entsprechen.

Alternativ wird vorgeschlagen, dass es sich bei den Sensorelementen jeweils um Drucksensoren handelt, und der flächige Träger aus einem flexiblen Material gefertigt ist, an dem die Drucksensoren befestigt sind. Eine solche Ausführung eignet sich für Schalterfelder mit starker Krümmung, beispielsweise für Schalterfelder, die am Steuerhebel selbst vorgesehen sind. Bei dem flexiblen Material kann es sich etwa um ein Textil handeln, sodass der flächige Träger ein textiler Träger ist. Bei textilen Trägern handelt es sich um flächenförmige textile Gebilde wie Gewebe, Gewirke, Gestricke, Geflechte, Nähgewirke, Vliesstoffe oder Filze, oder um daraus gefertigte räumliche Gebilde, die aus textilen Rohstoffen wie Naturfasern oder Chemiefasern hergestellt werden. Hinsichtlich solcher textiler Träger ist es bekannt sie mit elektronischen Bauelementen zu versehen, beispielsweise mit Sensoren für Temperatur oder Druck, die über den textilen Träger verteilt angeordnet sind. Mit solchen elektronischen Bauelementen ausgestattete textile Träger werden auch als „Intelligente Textilien" (smart textiles) bezeichnet. Diese elektronischen Bauelemente sind dabei als Einheiten ausgeführt, die über elektrische Leitungen, die sich über den textilen Träger erstrecken, mit Stromquellen oder mit sonstigen Komponenten verbunden sind. Im Rahmen der erfindungsgemäßen Anordnung können somit Drucksensoren an den Positionen der Schaltelemente am textilen Träger angeordnet sein, der in weiterer Folge am Schalterfeld befestigt wird, indem es beispielsweise über das Schalterfeld gespannt wird. Aufgrund der Flexibilität des flächigen Trägers entspricht er in dieser Gebrauchslage in seinem über das Schalterfeld gespannten Flächenbereich in seiner Formgebung der Oberflächenform des Schalterfelds. In dieser Gebrauchslage sind in diesem Flächenbereich die Sensorelemente in Positionierungen angeordnet, die der Positionierung der Schaltelemente auf dem Schalterfeld entsprechen.

Der erste Lagesensor ermittelt die Raumlage des Steuerhebels relativ zum Weltkoordinatensystem, sodass die so ermittelten Stellsignale nur dann unmittelbar verwendbar sind, wenn das Bezugssystem des Steuerhebels relativ zum Weltkoordinatensystem ruht. Das ist etwa dann der Fall, wenn der Steuerhebel in einer ruhenden Bedienkanzel angeordnet ist, von der aus ein externes Gerät gesteuert wird, oder wenn der Steuerhebel zwar am Gerät angeordnet ist, das aber im Betrieb ruht. Wenn der Steuerhebel an einem sich im Betrieb bewegenden Gerät angeordnet ist, beispielsweise an einem Einsatzfahrzeug, verändert sich die absolute Stellung des Steuerhebels relativ zum Weltkoordinatensystem bereits durch die Änderung der Raumlage des bewegten Geräts. Daher wird für diesen Fall vorgeschlagen, dass ein zweiter Lagesensor für das Gerät vorgesehen ist, der über eine zweite Datenverbindung mit der Simulationsrecheneinheit verbunden ist und ausgelegt ist die Raumlage des Geräts zu detektieren und ein entsprechendes Korrektursignal für das Stellsignal des ersten Lagesensors an die Simulationsrecheneinheit zu senden. Das für die Ansteuerung der Aktivatoren des Geräts relevante Stellsignal ist somit das Differenzsignal aus dem ersten und dem zweiten Lagesensor. Auch die zweite Datenverbindung zwischen dem zweiten Lagesensor und der Simulationsrecheneinheit ist vorzugsweise drahtlos ausgeführt, beispielsweise über ein WLAN.

Die Erfindung bezieht sich des Weiteres auf ein entsprechendes Verfahren zur datentechnischen Verknüpfung realer, von einer Bedienperson mittels Steuerhebel und auf einem Schalterfeld angeordneten Schaltelementen betätigbarer Aktuatoren technischer Funktionen eines Geräts mit computergenerierten, virtuellen Objekten mittels einer Simulationsrecheneinheit zur Erstellung computergenerierter, virtueller Objekte, und einer Wiedergabeeinheit zum Einblenden der computergenerierten, virtuellen Objekte in das von der Bedienperson wahrgenommene Blickfeld einer realen Umgebung, insbesondere in das Sichtfeld einer transparenten Datenbrille. Erfindungsgemäß wird dabei vorgeschlagen, dass mittels Betätigungssensoren für die Schaltelemente eine Betätigung eines Schaltelements detektiert und ein entsprechendes Schaltsignal über eine Signalleitung an einen ersten Lagesensor für den Steuerhebel gesendet wird, und der erste Lagesensor die Stellung des Schalthebels detektiert und ein entsprechendes Stellsignal sowie das Schaltsignal an die mit dem ersten Lagesensor über eine erste Datenverbindung verbundene Simulationsrecheneinheit sendet, und die Simulationsrecheneinheit die technischen Funktionen der Aktuatoren als computergenerierte, virtuelle Objekte in Abhängigkeit von den Stellsignalen und den Schaltsignalen simuliert und mithilfe der Wiedergabeeinheit in das von der Bedienperson wahrgenommene Blickfeld einer realen Umgebung einblendet .

Für den Fall, dass der Steuerhebel an einem sich im Betrieb bewegenden Gerät angeordnet ist, wird wiederum vorgeschlagen, dass mittels eines über eine zweite Datenverbindung mit der Simulationsrecheneinheit verbundenen zweiten Lagesensors für das Gerät die Raumlage des Geräts detektiert und ein entsprechendes Korrektursignal für das Stellsignal des ersten Lagesensors an die Simulationsrecheneinheit gesendet wird.

Die Erfindung wird in weiterer Folge anhand von Ausführungsbeispielen mithilfe der beiliegenden Zeichnungen näher erläutert. Es zeigen dabei die

Fig. 1 eine mögliche Ausführung eines Steuerhebels, der mit der erfindungsgemäßen Anordnung versehen ist, und die

Fig. 2 eine schematische Darstellung einer Anwendung der erfindungsgemäßen Anordnung.

Die Fig. 1 zeigt eine Ausführungsform eines Steuerhebels 1 für ein technisches Gerät 12, beispielsweise ein Flughafenlöschfahrzeug. Mit dem Steuerhebel 1 werden im herkömmlichen Betrieb Aktuatoren für technische Funktionen des Geräts 12 gesteuert, beispielsweise Stellzylinder für die Stellung eines Löschmittelauswerfers 13 des Flughafenlöschfahrzeuges (siehe auch Fig. 2). Die technische Funktion wäre in diesem Beispiel das Verstellen der Raumlage des Löschmittelauswerfers 13. Auf dem Steuerhebel 1 sind im gezeigten Ausführungsbeispiel der Fig. 1 vier Schaltelemente 6.1, 6.2, 6.3 und 6.4 in jeweils unterschiedlicher Ausführung angeordnet, die im gezeigten Ausführungsbeispiel jedoch alle durch Tastendruck betätigt werden. Ein Schaltelement 6.3 ist beispielsweise als Tastschalter ausgeführt, der im herkömmlichen Betrieb einen als Pumpe ausgeführten Aktuator betätigt, sodass über den Löschmittelauswerfer 13 Löschmittel ausgeworfen wird. Die technische Funktion dieses Aktuators wäre in diesem Fall das Auswerfen eines Löschmittels. Anzahl und Ausführung der Schaltelemente 6 können freilich variieren, in weiterer Folge wird zur Erläuterung der Erfindung lediglich auf die technische Funktion des Verstellens des Löschmittelauswerfers 13 mithilfe des Steuerhebels 1 und auf die technische Funktion des Auswerfens von Löschmittel mithilfe des Schaltelements 6.3 eingegangen.

Die Schaltelemente 6 sind auf einem Schalterfeld 7 des Steuerhebels 1 angeordnet. Das Schalterfeld 7 ist im gezeigten Ausführungsbeispiel annähernd planar, allerdings sind die Schaltelemente 6 räumlich eng aneinander angeordnet. Um die Betätigung der Schaltelemente 6 zu detektieren ist ein Betätigungssensor 3 mit einem flächigen Träger 9 aus einem flexiblen Material vorgesehen, an dem Drucksensoren als Sensorelemente 8 für die Schaltelemente 6 befestigt sind. Jedem der Schaltelemente 6.1, 6.2, 6.3 und 6.4 ist dabei ein Sensorelement 8.1, 8.2, 8.3 und 8.4 zugeordnet. Bei dem flexiblen Material kann es sich etwa um ein Textil handeln, sodass der flächige Träger 9 ein textiler Träger ist. Bei textilen Trägern handelt es sich wie erwähnt um flächenförmige textile Gebilde wie Gewebe, Gewirke, Gestricke, Geflechte, Nähgewirke, Vliesstoffe oder Filze, und um daraus gefertigte räumliche Gebilde, die aus textilen Rohstoffen wie Naturfasern oder Chemiefasern hergestellt werden. Über den textilen Träger sind die Sensorelemente 8 verteilt angeordnet und über elektrische Leitungen, die sich über den textilen Träger erstrecken, mit Stromquellen oder mit sonstigen Komponenten verbunden. Der flächige Träger 9 des Betätigungssensors 3 kann am Schalterfeld 7 befestigt werden, indem er beispielsweise über das Schalterfeld 7 gespannt wird und durch Spannungselastizität am Steuerhebel 1 haftet. In der Fig. 1 ist der Betätigungssensor 3 zur besseren Übersichtlichkeit der Zeichnung noch abgehoben vom Steuerhebel 1 gezeigt, in der Gebrauchslage befindet sich der Betätigungssensor 3 jedoch in Anlage mit dem oberen Bereich des Steuerhebels 1 und insbesondere mit dem Schalterfeld 7. Aufgrund der Flexibilität des flächigen Trägers 9 entspricht er in dieser Gebrauchslage in seinem über das Schalterfeld 7 gespannten Flächenbereich in seiner Formgebung der Oberflächenform des Schalterfelds 7, weil er sich dieser anpasst. In dieser Gebrauchslage sind in diesem Flächenbereich die Sensorelemente 8.1, 8.2, 8.3 und 8.4 in Positionierungen angeordnet, die der Positionierung der Schaltelemente 6.1, 6.2, 6.3 und 6.4 auf dem Schalterfeld 7 entsprechen, sodass die Sensorelemente 8.1, 8.2, 8.3 und 8.4 eine Betätigung eines Schaltelements 6.1, 6.2, 6.3 und 6.4 detektieren. Die Bedienbarkeit des Steuerhebels 1 ist dabei aber in keiner Weise beeinträchtigt, weil die Schaltelemente 6.1, 6.2, 6.3 und 6.4 weiterhin betätigt werden können und dabei die Aktuatoren steuern.

Im gezeigten Ausführungsbeispiel ist lediglich ein Betätigungssensor 3 gezeigt, es könnten aber auch mehrere Betätigungssensoren 3 vorgesehen sein, falls das Gerät mit mehreren Schalterfelder 7 versehen ist.

Wird die Betätigung eines Schaltelements 6.1, 6.2, 6.3 und 6.4 detektiert, so wird ein entsprechendes Schaltsignal vom Betätigungssensor 3 an einen ersten Lagesensor 2 gesendet. Der Betätigungssensor 3 ist hierfür über eine Signalleitung 10 mit dem ersten Lagesensor 2 verbunden, der am Steuerhebel 1 befestigt ist. Der erste Lagesensor 2 ist mit Schnittstellen für die Signalleitung 10 versehen, die beispielsweise als USB- Schnittstellen ausgeführt sind. Über diese Schnittstellen können Messungen des Betätigungssensors 3 in Echtzeit gestreamt werden.

Der erste Lagesensor 2 ist am Steuerhebel 1 befestigt und kann etwa als IMU („Inertial Measurement Unit"; Inertiale Messeinheit) ausgeführt sein. IMUs sind an sich bekannt und ermöglichen die Detektion und Messung von Translationen sowie Rotationen mithilfe von Inertialsensoren wie Beschleunigungssensoren und Drehratensensoren in allen drei Raumrichtungen, wie anhand der drei Pfeile in der Fig. 1 angedeutet wird. Aus diesen Messwerten kann die momentane Stellung des Steuerhebels 1 errechnet werden. Als Beschleunigungssensoren eignen sich beispielsweise herkömmliche Sensoren mit einer Auflösung von 16-Bit und einer Abtastrate von 400 Hz. Als Drehratensensoren eignen sich für die erfindungsgemäße Anordnung beispielsweise herkömmliche Gyroskope mit einer Auflösung von 16-Bit und einer Abtastrate von 400 Hz. Um die Genauigkeit der Messung zu verbessern und eine Langzeitdrift zu korrigieren werden in IMUS zumeist auch Magnetfeldsensoren verwendet. Mithilfe des ersten Lagesensors 2 werden die Stellbewegungen des Steuerhebels 1 detektiert, die in herkömmlicher Weise das Stellsignal für einen Aktuator des Geräts 12 erzeugen. Es ist also nicht notwendig in die Steuerung des Geräts 12 einzugreifen, um beispielsweise von einem internen Prozessor des Geräts 12 die Stellsignale zu erhalten, sondern die Stellungen des Steuerhebels 1 werden durch den ersten Lagesensor 2 eigens abgenommen und daraus die Stellsignale gewonnen. Es ist lediglich eine Kenntnis über die Umwandlung einer Stellbewegung des Steuerhebels 1 in ein Stellsignal erforderlich, die aber allgemein bekannt ist. So funktionieren Steuerhebel 1 zumeist über eine inkrementale Steuerung, das heisst, dass beispielsweise eine Stellbewegung des Steuerhebels 1 nach vorne eine Betätigung eines Aktuators in Inkrementen bewirkt, die so lange anhält, bis der Steuerhebel 1 wieder in eine neutrale Lage gebracht wird. Ein größerer Stellwinkel des Steuerhebels 1 bewirkt dabei einen rascheren Ablauf der inkrementalen Betätigung des Aktuators, und ein kleinerer Stellwinkel einen langsameren Ablauf der inkrementalen Betätigung des Aktuators. Beide Stelldaten eines solchen Steuerhebels 1, also Stellwinkel und Dauer der Stellbewegung, können über den ersten Lagesensor 2 als Stellsignal gewonnen werden.

Das Stellsignal und allfällige Schaltsignale werden in weiterer Folge vom ersten Lagesensor 2 über eine erste Datenverbindung 4 an eine externe Simulationsrecheneinheit 11 gesendet. Die erste Datenverbindung 4 ist vorzugsweise drahtlos ausgeführt, beispielsweise über ein WLAN. Die Simulationsrecheneinheit 11 ist dazu ausgelegt die technischen Funktionen der Aktuatoren des Geräts 12 als computergenerierte, virtuelle Objekte 0 in Abhängigkeit von den Stellsignalen und den Schaltsignalen zu simulieren und diese technischen Funktionen als virtuelle Objekte 0 in das von der Bedienperson 15 wahrgenommene Blickfeld B einer realen Umgebung mithilfe der Wiedergabeeinheit 14 einzublenden (siehe auch Fig. 2). Für die Simulierung der technischen Funktionen kann entweder auf Daten des Herstellers des technischen Geräts 12 zurückgegriffen werden, aus denen sich die Umsetzung eines

Stell- und Schaltsignals in entsprechende technische Funktionen ergeben, oder die Umsetzung wird gewissermaßen kalibriert, indem gemessene Stell- und Schaltsignale mit beobachteten technischen Funktionen des Geräts 12 verknüpft werden.

Der erste Lagesensor 2 ermittelt die Raumlage des Steuerhebels 1 relativ zum Weltkoordinatensystem, sodass die so ermittelten Stellsignale nur dann unmittelbar verwendbar sind, wenn das Bezugssystem des Steuerhebels 1 relativ zum Weltkoordinatensystem ruht. Das ist etwa dann der Fall, wenn der Steuerhebel 1 in einer ruhenden Bedienkanzel angeordnet ist, von der aus ein externes Gerät 12 gesteuert wird, oder wenn der Steuerhebel 1 zwar am Gerät 12 angeordnet ist, das aber im Betrieb ruht. Wenn der Steuerhebel 1 an einem sich im Betrieb bewegenden Gerät 12 angeordnet ist, beispielsweise an einem Löschfahrzeug, verändert sich die absolute Stellung des Steuerhebels 1 relativ zum Weltkoordinatensystem bereits durch die Änderung der Raumlage des bewegten Geräts 12. Daher ist ein am Gerät 12 befestigbarer, zweiter Lagesensor 5 vorgesehen, der über eine zweite Datenverbindung 16 mit der Simulationsrecheneinheit 11 verbunden ist und ausgelegt ist die Raumlage des Geräts 12 zu detektieren und ein entsprechendes Korrektursignal für das Stellsignal des ersten Lagesensors 2 an die Simulationsrecheneinheit 11 zu senden. Das für die Ansteuerung der Aktivatoren des Geräts 12 relevante Stellsignal ist somit das Differenzsignal aus dem ersten Lagesensor 2 und dem zweiten Lagesensor 5. Der zweite Lagesensor 5 ist ebenfalls als IMU („Inertial Measurement Unit"; Inertiale Messeinheit) ausgeführt. Als Beschleunigungssensoren eignen sich herkömmliche Sensoren mit einer Auflösung von 16-Bit und einer Abtastrate von 400 Hz. Als Drehratensensoren eignen sich beispielsweise herkömmliche Gyroskope mit einer Auflösung von 16-Bit und einer Abtastrate von 400 Hz. Um die Genauigkeit der Messung zu verbessern und eine Langzeitdrift zu korrigieren können auch Magnetfeldsensoren verwendet werden. Auch die zweite Datenverbindung 16 ist vorzugsweise drahtlos ausgeführt, beispielsweise über ein WLAN. Die Generierung und Wiedergabe eines virtuellen Objekts 0 durch die Simulationsrecheneinheit 11 ist grundsätzlich bekannt. Im Rahmen der Erfindung simuliert die Simulationsrecheneinheit 11 die technischen Funktionen der Aktuatoren als computergenerierte, virtuelle Objekte 0 in Abhängigkeit von den Stellsignalen und den Schaltsignalen und blendet sie mithilfe der Wiedergabeeinheit 14 in das von der Bedienperson 15 wahrgenommene Blickfeld B einer realen Umgebung ein, wie in weiterer Folge anhand der Fig. 2 erläutert wird. Die Simulationsrecheneinheit 11 ist hierfür über die erste Datenverbindung 4 mit dem ersten Lagesensor 2 für den Steuerhebel 1, über die zweite Datenverbindung 16 mit dem zweiten Lagesensor 5 für das Gerät 12 und über eine Signalverbindung 17 mit der Wiedergabeeinheit 14 verbunden. Auch die Signalverbindung 17 ist vorzugsweise drahtlos ausgeführt, beispielsweise über ein WLAN. Die Wiedergabeeinheit 14 ist in der Fig. 2 als eine von der Bedienperson 15 am Kopf tragbare Wiedergabeeinheit 14 beispielsweise in Form einer Datenbrille ausgeführt. Es ist zum Anmeldezeitpunkt aber eine zunehmende Miniaturisierung der Wiedergabeeinheit 14 beobachtbar, sodass nicht auszuschließen ist, dass sie zukünftig auch als eine im Auge tragbare Linse ausgeführt sein kann.

Bei dem in der Fig. 2 gezeigten Beispiel eines Flughafenlöschfahrzeuges handelt es sich bei den Stellsignalen beispielsweise um Stellsignale für den Löschmittelauswerfer 13, die somit die Positionierung des Löschmittelauswerfers 13 festlegen. Eine Bedienperson 15 könnte in der praktischen Anwendung im Löschfahrzeug sitzen und über den Steuerhebel 1 den Löschmittelauswerfer 13 in herkömmlicher Weise verstellen und auch die entsprechenden Aktuatoren bedienen, sodass sich der Löschmittelauswerfer 13 tatsächlich bewegt. Über den ersten Lagesensor 2 verfügt aber auch die Simulationsrecheneinheit 11 über die Daten über die aktuelle Positionierung des Löschmittelauswerfers 13. Die Bedienperson 15 kann auch die Schaltelemente 6.1, 6.2, 6.3 und 6.4 uneingeschränkt betätigen, und etwa über Betätigung des Schaltelements 6.3 die technische Funktion des Auswerfens von Löschmittel auslösen. Im Zuge einer Simulation sind aber die entsprechenden Pumpen stromlos gesetzt, oder es befindet sich kein Löschmittel an Bord des Löschfahrzeuges, sodass kein physisches Löschmittel ausgeworfen wird. Stattdessen berechnet die Simulationsrecheneinheit 11 aus den bekannten Stellsignalen die Wurfbahn für das Loschmittel, und blendet der Bedienperson 15 bei Detektierung des entsprechenden Schaltsignals vom Schaltelement 6.3 das Löschmittel als computergeneriertes, virtuelles Objekt 0 in das Blickfeld B der realen Umgebung, etwa in das Sichtfeld einer transparenten Datenbrille, ein.

Des Weiteren besteht auch die Möglichkeit eine Interaktion dieser technischen Funktion des Auswurfes eines als computergeneriertes, virtuelles Objekt 0 eingeblendeten Löschmittels mit realen oder virtuellen Objekten zu simulieren, beispielsweise die Bekämpfung von virtuellen Flammen an einem echten oder virtuellen Flugzeug. Die erfindungsgemäße Anordnung dient somit der datentechnischen Verknüpfung realer Aktuatoren technischer Funktionen eines Geräts 12 mit computergenerierten, virtuellen Objekten 0, sodass technische Funktionen des Geräts 12 wie das Auswerfen von Löschmittel eines Löschfahrzeuges als virtuelle Objekte 0 simuliert werden können. Die Bedienperson 15 kann dabei mit dem realen Gerät 12 unter realen Einsatzbedingungen hantieren, und auch die Steuerung des Geräts 12 wird an sich nicht verändert.

Die Erfindung stellt somit eine Vorrichtung und ein Verfahren bereit, mit denen beispielsweise die zur Ausbildung und zum Training von zivilen und militärischen Einsatzkräften verwendeten technischen Geräte 12 mit AR-Systemen datentechnisch verknüpft werden können. Ausbildung und Training von zivilen und militärischen Einsatzkräften beispielsweise können auf diese Weise verbessert und kostengünstiger ausgeführt werden.

Claims

Patentansprüche:

1.Anordnung zur datentechnischen Verknüpfung realer, von einer Bedienperson (15) mittels Steuerhebel (1) und auf einem Schalterfeld (7) angeordneten Schaltelementen (6) betätigbarer Aktuatoren technischer Funktionen eines Geräts (12) mit computergenerierten, virtuellen Objekten (0) umfassend eine Simulationsrecheneinheit (11) zur Erstellung der computergenerierten, virtuellen Objekte (0) und eine mit der Simulationsrecheneinheit (11) über eine Signalverbindung (17) verbundene Wiedergabeeinheit (14) zum Einblenden der von der Simulationsrecheneinheit (11) erstellten computergenerierten, virtuellen Objekte (0) in das von der Bedienperson (15) wahrgenommene Blickfeld (B) einer realen Umgebung, insbesondere in das Sichtfeld einer transparenten Datenbrille, dadurch gekennzeichnet, dass ein erster Lagesensor (2) für den Steuerhebel (1), sowie Betätigungssensoren (3) für die Schaltelemente (6) vorgesehen sind, wobei die Betätigungssensoren (3) über eine Signalleitung (10) mit dem ersten Lagesensor (2) verbunden sind und ausgelegt sind eine Betätigung eines Schaltelements (6) zu detektieren ^:und ein entsprechendes Schaltsignal über die Signalleitung (10) an den ersten Lagesensor (2) zu senden, und der erste Lagesensor (2) über eine erste Datenverbindung (4) mit der Simulationsrecheneinheit (11) verbunden ist und ausgelegt ist die Stellung des Schalthebels (1) zu detektieren und ein entsprechendes Stellsignal sowie das Schaltsignal an die Simulationsrecheneinheit (11) zu senden, und die Simulationsrecheneinheit (11) ausgelegt ist die technischen Funktionen der Aktuatoren als computergenerierte, virtuelle Objekte (0) zum Einblenden in das von der Bedienperson (15) wahrgenommene Blickfeld (B) einer realen Umgebung in Abhängigkeit von den Stellsignalen und den Schaltsignalen zu simulieren, wobei die Betätigungssensoren (3) einen flächigen Träger (9) mit zumindest einem Flächenbereich umfassen, der in seiner Formgebung der Oberflächenform des Schalterfelds (7) entspricht, und auf dem Sensorelemente (8) in Positionierungen angeordnet sind, die der Positionierung der Schaltelemente (6) auf dem Schalterfeld (7) entsprechen.

2. Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei den Sensorelementen (8) jeweils um Membran-Taster handelt, und der flächige Träger (9) als PCB-Leiterplatte ausgeführt ist, die an den Positionen der Sensorelemente (8) mit Ausnehmungen versehen ist.

3.Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei den Sensorelementen (8) jeweils um Drucksensoren handelt, und der flächige Träger (9) aus einem flexiblen Material gefertigt ist, an dem die Drucksensoren befestigt sind.

4.Anordnung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein zweiter Lagesensor (5) für das Gerät (12) vorgesehen ist, der über eine zweite Datenverbindung (16) mit der Simulationsrecheneinheit (11) verbunden ist und ausgelegt ist die Raumlage des Geräts (12) zu detektieren und ein entsprechendes Korrektursignal für das Stellsignal des ersten Lagesensors (2) an die Simulationsrecheneinheit (11) zu senden.

5. Gerät (12) mit einer Anordnung nach einem der Ansprüche 1 bis 4.

6. Verfahren zur datentechnischen Verknüpfung realer, von einer Bedienperson (15) mittels Steuerhebel (1) und auf einem Schalterfeld (7) angeordneten Schaltelementen (6) betätigbarer Aktuatoren technischer Funktionen eines Geräts (12) mit computergenerierten, virtuellen Objekten (0) mittels einer Simulationsrecheneinheit (11) zur Erstellung computergenerierter, virtueller Objekte (0), und einer Wiedergabeeinheit (14) zum Einblenden der computergenerierten, virtuellen Objekte (0) in das von der Bedienperson (15) wahrgenommene Blickfeld (B) einer realen Umgebung, insbesondere in das Sichtfeld einer transparenten Datenbrille, dadurch gekennzeichnet, dass mittels Betätigungssensoren (3) für die Schaltelemente (6) eine Betätigung eines Schaltelements (6) detektiert und ein entsprechendes Schaltsignal über eine Signalleitung (10) an einen ersten Lagesensor (2) für den Steuerhebel (1) gesendet wird, und der erste Lagesensor (2) die Stellung des Schalthebels (1) detektiert und ein entsprechendes Stellsignal sowie das Schaltsignal an die mit dem ersten Lagesensor (2) über eine erste Datenverbindung (4) verbundene Simulationsrecheneinheit (11) sendet, und die Simulationsrecheneinheit (11) die technischen Funktionen der Aktuatoren als computergenerierte, virtuelle Objekte (0) in Abhängigkeit von den Stellsignalen und den Schaltsignalen simuliert und mithilfe der Wiedergabeeinheit (14) in das von der Bedienperson (15) wahrgenommene Blickfeld (B) einer realen Umgebung einblendet.

7.Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mittels eines über eine zweite Datenverbindung (16) mit der Simulationsrecheneinheit (11) verbundenen zweiten Lagesensors (5) für das Gerät (12) die Raumlage des Geräts (12) detektiert und ein entsprechendes Korrektursignal für das Stellsignal des ersten Lagesensors (2) an die Simulationsrecheneinheit (11) gesendet wird.