WO2013011090A2 - Assistenzsystem - Google Patents

Abstract

Die Erfindung betrifft ein Assistenzsystem (1, 25) zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke (2) mit - einer Zustandserfassungseinheit (3) zum Erfassen zumindest eines Zustandes (5, 5a) der Regelstrecke (2), wobei - einer akustischen Aufnahmeeinheit (9, 27), die zum Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation (24) zwischen mindestens zwei Personen (21, 22) ausgebildet ist, und - einer Sprachverarbeitungseinheit (7), die zum Erkennen von Sprachinformationen (10) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen eingerichtet ist, wobei die Zustandserfassungseinheit (3) zum Anpassen des erfassten Zustandes (5) und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes (5a) der Regelstrecke (2) in Abhängigkeit von den erkannten Sprachinformationen (10) eingerichtet ist.

Description

ASSISTENZSYSTEM

Die Erfindung betrifft ein Assistenzsystem zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke mit einer Zustandserfassungseinheit zum Erfassen zumindest eines Zustandes der Regelstrecke. Die Erfindung betrifft ebenfalls ein Verfahren zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke mit Erfassen zumindest eines Zustandes der Regelstrecke. Die Erfindung betrifft ebenfalls ein Computerprogramm hierzu.

Durch den weiter steigenden Grad der Automation in fast allen Lebensbereichen kommen vermehrt immer mehr Assistenzsysteme zum Einsatz, die ganz oder nur in Teilbereichen die Planungs- und/oder Führungsaufgaben unterstützen oder sogar vollständig übernehmen sollen, um die mit der Planungs- und/oder Führungsaufgabe beauftragten Personen zu entlasten und die Sicherheit zu erhöhen.

In den meisten Fällen sind die Assistenzsysteme dabei derart eingerichtet, dass ein oder mehrere Zustände bezüglich der Regelstrecke durch das Detek- tieren von Merkmalen der Regelstrecke, wie beispielsweise Parameter der Regelstrecke, Messwerte, Objekte und/oder Umgebungsmerkmale erfasst werden. Hierzu sind die Assistenzsysteme mit einer Reihe von Sensorsystemen oder Datenbanken verbunden, aus denen die für die Erfassung des Zustandes notwendigen Informationen abgreifbar sind. Dadurch kann das Assistenzsystem ein maschinelles Situationsbewusstsein aufbauen, um daraus dann entsprechende Unterstützungsmaßnahmen für die betreffenden Personen z.B. auf Basis von Strategien und Zielen ableiten oder eine vollautomatisierte Regelung durchführen zu können.

Nicht selten kommt es bei derartigen Regelungskreisläufen vor, dass von den für die Planungs- und/oder Führungsaufgabe beauftragten Personen Handlungsanweisungen gegeben werden, die sich auf die Regelstrecke erst zeitverzögert auswirken, so dass die nachgeschalteten Assistenzsysteme, die mit Hil- fe ihrer angeschlossenen Sensorik den aktuellen Zustand der Regelstrecke versuchen zu erfassen, eine solche Veränderung ebenfalls zeitverzögert feststellen. In der Zwischenzeit geben die Assistenzsysteme jedoch Handlungsempfehlungen an die Personen, die auf alten Informationen über den Zustand der Regelstrecke beruhen, so dass die Ablehnung derartiger Assistenzsystem dadurch gefördert wird. Sollen die Assistenzsysteme zumindest auch teilweise selbstständig Handlungsaufgaben übernehmen, so kann dies mit unter schwerwiegende Folgen haben, wenn eine Situationsveränderung nicht rechtzeitig erkannt und mit einbezogen wird. Insbesondere bei Regelstrecken, bei denen von au ßen durch den Menschen noch eingegriffen werden kann, besteht hier eine besondere Gefahr.

Stand der Technik

Aus der DE 1 0 2009 034 069 A1 ist eine Bedienvorrichtung für ein Kraftfahr- zeug bekannt, das ein Display zur Darstellung veränderlicher Informationen aufweist. Mit Hilfe einer Blickrichtungserkennungseinheit kann die Blickrichtung des Kraftfahrzeugführers ermittelt werden, wobei die Bedienvorrichtung mit Hilfe von akustischen Befehlen bedient werden kann, wenn die Blickrichtung des Kraftfahrzeugführers auf das Display gerichtet ist.

Aufgabe Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Assistenzsystem zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke zu schaffen, das schnell auf sich verändernde Zu- stände oder Situationen der Regelstrecke reagieren kann, ohne das Bedienpersonal zusätzlich zu belasten.

Lösung Die Aufgabe wird mit dem eingangs genannten Assistenzsystem erfindungsgemäß dadurch gelöst, dass eine akustische Aufnahmeeinheit, die zum Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation zwischen mindestens zwei Personen ausgebildet ist, und eine Sprachverarbeitungsein- heit, die zum Erkennen von Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen eingerichtet ist, vorgesehen sind, wobei die Zustandserfassungseinheit zum Anpassen des erfassten Zustandes und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes der Regelstrecke in Abhängigkeit von den erkannten Sprachinformationen eingerichtet ist, und wobei eine Sprachhypotheseneinheit vorge- sehen ist, die zum Ermitteln von Sprachhypothesen bezüglich zukünftig erwarteter Sprachinformationen in Abhängigkeit von dem erfassten Zustand und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand ausgebildet ist, wobei die Sprachverarbeitungseinheit zum Erkennen der Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung der ermittelten Sprachhypothesen eingerichtet ist.

Kerngedanke der vorliegenden Erfindung ist es, dass das Assistenzsystem mit Hilfe einer akustischen Aufnahmeeinheit akustische Sprachsignale einer Sprachkommunikation zwischen zwei Personen, insbesondere zwischen Personen, die auf die Regelstrecke einwirken können, aufnimmt und diese mit Hil- fe einer Sprachverarbeitungseinheit, die Sprachhypothesen verwendet, analysiert und mit den selbst entwickelten Hypothesen vergleicht. Dabei können entsprechende Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen erkannt werden, so dass der erfasste Zustand und/oder ein aus dem aktuellen Zustand der Regelstrecke insbesondere durch Planung ableitbarer prognostizierter Zustand in Abhängigkeit von den erkannten Sprachinformationen angepasst werden kann. Der Vergleich der von der Maschine entwickelten zukünftigen Situationshypothesen mit den durch Spracherkennung erkannten Handlungsanweisungen für die zukünftige Situati- on kann zur Anpassung der Strategien und Ziele im Assistenzsystem an die des Operateurs genutzt werden.

Somit kann das Assistenzsystem wesentlich schneller auf sich verändernde Situationen oder Zustände reagieren, ohne dabei Gefahr laufen zu müssen, in den„Out-of-the-Loop"-Zustand zu geraten. Das Assistenzsystem kann somit z. B. auf Basis von Anweisungen eines Operateurs ohne physikalische Veränderungen zu diesem Zeitpunkt besser auf zukünftige, sich verändernde Zustände reagieren, auch wenn nach der Anweisung des Lotsen in der realen Welt noch nichts passiert ist. Ohne das entsprechende Vorgänge eingeleitet wurden, erfolgt somit eine Vorwegnahme des physikalisch Vorgegebenen.

Denn durch das Mithören bei der Sprachkommunikation von Menschen, die in den Arbeitsprozess der Regelstrecke eingebunden sind, können frühzeitig veranlasste Zustandsänderungen auf der Regelstrecke erkannt werden, so dass der erfasste sowie der erwartete Zustand entsprechend frühzeitig angepasst werden kann. Die von dem Assistenzsystem abgeleiteten Handlungsempfehlungen bezüglich der Regelstrecke sind aufgrund der frühzeitigen Anpassung des Zustandes bzw. eines prognostizierten Zustandes wesentlich genauer und auf die Situation wesentlich besser abgestimmt, so dass die Unterstützungs- qualität derartiger Assistenzsysteme erheblich verbessert wird. Die Situation der Regelstrecke bezieht sich somit auf einen zukünftig erwarteten Zustand. Um die Erkennungsrate der Spracherkennung weiter zu erhöhen, werden mittels einer Sprachhypotheseneinheit in Abhängigkeit von dem erfassten oder prognostizierten Zustand der Regelstrecke Sprachhypothesen über zukünftig zu erwartende Sprachinformationen ermittelt. Durch das Ermitteln von Hypothesen bezüglich zukünftiger Sprachinformationen lässt sich dann die Erkennung der Sprachinformationen in Abhängigkeit dieser Hypothesen durchführen. Der von dem erfassten oder prognostizierten Zustand abgeleitete Sprachkontext kann somit um Hypothesen über zukünftige Sprachinformationen oder Sprachkontexte erweitert werden, was sich höchst positiv auf die Erkennungsrate auswirkt.

Ganz besonders vorteilhaft ist es nun, wenn zu den ermittelten Sprachhypothesen zusätzlich Eintrittswahrscheinlichkeiten zugeordnet werden, die das Ein- treffen dieser Hypothese mit einer gewissen Wahrscheinlichkeit prognostizieren. Die Hypothesen stellen dabei eine Möglichkeit, ausgehend von dem aktuellen oder prognostizierten Zustand, für das Auftreten von bestimmten Sprachinformationen dar, die sich mit einer gewissen Wahrscheinlichkeit für die er- fasste Situation ergeben könnten.

Durch die Sprachhypothesen und die den Sprachhypothesen zugeordneten Eintrittswahrscheinlichkeiten lässt sich dabei die Genauigkeit der Spracherkennung signifikant erhöhen, da nunmehr bezüglich des Kontextes der erfassten Situation die Spracherkennung auf den wesentlichen Teil gerichtet werden kann.

Die Erfassung zumindest eines Zustandes der Regelstrecke durch die Zu- standserfassungseinheit kann durch ein mit der Zustandserfassungseinheit in Verbindung stehenden ersten Sensorsystem erfolgen, wie sie generell für die Überwachung von Regelstrecken verwendet werden, wie beispielsweise Radarsensoren, Ortungseinheiten, Temperatursensoren, etc. Aus den erfassten Daten der Sensorik lässt sich dann der aktuelle Zustand der Regelstrecke erfassen. Unter Kenntnis des aktuellen Zustandes der Regelstrecke gegebenenfalls in Verbindung mit der Kenntnis von zu erreichenden Zielen lässt sich darüber hinaus auch ein prognostizierter Zustand für die Zukunft ableiten, der eine Prognose für die Entwicklung der Zustände der Regelstrecke angibt. Dadurch lässt sich ableiten, wie sich ein Zustand zukünftig entwickelt.

Dabei stellen die akustischen Sprachsignale keine direkte Anweisung in Form einer Gerätebedienung an das Assistenzsystem dar, sondern sind Teil einer Sprachkommunikation zwischen zwei Personen. Durch das lautlose Mithören des Assistenzsystems während der Sprachkommunikation ist es für die betroffenen Personen nicht erforderlich, das Assistenzsystem auf eine Spracheingabe vorzubereiten. Dadurch wird eine deutliche Entlastung bei der Planungsund/oder Führungsaufgabe durch die Personen erreicht. Die akustische Auf- nahmeeinheit in Verbindung mit der Sprachverarbeitungseinheit bilden somit ein weiteres, zweites Sensorsystem für die Erfassung oder Prognose des Zustandes der Regelstrecke. Die Erfindung ist somit dadurch gekennzeichnet, dass die akustische Aufnahmeeinheit und die Sprachverarbeitungseinheit als ein zweites Sensorsystem vorgesehen sind.

Vorteilhafterweise erfolgt die Erkennung der Sprachinformationen durch die Sprachverarbeitungseinheit aus den aufgenommenen akustischen Sprachsignalen in Abhängigkeit von einem Kontext, der aus dem erfassten oder prognostizierten Zustand ermittelt werden kann. Da das Assistenzsystem den Kontext für die Erkennung von Sprachinformationen liefert, kann dadurch signifikant die Erkennungsrate bei der Spracherkennung erhöht werden, insbesondere dann, wenn eine kontextbasierte Spracherkennung eingesetzt wird. Der Kontext des erfassten Zustandes kann dabei aus den Hypothesen des Assistenzsystems durch Verwendung des vorhandenen Situationswissens über die Regelstrecke unter Nutzung der Sensordaten und Datenbanken abgeleitet werden. In einer vorteilhaften Ausführungsform ist das Assistenzsystem derart eingerichtet, dass die Aufnahmeeinheit zum Empfangen von elektrischen Signalen einer elektrischen Sprach-Kommunikationsverbindung und zum Aufnehmen der akustischen Sprachsignale aus den empfangenen elektrischen Signalen einge- richtet ist. Dies ist besonders dann vorteilhaft, wenn die Kommunikation zwischen den Personen über eine elektrische Sprach-Kommunikationsverbindung erfolgt, beispielsweise über Funk oder über ein Telefonnetzwerk.

Darüber hinaus weist das Assistenzsystem in einer weiteren vorteilhaften Aus- gestaltung eine Ausgabeeinheit auf, die zum Ausgeben von generierten Unterstützungsanweisungen zum Unterstützen der situationsabhängigen Planungsund/oder Führungsaufgabe der Regelstrecke eingerichtet ist, wobei die Unterstützungsanweisungen aus dem erfassten oder prognostizierten Zustand abgeleitet werden können. Eine derartige Ausgabeeinheit kann beispielsweise ein Display sein, auf dem Handlungsanweisungen für eine Person dargestellt werden. Die Ausgabeeinheit kann aber auch mit einer Steuerungseinrichtung verbunden sein, um direkt auf Stellgrö ßen der Regelstrecke zugreifen und so zumindest teilweise autonom auf die Regelstrecke einwirken zu können, wodurch ein zumindest teilweiser automatischer Betrieb ermöglicht wird.

In einer weiteren vorteilhaften Ausführungsform ermittelt das Assistenzsystem Handlungsoptionen zur Unterstützung der situationsabhängigen Planungsund/oder Führungsaufgabe der Regelstrecke, beispielsweise in Form von Unterstützungsanweisungen. Diese Handlungsoptionen werden anhand des er- fassten Zustandes und/oder des aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes der Regelstrecke ermittelt und geben so mögliche Handlungsoptionen zum Einwirken auf die Regelstrecke vor. Dabei führen die Handlungsoptionen zu verschiedenen prognostizierten Zuständen und stehen somit in Wechselwirkung zueinander. Aus diesen Handlungsoptionen lassen sich dann mit Hilfe der Sprachhypotheseneinheit Sprachhypothesen bezüglich zukünftig zu erwartender Sprachinformationen ermitteln, so dass die Spracher- kennung, mit deren Hilfe Sprachinformationen zur Anpassung des erfassten oder prognostizierten Zustandes ermittelt werden sollen, verbessern, da nun aus dem Zustand ermittelte Handlungsoptionen zur Grundlage der Sprachhypothesen gemacht werden. Dabei kann die Spracherkennung von zuvor 75% Er- kennungsrate auf bis zum 95% gesteigert werden.

Hierbei ist es nun ganz besonders vorteilhaft, wenn zusätzlich die Handlungsoptionen aus den bereits erkannten Sprachinformationen ermittelt werden, wodurch nur noch die Handlungsoptionen betrachtet werden brauchen, die in Be- zug auf die Sprachinformationen wahrscheinlich sind. Denn durch die bekannten Sprachinformationen wird der Zustand bezüglich der Regelstrecke ange- passt, wodurch Handlungsoptionen, die nunmehr unwahrscheinlich oder keinen Sinn mehr machen, unberücksichtigt bleiben können. Hierdurch wird es möglich, dass nicht nur die Spracherkennung verbessert wird, sondern auch die Akzeptanz derartiger Assistenzsysteme, da die bereitgestellten Handlungsoptionen wesentlich genauer auf den Zustand der Regelstrecke angepasst sind. Dies ist ein vorzugsweise interaktives Vorgehen, bei dem verschiedene Hypothesen über eine zukünftige Situation erzeugt werden. Durch die Spracherkennung ist dem System bekannt, welche Hypothese vom Lotsen umgesetzt wird. Daraufhin kann das System verbesserte Planungen für die weitere Zukunft erstellen.

I m Übrigen wird die Aufgabe auch mit Verfahren nach Anspruch 8 gelöst. Vorteilhafte Ausgestaltungen des Verfahrens finden sich in den entsprechenden Unteransprüchen. Die Erfindung wird anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen :

Figur 1 - schematische Darstellung des erfindungsgemäßen Assistenzsys- tems;

Figur 2 - schematische Darstellung einer Regungskette bei der Fluglotsenunterstützung. Figur 1 zeigt schematisch das erfindungsgemäße Assistenzsystem 1 , das zur Unterstützung von Planungs- und/oder Führungsaufgaben einer Regelstrecke 2 Anwendung finden kann. Eine Regelstrecke 2 kann beispielsweise der Landeanflug von Flugzeugen auf einem Flughafen sein, der in der Regel von Lotsen überwacht und geregelt wird.

Das Assistenzsystem 1 weist eine Zustandserfassungseinheit 3 auf, die mit Hilfe von Sensoren 4a, 4b Daten über die Regelstrecke 2 erfasst und daraus einen aktuellen Zustand 5 der Regelstrecke 2 ermittelt. Aus diesem aktuellen Zustand 5 der Regelstrecke 2 lässt sich über vorgegebene Ziele durch die Pla- nungskomponente des Assistenzsystems ein prognostizierter Zustand 5a ableiten, der eine zukünftige Entwicklung des Zustandes 5 der Regelstrecke 2 berücksichtigt.

Sowohl der aktuelle Zustand 5 als auch ein möglicherweise abgeleiteter und prognostizierter Zustand 5a dienen in einer Kontextermittlungseinheit 6 als Grundlage für die Ermittlung eines Sprachkontextes, der als Eingabe in den Spracherkenner bzw. die Sprachverarbeitungseinheit 7 vorgesehen ist. Denn aufgrund der Kenntnis des aktuellen Zustandes 5 bzw. eines prognostizierten Zustandes 5a, die sich letztendlich aus den Sensordaten der Regelstrecke 2 sowie aus der Handlungsplanung des Assistenzsystems (Hypotheseneinheit) ableiten lassen, liegt der Zustandserfassungseinheit somit letztendlich auch der Kontext vor, der dem Spracherkenner 7 als Grundlage für die Spracherkennung dienen soll. Dadurch kann die Genauigkeit bei der Erkennung wesentlich erhöht werden. Darüber hinaus kann zusätzlich eine Sprachhypotheseneinheit 8 vorgesehen sein, die aus dem aktuellen Zustand 5 oder prognostizierten Zustand 5a

Sprachhypothesen bezüglich zukünftiger eventuell auftretender Sprachinformationen ermitteln kann. Die Sprachhypotheseneinheit 8 kann dabei Bestandteil der Zustandserfassungseinheit 3 oder der Sprachverarbeitungseinheit 7 sein. Der von der Kontextermittlungseinheit 6 ermittelte Sprachkontext kann somit um die Sprachhypothesen der Hypotheseneinheit 8 erweitert werden.

Sowohl der von der Kontextermittlungseinheit 6 ermittelte Sprachkontext als auch die Sprachhypothesen werden über einen Eingang der Sprachverarbei- tungseinheit 7 in diese übertragen und eingespeist. Des Weiteren ist das Assistenzsystem 1 mit einer akustischen Aufnahmeeinheit 9 verbunden, die ebenfalls mit einem Eingang der Sprachverarbeitungseinheit 7 signaltechnisch verbunden ist. Die akustische Aufnahmeeinheit 9 ist dabei derart eingerichtet, dass sie akustische Sprachsignale in einer Sprachkommunikation zwischen mindestens zwei Personen (nicht dargestellt) aufnimmt, wodurch die akustische Aufnahmeeinheit 9 ein weiterer Sensor bzw. eine weitere Sensorik zur Zustandserfassung der Regelstrecke 2 darstellt. Die akustische Aufnahmeeinheit 9 kann dabei in einem einfachsten Fall ein Mikrofon sein, welches die Kommunikation zwischen zwei oder mehreren Personen mithört. Die akustische Auf- nahmeeinheit 9 kann aber auch eine elektrische Vorrichtung sein, mit der

Sprachsignale aus einem elektrischen Signal, wie sie beispielsweise bei einer Funkverbindung oder einer Telefonverbindung vorliegt, abgegriffen werden können. Somit lassen sich auch Kommunikationen zwischen Personen mithören, die über eine Fernsprecheinrichtung miteinander kommunizieren.

Die von der akustischen Aufnahmeeinheit 9 aufgenommenen Sprachsignale werden nun durch die Sprachverarbeitungseinheit 7 unter Berücksichtigung des ermittelten Sprachkontextes und der ermittelten Sprachhypothesen analysiert und die in den akustischen Signalen enthaltenen Sprachinformationen 1 0 erkannt. Aufgrund der Tatsache, dass der Kontext für die Spracherkennung aus der Regelstrecke, der Planung (Hypotheseneinheit) und den erfassten Zuständen 5, 5a direkt oder indirekt ableitbar ist, lässt sich die Spracherkennung der erfassten akustischen Sprachsignale wesentlich erhöhen. Bei dieser kontextbasierten Spracherkennung wird nicht nur das aktuelle Sprachsignal, sondern auch der Kontext, der von einer externen Quelle kommt, zur Spracherkennung herangezogen. Dies ist zwar aufwändiger, aber auch leistungsfähiger, da dadurch der Suchraum entweder regelbasiert oder probabilistisch eingeschränkt wird. Da der erfasste Zustand eine Vielzahl von Daten und Parametern über die Regelstrecke 2 umfasst, kann hier der für die Spracherkennung notwendige Kontext abgeleitet werden.

So wird vorteilhafterweise nur noch ein geringer Teil des Kontextes vom Spracherkenner selbst bestimmt, während der wesentliche Teil der Kontextinformation über die Zustanderfassungseinheit aus dem Zustand und den prognostizierten Zuständen, d. h. den Hypothesen über die zukünftigen Situationen, be- stimmt werden. Der Gesamtkontext wird somit aus dem Systemzustand und dem Dialog zweier Kommunikationspartner abgeleitet. Diese redundante Bestimmung des Sprachkontextes ermöglicht es dem Spracherkenner, falsche Erkennungshypothesen, die mit der Kontextinformation nicht konsistent sind, frühzeitig zu verwerfen und damit Fehlerkennungen zu vermeiden, wodurch letztendlich die Erkennungsleistung wesentlich erhöht wird.

Der Gesamtkontext wird somit zum einen über ein erstes Sensor- und Planungssystem, welches den Systemzustand der Regelstrecke erfasst und prognostiziert, und über ein zweites Sensorsystem, welches die Sprachkommunika- tion zweier Kommunikationspartner erfasst, ermittelt, was die Spracherkennung selber wesentlich verbessert. Die so erkannten Sprachinformationen werden nun wieder zurück an die Zu- standserfassungseinheit 3 übertragen, wobei in Abhängigkeit der erkannten Sprachinformationen 1 0 der aktuelle Zustand 5 oder der prognostizierte Zu- stand 5a in Abhängigkeit dieser Sprachinformationen 1 0 angepasst wird. Denn wurde beispielsweise aus den Gesprächen zwischen den Personen erkannt, dass Änderungen innerhalb der Regelstrecke durchgeführt werden sollen, so dass sich der Zustand ändern wird, wobei diese Zustandsänderung noch nicht von der Sensorik 4a, 4b erfassbar ist, so kann der aktuelle Zustand 5 oder der für die Zukunft prognostizierte Zustand 5a aufgrund des Gespräches bereits angepasst werden, so dass das Assistenzsystem wesentlich genauere Informationen über die Regelstrecke 2 hat und somit entsprechende Handlungsempfehlungen, die an einer Ausgabeeinheit 1 1 ausgegeben werden können, wesentlich genauer sind.

So kann die Anpassung der Zustände 5, 5a durch die Zustandserfassungsein- heit 3 beispielhaft derart erfolgen, dass bestimmte Parameter und/oder Daten, welche den Zustand der Regelstrecke 2 beschreiben, verändert werden, so dass sich für die Zustandserfassungseinheit 3 ein veränderter Zustand 5 bzw. 5a darstellt, der mit den von der Sensorik 4a, 4b sensierten Daten zumindest für einen Moment zwangsläufig nicht konsistent sein muss.

Das Assistenzsystem kann neben den beschriebenen Einheiten weitere Einheiten aufweisen, die beispielsweise bestimmte Regelungen für die Regelstrecke 2 vorsehen bzw. entsprechende Handlungsinformationen oder Handlungsempfehlungen über die Ausgabeeinheit 1 1 ausgeben können. Beispielhaft sei hier ein Lotsenunterstützungssystem genannt, das ebenfalls in das Assistenzsystem 1 eingebettet und dem Lotsen bei seiner Regelungs- und Führungsaufgabe unterstützen soll. Durch die Anpassung der erfassten Zustände bzw. prognosti- zierten Zustände der Regelstrecke 2 kann dem Lotsenunterstützungssystem eine wesentlich bessere Grundlage für seine Berechnungen und Handlungs- empfehlungen gegeben werden, was die Akzeptanz und Sicherheit erhöht.

Ein derartiges System zeigt Figur 2 beispielhaft für die Regelstrecke bei der Führung eines Flugzeuges durch einen Lotsen 21 . Der Fluglotse 21 , der sich in der Regel im Kontrollzentrum oder im Tower des Flughafens aufhält, steht mit dem Piloten 22 eines Flugzeuges 23 in Funkverbindung. Der Fluglotse 21 erteilt über die Funkverbindung 24 dem Piloten 22 des Flugzeuges 23 entsprechende Anweisungen, damit der Pilot 22 das Flugzeug 23 auf einer vorbestimmten Trajektorie auf dem Flughafen landen kann.

Seit einiger Zeit sind zur Unterstützung des Lotsen 21 sogenannte Lotsenunterstützungssysteme 25 bekannt, die dem Lotsen in Abhängigkeit von der aktuellen Situation im Luftraum des Flughafens verschiedene Vorschläge für die Landesequenzen und/oder für Flugführungsanweisungen für die Flugzeuge lie- fern können. Mit Hilfe von Sensoren 26a, 26b, die beispielsweise Radarsensoren sein können und somit kontinuierlich Radardaten an das Lotsenunterstützungssystem 25 liefern, kann eine Situation innerhalb des Flugraumes bzw. ein Zustand für den Lotsen aufgebaut werden, um die Flugzeuge sicher auf dem Flughafen landen zu lassen. Diese Daten liefern dem Lotsenunterstützungssys- tem 25 aber auch die Grundlage für die Vorschläge der Landesequenzen und/oder Führungsanweisungen an die Flugzeuge.

Verändert der Lotse 21 jedoch seine Strategie, so merkt das System 25 solange nichts, bis eindeutige Hinweise in den Radardaten hinsichtlich eines abwei- chenden Flugverhaltens vorliegen und erkannt wurden. Dies kann jedoch bis zu 30 Sekunden und mehr dauern, so dass während dieser Zeit die dargestellte Situation bzw. der erfasste Zustand über die Regelstrecke und die von dem System 25 gelieferten Vorschläge mit der eigentlichen Situation bzw. dem eigentlichen Zustand nicht konsistent sind. Diese mangelnde Übereinstimmung zwischen der Lotsenabsicht und dem maschinellen Situationsbewusstsein des Unterstützungssystems 25 führt jedoch zu eingeschränkten Vorschlägen, die letztendlich für eine mangelnde Akzeptanz des Systems bei den Lotsen sorgen.

Um dieses Problem zu lösen, befindet sich in der Kommunikationsverbindung 24 zwischen Lotse 21 und Pilot 22 eine akustische Aufnahmeeinheit 27, die mit dem System 25 kommunikativ in Verbindung steht. Die Sprachkommunikation zwischen dem Lotsen 21 und dem Piloten 22 über die Kommunikationsverbindung 24 wird daher mit Hilfe der akustischen Aufnahmeeinheit 27 abgegriffen und dem System 25 zur Verfügung gestellt. Werden von dem Lotsen 21 nun von der eigentlichen Strategie veränderte Flugführungsanweisungen an den Piloten 22 über die Kommunikationsverbindung 24 übertragen, so wird dies von der akustischen Aufnahmeeinheit 27 er- fasst. Diese über die Kommunikationsverbindung 24 übertragenen Sprachanweisungen stellen dabei den frühest möglichen Zeitpunkt zur Erkennung einer Strategieänderung des Lotsen 21 bei der Verkehrssteuerung dar. Mittels eines Assistenzsystems, wie in Figur 1 beschrieben, das Bestandteil des Systems 25 ist, können die Sprachinformationen bezüglich der Regelstrecke erkannt werden, wobei die von dem System 25 erfassten Zustände sowie deren weitere Prognose auf Basis im Assistenzsystem durchgeführter alternativer Planungen basierend auf verschiedenen Strategien den Kontext für die Spracherkennung liefert. Die über die Kommunikationsverbindung 24 erkannten Sprachinformationen der betreffenden Person 21 und 22 können dann dazu genutzt werden, die von dem System 25 erfassten Zustände anzupassen, um so die Strategieänderung des Lotsen 21 bei der Ausgabe von entsprechenden Vorschlägen zur Flugführung mit berücksichtigen zu können, obwohl die veränderten Zustände erst einige Zeit später über die Radarsensoren 26a, 26b detektierbar werden. Der Lotse verfolgt z.B. zunächst die Strategie 1 und schwenkt dann auf eine Strategie 2 um. Dies wird erkannt, weil es Planungen für beide Strategien gibt. Da aber vom System nicht alle möglichen Planungen angezeigt werden, ist nach au ßen zum Lotsen nur Strategie 1 des Systems zu erkennen, obwohl mehr als eine Strategie berechnet wird. Die Berechnungen des Systems schwenken nun auf die Strategie 2 als erstrangige Strategie um, die ausgegeben und tiefergehend bearbeitet wird. Da auf diese Planänderung durch den Lotsen unmittelbar durch das System 25 durch Verbesserung der eigenen Planung reagiert wird, bekommt der Lotse sofort einen Eindruck davon, welche weiteren Auswirkungen durch die von ihm veranlassten Aktionen ausgelöst werden. Dies ist insbesondere in Situationen mit hohem Verkehrsaufkommen hilfreich, da in solchen Situationen die Belastung ohnehin für den Lotsen hoch ist. Durch die höhere Konfidenz auf der System- seite hinsichtlich der erwarteten Entwicklung der zukünftigen Situation besteht nun zusätzlich die Möglichkeit, den Lotsen auf Abweichungen des Flugzeuges von der geplanten Trajektorie hinzuweisen. Dabei erfolgt die Anpassung der Situation durch den Lotsen derart, dass dieser keine weiteren Eingaben an das System 25 vornehmen muss, wie beispielsweise durch Eingeben von entspre- chenden Anweisungen oder durch direkten Sprachbefehl. Vielmehr erfolgt die Anpassung unter den Umständen der ganz normalen Arbeitsabläufe der Lotsen 21 . Dies stellt einen deutlichen Vorteil des Systems 25 zu heutigen Systemen dar, und da das vorliegende System schon zu einem Zeitpunkt warnen kann, in dem bisherige System noch Strategieänderungen versuchen zu detektieren.

Claims

Patentansprüche

Assistenzsystem (1 , 25) zur Unterstützung bei situationsabhängigen Pla- nungs- und/oder Führungsaufgaben einer Regelstrecke (2) mit einer Zustandserfassungseinheit (3) zum Erfassen zumindest eines Zustandes (5, 5a) der Regelstrecke (2), einer akustischen Aufnahmeeinheit (9, 27), die zum Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation (24) zwischen mindestens zwei Personen (21 , 22) ausgebildet ist, und einer Sprachverarbeitungseinheit (7), die zum Erkennen von Sprachinformationen (1 0) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen eingerichtet ist, wobei die Zustandserfassungseinheit (3) zum Anpassen des erfassten Zustandes (5) und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes (5a) der Regelstrecke (2) in Abhängigkeit von den erkannten Sprachinformationen (1 0) eingerichtet ist, dadurch gekennzeichnet, dass eine Sprachhypotheseneinheit (8) vorgesehen ist, die zum Ermitteln von Sprachhypothesen bezüglich zukünftig erwarteter Sprachinformationen in Abhängigkeit von dem erfassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) ausgebildet ist, wobei die Sprachverarbeitungseinheit (7) zum Erkennen der Sprachinformationen (1 0) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung der ermittelten Sprachhypothesen eingerichtet ist.

Assistenzsystem (1 , 25) nach Anspruch 1 , dadurch gekennzeichnet, dass die Sprachhypotheseneinheit (8) zum Zuordnen von Eintrittswahrscheinlichkeiten zu den ermittelten Sprachhypothesen und die Sprachverarbeitungseinheit (7) zum Erkennen der Sprachinformationen (1 0) weiterhin unter Berücksichtigung der den Sprachhypothesen zugeordneten Eintrittswahrscheinlichkeiten eingerichtet ist.

Assistenzsystem (1 , 25) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Kontextermittlungseinheit (6) vorgesehen ist, die zum Ermitteln eines Sprachkontextes in Abhängigkeit von dem erfassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) ausgebildet ist, wobei die Sprachverarbeitungseinheit (7) zum Erkennen der Sprachinformationen (1 0) bezüglich der Regelstrecke (2) aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung des ermittelten Sprachkontext eingerichtet ist.

Assistenzsystem (1 , 25) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die akustische Aufnahmeeinheit (9, 27) zum Empfangen von elektrischen Signalen in einer elektrischen Sprach- Kommunikationsverbindung (24) und zum Aufnehmen der akustischen Sprachsignale aus den empfangenen elektrischen Signalen eingerichtet ist.

Assistenzsystem (1 , 25) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Assistenzsystem (1 , 25) eine Ausgabeeinheit (1 1 ) zum Ausgeben von in Abhängigkeit von dem erfassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) generierten Unterstützungsanweisungen zum Unterstützen der situationsabhängigen Planungs- und/oder Führungsaufgabe der Regelstrecke (2) aufweist.

6. Assistenzsystem (1 , 25) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Assistenzsystem zum Ermitteln von Handlungsoptionen zur Unterstützung der situationsabhängigen Planungsund/oder Führungsaufgabe der Regelstrecke in Abhängigkeit von dem er- fassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) der Regelstrecke (2) eingerichtet ist, wobei die Sprachhypotheseneinheit ausgebildet ist, die Sprachhypothesen bezüglich zukünftig erwarteter Sprachinformationen in Abhängigkeit von aus dem erfassten Zustand und/oder dem prognostizierten Zustand ermittelten Handlungsoptionen zu ermitteln.

7. Assistenzsystem (1 , 25) nach Anspruch 6, dadurch gekennzeichnet, dass das Assistenzsystem zum Ermitteln der Handlungsoptionen zur Unterstützung der situationsabhängigen Planungs- und/oder Führungsaufgabe der Regelstrecke weiterhin in Abhängigkeit von den erkannten Sprachinformationen (1 0) eingerichtet ist.

8. Verfahren zur Unterstützung bei situationsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke mit den Schritten :

Erfassen zumindest eines Zustandes der Regelstrecke durch eine Zustandserfassungseinheit,

Aufnehmen von akustischen Sprachsignalen einer Sprachkommunikation zwischen mindestens zwei Personen durch eine akustische Aufnahmeeinheit, automatisiertes Erkennen von Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen durch eine Sprachverarbeitungseinheit, und Anpassen des erfassten Zustandes und/oder eines aus dem aktuellen Zustand ableitbaren prognostizierten Zustandes der Regelstrecke in Abhängigkeit von den erkannten Sprachinformationen durch die Zustandserfassungseinheit. gekennzeichnet durch automatisiertes Ermitteln von Sprachhypothesen bezüglich zukünftig erwarteter Sprachinformationen in Abhängigkeit von dem erfassten Zustand und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand durch eine Sprachhypotheseneinheit und automatisiertes Erkennen der Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung der ermittelten Sprachhypothesen durch die Sprachverarbeitungseinheit.

9. Verfahren nach Anspruch 8, gekennzeichnet durch Zuordnen von Eintrittswahrscheinlichkeiten zu den ermittelten Sprachhypothesen durch die Sprachhypotheseneinheit und Erkennen der Sprachinformationen weiterhin unter Berücksichtigung der den Sprachhypothesen zugeordneten Eintrittswahrscheinlichkeiten durch die Sprachverarbeitungseinheit.

1 0. Verfahren nach Anspruch 8 oder 9, gekennzeichnet durch

automatisiertes Ermitteln eines Sprachkontext in Abhängigkeit von dem erfassten Zustand und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand durch eine Kontextermittlungseinheit und

automatisiertes Erkennen der Sprachinformationen bezüglich der Regelstrecke aus den aufgenommenen akustischen Sprachsignalen unter Berücksichtigung des ermittelten Sprachkontext durch die Sprachverarbeitungseinheit. 1 . Verfahren nach einem der Ansprüche 8 bis 1 0, gekennzeichnet durch Empfangen von elektrischen Signalen aus einer elektrischen Sprachkommunikationsverbindung und Aufnehmen der akustischen Sprachsignale aus den empfangenen elektrischen Signalen durch die Aufnahmeeinheit. 2. Verfahren nach einem der Ansprüche 8 bis 1 1 , gekennzeichnet durch Ermitteln von Handlungsoptionen zur Unterstützung der situationsabhängigen Planungs- und/oder Führungsaufgabe der Regelstrecke in Abhängigkeit von dem erfassten Zustand (5) und/oder einem aus dem aktuellen Zustand ableitbaren prognostizierten Zustand (5a) der Regelstrecke (2) durch das Assistenzsystem und Ermitteln der Sprachhypothesen bezüglich zukünftig erwarteter Sprachinformationen in Abhängigkeit von aus dem erfassten Zustand und/oder prognostizierten Zustand ermittelten Handlungsoptionen durch die Sprachhypotheseneinheit. 3. Verfahren nach Anspruch 1 2, gekennzeichnet durch Ermitteln der Handlungsoptionen zur Unterstützung der situationsabhängigen Planungsund/oder Führungsaufgabe der Regelstrecke weiterhin in Abhängigkeit von den erkannten Sprachinformationen durch das Assistenzsystem. 4. Computerprogramm mit Programmcodemitteln, insbesondere auf einem maschinenlesbaren Träger gespeichert, eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 8 bis 1 3, wenn das Computerprogramm auf einem Rechner ausgeführt wird.