WO2021038109A1

WO2021038109A1 - System zur erfassung von bewegungsabläufen und/oder vitalparametern einer person

Info

Publication number: WO2021038109A1
Application number: PCT/EP2020/074240
Authority: WO
Inventors: Christian STERNITZKE; Anke Mayfarth
Original assignee: METRALABS NEUE TECHNOLOGIEN und SYSTEME GmbH
Current assignee: METRALABS NEUE TECHNOLOGIEN und SYSTEME GmbH
Priority date: 2019-08-30
Filing date: 2020-08-31
Publication date: 2021-03-04
Anticipated expiration: 2022-02-28
Also published as: US20220331028A1; CN114980810A; EP4003164A1; CN114980810B; WO2021038109A9

Abstract

System und Verfahren zur Erfassung eines Bewegungsablaufs einer Person. Das Verfahren umfasst die Erfassung durch einen berührungslosen Sensor einer Vielzahl von Bildern der Person bei einem Bewegungsablauf, wobei die Vielzahl von Bildern die Bewegungen der Körperelemente der Person darstellt, die Erstellung von mindestens einem Skelettmodell mit Gliederpositionen für zumindest einige der Vielzahl von Bildern, und die Berechnung des Bewegungsablaufs aus den Bewegungen der Körperelemente der Person durch Vergleich der Änderungen der Gliederpositionen in den mindestens einen erstellten Skelettmodells. Darüber hinaus können Vitalparameter und/oder Signalverarbeitungsparameter der Person erfasst und ausgewertet werden.

Description

Titel: System zur Erfassung von Bewegungsabläufen und/oder Vitalparametern einer Person

Querverweis zu bekannten Anmeldungen

[0001] Diese Anmeldung beansprucht die Priorität der Deutschen Patentanmeldungen DE 10 2019 123 304.6, eingereicht am 30. August 2019; DE 102020 102 315.4, eingereicht am 30. Januar 2020 und DE 102020 112 853.3, eingereicht am 12. Mai 2020. Der Inhalt der gesamten oben genannten Deutschen Patentanmeldungen sind hiermit durch Bezugnahme hierin vollständig aufgenommen.

Gebiet der Erfindung

[0002] Die Erfindung umfasst einen Serviceroboter zur automatisierten Durchführung von geriatrischen Tests.

Hintergrund der Erfindung

[0003] Das Gesundheitssystem leidet unter einem erheblichen Fachkräftemangel. Dieser Fachkräftemangel führt dazu, dass für eine Behandlung von Patienten immer weniger Zeit bleibt. Diese fehlende Zeit führt nicht nur zu Unzufriedenheit sowohl auf Seiten der Patienten als auch des medizinischen Personals, sondern kann auch dazu führen, dass Erkrankungen nicht ausreichend behandelt werden, was nicht nur Patientenleid mit sich bringt, sondern auch die Wertschöpfung einer Volkswirtschaft reduziert. Mit diesen Effekten geht einher, dass die Notwendigkeit zur Dokumentation des Patientenzustands immer weiter zunimmt, um sich aus medizinischer Sicht ggf. auch gegen Schadensersatzansprüche wehren zu müssen, die auf unzureichende Therapien zurückgeführt werden können. Diese Dokumentationspflicht kann in einigen Fällen zu einem sich selbst verstärkenden Effekt führen.

[0004] Der in diesem Dokument beschriebener Serviceroboter adressiert diese Problematik, indem der Serviceroboter geriatrische Tests, die momentan durch medizinisches Personal erbracht werden, unter dem Einsatz mehrerer Sensoren selbständig durchführt. Dieser Serviceroboter ist ferner in der Lage, die absolvierten Übungen genau zu dokumentieren, womit die Gesundheitseinrichtung des Serviceroboters in der Lage ist, die diesbezüglichen Dokumentationspflicht und sonstige Compliance-Verpflichtungen einzuhalten, ohne hierfür separat noch Personal abstellen zu müssen. Ein weiterer Effekt ist, dass der Einsatz des Serviceroboters die Beurteilung der Tests standardisiert, denn gegenwärtig unterliegt die Einschätzung eines Patienten der Erfahrung des medizinischen Personals, das sich wiederum durch individuelle Erfahrungen von anderem medizinischen Personal unterscheidet. Somit sind bei Einschätzungen durch medizinisches Personal für ein und dieselbe Übung unterschiedliche Bewertungen möglich, während beim Einsatz des Serviceroboters eine einheitliche Einschätzung erfolgt.

[0005] Neben dem Feld der Geriatrie, in dem der Serviceroboter bspw. den Barthel-Index erheben kann, den sogenannten „Timed-up and Go“-Test durchführen kann und/oder den Mini -Mental-Test mit verschiedenen Ausprägungen, ist der Serviceroboter in einem Aspekt auch so konfiguriert, dass der Serviceroboter alternativ und ergänzend weitere Aufgaben in einer Klinik adressieren kann. Dazu zählen bspw. spektrometrische Untersuchungen, womit sich verschiedene Substanzen in- oder auf der Haut einer Person analysieren lassen. Diese Analysen können bspw. für die Ermittlung des Delirium Detection Score genutzt werden.

[0006] Der Serviceroboter ist, in einem Aspekt, auch so konfiguriert, eine Delirerkennung und/oder ein Delirmonitoring durchzuführen. In diesem Kontext kann der Serviceroboter, in einem Aspekt, mögliche Aufmerksamkeitsstörungen des Patienten auf Basis der Erkennung einer Folge von akustischen Signalen ermitteln. In einem alternativen und/oder ergänzenden Aspekt kann der Serviceroboter kognitive Fähigkeiten auf Basis einer Bilderkennung bewerten, und/oder kognitive Fähigkeiten über die Umsetzung in der Motorik, bspw. durch das Zählen von Fingern, die der Patient auf eine vornehmlich visuelle Aufforderung des Serviceroboters zeigt. Alternativ und/oder ergänzend ist der Serviceroboter in der Lage, den Schmerzstatus einer Person zu bestimmen. Dies kann auf dem Wege einer Emotionserkennung, einer Erfassung der Bewegungen der oberen Extremitäten, und/oder einer Schmerzvokalisierung von beatmeten und/oder nicht beatmeten Patienten erfolgen. Der Serviceroboter kann, in einem Aspekt, den Blutdruck eines Patienten ermitteln, deren Atemfrequenz, und diese Informationen, abgesehen von originär diagnostischen und oder therapeutischen Zwecken, auch zur Ansteuerung eigener Hard- und Softwarekomponenten nutzen.

[0007] Unabhängig davon, dass der Serviceroboter so konfiguriert, dass der Serviceroboter

Manipulationsversuche detektieren kann, bspw. im Rahmen der Datenerfassung. Der

Serviceroboter kann ferner prüfen, ob Nutzer unter geistigen und/oder körperlichen

Beeinträchtigungen leiden, was die Qualität der durchzuführenden Tests bzw. deren Ergebnisse beeinflussen kann. Weiterhin kann der Serviceroboter, in einem Aspekt, seine Signalverarbeitungsqualität, aber auch die Signalausgabe, an Umwelteinflüsse anpassen.

Dazu zählen auch Anpassungen an der Ein- und Ausgabe, den Nutzerdialogen, etc.

[0008] Weiterhin bietet der Einsatz des Serviceroboters eine erhebliche Entlastung des medizinischen Personals dar, welches diese medizinische Personal teils zeitraubende und manchmal auch eintönige Arbeit durchführen muss, die keine unmittelbaren Einfluss auf die Gesundheit eines Patienten hat und damit das Personal davon abhält, Maßnahmen umzusetzen, die die Gesundheit einer Person unmittelbar verbessern.

Stand der Technik

[0009] Dem Fachmann sind verschiedenartige Serviceroboter im Gesundheits- bzw. Geriatriebereich bekannt. So beschreibt CN108422427 einen Rehabilitationsroboter, der in der Lage ist, Essen auf Tabletts zu servieren. Ähnlich gelagert ist CN206833244, in dem ein Serviceroboter im Krankenhaus Materialien verteilt. Ebenfalls im Krankenhausumfeld bewegen sich die chinesischen Patentanmeldungen CN107518989 und CN101862245, welche einen Serviceroboter umfassen, der Patienten transportiert, ähnlich einem Rollstuhl. CN205950753 beschreibt einen Roboter, der Patienten mittels Sensorik erkennt und durch ein Krankenhaus lotst. In CN203338133 wird ein Roboter zur Unterstützung des Pflegepersonals beschrieben, der Patienten im Krankenhaus bei den täglichen Dingen begleitet. Dagegen bezieht sich CN203527474 auf einen Roboter, der mit seinem Arm ältere Menschen unterstützt.

[0010] CN108073104 bezieht sich auf einen Pflegeroboter, der infizierte Patienten betreut, indem der Pflegeroboter diesen Patienten Medikamente zur Verfügung stellt bzw. diese Medikamente verabreicht, die Patienten massiert, füttert, mit den Patienten kommuniziert, etc. Der Pflegeroboter reduziert hierbei die Infektionsgefahr für medizinisches Personal, indem der Pflegeroboter die Zahl der Patientenkontakte des Personals reduziert. Ein Roboter zum Begleiten älterer Menschen findet sich in CN107598943. Dieser Roboter verfügt über einige Überwachungsfunktionen, vor allem aber über eine Funktion zur Bodenreinigung.

[0011] Bei CN106671105 handelt es sich um einen mobilen Serviceroboter zur Betreuung älterer Menschen. Der Serviceroboter überwacht durch Sensorik Parameter des Körpers wie die Temperatur, aber auch die Mimik. Der Serviceroboter erkennt auch, ob der Mensch gefallen ist und kann über ein Netzwerk entsprechend Hilfe alarmieren. [0012] Ähnlich gelagert sind CN104889994 und CN204772554, in denen ein Serviceroboter aus dem Medizinbereich die Herzfrequenz erkennt, Patienten mit Sauerstoff versorgt und dabei über eine Spracherkennung und über ein Multimedia-Modul für Entertainmentzwecke verfügt. Die Sauerstoff-Ermittlung im Blut erfolgt auch in CN105082149. CN105078445 bezieht sich auf einen Serviceroboter, der es ermöglicht, insbesondere bei älteren Menschen ein Elektrokardiogramm aufzuzeichnen und den Sauerstoffgehalt im Blut zu messen. Ähnlich angesiedelt ist CN105078450 mit einer Elektroenzephalogramm-Messung.

[0013] Einige der Gesundheitsroboter beziehen sich explizit auf die Durchführung von Übungen mit Patienten oder auch Tests. In CN108053889 wird relativ abstrakt ein System beschrieben, das basierend auf abgespeicherten Informationen Übungen mit einem Patienten durchführt. CN108039193 beschreibt ein System zur automatischen Generierung von Gesundheitsreports, das in einem Roboter eingesetzt wird. Das Erfassen von Bewegungen/Fitnessübungen mithilfe eines Roboters, das Aufzeichnen und Abspeichern der Daten derselben zu Analysezwecken und die Übermittlung an externe Systeme werden in CN107544266 beschrieben. Gleichzeitig ist dieser Roboter in der Lage, die Einnahme von Medikamenten über verschiedene Sensoren zu überwachen.

[0014] CN106709254 beschreibt einen Roboter zur medizinischen Diagnose eines Patienten, der zugleich, basierend auf der Diagnose, auch einen Plan zur Behandlung erstellt. Hierzu wertet der Roboter Sprach- und Bildinformationen aus und vergleicht diese mit in Speichern hinterlegten Informationen. Hierbei kommt ein neuronales Netzwerk zum Einsatz.

[0015] In CN106407715 wird ein Serviceroboter beschrieben, der mittels Sprachverarbeitung und Bilderkennung die Anamnese eines Patienten durchführt. Neben dem Abfragen über Sprachein- und Sprachausgabevorrichtungen über ein Touchpad wird auch ein Foto der Zunge, das von einer Kamera des Roboters aufgenommen wird, für die Anamnese herangezogen.

[0016] CN105078449 beschreibt einen Serviceroboter mit einem Tablet-Computer als Kommunikationsvorrichtung, über das u.a. ein kognitives Funktionstraining bzw. ein kognitiv-psychologischer Test stattfindet, um Alzheimer in Patienten zu entdecken. Das Tablet zeichnet hierzu ein nach einem bestimmten Prozess ablaufendes Telefonat zwischen dem Patienten und einem Kind auf und leitet aus dem Gesprächsverlauf ab, ob der Patient unter Alzheimer leidet.

[0017] Ein Aspekt des Serviceroboters analysiert Gesten der Hand mit Blick auf das Falten eines Blatts. Im Stand der Technik ist die Gestenerkennung der Hand per se etabliert. Eine Herausforderung dabei ist insbesondere das Erkennen und Tracken der Finger. So beschreibt z.B. US10268277 eine generelle Gestenerkennung der Hand, wie auch US9372546 oder US9189068. In US9690984 wird bspw. eine kamerabasierte Handerkennung über ein Skelettmodel unter Zuhilfenahme von Algorithmen des maschinellen Lernens dargestellt. Diese Ansätze beziehen sich vornehmlich auf leere Hände. Dagegen widmet sich US9423879 dem Erkennen und Tracken von Gegenständen in Händen und schlägt vor, einen thermischen Sensor zu verwenden, um Hände und Finger (durch die abgegebene Wärme) von anderen Gegenständen (tendenziell kühler) zu differenzieren.

[0018] Es wurden nur zwei Dokumente im Stand der Technik identifiziert, die sich auf das Erkennen von Blättern oder blätterähnlichen Gegenständen in Nutzerhänden beziehen. So beschreibt US9117274, wie mit einer Tiefenkamera ein Blatt erkannt wird, dass ein Nutzer in der Hand hält, während in einem nächsten Schritt auf dieses Blatt, das exemplarisch für eine plane Oberfläche steht, ein Bild projiziert wird, mit dem der Nutzer interagieren kann. Das Blatt wird über seine Ecken identifiziert, die mit im Speicher hinterlegten Vierecken, welche räumlich im Raum rotiert wurden, verglichen werden. Dagegen beschreibt US 10242527, wie Spieltische (im Kasino) überwacht werden, indem Gesten der Hand automatisch erkannt werden, darunter Spielchips oder auch Spielkarten, die eine gewisse Ähnlichkeit mit einem Blatt aufweisen. Es findet sich jedoch keine Beschreibung darüber, wie die Erkennung erfolgt, sondern primär, zu welchem Zwecke solche Auswertungen erfolgen. Zudem weisen Spielkarten abgerundete Ecken auf, was bei einem Blatt in der Regel nicht der Fall ist.

[0019] Mit Blick auf die Bewertung des kognitiven Zustands einer Person werden ebenfalls

Ansätze im Stand der Technik beschrieben, die wiederum Einfluss auf die Steuerung eines

Roboters haben. So legt US20170011258 dar, wie auf Basis des emotionalen Zustands einer

Person ein Roboter manipuliert wird, wobei dieser Zustand vornehmlich über den

Gesichtsausdruck der Person bewertet wird, welcher mittels einer Histogram-of-Gradients-

Auswertung erfasst wird. Der emotionale Zustand einer Person kann allgemein über

Klassifizierungsverfahren erfolgen, die auf Clustering basieren, oder aber mittels neuronaler

Netze. So beschreibt bspw. US2019012599 recht allgemein, wie ein mehrschichtiges konvolutionäres neuronales Netzwerk zur Erzeugung von Gewichten basierend auf Videoaufnahmen eines Gesichts genutzt wird, welches mindestens eine konvolutionäre und mindestens eine versteckte Schicht aufweist, dessen letzte Ebene Emotionen einer Person beschreibt, das Gewichte für Eingangsgrößen mindestens einer Ebene ermittelt, die Gewichte in mindestens einem feed-forward-Prozess (aufgeschalteten Prozeß) errechnet und im Rahmen einer Rückwärtspropagierung aktualisiert.

[0020] Mit Blick auf die Erfassung des geistigen Zustands einer Person finden sich im Stand der Technik verschiedene Arbeiten. So nutzt bspw. US9619613 ein spezielles Gerät, welches u.a. mit Vibrationen arbeitet, um den geistigen Zustand einer Person zu evaluieren.

US9659150 nutzt bspw. Beschleunigungssensoren, um den Timed-up and Go-Test durchzuführen. In US9307940 werden Stimuli getriggert, um die geistigen Fähigkeiten zu testen, indem eine Sequenz an Stimuli definierter Länge ausgegeben und die Reaktion des Patienten erfasst wird. US8475171 verwendet bspw. eine virtuelle Realität, um einem Patienten verschiedene Bilder zu zeigen und über deren Erkennung bspw. Alzheimer zu diagnostizieren. US10111593 nutzt bspw. eine Bewegungsanalyse, um Delir zu erkennen. Dagegen versucht CN103956171, auf Basis der Aussprache eines Patienten Rückschlüsse auf einen Testcore des Mini-Mental-Tests zu ziehen.

[0021] Der Serviceroboter ist derart konfiguriert, dass der Serviceroboter mittels seiner Sensorik weitere medizinische Parameter erheben kann, darunter den Blutdruck auf kontaktlosem Weg, bspw. mittels einer Kamera. Der Stand der Technik zur Ermittlung des Blutdrucks über eine kamerabasierte Auswertung befindet sich zumeist im Forschungsstadium. Zaunseder et at al. (2018) gibt einen Überblick vor allem über solche Verfahren, die eine farbliche Auswertung des Blutflusses vornehmen. Der Übersichtsartikel von Rouast et al. (2018) geht noch etwas darüber hinaus. Sich konkret mit Auswertungsalgorithmen zur Ermittlung des Blutdrucks auf Basis verfügbarer Signaldaten beschäftigt bspw. Karylyak et. al (2013) oder Wang et al. (2014), während sich McDuff et al. (2014) bspw. der Ermittlung der Zeitpunkte des systolischen und diastolischen Drucks widmet, während Bai et al. (2018) bspw. die Wirksamkeit eines neuen Signalfilters prüft. Generelle Ansätze zur Ermittlung des Blutdrucks aus erfassten Messwerten finden sich bspw. in Parati et al. (1995). Liu et al. (2018) beschäftigen sich mit konkreten Implementierungen der farblichen Auswertung und vergleichen auch verschiedene Subregionen des Gesichts, ähnlich wie bspw. Verkruysse et al. (2008), während Lee et al. (2019) eine konkrete Implementierung auf Basis von Bewegungen des Gesichts beschreibt. Unakafov (2018) dagegen vergleicht verschiedene Verfahren auf Basis eines frei verfügbaren Datensatzes. Auf dem Weg zur praktischen Anwendung befindet sich bspw. der Ansatz von Pasquadibisceglie et al. (2018), der ein Verfahren der farblichen Auswertung in einen Spiegel integriert. Dagegen nutzt Luo et al. (2019) ein Smartphone für die Aufzeichnung der Farbdaten. Konkreter auf dem Weg zur Umsetzung befindet sich der Ansatz unter Aufzeichnung von Farbdaten von Wei et al. (2018), der bereits den Charakter einer klinischen Studie vorweist. Anders gelagert dagegen ist der Ansatz von Ghijssen et al. (2018). Hier wird mittels eines Lasers Licht durch einen Finger hindurch gesendet und auf der gegenüberliegenden Seite durch einen Sensor detektiert, wobei das ausgesendete Licht Speckle-Muster vorweist, die es einerseits erlauben, den rhythmischen vaskulären Blutfluss zu detektieren und zudem, wie bei den zuvor beschriebenen Ansätzen, die rhythmische vaskuläre Ausdehnung der Gefäße zu erfassen.

Quellen:

[0022] Zaunseder et al. Cardiovascular assessment by imaging photoplethysmography - a review. Biomed. Eng.-Biomed. Tech. 2018; 63(5): 617-634, DOL 0.1515/bmt-2017-01.

[0023] Kurylyak et al. Blood Pressure Estimation from a PPG Signal, 2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). DOI:

10.1109/I2MTC.2013.6555424.

[0024] McDuff et al. Remote Detection of Photoplethysmographic Systolic and Diastolic Peaks Using a Digital Camera. IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 61, NO. 12, DECEMBER 2014, DOL 10.1109/TBME.2014.2340991.

[0025] Bai et al. Real-Time Robust Noncontact Heart Rate Monitoring With a Camera, IEEE Access VOLUME 6, 2018. DOL 10.1109/ACCESS.2018.2837086.

[0026] Pasquadibisceglie et al. A personal healthcare System for contact-less estimation of cardiovascular parameters. 2018 AEIT International Annual Conference. DOI: 10.23919/AEIT.2018.8577458. [0027] Wang et al. Cuff-Free Blood Pressure Estimation Using Pulse Transit Time and Heart Rate. 2014 12th International Conference on Signal Processing (ICSP). DOI:

10.1109/ICOSP.2014.7014980.

[0028] Luo et al. Smartphone-Based Blood Pressure Measurement Using Transdermal Optical Imaging Technology. Circular Cardiovascular Imaging. 2019;12:e008857. DOI:

10.1161/CIRCIMAGING.l 19.008857.

[0029] Wei et al. Transdermal Optical Imaging Reveal Basal Stress via Heart Rate Variability Analysis: A Novel Methodology Comparable to Electrocardiography. Frontiers in Psychology 9:98. DOI: 10.3389/fpsyg.2018.00098.

[0030] Parati et al. Spectral Analysis of Blood Pressure and Heart Rate Variability in Evaluating Cardiovascular Regulation. Hypertension. 1995;25:1276-1286. DOI:

10.1161/01. HYP.25.6.1276.

[0031] Rouast et al. Remote heart rate measurement using low-cost RGB face video: a technical literature review. Front. Comput. Sei., 2018, 12(5): 858-872. DOI: 10.1007/sl 1704- 016-6243-6.

[0032] Lee et al. Vision-Based Measurement of Heart Rate from Ballistocardiographic Head Movements Using Unsupervised Clustering. Sensors 2019, 19, 3263. DOI: 10.3390/sl9153263.

[0033] Liu et al., Transdermal optical imaging revealed different spatiotemporal pattems of facial cardiovascular activities. Scientific Reports, (2018) 8:10588. DOI: 10.1038/s41598- 018-28804-0.

[0034] Unakafov. Pulse rate estimation using imaging photoplethysmography: generic framework and comparison of methods on a publicly available dataset. Biomed. Phys. Eng. Express 4 (2018) 045001. DOI: 10.1088/2057-1976/aabd09.

[0035] Verkruysse et al. Remote plethysmographic imaging using ambient light. 22 December 2008 / Vol. 16, No. 26 / OPTICS EXPRESS 21434. DOI: 10.1364/OE.16.021434. [0036] Ghijssen et al. Biomedical Optics Express Vol. 9, Issue 8, pp. 3937-3952 (2018). DOI: 10.1364/BOE.9.003937.

[0037] Yamada et al 2001 (DOI: 10.1109/6979.911083)

[0038] Roser und Mossmann (DOI: 10.1109/IVS.2008.4621205)

[0039] US20150363651 Al

[0040] McGunnicle 2010 (DOI: 10.1364/JOSAA.27.001137)

[0041] Espy et al (2010) (DOI: 10.1016/j.gaitpost.2010.06.013)

[0042] Senden et al. (DOI: 10.1016/j.gaitpost.2012.03.015)

[0043] Van Schooten et al. (2015) (DOI: 10.1093/gerona/glu225)

[0044] Kasser et al (2011) (DOI: 10.1016/j.apmr.2011.06.004)

[0045] Daneben kann der Serviceroboter, teilweise auf dem Weg durch Hautkontakt, teilweise ebenfalls kontaktlos, Substanzen auf der Haut bzw. innerhalb der Haut ermitteln. Hierbei kommen vor allem spektrometrische Ansätze zum Tragen. Spektrometer oder spektrometerähnliche Ansätze finden sich bspw. in US6172743, US6008889, US6088605, US5372135, US20190216322, US2017146455, US5533509, US5460177, US6069689, US6240306, US5222495, US8552359 dargestellt.

Zeichnungen Es zeigen:

Fig. 1 schematischer Aufbau eines Serviceroboters;

Fig. 2 Draufsicht auf die Räder des Serviceroboters;

Fig. 3 Managementsystem für den Serviceroboter;

Fig. 4 Erkennung eines Stuhls mittels eines 2D-LIDARs;

Fig. 5 Erkennung einer Person auf einem Stuhl mittels eines 2D-LIDARs; Fig. 6 Verfahren, um eine Person zum sich setzen zu bewegen;

Fig. 7 Navigieren einer Person zu einem Stuhl, der ein bestimmtes Kriterium erfüllt; Fig. 8 Erkennen von Türen insb. mittels eines LIDARs;

Fig. 9 Erkennung einer fixen Markierung vor einem Objekt;

Fig. 10 Labelling der Bewegungsdaten aus dem Get Elp and Go-Test;

Fig. 11 Erkennen von wiederholten Sprachsequenzen;

Fig. 12 Erfassen und Auswerten der Faltung eines Blatts;

Fig. 13 Auswertung eines geschriebenen Satzes durch den Serviceroboter;

Fig. 14 Erkennen möglicher Manipulation des Serviceroboters durch Dritte;

Fig. 15 Manipulation vs. Assistenz durch Dritte

Fig. 16 Kalibrierung des Serviceroboters unter Berücksichtigung von

Nutzerbeeinträchtigungen

Fig. 17 Serviceroboter bewegt sich in Richtung Patient Fig. 18 Passieren einer Tür

Fig. 19 Tests zur Ermittlung des Demenzrisikos von OP -Patienten und postoperatives Monitoring durch einen Serviceroboter

Fig. 20 Daten vom Serviceroboter werden für Therapievorschläge aufbereitet

Fig. 21 a) Ermittlung von Messregionen am Patienten

Fig. 21 b) Messung und Auswertung der spektrometrischen Untersuchung

Fig. 22 Ausgabe und Auswertung von Patientenreaktionen auf eine Tonsequenz

Fig. 23 Auswertung der Bilderkennung eines Patienten zu Diagnosezwecken

Fig. 24 Sicherstellen ausreichender Sichtbarkeit des Serviceroboter-Displays

Fig. 25 Posenerkennung der Hand mit Blick auf gezeigte Zahlen

Fig. 26 Anzeigen von zwei Fingern und Detektion der Patientenerwiderung

Fig. 27 Auswertung von Emotionen durch Serviceroboter

Fig. 28 Auswertung der Aktivität der oberen Extremitäten eines Patienten

Fig. 29 Erfassen von Husten beim Patienten

Fig. 30 Blutdruckermittlung

Fig. 31 selbstlernende Feuchtigkeitserkennung auf Oberflächen

Fig. 32 Navigation bei Feuchtigkeitsdetektion auf Oberflächen

Fig. 33 Auswertung von Sturzereignissen

Fig. 34 Überwachung von Vitalparametern bei einer Übung/Test

Fig. 35 Auswertung eines Gangablaufs einer Person hinsichtlich deren Sturzrisikos

Fig. 36 Ablauf eines Mobilitätstests Fig. 37 Sitzbalance-Ermittlung

Fig. 38 Aufsteh-Ermittlung

Fig. 39 Aufstehversuchs-Ermittlung

Fig. 40 Stehbalance-Ermittlung

Fig. 41 Stehbalance-Fußabstand-Ermittlung

Fig. 42 Stehbalance-Stoß-Ermittlung

Fig. 43 Gangbeginn-Klassifizierung

Fig. 44 Schrittpositions-Ermittlung

Fig. 45 Schritthöhen-Ermittlung

Fig. 46 Gangsymmetrie-Ermittlung

Fig. 47 Schrittkontinuitäts-Ermittlung

Fig. 48 Wegabweichungs-Ermittlung

Fig. 49 Rumpfstabilitäts-Ermittlung

Fig. 50 Spurweiten-Ermittlung

Fig. 51 Dreh-Ermittlung

Fig. 52 Sich-Setzen-Ermittlung

Fig. 53 Verbesserung des Signal-Rausch-Verhältnisses bei Skelettmodell-Auswertung

Fig. 54 Anpassung des Bildausschnitts bei Detektion von Sensorbewegungen

Fig. 55 Navigation zur seitlichen Erfassung einer Person

Fig. 56Ermittlung Übungsplankonfiguration

Fig. 57Architektursicht

Fig. 58 Manipulationserkennung auf Basis von Audiosignalen

Fig. 59 System zur Score-Ermittlung in Zusammenhang mit dem Aufstehen/Sich-Setzen auf einem Stuhl

Fig. 60 System zur Synchronisation von Bewegungen zwischen einer Person und einem Serviceroboter

Fig. 61 System zur Erfassung und Auswertung einer Faltübung

Fig. 62 System zur Manipulationserkennung

Fig. 63 Spektrometriesystem

Fig. 64 Aufmerksamkeitsanalyse-System

Fig. 65 System zur kognitiven Analyse

Fig. 66 System zur Schmerzstatus-Bestimmung

Fig. 67 System zur Blutdruckermittlung

Fig. 68 System zur Messung von Substanzen Fig. 69 System zur Feuchtigkeitsbewertung

Fig. 70 System zur Sturzdetektion

Fig. 71 System zur Erfassung von Vitalparametern

Fig. 72 System zur Ermittlung eines Sturzrisiko-Scores

Fig. 73 System zur Balance-Ermittlung einer Person

Fig. 74 System zur Positionsermittlung eines Fußes

Fig. 75 System Klassifizierung einer Drehbewegung

Fig. 76 System zur Gang-Klassifizierung

Fig. 77 System zur Modifikation optischer Signale eines Sensors

Fig. 78 System zur Anpassung eines Bildausschnitts

Fig. 79 System zur Realisierung seitlicher Aufnahmen

Fig. 80iterative Klassifikatorerstellung für eine Vielzahl von Gelenkpunkten

Fig. 81 Ablauf Auswertung Feuchtigkeit auf Oberflächen

Fig. 82Pfadplanung bei Feuchtigkeitsdetektion auf dem Boden

Fig. 83 Verfahren zur Fußpositionsermittlung

Fig. 84 Verfahren zur Drehbewegungsermittlung

Fig. 85 Verfahren zur Erfassung des Bewegungsablaufs einer Person entlang einer Linie Beschreibung der Erfindung

[0046] Unter dem Begriff Nutzer wird eine Person verstanden, die den Serviceroboter 17 nutzt, in diesem Falle primär vom Serviceroboter 17 durch die beschriebenen Apparaturen sensorisch ausgewertet wird. Hierbei kann es sich um Menschen fortgeschrittenen Alters handeln, mit denen der Serviceroboter 17 ein geriatrischer Test durchführt, aber auch Angehörige oder Dritte, die bspw. die Menschen fortgeschrittenen Alters dabei unterstützen, mit dem Serviceroboter 17 zu interagieren, oder aber die für die Menschen fortgeschrittenen Alters den Test durchführen.

[0047] Fig. 1 stellt den mobilen Serviceroboter 17 dar. Der Serviceroboter 17 verfügt über einen Laserscanner (LID AR) 1 zum Abtasten des Umfelds des Serviceroboters 17. Andere Sensoren sind hierbei alternativ und/oder ergänzend ebenfalls möglich z.B. eine Kamera (2D und/oder 3D) 185, ein Ultraschall- und/oder Radarsensor 194.

[0048] Der Serviceroboter 17 verfügt über mindestens ein Display 2, das in einem Aspekt ein Touchpad ist. In dem in Fig. 1 dargestellten Aspekt verfügt der Serviceroboter 17 über zwei der Touchpads. Die Touchpads wiederum besitzen bspw. ein Mikrofon 193 und einen Lautsprecher 192, welche eine akustische Kommunikation mit dem Serviceroboter 17 erlauben. Ferner verfügt der Serviceroboter 17 über mindestens einen Sensor 3 zur berührungslosen dreidimensionalen Erfassung der Bewegungsdaten eines Patienten. In einem nicht limitierenden Beispiel ist der Sensor ein Microsoft Kinect Gerät. Alternativ dazu kann auch eine Orbecc Astra 3D-Kamera zum Einsatz kommen. Derartige 3D-Kameras verfügen über ein Stereo-Kamerasystem zur Tiefenerkennung, die die Auswertung eines Skelettmodells eines Patienten ermöglicht, und zumeist auch über eine RGB-Kamera zur Farberkennung. In einem alternativen Aspekt kann eine herkömmliche Mono-Kamera zum Einsatz kommen. Technologien, die in 3D-Kameras hierbei zum Einsatz kommen können, sind Time-of-Flight- Sensoren (ToF) oder aber Speckle-Sensoren.

[0049] Im Abstand von z.B. 5 cm über dem Boden befindet sich um die äußere Hülle des Serviceroboters 17 eine druckempfindliche Stoßstange 4, zumindest in den Bereichen, die in einer möglichen Fahrtrichtung des Serviceroboters 17 liegen. Die Rechnereinheit 9 ist mit der druckempfindlichen Stoßstange 4 verbunden und erkennt Kollisionen des Serviceroboters 17 mit einem Gegenstand. Im Fall einer Kollision wird die Antriebseinheit 7 sofort gestoppt.

[0050] Der Serviceroboter 17 verfügt in einem Aspekt über zwei Antriebsräder 6, die zentriert und parallel zueinander (siehe Fig. 2) angeordnet sind. Darum herum befinden sich, bspw. auf einer Kreisbahn, zwei oder drei weitere Stützräder 5. Diese Anordnung der Stützräder 5 erlaubt es, durch gegenläufiges Ansteuem der Antriebsräder 6 den Serviceroboter 17 auf der Stelle zu drehen. Die Achse der zwei oder drei Stützräder 5 ist hierzu so gelagert, dass die Achse sich um 360 Grad um die vertikale Achse drehen kann. Beim Einsatz von zwei Stützrädem 5 ist der Abstand der Antriebsräder größer als in Fig. 2 dargestellt, so dass ein zu leichtes Kippen des Serviceroboters 17 verhindert wird.

[0051] Der Serviceroboter 17 verfügt zudem über eine Energiequelle 8 zur Versorgung der Antriebs- und Rechnereinheit 9, der Sensorik (Laserscanner 1, Sensor 3, und Stoßstange 4) sowie der Ein- und Ausgabeeinheiten 2. Die Energiequelle 8 ist eine Batterie oder ein Akkumulator. Alternative Energiequellen wie bspw. eine Brennstoffzelle, darunter eine Direktmethanol- oder eine Festoxid-B rennstoffzelle, sind ebenfalls denkbar.

[0052] Die Rechnereinheit 9 verfügt über mindestens einen Speicher 10 und mindestens eine

Schnittstelle 188 (wie z.B. WLAN) zum Datenaustausch. Dazu zählen (nicht abgebildet) in einem optionalen Aspekt eine Vorrichtung, um einen mobilen Speicher (bspw. einen Transponder/RFID Token) auszulesen. In einem weiteren Aspekt kann dieser mobile Speicher auch beschrieben werden. In einem Aspekt erlaubt diese oder eine weitere Schnittstelle 188 (wie z.B. WLAN) die drahtlose Kommunikation mit einem Netzwerk. Der Serviceroboter 17 verfügt über im weiteren Verlauf dieses Dokuments beschriebene Regeln zur Durchführung von Auswertungen, die im Speicher 10 abgelegt sind. Alternativ und/oder ergänzend können diese Regeln auch im Speicher einer Cloud 18 abgelegt sein, auf die der Serviceroboter 17 über die mindestens eine Schnittstelle 188 (wie z.B. WLAN) zugreift. Dies muss an anderer Stelle so nicht explizit erwähnt sein, wird mit der Offenbarung jedoch umfasst.

[0053] Der Sensor 3 erkennt eine Person und deren Handlungen und erstellt auf Basis der Bewegungen der Person ein Skelettmodell. Hierbei ist der Sensor 3 in einem Aspekt auch in der Lage, Gehhilfen/Unterarmgehstützen (UAGS) zu erkennen. Der Serviceroboter 17 verfügt ferner optional über ein oder mehrere Mikrofone 193, welche unabhängig von den Touchpads implementiert sein können, um die Sprache der Person aufzuzeichnen und in einer Rechnereinheit auszuwerten.

[0054] Fig. 57 illustriert die Architektur sicht, die jedoch im Verlauf dieses Dokuments beschriebene Applikationen ausblendet. Auf der Softwareebene finden sich verschiedene Module mit Grundfunktionen des Serviceroboters 17. Im Navigationsmodul 101 sind bspw. verschiedene Module enthalten. Darunter ist ein 2D oder 3D-Umfelderfassungsmodul 102, die bspw. Umgebungsinformationen auswertet basierend auf verschiedenen Sensordaten. Das Pfadplanungsmodul 103 erlaubt dem Serviceroboter 17 die Ermittlung eines eigenen Pfads, den er zurücklegt. Der Bewegungsplaner 104 nutzt bspw. die Ergebnisse der Pfadplanung aus dem Pfadplanungsmodul 103 und errechnet eine optimale Wegstrecke für den Serviceroboter unter Berücksichtigung bzw. Optimierung verschiedener Kostenfunktionen. Als Kostenfunktionen fungieren neben den Daten aus der Pfadplanung auch solche aus der Hindernisvermeidung, einer Vorzugsfahrrichtung, usw., wie bspw. auch eine erwartete Bewegungsrichtung einer überwachten Person. Dabei spielen auch Aspekte der Fahrdynamik eine Rolle, wie die Geschwindigkeitsadaption bspw. in Kurven, usw. Das Selbstlokalisierungsmodul 105 erlaubt es dem Serviceroboter 17, seine eigene Position auf einer Karte zu bestimmen, bspw. mittels Odometriedaten, dem Abgleich erfasster Umfeldparameter aus der 2D/3D-Umfelderfassung mit in einer Karte aus dem Kartenmodul 107 hinterlegten Umfeldparametern, usw. Das Kartierungsmodul 106 erlaubt es dem Serviceroboter 17, sein Umfeld zu kartieren. Erstellte Karten werden bspw. im Kartenmodul 107 abgelegt, welches jedoch auch andere als nur selbsterstellte Karten enthalten kann. Das Lademodul 108 zum automatischen Laden. Darüber hinaus kann es eine Datenbank mit Raumdaten 109 geben, die bspw. Informationen beinhaltet, in welchem Raum eine Auswertung mit einer Person durchgeführt werden soll, usw. Ein

Bewegungsauswertungsmodul 120 beinhaltet z.B. ein Bewegungsablaufextraktionsmodul 121 und ein Bewegungsablaufbewertungsmodul 122. Diese umfassen jeweils die Regeln zur Bewegungsauswertung, die im weiteren Verlauf dieses Dokuments näher beschrieben werden. Das Personenerkennungsmodul 110 beinhaltet bspw. ein Personenidentifizierungsmodul 111, welches bspw. Regeln enthält, um aus erfassten Sensordaten zu bestimmen, ob es sich um eine Person handelt oder um etwas anderes. Ein visuelles-Personentracking-Modul 112 für visuelles Personentracking basiert bspw. vor allem auf Kameradaten als Eingangsgrößen, das laserbasierte Personentracking-Modul 113 nutzt entsprechend den LID AR 1. Ein Personenreidentifizierungsmodul 114 erlaubt es bspw., im Falle eines Unterbrechens des Trackingvorgangs eine danach erfasste Person insofern einzuordnen, ob es sich dabei um eine handelt, die zuvor getrackt wurde. Ein Sitzerkennungsmodul 115 erlaubt es, bspw. einen Stuhl zu detektieren. Der Serviceroboter 17 verfügt darüber hinaus über ein Mensch-Roboter-Interaktions-Modul 130, umfassend eine graphische Nutzer Oberfläche 131, ein Sprachsyntheseeinheit 133 und ein Sprachauswertungsmodul 132. Daneben gibt es ein Applikationsmodul 125, welches eine Vielzahl von Applikationen umfassen kann wie Übungen und Tests mit Personen, welche subsequent näher beschrieben werden.

[0055] Auf der Hardwareebene 180 befindet sich eine Odometrieeinheit 181, bspw. eine Schnittstelle zur Kommunikation mit RFID-Transpondern, eine Kamera 185, Bedienelemente 186, eine Schnittstelle 188 wie WLAN, eine Ladesteuerung 190 für die Energieversorgung, eine Motorsteuerung 191, Lautsprecher 192, mindestens ein Mikrofon 193, bspw. ein Radar- und/oder Ultraschall sensor 194, ein Detektor 195, der an anderer Stelle näher beschrieben wird, ebenso bspw. ein Spektrometer 196 und bspw. eine Projektionsvorrichtung 920. LID AR 1, Display 2 und Antrieb 7 wurden bereits beschrieben.

[0056] Fig. 3 illustriert, dass der Serviceroboter 17 über eine Schnittstelle 188 mit der Cloud 18 verbunden ist. Ein Therapeut hat die Möglichkeit, über ein Terminal 13 auf ein in der Cloud 18 gelagertes Patientenadministrationsmodul 160 mit einem Rechner 161 zuzugreifen, der wiederum mit einem Speicher 162 in Verbindung steht.

[0057] Medizinisches Personal kann im Patientenadministrationsmodul 160 Patientendaten hinterlegen oder in einem Aspekt über eine Schnittstelle 188 (wie z.B. WLAN) diese Patientendaten aus anderen Systemen importieren. Zu diesen anderen Systemen zählen vor allem Krankenhausmanagementsysteme (KIS) und/oder Patientendatenmanagementsysteme, wie sie üblicherweise in Kliniken oder Arztpraxen genutzt werden. Die Patientendaten umfassen neben dem Namen und ggf. der Zimmemummer des Patienten auch Informationen zum allgemeinen Gesundheitszustand, usw. Der Rechner 161 in dem Patientenadministrationsmodul 160 erzeugt hierbei pro Person eine ID, die mit den Personendaten im Speicher 162 abgespeichert wird. Das medizinische Personal kann die durchzuführenden Tests definieren. Über die Cloud 18 ist das Managementsystem mit einem Regelwerk 150 verbunden, bestehend aus einer Rechnereinheit 151 und einem Speicher 152. Das Regelwerk 150 hält Regeln zur Durchführung und Auswertung der Übungen vor, die mit denen des Serviceroboters 17 übereinstimmen können und bspw. zentral im Regelwerk gepflegt und dann an mehrere Serviceroboter 178 verteilt werden.

[0058] Im Regelwerk 150 ist die Klassifizierung von Objekten und Bewegungen hinterlegt, aber auch die Kombination daraus, um die Beobachtungen im Sinne des Tests auszuwerten.

So ist bspw. die Stellung der Beine, des Oberkörpers, der Arme, Hände usw. auf Basis eines Skelettmodells hinterlegt. Zusätzlich können Gegenstände, die im Rahmen des Tests ausgewertet werden sollen, erkannt werden. Das Regelwerk 150 kann initial template-basiert mit Hilfe von Fachleuten angelegt werden, d.h. es werden Grenzwerte für einzelne Gliedmaßen festgelegt. Für die Grenzwerte können auch Fuzzy -Algorithmen zum Einsatz kommen. Alternativ können auch einzelne Bilder oder Bildsequenzen, die bspw. wieder mit Blick auf Aufnahmen einer Person in ein Skelettmodell übersetzbar sind, durch medizinisches Personal gelabelt werden und es werden mithilfe von Algorithmen des maschinellen Lernens inkl. neuronaler Netze Klassifikationen festgelegt, die die Grenzwerte abbilden.

[0059] In einem Aspekt existiert auch ein cloudbasiertes Navigationsmodul 170 mit einem Navigationsrechner 171 und einem Navigationsspeicher 172.

[0060] Der Serviceroboter 17 kann mit einer CI oudan wendung in der Cloud 18 verbunden sein. Der Therapeut kann der Person, die den Test durchführen soll, eine mobile Speichereinheit wie bspw. einen Token zuweisen. Der Token enthält die Patienten-ID und/oder eine weitere Token-ID, der Person bzw. seiner ID zugewiesen ist. Mit diesem Token bzw. der Seriennummer und/oder der ID kann sich die Person am Serviceroboter 17 identifizieren. Es ist auch eine Identifizierung über andere Wege möglich, bspw. über die Eingabe von Login-Daten in einem bildschirmgeführten Menü, aber auch mittels biometrischer Merkmale wie bspw. einem Gesichts-Scan oder einer Software auf einem Mobilgerät, die einen Code bereit hält, der in den Serviceroboter 17 eingegeben oder eingelesen wird. Der Serviceroboter 17 lädt nun aus der Cloud 18 entsprechend den vom medizinischen Personal hinterlegten Test ohne jedoch die personenbezogenen Daten über eine Schnittstelle 188 (wie z.B. WLAN) herunter - die Zuordnung erfolgt über die Personen-ID. Nach Absolvieren des Tests lädt der Serviceroboter 17 die Daten des Tests verschlüsselt in das Patientenadministrationsmodul 160 - die Zuordnung erfolgt über die Personen-ID. Erst in dem Patientenadministrationsmodul 160 findet eine Entschlüsselung der Daten statt (vgl. unten). Das medizinische Personal kann nachfolgend die Daten auswerten, wie durch entsprechende Beispiele unten näher erläutert wird.

[0061] In einem weiteren Aspekt überträgt das medizinische Personal die Hinweise zur Durchführung eines Tests oder einer Teilkomponente davon auf einen Speichermedium (z.B. Transponder in der Form eines RFID-Tags), welchen die Person erhält, um sich am Serviceroboter 17 zu identifizieren, wozu dieser eine RFID-Schnittstelle 183 aufweist. Dabei werden die Daten vom Speichermedium an den Serviceroboter 17 übertragen inkl. der Personen-ID, die vom Patientenadministrationsmodul 160 vorgegeben wurde. Nach Absolvieren des Tests überträgt der Serviceroboter 17 die Daten wieder auf das Speichermedium, so dass das medizinische Personal beim Auslesen des Speichermediums die Daten in das Patientenadministrationsmodul 160 übertragen kann. In einem ergänzenden und/oder alternativen Aspekt können die Daten auch verschlüsselt über eine drahtlose oder drahtgebundene Schnittstelle 188 (wie z.B. WLAN) an das Patientenadministrationsmodul 160 übertragen werden.

[0062] Es sind auch Kombinationen aus dem oben beschrieben Ansatz und dem Datenaustausch via Speichermedium (bspw. Transponder) möglich.

[0063] Der Serviceroboter verfügt mit der Kamera 185, einem LID AR 1 und Radar- und/oder Ultraschall sensor 194 über Sensorik, die nicht nur zu Navigationszwecke eingesetzt werden kann, sondern bspw. auch zur Personenerfassung und Tracking, weshalb diese Sensoren, zusammen mit entsprechenden Softwaremodulen, hardwareseitig eine Personenerfassungs und Trackingeinheit 4605 bilden, wobei hierbei auch weitere Sensorik eingesetzt werden kann, bspw. in Zusammenspiel mit einem Inertialsensor 5620, der sich an der zu erfassenden und/oder trackenden Person befindet. Mit Blick auf die Personenerfassung und das Personentracking kann in einem ersten Schritt ein Personenerkennungsmodul 110 zum Einsatz kommen, dass aus Sensordaten eine Person erkennt und verschiedene Untermodule aufweisen kann. Dazu zählt bspw. ein Personenidentifizierungsmodul 111, dass es erlaubt, eine Person zu identifizieren. Dabei können bspw. charakteristische Merkmale der Person abgespeichert werden. Durch das Personenreidentifizierungsmodul 114 ist eine Wiedererkennung der Person möglich, bspw. nach Unterbrechung des Personentrackings, das durch ein visuelles Personentrackingmodul 112 (bspw. Daten einer Kamera 185 auswertend) oder ein laserbasiertes Personentrackingmodul 113 (bspw. Daten eines LID AR 1 auswertend) erfolgen kann. Die Wiedererkennung der Person im Personenreidentifizierungsmodul 114 kann durch Mustervergleich erfolgen, wobei die Muster sich bspw. aus den abgespeicherten Personenmerkmalen ergeben. Ein Bewegungsauswertungsmodul 120 erlaubt die Auswertung verschiedener Bewegungen. Erfasste Bewegungen können im

Bewegungsablaufextraktionsmodul 121 zunächst vorprozessiert werden, d.h. es werden Merkmale der Bewegungen extrahiert, die im Bewegungsablaufbewertungsmodul 122 klassifiziert und bewertet werden, bspw. um eine spezifische Bewegung zu identifizieren. Mit Blick auf die Erfassung und Auswertung von Bewegungen einer Person kann dabei ein Skelettmodell im Skelett-Erstellungs-Modul 5635 erstellt werden, welches Gelenkpunkte an den Gelenken der Person ermittelt und Richtungsvektoren zwischen den Gelenkpunkten. Eine Merkmalsextraktion auf Basis von Gelenkpunkten findet bspw. im skelettmodell-basierten Merkmalsextraktions-Modul 5460 statt. Es sind im Dokument eine Reihe spezifischer Merkmalsextraktionsmodule aufgeführt ebenso wie mehrere Merkmalklassifikationsmodule, die bspw. auf diesen genannten Merkmalsextraktionsmodulen aufsetzen können. In einem Aspekt zählen dazu das Gangmerkmalsextraktions-Modul 5605, welches ebenfalls Daten des Skelett-Erstellungs-Moduls 5635 verwendet, ein Gangmerkmalsklassifizierungs-Modul 5610 und ein Gangablaufklassifizierungs-Modul 5615.

[0064] Mit Blick auf genutzte Begrifflichkeiten sind einige Klarstellungen notwendig: In einem Aspekt werden bspw. Handgelenkpunkte erwähnt, welche stellvertretend für die Position einer Hand genutzt werden können, bspw. wenn es darum geht, das Festhalten einer Person an Objekten auszuwerten. Dabei können Je nach Auswertung, darunter auch Fingergelenkpunkte verstanden werden, soweit sich Finger über die Erfassungsdistanz auswerten lassen. Nachfolgend ist bspw. von Personen und Nutzern die Rede. Dabei kann eine Person relativ breit verstanden werden, während ein Nutzer im Regelfälle eine Person ist, die sich am Serviceroboter 17 identifiziert hat. Die Begriffe können jedoch an vielen Stellen synonym verwendet werden, die Differenzierung ist jedoch bei der Manipulationserkennung besonders relevant.

[0065] Mit Blick auf Schwellwertvergleiche ist teilweise von Überschreitungen eines Schwellwerts die Rede, was dann zu einer bestimmten Bewertung einer Situation führt. Dabei können verschiedene Berechnungen genutzt werden, die teils eine konträre Interpretation der Auswertungsergebnisse herbeiführen könnten. Ein Beispiel sei ein Vergleich zweier Muster, die zur Personenwiedererkennung genutzt werden. Wenn hier bspw. ein Ähnlichkeitskoeffizient errechnet wird, bspw. eine Korrelation, bedeutet eine hohe Korrelation, die über einem Schwellwert liegt, dass bspw. eine Identität von zwei Personen vorliegt. Wenn jedoch zwischen den einzelnen Werten eine Differenz vorliegt, bedeutet ein hoher Differenzwert das Gegenteil, d.h. eine hohe Unähnlichkeit. Es werden solche alternativen Berechnungen jedoch als synonym für bspw. die erste Berechnung über die Korrelation angesehen.

[0066] Der Einsatz von Verfahren des maschinellen Lernens kann bspw. das Festlegen expliziter Schwellwerte bspw. für Bewegungsabläufe überflüssig machen zugunsten einer Musterauswertung. D.h. anstelle von Schwellwertvergleichen bspw. für dedizierte Distanzen eines Gelenkpunkts aus einem Skelettmodell finden Mustervergleiche statt, die mehrere Gelenkpunkte zugleich auswerten. Sofern nachfolgend von einem Sch well wertvergleich gesprochen wird, insbesondere mit Blick auf einen Bewegungsablauf, kann auch im Falle der Nutzung von Algorithmen des maschinellen Lernens ein Weg für einen Mustervergleich gefunden werden. Als Grundlage für einen solchen Mustervergleich können bspw. Körperposen eines Bewegungsablaufs, ob korrekt oder falsch, im Zeitverlauf erfasst und zusammenhängend ausgewertet werden. Auf Basis extrahierter Merkmale wie bspw. Gelenkpunkte kann ein Klassifikator erstellt werden, der dann mit weiteren erfassten, als korrekt oder falsch vorgegebene Körperposen und die daraus abgeleiteten Verläufe der Gelenkpunkte vergleicht. Erhebung des Barthel-Index

[0067] Einer der Tests, die der Serviceroboter 17 durchführen kann, ist die Erhebung des Barthel-Indexes bzw. die Durchführung des Barthel-Tests. Mittels dieses Barthel-Tests wird auf Basis einer Verhaltensbeobachtung eine Einschätzung grundlegender Fähigkeiten der Selbständigkeit bzw. Pflegebedürftigkeit wie Essen und Trinken, Körperpflege, Mobilität und Stuhl/Harnkontrolle vorgenommen. Hierzu ist der Serviceroboter 17 derart konfiguriert, dass über die Kommunikationsvorrichtungen einem Nutzer zu diesen Themengebieten Fragen gestellt werden. Beim Nutzer kann es sich um die zu beurteilende Person handeln. Alternativ und/oder ergänzend können weiteren Personen, bspw. Angehörigen, ebenfalls Fragen zu diesen Themen über die Kommunikationsvorrichtung gestellt werden. Die Fragestellung erfolgt hier entweder über eine Menüführung eines Displays 2 des Serviceroboters 17 oder über ein Sprachinterface. Alternativ oder ergänzend zur im Serviceroboter 17 verbauten Display2 und/oder Mikrofonen 193 kann auch ein separates, per Schnittstelle 188 (wie z.B. WLAN) mit dem Serviceroboter 17 verbundenes Display 2 wie bspw. ein Tablet-Computer genutzt werden, den die Person in die Hand nehmen oder auf einem Tisch ablegen kann, was die Beantwortung und Absolvierung der Übungen vereinfacht. Eine Differenzierung in zu beurteilende Person und bspw. Angehörige erfolgt über den Fragedialog. Ergänzend und/oder alternativ sind auch Differenzierungen nach den Ansätzen möglich, die bspw. im Abschnitt über die Manipulationserkennung fortfolgende näher beschrieben werden.

Erkennen eines Stuhls mit einem Patienten, der einen Timed Up and Go-Test durchführen soll

[0068] Einer der Tests, der mittels des Serviceroboters 17 durchgeführt werden kann, ist der sogenannte „Timed Up and Go“ Test. Bei diesem Test sitzt eine zu evaluierende Person in einem Armlehnstuhl, steht auf und geht drei Meter, um umzukehren und sich wieder hinzusetzen. Die hierbei verwendete Zeit wird erfasst und, auf Basis einer Tabelle, in einen Score konvertiert.

[0069] Der Serviceroboter 17 tastet mit einem Laserscanner 1 den Raum ab, in dem der Serviceroboter 17 sich befindet, berechnet die Distanzen zu den Wänden und erstellt eine im Rahmen des Mappings durch das Kartierungsmodul 106 virtuelle Karte, die die Umrisse des Raums wiedergibt, aber auch Gegenstände, die sich zwischen dem Laserscanner 1 und den Wänden befinden, ebenfalls in der XY-Ebene vermerkt. Die erstellte Karte wird im Kartenmodul 107 abgelegt. Sofern der Laserscanner 1 keine Rundumsicht hat, führt der Serviceroboter 17 Fahrbewegungen derart aus, dass der Serviceroboter 17 sein Umfeld annährend um 360° abtastet. Dieses Abtasten führt der Serviceroboter 17 bspw. von verschiedenen Positionen im Raum aus, um bspw. isoliert stehende Hindernisse zu erkennen. Hat der Serviceroboter 17 einmal den Raum abgetastet und eine virtuelle Karte erstellt, so ist der Serviceroboter 17 in der Lage, durch erneutes Abtasten eines Raumteils den Raum wiederzuerkennen. Dieses weitere Abtasten gelingt umso präziser, umso mehr vom Raum abgetastet wird. Hierbei zeichnet der Serviceroboter 17 z.B. seinen zurückgelegten Weg auf und misst hierbei die Distanzen, so dass der Serviceroboter 17 seine Position im Raum bestimmen kann. Ergänzend kann hier auch das Messen der zurückgelegten Entfernung über eine Auswertung der Drehbewegung der Räder in Zusammenhang mit deren Umfang erfolgen. Wird anstelle eines Laserscanners eine Kamera 185 genutzt, um die Karten zu erstellen, ist eine leichtere Positionsbestimmung möglich, da nicht nur in der XY-Ebene charakteristische Dimensionen erkannt werden, sondern auch in der Z-Ebene, womit sich einzigartige Dimensionen innerhalb des Raums schneller identifizieren lassen, als diese Identifizierung lediglich in einer zweidimensionalen Darstellung möglich ist.

[0070] Es sind beim Raum-Mapping durch das Kartierungsmodul 106 auch mehr als nur ein Sensor einsetzbar, bspw. die Kombination aus dem LID AR 1 und dem Sensor 3, wobei der Sensor 3 eine RGB-Kamera ist, die bspw. die Farbgebung im Raum erfasst und jedem Punkt in der XY-Ebene, die der LID AR 1 aufzeichnet, einen Farbwert zuordnet. Hierzu führt die Rechnereinheit des Serviceroboters 17 derart eine Bildverarbeitung durch, dass zunächst jedem Punkt in der XY-Ebene eine Z-Koordinate zugeordnet wird, die sich aus der Neigung des LIDARs und seiner Höhe gegenüber dem Boden darstellt. Die RGB-Kamera wiederum verfügt über eine bekannte relative Position zum LID AR sowie über einen bekannten Ausrichtungswinkel und einen bekannten Aufnahmewinkel, so dass sich daraus ergibt, welchen Abstand im Bild bspw. eine horizontale, gerade Linie aufweist, die sich im Abstand von 2m und einer Höhe von 50cm über den Boden befindet. Über diese Parameter lässt sich damit jeder Raumkoordinate, die der LID AR 1 ermittelt, aus dem RGB-Bild ein Pixel zuordnen und damit auch die Farbwerte des Pixels.

[0071] Mittels des LIDARs 1 ist es möglich, die Position im Raum zu bestimmen, an der sich vermutlich ein Stuhl befindet. Das Erkennungsverfahren ist in Fig. 4 beschrieben. Stühle verfügen üblicherweise über ein bis vier Beine, wobei es sich bei einbeinigen Stühlen um Bürodrehstühle handelt, die aufgrund ihrer möglichen Rotation um die Z-Achse weniger für möglicherweise gehbehinderte Personen im fortgeschrittenen Alter eignen. Sehr viel wahrscheinlicher sind Stühle mit zwei oder vier Beinen, wobei es sich bei zweibeinigen Stühlen in den meisten Fällen um sogenannte Freischwinger handeln könnte. Stuhlbeine zeichnet ferner aus, dass die Stuhlbeine in der XY-Ebene isoliert stehen, womit der LID AR 1 isoliert stehende Objekte im Schritt 405 erkennt. Ferner haben die Stuhlbeine untereinander primär einen homogenen Querschnitt in der XY-Ebene bei konstantem Z (Schritt 410). Der Durchmesser der Objekte (d.h. der potentiellen Stuhlbeine) liegt hier zwischen 0,8cm und 15 cm, bspw. zwischen 1 cm und 4 cm und wird im Schritt 415 festgestellt. Der Abstand der Objekte, die sich möglicherweise als Stuhlbeine heraussteilen untereinander in der XY-Ebene beträgt typischerweise ca. 40 cm 420. Bei vierbeinigen Stühlen sind die Beine zudem vornehmlich in Form eines Rechtecks angeordnet (Schritt 425). Dies heißt, dass zwei Objekte mit gleichem Durchmesser auf die Existenz eines Frei Schwingers mit zwei Beinen hindeuten (Schritt 430). Weisen die Vorderbeine des Stuhls untereinander und die Hinterbeine des Stuhls untereinander den gleichen Querschnitt auf, handelt es sich vermutlich um einen vierbeinigen Stuhl (Schritt 435).

[0072] Der Serviceroboter 17 ist nun in der Lage, auf Basis dieser Charakteristika (zwei bzw. vier Objekte, die isoliert stehen, die einen in etwa symmetrischen Querschnitt aufweisen, die einen Abstand von ca. 40 cm haben und die ggf. ca. rechteckig angeordnet sind) diesen Objekten das Attribut „Stuhl“ zuzuweisen und in der virtuellen Karte, die mittels LID AR 1 und/oder einem oder mehreren weiteren Sensor(en) erstellt wurde, solche Positionen der Stuhle im Schritt 440 festzulegen, an denen sich mit hoher Wahrscheinlichkeit ein oder mehrere Stühle befinden. Jedem identifiziertem Stuhl wird zudem eine räumliche Orientierung im Schritt 445 zugewiesen. Die Stühle befinden sich zumeist in etwa parallel zu einer Wand und weisen üblicherweise einen Abstand von ihr auf, der zwischen zwei und 20 cm betrifft, wobei dieser Abstand für die Stuhlrückseite zutrifft. Demzufolge wird der Linie zwischen zwei der Stuhlbeine, die sich parallel zur Wand befindet, und die sich üblicherweise 40-70 cm von der Wand entfernt befindet, die Eigenschaft „Vorderseite Stuhl“ zugewiesen 450, die beiden Bereiche, die sich orthogonal dazu befinden, werden als „Rückseiten“ des Stuhls im Schritt 455 gelabelt. Ergänzend und/oder alternativ kann bei vierbeinigen Stühlen auch die von der nächstliegenden Wand weiter entfernte Seite als Vorderseite erkannt werden. [0073] Anstelle des LIDARs 1 kann auch eine 2D oder 3D-Kamera 185 genutzt werden, um die Stühle zu erkennen. In diesem Falle sendet die Rechnereinheit die Aufnahmen über eine Schnittstelle 188 (wie z.B. WLAN) und eine API ggf. an einen Webservice in dem Cloud 18, der dazu eingerichtet ist, Bildklassifizierungen vorzunehmen, oder die Rechnereinheit greift auf im Speicher 10 des Serviceroboters 17 hinterlegte Bildklassifizierungsalgorithmen zurück, die in der Lage sind, in den von der 2D- oder 3D-Kamera 185 erstellen Aufnahmen einen Stuhl zu erkennen, darunter auch einen Stuhl mit Armlehnen. Es gibt eine Vielzahl von Algorithmen, die derartige Klassifizierungen initial vornehmen und ein Modell erstellen, dass dann entweder in der Webservice in der Cloud 18 oder im Speicher 10 des Serviceroboters 17 auf die von der 2D- oder 3D-Kamera 185 des Serviceroboters 17 angewendet werden kann, darunter neuronale Netze wie konvolutionäre neuronalen Netzen.

[0074] Der Serviceroboter 17 ist in der Lage, unabhängig von der Art der Stuhlidentifizierung die Position eines Stuhls abzuspeichem, z.B. im eigenen Speicher 10, der mit dem Navigationsmodul 101 des Serviceroboters 17 interagiert 465. Der Serviceroboter 17 erfasst ferner die Zahl der Stühle im Raum 470 und zählt diese Stühle in einer Reihenfolge, die dem Uhrzeigersinn entspricht. Alternativ dazu ist auch eine andere Reihenfolge möglich. Aus dieser Reihenfolge erhalten die Stühle eine Nummer, die als eine Objekt-ID abgelegt wird 475.

[0075] Der Serviceroboter 17 ist auf Basis der beschriebenen Vorgehensweise in der Lage, einen Raum inkl. vorhandener Stühle zu mappen, d.h. die Position der Stühle im Raum zu bestimmen inkl. ihrer Orientierung. Für die Durchführung des Timed Up and Go-Tests ist es jedoch notwendig, dass sich eine Person auf einem der Stühlen befindet, die ggf. auch über

Gehhilfen verfügt, die sich in Nähe des Stuhls befinden. Für den Fall, dass der Serviceroboter

17 so konfiguriert ist, dass der Serviceroboter 17 der LID AR 1 zur Identifizierung von

Personen nutzt, wird nachfolgendes Verfahren eingesetzt: Die Position und die Orientierung des Stuhls im Raum wird über die vorangegangenen Verfahren in Fig. 5 im Schritt 505 identifiziert. Um Beine und etwaige Gehhilfen identifizieren und von in XY-Richtung im

Querschnitt her gestalteten Objekten unterscheiden zu können, navigiert im Schritt 510 der

Serviceroboter 17 in etwa mindestens 20°, z.B. um mindestens 45°, im Idealfall um mindestens 90° um den Ort herum, wo sich ein Stuhl befindet 510, wobei der LID AR 1 und/oder ein oder mehrere weitere Sensoren in Richtung des Stuhl orientiert ist/sind (Schritt

515). Hierbei hält der Serviceroboter 17 einen Abstand von mehr als 50cm, z.B. mehr als 80 cm ein 520. Hiermit erhöht sich eine Prognosegenauigkeit, dass die Stuhlbeine vom Serviceroboter 17 erkannt werden und damit ein Rückschluss darauf zulässt, dass sich eine Person auf dem Stuhl befindet.

[0076] Sofern eine Person auf dem Stuhl sitzt, befinden sich optional zwei weitere Objekte in Stuhlnähe 525, die in etwa kreisförmig sind 530, einen Durchmesser von weniger als 4 cm haben, z.B. weniger als drei cm 535. Diese mit hoher Wahrscheinlichkeit Abstände zueinander und/oder den Stuhlbeinen aufweisen, die sich deutlich von den ca. 40 cm unterscheiden 540, die die Stuhlbeine untereinander aufweisen. Mit hoher Wahrscheinlichkeit befinden sich diese Abstände zudem seitlich von den Stuhlbeinen 545. Unter Berücksichtigung dieser Informationen ist die Rechnereinheit 9 im Serviceroboter 17 in der Lage, die identifizierten Objekte als Gehhilfen zu identifizieren 550. Werden diese Merkmale in Mehrzahl nicht detektiert, werden keine Gehhilfen identifiziert 585. Hierfür können zum Beispiel Naive Bayes-Schätzungen genutzt werden. Da nicht jede Person über Gehhilfen verfügen muss, die den Test absolvieren soll, sind die Schritte 525-550 optional und/oder nicht notwendig, um die Person auf einem Stuhl mittels des LIDARs 1 zu identifizieren. Räumlich gesehen befinden sich um Umfeld der Vorderbeine des Stuhls mutmaßlich die Beine der Person, die auf dem Stuhl sitzt.

[0077] Ein oder beide Beine können vor, zwischen den vorderen Stuhlbeinen oder hinter den vorderen Stuhlbeinen positioniert sein. Damit ergibt sich ein in etwa trichterförmigem Bereich, der sich von etwa der Stuhlmitte in etwa strahlenförmig nach vorne erstreckt und bis maximal ca. 50 cm über die Verbindungslinie der beiden Stuhlbeine reicht 555. Die vom LID AR 1 erfassten Daten werden dahingehend ausgewertet, dass in diesem Bereich zwei 560 etwa runde bis elliptische Objekte 565, die einen Durchmesser von 6-30cm, z.B. 7-20 cm aufweisen 570 identifizieren. Die Beine können auch zwischen den vorderen Stuhlbeinen oder gar hinter diesen Stuhlbeinen gelagert sein. Je dichter sich die Objekte an der Linie zwischen den beiden vorderen Stuhlbeinen befinden, desto eher entspricht die Form der Objekte einer Kreisform 575. Sofern diese Kriterien weitestgehend erfüllt sind, erkennt das im Serviceroboter 17 hinterlegte Regelwerk 150 auf Basis der LIDAR-Daten eine Person auf dem Stuhl 580. Alternativ wird keine Person auf dem Stuhl erkannt 590

[0078] Alternativ zum LID AR 1 lassen sich Person und Gehhilfen ebenfalls über eine generelle Bildklassifizierung erkennen, wie bspw. etwas weiter vorne bereits beschrieben. Hierbei verbessert der Serviceroboter 17 gleichfalls die Prognosegenauigkeit, indem der Serviceroboter 17 den Stuhl aus mehreren Positionen anpeilt, so dass die 2D oder 3D-Kamera 185 den Stuhl, ähnlich wie bspw. im vorigen Absatz dargelegt, aufnehmen kann. Anstelle einer generellen Bildklassifizierung können auch die im Stand der Technik hinlänglich beschriebenen Verfahren (SDKs) zur Personenerkennung via 2D- oder 3D-Kameras 185 genutzt werden, die auf einer Skeletterkennung fungieren, bspw. das Kinect SDK, Astra Orbbec SDK, Open Pose, PoseNet von Tensorflow, usw.

[0079] Der Serviceroboter 17 ist gemäß Fig. 6 ferner in der Lage, eine Person im Raum zu identifizieren 605, wozu verschiedene, alternative und/oder ergänzende Ansätze zum Tragen kommen können: Hierzu kann einerseits mit dem LID AR 1 aus unterschiedlichen Winkeln zwei Querschnitte identifiziert werden, die einen Durchmesser von mindestens 5 cm, z.B. mindestens 7 cm haben, die nicht exakt rund sind und statisch einen Abstand von mindestens 3 cm aufweisen, bspw. mindestens 5 cm. Alternativ oder ergänzend kann auf Grundlage einer Bildklassifizierung mittels der 2D- oder 3D-Kameras 185 eine Person identifiziert werden, wobei beispielsweise die im vorigen Abschnitt bereits erwähnten SDKs zum Einsatz kommen können. Die Einstufung als Person erfolgt in einem Aspekt mit höherer Wahrscheinlichkeit, wenn sich die Position im Raum im Zeitablauf verändert. Der Serviceroboter 17 nutzt ferner Algorithmen aus dem Stand der Technik, die über die SDKs der Sensoren (wie Kameras 185) und/oder Drittanbietersoftware es ermöglichen, ein Skelettmodell der Person zu erstellen und über die Zeit zu tracken 610, bspw. mittels des visuellen-Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Wird eine Person identifiziert, der sich nicht auf dem Stuhl befindet 615, fordert der Serviceroboter 17 diese Person auf, sich auf den Stuhl zu setzen, was z.B. akustisch und/oder optisch erfolgt 620. Dabei trackt der Serviceroboter 17 die Bewegung der Person in Richtung Stuhl 625. Erfasst der Serviceroboter 17 keine Bewegung in Richtung Stuhl 630, ändert der Serviceroboter 17 seine Position 635. Hintergrund dieser Maßnahme ist, dass der Serviceroboter 17 ggf. der Person im Weg steht oder ggf. die Sensorik die Person nicht korrekt erfasst hat. Sofern die Erfassung irrtümlich von einer Person ausgegangen ist, wird dieser Prozess unterbrochen, alternativ fortgeführt (so nicht in Fig. 6 dargestellt). Der Serviceroboter 17 fordert im Schritt 640 die Person dann erneut auf, sich zu setzen. Hierbei trackt der Serviceroboter 17 erneut die Bewegung 645, bspw. mittels des visuellen-Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Stellt der Serviceroboter 17 keine Bewegung im Schritt 650 in Richtung Stuhl fest, so fordert der Serviceroboter 17 die Person erneut auf, sich zu setzen, jedoch mit erhöhter Intensität der Aufforderung, bspw. durch Ausnutzung einer höheren Lautstärke der Sprachausgabe, eine alternative Sprachausgabe, visuelle Signale, etc. 655. Wiederum erfolgt ein Tracking der Person mit Blick auf eine Bewegung in Richtung Stuhl 660. Ist danach keine Bewegung der vermeintlichen Person in Richtung Stuhl festzustellen 665, so sendet der Serviceroboter 17 über eine Schnittstelle 188 (wie z.B. WLAN) eine Information an einen Rechner, der über ein Display 2 mit medizinischem Personal interagiert und fordert das medizinische Personal auf, sich zum Serviceroboter 17 zu bewegen und diesen Serviceroboter 17 zu unterstützen 670. In einem ergänzenden und/oder alternativen Aspekt erfasst der Serviceroboter 17 den Grad der Personendetektion, d.h. der Serviceroboter 17 nutzt interne Regeln zur Ermittlung der Erfassungsqualität wie Abweichungen von Erfassungsschwellwerten, und ermittelt darauf basierend eine Anzahl an Aufforderungen, die der Serviceroboter 17 an die Person richtet.

[0080] Da sich mehr als ein Stuhl im Raum befinden kann, auf den sich die Person setzen kann, und nicht vor jedem Stuhl ausreichend Platz sein kann, um die notwendige Distanz von 3m zurückzulegen, verfügt der Serviceroboter 17 über einen Korrekturmechanismus. Dieser Korrekturmechanismus sieht vor, dass der Serviceroboter 17 aus der Menge an identifizierten Stühlen 705 solche Stühle identifiziert, vor denen in orthogonaler Richtung zur Stuhlvorderseite sich eine freie Fläche ohne Hindernisse befindet, die mindestens eine Länge von 3,5m, z.B. mindestens 4m beträgt 710. Sofern sich vor einem Stuhl die entsprechende freie Fläche befindet, die notwendig ist, um den Test durchzuführen, wird diese Eigenschaft als Attribut im Speicher 10 des Serviceroboters 17 hinterlegt 715. Diese Information wird bei der Navigation eines Nutzers hin zum Stuhl genutzt bzw. es wird mit dieser Information sichergestellt, dass sich die Person auf einem Stuhl befindet, der geeignet ist, durch ausreichend Platz vor dem Stuhl den Test durchzuführen. Ergänzend und/oder alternativ dazu kann der Stuhl auch über eine Bodenmarke identifiziert werden, welche wie bspw. einige Absätze weiter unten identifiziert wird.

[0081] Hierzu kann der Serviceroboter 17 bei der Aufforderung an eine (stehende) Person, sich zu setzen, diese stehende Person auf geeignete Stühle im Schritt 720 hinweisen. Der Serviceroboter 17 kann die Person auch auffordern, wieder aufzustehen und sich auf einen anderen Stuhl zu setzen 725. In einem Aspekt wird dieser Stuhl im Schritt 730 näher identifiziert. Hierfür nutzt der Serviceroboter 17 die Objekt-IDs und die Reihenfolge, in der die Stühle positioniert sind. Darüber liegt innerhalb des Speichers 10 des Serviceroboters 17 die Information vor, dass bspw. die Person auf Stuhl Nr. 6 sitzt, es jedoch nur Stühle Nr. 4 und 7 für die Durchführung des Tests infrage kommen, weil vor ihnen ausreichend Platz zur Verfügung ist. Der Serviceroboter 17 kann dann in der Aufforderung an die Person, sich umzusetzen, die Information integrieren, dass die Person sich auf einen Stuhl bspw. zwei Plätze links vom Serviceroboter 17 bzw. einen Platz rechts vom Serviceroboter 17 positionieren kann. Hierbei ist der Serviceroboter 17 in der Lage, durch die Orientierung im Raum, die Person und Serviceroboter 17 einnehmen, derartige Angaben derart zu korrigieren, dass die ausgegebene Angabe sich auf die Orientierung bzw. Perspektive der Person bezieht. In dem genannten Beispiel wären dies zwei Plätze rechts von der Person oder ein Platz links. Analog dazu kann der Serviceroboter 17 auch die Koordinaten einer stehenden Person nutzen sowie eines geeigneten Stuhls, um diese stehende Person auf diesen Stuhl zu verweisen, bspw. in der Art „bitte setzen Sie sich auf den Stuhl schräg links vor Ihnen“, ggf. unter Nennung eines Abstands. In einem ergänzenden und/oder alternativen Aspekt können hierbei bspw. auch Farbinformationen zum Stuhl einfließen, die zuvor bspw. über eine RGB-Kamera erhoben wurden.

[0082] Sollte der Stuhl leer sein und der Serviceroboter 17 keine Person im Raum identifizieren, der Serviceroboter 17 aber die Anweisung erhalten haben, einen Test mit einer Person in Verbindung mit dem Stuhl durchzuführen, positioniert sich der Serviceroboter 17 z.B. in einem Abstand von mehr als einem Meter Entfernung vom Stuhl. Der Serviceroboter 17 verfügt in einem Aspekt über sein Navigationsmodul 101 zudem über Informationen, aus welcher Richtung sich ein Patient nähern kann. Diese Informationen können einerseits explizit im System hinterlegt worden sein.

[0083] In einem zusätzlichen oder alternativen Aspekt ist der Serviceroboter 17 in der Lage, Türen oder Durchgänge zu erkennen. Im Falle geschlossener Türen befindet sich ein Versatz innerhalb einer Wand, der mindestens 1 cm beträgt und senkrecht zur Wandoberfläche orientiert ist 805, während orthogonal dazu der Versatz einen Abstand von mehr als 77cm aufweist, z.B. von mehr als 97 cm, jedoch geringer als 120 cm 810. Alternativ oder ergänzend handelt es sich um einen Doppelversatz mit einem Abstand von mehreren cm, wobei der innere Abstand die genannten ca. 77 cm, besser ca. 97cm betrifft. Unter Zuhilfenahme dieser Informationen ist es möglich, insbesondere mittels des LIDARs 1 eine geschlossene Tür zu erkennen. Im Falle einer offenen Tür erkennt der Serviceroboter 17 über den LID AR 1 entweder eine Ebene, die in XY-Richtung an eine der Kanten angrenzt bei einer Länge von ca. 77-97 cm 815 und einen Winkel zur Kante von 1-178° aufweist 820, einem Winkel, der im Zeitablauf variabel ist 825, und/oder es ergibt sich hinter der identifizierten Öffnung ein Abstand von mindestens 90cm keine weitere Begrenzung der XY-Ebene in der Karte 830, die der Serviceroboter 17 bspw. über den LID AR 1 aufzeichnet.

[0084] Im Falle einer 2D oder 3D-Kamera 185 können einerseits wieder Algorithmen zum Tragen kommen, die auf ein Lernen von typischen Türcharakteristiken basieren. Andererseits können auch Informationen aus der Z-Richtung derart verarbeitet und ggf. mit Daten aus der XY-Richtung kombiniert werden, die helfen, einen Durchgang mit höherer Wahrscheinlichkeit zu identifizieren, wenn der Bereich, der als mögliche Tür oder Durchgang in der XY-Ebene identifiziert wurde, eine Höhenbegrenzung hat, die bei 1,95-2, 25m liegt. Ergänzend und/oder alternativ dazu können auch Objektinformationen einbezogen werden, die sich auf einen Türgriff beziehen.

[0085] Der Serviceroboter 17 erstellt über sein Navigationsmodul 101 für den Fall, der Stuhl ist unbesetzt, auf Basis der ermittelten Position der Tür oder des Durchgangs sowie des Stuhls den direkten Pfad zwischen diesem Stuhl und der Tür oder des Durchgangs, der durch kein Hindernis blockiert ist, indem bspw. die euklidische Distanz ermittelt wird. Der Serviceroboter 17 positioniert sich außerhalb dieses Pfades, bspw. derart räumlich orientiert, dass seine Sensoren den Stuhl und/oder die Tür/den Durchgang avisieren.

[0086] Identifiziert der Serviceroboter 17 eine Person, die den Raum betritt, fordert der Serviceroboter 17 sie wie oben beschrieben auf, sich auf den Stuhl zu setzen.

[0087] Befindet sich nun eine Person auf dem Stuhl, signalisiert der Serviceroboter 17 über eine Ausgabeeinheit, bspw. einen Lautsprecher 192, alternativ und/oder ergänzend auch über ein Display 2, die Person auf, aufzustehen und drei Meter weit geradeaus zu gehen und dann wieder zum Stuhl zurückzukehren.

[0088] Der Serviceroboter 17 ist in der Lage, mittels 2D- oder 3D-Kamera 185 eine Abstandsmarkierung auf dem Boden zu erkennen, wozu gängige Mustererkennungsverfahren genutzt werden. Im ersten Schritt nutzt der Serviceroboter 17 die Positionsinformationen des identifizierten Stuhls. Um sicherzustellen, dass es eine Abstandsmarkierung ist und bspw. keine normale Musterung des Fußbodens, ermittelt der Serviceroboter 17 zunächst über sein Navigationsmodul 101 eine Position im Raum, die sich in etwa orthogonal von der Vorderseite des Stuhls im Abstand von 3m befindet. Anschließend wird der Bereich auf dem Boden, der sich in etwa in dieser Position befindet, abgetastet, um eine solche Markierung zu erkennen. Es werden weitere Bereiche des Bodens abgetastet, um zu erkennen, ob das Muster einzigartig ist oder sich wiederholt. Ist es einzigartig oder ggf. in dem Speicher 10 des Serviceroboters 17 abgelegt, wird dieses Muster als Markierung für den 3m-Punkt genutzt.

[0089] Ein Nachteil einer festen Bodenmarkierung ist, dass ein Stuhl sich ggf. verschieben kann, sei es durch Reinigungsarbeiten im Raum, durch Personen, die auf diesem Stuhl sitzen, usw. Aus diesem Grunde ist der Serviceroboter 17 in einem ergänzenden und/oder alternativen Aspekt mit einem Projektionsvorrichtung 920 ausgestattet, um eine Markierung im Abstand von 3m in orthogonaler Richtung von der Vorderseite des Stuhls zu projizieren. Die XY-Koordinaten sowohl des Stuhls als auch des 3m-Punktes werden wiederum z.B. über das Navigationsmodul 101 ermittelt, wobei dieses Navigationsmodul 101 zuvor durch den Serviceroboter 17 mit Blick auf die Position des Stuhls aktualisiert wurden. Dazu dient eine Lichtquelle, z.B. ein Laser oder eine LED, welche wiederum durch Linsen oder funktionell ähnliche Mittel fokussierbar ist. Dieser Projektionsvorrichtung 920 ist in der Lage, eine Fläche auf den Boden zu projizieren, als Balken, ggf. mit Schriftzeichen, die der Person signalisieren, dass sie sich bis dorthin bewegen soll. Die Projektionsvorrichtung 920 ist, in einem Aspekt (siehe Fig. 9 a) bis b) als Draufsicht), unabhängig vom Serviceroboter 17 beweglich gelagert, so dass der Serviceroboter 17 bspw. durch eigene Drehbewegungen sich frontal stets in Richtung Person 910 positioniert (wie die Linie 940 skizziert), während die projizierte Markierung 915 sich stets auf derselben Stelle orthogonal zur Vorderseite des Stuhls 905 befindet. Hierbei kann in einem Aspekt die Lichtquelle der Projektionsvorrichtung 920 selbst beweglich gelagert sein, in einem anderen Aspekt sorgen Spiegel, bspw. Microspiegel oder mikrostrukturierte Elemente, für eine derartige Lenkung des Lichts, dass dieses Licht bei Bewegung, z.B. einer Rotationsbewegung des Serviceroboters 17, auf der gleichen Stelle bleibt. Damit ändern sich die Winkel zwischen den Zeitpunkten a) und b), während denen sich die Person 910 in Richtung Markierung 915 bewegt, darunter der Winkel zwischen den Linien 925 und 935 sowie zwischen 930 und 935. In einem alternativen und/oder ergänzenden Aspekt kann sich der Serviceroboter 17 auch stets parallel zur Laufrichtung der Person bewegen.

[0090] In einem weiteren Aspekt (Fig. 9 c) bis d)) ist die Lichtquelle in der Lage, auf eine Fläche auf dem Boden zu projizieren, deren Breite aus der Perspektive des Serviceroboters 17 bei über 3m liegt. Damit deckt diese Projektionsvorrichtung 920 die Strecke ab, die die Person, vom Stuhl ausgehend, zurücklegen soll. Die zentrale Achse der Projektionsrichtung 920 ist dabei um einen Winkel zwischen 10° und 60°, z.B. 20-50°, von der zentralen Achse der Kamera 185 mit Blick auf die Z-Rotationsachse des Serviceroboters 17 gedreht, und zwar in die Richtung, in die, vom Serviceroboter 17 aus gesehen, sich die Person bewegen soll. Wenn sich die Person bspw. auf dem Stuhl befindet, der sich links vom Serviceroboter 17 befindet, während der 3m-Punkt rechts vom Serviceroboter 17 ist, befindet sich die Projektionsmarke (wie bspw. der Balken) am 3m-Punkt im, vom Serviceroboter 17 aus gesehen, rechten Rand der projizierten Fläche. Mit Drehung des Serviceroboters 17 in Richtung fixem 3m-Punkt bewegt sich die Projektionsmarke hin zum linken Rand der projizierten Fläche. Hierbei kann bspw. auf eine Projektionsvorrichtung 920 zurückgegriffen werden, wie sie sich in herkömmlichen (LCD-)Beamern befindet, bei denen eine Matrix softwareseitig derart angesteuert wird, dass unterschiedliche Bereiche der projizierten Fläche unterschiedlich hell ausgeleuchtet werden. Befindet sich der Stuhl mit der Person rechts vom Serviceroboter 17 und der 3m-Punkt links, verhalten sich die Orientierungen entsprechend spiegelverkehrt. In Fig. 9 c) sitzt die Person 915 auf dem Stuhl 905. Die Projektionseinrichtung 920 kann eine Fläche ausleuchten, die sich aus dem gepunkteten Rechteck ergibt. In dessen rechtem Bereich befindet sich die 3m-Marke 915. Mit Drehung des Serviceroboters 17 bewegt sich die Projektionsfläche im Uhrzeigersinn zusammen mit dem Serviceroboter 17, dabei wird die 3m-Marke auf der fixen XY-Koordinate gehalten, was bedeutet, die 3m-Marke wandert in den linken Bereich der projizierten Fläche (Fig. 9 d)). Diese hier beschriebene Darstellung geht von einer fixen Projektionsrichtung 920 aus. In einem alternativen und/oder ergänzenden Aspekt ist die Projektionsvorrichtung 920 beweglich gelagert (Effekt nicht näher dargestellt).

[0091] Alternativ dazu rotiert der Serviceroboter 17 nicht und erfasst mittels des LIDARs 1 und/oder der 2D bzw. 3D-Kamera 185 mehr als die komplette Strecke, die die Person zurücklegen muss (siehe Fig. 9 e), wo die von den Sensoren mindestens erfasste Fläche gepunktet ist). In einem weiteren Aspekt sind die 2D- bzw. 3D-Kamera 185 nachführbar gelagert, während die Projektionseinrichtung 920 bzw. die Lichtquelle starr oder ebenfalls nachführbar gelagert ist (nicht separat dargestellt).

[0092] Ein Prozessor im Serviceroboter 17 errechnet die Projektionsfläche auf Basis der Koordinaten des Navigationsmoduls 101 des Serviceroboters 17, dass zuvor die Position des Stuhls, des 3m-Punkts und des Serviceroboters 17 ermittelt, der Neigung der Projektionsvorrichtung 920 und ihrer Höhe, um einen aus Sicht der die Übung absolvierenden Person einen weitestgehend unverzerrten Balken zu projizieren, der sich in etwa parallel zur Stuhlvorderseite befindet. Je nach Ausführung kann die Form der Markierung kann auch anders gestaltet sein.

[0093] Das Tracking der Person erfolgt durch ein Vorgehen, wie es im Stand der Technik hinlänglich beschrieben ist, bspw. mittels des Visuellen-Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Dazu erfasst der Serviceroboter 17 ebenfalls die Haltung des Oberkörpers, um zu erkennen, wenn die Person anfängt sich aufzurichten. Ab diesem Zeitpunkt wird auch die Zeit erfasst, die die Person für das Absolvieren des Tests benötigt. Die Zeitnahme wird beendet, wenn sich die Person nach Rückkehr zum Stuhl gedreht und wieder in den Stuhl gesetzt hat. Eine Drehbewegung wird durch die Algorithmen bspw. als Muster dadurch erkannt, dass ein Skelettmodell mit Gelenkpunkten der Person erzeugt wird, so dass die Arme bei der Drehbewegung sich in etwa parallel zur Ebene befinden, die mit der zurückzulegenden Wegstrecke übereinstimmt. In einem Aspekt werden Gelenkpunkte der Arme im Zeitverlauf ausgewertet und es erfolgt eine Ermittlung einer Winkeländerung von mehr als 160° von symmetrisch vorhandenen Gelenkpunkten zur Linie, die die Start- und Wendeposition verbindet.

[0094] Der Serviceroboter 17 ist in einem alternativen und/oder ergänzenden Aspekt so konfiguriert, dass der Serviceroboter 17 während des Zurücklegens der Wegstrecke die Distanz ermittelt, die der Patient dabei zurücklegt. Da Start- und Wendeposition 3m auseinander liegen, beträgt die Länge der zurückzulegenden Wegstrecke 6m, beginnend und endend beim Stuhl an der Startposition, der zugleich auch Endposition ist, mit der Wendeposition in einer Distanz von 3m vom Stuhl entfernt. Dabei muss der Serviceroboter 17 nicht notwendigerweise die Markierung auf dem Boden erfassen. Die Distanz der zurückgelegten Wegstrecke kann auf verschiedene Wege ermittelt werden, darunter durch Aufsummieren der Schrittlänge. Grundlage hierfür kann der Abstand der Sprunggelenke bzw. Fußgelenke sein, die sich durch eine 2D oder 3D-Kamera 185 in Zusammenhang mit den hierbei genutzten Auswertungsframeworks erkannt werden und denen Punkte im dreidimensionalen Raum zugeordnet sind, deren Distanzen sich durch den Serviceroboter 17 bspw. in Form von Vektoren ermitteln lassen. Alternativ und/oder ergänzend kann die vom Patienten zurückgelegte Wegstrecke über das Aufsummieren euklidischer Distanzen zwischen Koordinatenpunkten ermittelt werden, die der Patient passiert und die sich aus einer Karte der Umgebung ermitteln lassen, in der sich Patient und Serviceroboter 17 befinden, wobei sich die Ermittlung der Koordinaten des Patienten anhand von Referenzpositionen ermitteln lässt. Darunter fallen Distanzen zu erkannten Raumbegrenzungen oder die Position des Serviceroboters 17, die sich mittels Selbstlokalisation (Selbstlokalisierungsmodul 105) bestimmen lässt.

[0095] Während des Trackings des Patienten, bspw. mittels des Visuellen-Personentracking- Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113, errechnet der Serviceroboter 17 die zurückgelegte Distanz setzt diese zurückgelegte Distanz in Relation zur Gesamtstrecke, die der Patient zurücklegen muss. Der Serviceroboter 17 kann über eine Ausgabevorrichtung wie das Display 2 und/oder die Sprachsyntheseeinheit 133 dem Patienten eine Rückmeldung darüber geben, wie weit der Patient noch gehen muss, wie viele Schritte das noch sind, wann der Patient umdrehen kann, etc.

[0096] Der Serviceroboter 17 übermittelt auf Basis der erfassten Zeit einen Score basierend auf im Speicher 10 hinterlegten Referenzdaten des Regelwerks 150. Der Serviceroboter 17 ist in der Lage, den Score und/oder die erfasste Zeit über eine Schnittstelle 188 (wie z.B.

WLAN) an das Patientenadministrationsmodul 160 in der Cloud 18 zu übertragen.

[0097] Wie in Fig. 10 dargestellt, ist der Serviceroboter 17 in einem Aspekt dazu in der Lage, mit seinem Sensor 3 die Bewegungen der Person im Schritt 1005 zu erfassen, diese Bewegungen als Video im Schritt 1010 aufzuzeichnen, im Schritt 1015 abzuspeichern und im Schritt 1030 über eine Schnittstelle 188 (wie z.B. WLAN) an einen Cloud-Speicher in der Cloud 18 zu übermitteln, der sich im Regelwerk 150 befindet. Die Datenübermittlung erfolgt verschlüsselt. Die Gesichtszüge der zur beurteilenden Person werden zuvor unkenntlich gemacht, so dass die Anonymität der Personen gewahrt bleibt 1025. Das Videomaterial steht innerhalb eines Regelwerks 150 für Labellingzwecke zur Verfügung, um mittels selbstlernender Algorithmen die Referenzdaten des Regelwerks 150 weiter zu verbessern. Für u.a. diese Zwecke ist über ein Terminal 1030 der Zugriff auf die abgespeicherten Daten möglich, so dass medizinisches Personal eine Begutachtung der Videoaufnahmen und ein Labelling derselben vornehmen kann 1035. Unter Labelling wird dabei verstanden, dass die Körperhaltungen einer Person manuell klassifiziert werden, bspw. eine Person in einem Stuhl sitzt, dass sie gerade aufsteht, dass sie sich nach vorne oder zurück bewegt, dass sie wendet, etc. Für diese Ereignisse, die sich aus einer Videosequenz ergeben, können Labels den Zeitpunkten zugeordnet werden. Hierzu werden bspw. einzelne Start- oder Endpunkte von Bewegungen zeitlich markiert und zugleich die Bewegungen wie bspw. Körperposen, die eine Orientierung der Gliedmaßen, bspw. im Zeitablauf beschreiben, eingeordnet/klassifiziert. Die bspw. auf diese Weise gelabelten Daten werden anschließend in der Datenbank abgelegt, in der sich auch die Bestandsdaten befinden 1040. Das Regelwerk 150 kann anschließend mittels Algorithmen wie bspw. neuronaler Netze eine bspw. selbständige Verbesserung der Klassifizierungsregeln vornehmen. Diese Verbesserung geschieht vor allem auf zwei Arten: a) Erfassen von Situationen, die zuvor noch nicht beschrieben wurden, weil sie ggf. selten Vorkommen, und b) Erhöhen der Fallzahlen. Beides führt dazu, das präzisere Gewichtschätzungen 1045 im Rahmen der durchgeführten Klassifizierung vorgenommen werden können. Hierbei werden den Vektorräumen, die sich aus der Körperhaltung des Patienten ergeben, seinen Bewegungen, usw., entsprechende Zuordnungen vorgenommen, die es erlauben, die Posen der zu bewertenden Person besser einzuschätzen. Dazu zählt das Aufstehen aus dem Stuhl, das Laufen, das Wenden und auch wieder das Sich-Setzen. Die neuen Gewichte werden im Regelwerk 150 zwecks verbesserter Klassifizierung abgelegt 1050 und über eine Schnittstelle 188 (wie z.B. WLAN) an den Serviceroboter 17 in Form eines Updates übertragen.

[0098] Fig. 59 fasst das System zur Erfassung und Auswertung von Bewegungen um das Aufstehen und Sich-Setzen auf einem Stuhl wie folgt zusammen: Das System umfasst einen Rechner 9, einen Speicher 10 und mindestens einen Sensor zur berührungslosen Erfassung der Bewegung einer Person, wobei das System in seinem Speicher 10 über Stuhldetektionsmodul 4540 verfügt, eine Ausgabevorrichtung wie einen Lautsprecher 192 und/oder ein Display 2 zur Übermittlung von Instruktionen, ein Zeitdauer-Wegstrecken- Modul zur Ermittlung der Zeitdauer zum Zurücklegen der Wegstrecke 4510 und/oder Geschwindigkeits-Wegstreckenmodul 4515 zur Ermittlung die Geschwindigkeit der erfassten Person auf einer Wegstrecke sowie ein Zeitdauer-Wegstrecken-Bewertungsmodul 4520zur Bewertung der Geschwindigkeit der Person auf einer Wegstrecke und/oder der Zeit zum Zurücklegen der Wegstrecke. Daneben kann das System über eine Hörtesteinheit 4525 zur Durchführung eines Tests der Hörfähigkeiten, eine Sehtesteinheit 4530 und/oder eine Test- auf-geistige-Fähigkeiten-Einheit 4535 verfügen. Das System kann ein Serviceroboter 17 sein. In einem Aspekt verfügt das System über eine Projektionsvorrichtung (920), bspw. um die Markierung, die den Wendepunkt darstellt, zu projizieren, und/oder den Startpunkt. In einem Aspekt verfügt das System über ein Personen erkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112, 113),

Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635 und/oder skelettmodell- basiertes-Merkmalsextraktions-Modul 5640.

Mini-Mental-Test

Mini-Mental-Test: Sprechübungen

[0099] Der Serviceroboter 17 ist ferner so konfiguriert, dass der Serviceroboter 17 den Mini- Mental-Test durchführen kann. Das Ziel des Mini-Mental Tests ist die Erkennung von kognitiven Einschränkungen wie Demenz. Im Rahmen des Tests werden durch die Kommunikationsvorrichtungen des Serviceroboters 17 (Sprachein- und Ausgabe, Display 2) Fragen an den Patienten gestellt, der diese über die Kommunikationsvorrichtung des Serviceroboters 17 beantworten kann (bspw. als Spracheingabe, als auszuwählende Antwort auf einem Bildschirm, als Freihandeingabe z.B. bei einem Datum, Wohnort usw.). Für die Durchführung kann einerseits das Display 2 des Serviceroboters 17, andererseits kann auch ein separates, per Schnittstelle 188 (wie z.B. WLAN) mit dem Serviceroboter 17 verbundenes Display 2 wie bspw. ein Tablet-Computer genutzt werden, den die Person in die Hand nehmen oder auf einem Tisch ablegen kann, was die Beantwortung und Absolvierung der Übungen vereinfacht.

[0100] Der Serviceroboter 17 ist so konfiguriert, dass der Serviceroboter 17 mit einer Person kommunizieren kann, wie das in Fig. 11 beschrieben Verfahren aufzeigt. Hierzu orientiert der Serviceroboter 17 sich in einem Aspekt derart im Raum, dass das Display 2 des Serviceroboters 17 sich in etwa parallel zu der Achse befindet, die durch die beiden Schultern, die Hüfte und/oder Knie des Nutzers verläuft und die über das Skelettmodell, welche mittels der 2D oder 3D-Kamera 185 und deren SDKs erkannt werden. Damit richtet sich der Serviceroboter 17 gegenüber vom Nutzer aus 1105. Im Rahmen der Interaktion mit einem Nutzer wird mindestens eine in dem Speicher 10 abgelegte Sprachsequenz über einen Lautsprecher 192 wiedergegeben und ein Nutzer wird über ein Display 2 und/oder über eine Sprachausgabe aufgefordert, die wiedergegebene Sequenz nachzusprechen 1110. Im Anschluss an die Aufforderung zeichnet der Serviceroboter 17 akustische Signale des Nutzers über ein Mikrofon 193 auf 1115, und zwar bspw. so lange, wie die ausgegebene, nachzusprechende Sprachsequenz lang war 1120. Dies geschieht, wie auch die nachfolgenden Schritte, durch das Sprachauswertungsmodul 132. Der Serviceroboter 17 analysiert die Amplituden des Signals im Zeitbereich 1125. Fällt die Amplitude auf null oder nahezu null (bspw. <90% vom Maximum der Amplituden) für mehr als 1 Sekunden, z.B. mehr als 2 Sekunden, so wird die Aufzeichnung beendet 1130. Es wird weiterhin ein Sampling vorgenommen, wobei die Sample-Breite definiert wird über Phasen von Amplituden nahe Null, die mehr als 1 Sek betragen und die eine Länge von mindestens 70% der Sequenz haben, die der Nutzer nachsprechen soll und die im Serviceroboter 17 abgespeichert ist 1135. Auf diese Weise wird sichergestellt, dass mehrere Sprechversuche des Nutzers erfasst und einzeln ausgewertet werden. Der Serviceroboter 17 vergleicht die Samples entweder im Zeitbereich oder Frequenzbereich und errechnet Ähnlichkeitswerte 1140 unter Berücksichtigung von Verfahren, die in der Audiotechnik üblich sind, darunter insbesondere die Kreuzkorrelation. Liegt dabei bspw. der Ähnlichkeitswert unter einem Schwellwert 1145, fordert der Serviceroboter 17 in einem alternativen oder ergänzenden Aspekt den Nutzer erneut auf, die Sequenz nachzusprechen (Verbindung 1145 => 1110). Liegt der Ähnlichkeitswert über einem bestimmten Schwellwert, dann modifiziert der Serviceroboter 17 einen Wert in einer Datenbank innerhalb des Speichers 10 des Serviceroboters 17, der sich auf den Nutzer bezieht 1150. Die vom Nutzer ausgehenden, aufgezeichneten Sprachsignale werden abgespeichert 1155 und, zusammen mit dem modifizierten Wert aus der Datenbank, über eine Schnittstelle 188 (wie z.B. WLAN) an das Patientenadministrationsmodul 160 übertragen 1160. In einem ergänzenden oder alternativen Aspekt wird lediglich die vom Serviceroboter 17 aufgezeichnete Sequenz mit dem höchsten Ähnlichkeitswert zur Mustersequenz abgespeichert. Das System zählt zudem die Nachsprechversuche und bricht, sofern die Anzahl der Versuche einen Schwellwert überschreiten, die Aufzeichnung des betreffenden Nachsprechversuchs ab und geht zu einer nächsten nachzusprechenden Sequenz über. Mehrmalige Nachsprechversuche bzw. auch gescheiterte Nachsprechversuche des Nutzers werden ebenfalls in der Datenbank vermerkt.

Mini -Mental-Test: Faltübung

[0101] Eine Übung des Mini -Mental-Tests umfasst das Aufnehmen eines Blattes, das Falten und das Ablegen/Fallenlassen des Blatts, wie Fig. 12 aufzeigt. Zu diesem Zweck verfügt der mobile Serviceroboter 17 über eine optionale Vorrichtung, welche Blätter enthält, die die zu beurteilende Person für den Test entnehmen kann, bspw. auf Aufforderung durch den Serviceroboter 17 hin. Alternativ kann der mobile Serviceroboter 17 die zu beurteilende Person auf derartiges Blatt hinweisen, welches sich in der Räumlichkeit befindet, in der der Test stattfindet. Hierzu ist die Sprachausgabe und/oder die Ausgabeeinheit des Displays 2 entsprechend konfiguriert 1205. [0102] Der Serviceroboter 17 ist so konfiguriert, dass mittels des Sensors 3 in der Ausführung einer 3D-Kamera, bspw. einer Time-of-Flight-Kamera (ToF), die Hände eines Nutzers identifiziert, erfasst und getrackt werden, d.h. die Hände werden im ersten Schritt erkannt 1210 und im zweiten Schritt getrackt werden 1215, wenn dieser ein Blatt faltet. Alternativ zu einer ToF -Kamera sind auch Ansätze möglich, bei denen auf Basis einer einzelnen 2D- Kamera Hände erkannt 1210 und (Hand-)Bewegungen getrackt werden 1215, um entsprechende Gesten bzw. ein Blatt zu erkennen 1220, das gefaltet wird. Die Gewichte stammen bspw. hierbei aus einem Modell, dass mittels üblicher Verfahren des maschinellen Lernens wie bspw. Regressionsverfahren und/oder neuronaler Netze klassifiziert wurde wie bspw. mittels konvolutionärer neuronaler Netze. Hierzu sind im Vorfeld eine Vielzahl von Faltbewegungen aufzunehmen, zu labein und von den üblichen Algorithmen zu erlernen. Alternativ und/oder ergänzend können auch über die 2D-Kamera Skelettmodelle auf Basis von Frameworks erstellt werden wie bspw. mit Open Pose oder PoseNet in Zusammenhang mit Tensorflow.

[0103] Die Erfassung der Bewegungen erfolgt über die Zeit, bspw. mittels des visuellen- Personentracking-Moduls 112 und/oder des laserbasierten laserbasierten Personentracking- Moduls 113. Dabei erfolgt im ersten Schritt die Erkennung der Hände 1210, welche aus der Gesamtaufnahme segmentiert werden. Im zweiten Schritt erfolgt über Segmentierung die Erkennung von Gegenständen 1220, die sich in den Händen befinden, bspw. mittels eines fehlertoleranten Segmentierungsalgorithmus (z.B. RANSAC framework), der eine Mustererkennung erlaubt. Durch im Stand der Technik hinlänglich beschriebene Verfahren des Trackings werden die Bewegungen über den Zeitablauf erfasst 1215. Hierbei befindet sich anfangs noch kein Blatt in den Händen. Dann nimmt der Nutzer ein Blatt auf, faltet dies, anschließend bewegt sich das Blatt in negativer Z-Richtung, d.h. es bewegt sich in Richtung Fußboden. Bei der letzten Blattbewegung sind nicht notwendigerweise eine oder beide Hände des Nutzers involviert. Das Blatt wird bspw. mittels einer Blattklassifikation ermittelt, d.h. zwei- oder dreidimensionale Daten der Kamera 185, welche zuvor durch Aufnahmen vom Blatt und einem Labelling der Aufnahmen erstellt worden ist. Der Begriff Blatt umfasst Papier und Materialien, die einen äquivalenten Effekt auf die Übung haben und/oder die ähnliche Dimensionen und ggf. auch Eigenschaften wie ein Blatt Papier aufweisen. [0104] Der Serviceroboter 17 fordert zu Beginn der Übung den Nutzer auf, ein Blatt zu nehmen 1205. Hierzu wird bspw. eine Sprachausgabe über einen Lautsprecher 192 des Serviceroboters 17 genutzt. Ergänzend oder alternativ kann auch eine Anzeige auf einem Display 2 eingesetzt werden oder eine Kombination aus beiden Wegen. Ab dem Aufforderungszeitpunkt setzt bspw. die Objekterkennung für das Blatt ein. Der Serviceroboter 17 fordert analog den Nutzer auf, das Blatt zu falten 1225, z.B. in der Mitte. Dabei beobachtet der Serviceroboter 17 den Faltvorgang und, nach Abschluss des Faltvorgangs, fordert der Serviceroboter 17 den Nutzer auf, das Blatt abzulegen oder fallenzulassen. Alternativ oder ergänzend können die Informationen zum Falten und/oder zum Ablegen oder Fallenlassen auch direkt im Anschluss an eine vorangegangene Aufforderung der gleichen Übung erfolgen.

[0105] In einem Aspekt kommt eine 3D-Kamera zum Einsatz wie eine Kinect oder Astra Orbbec. Die Herausforderung beim Erkennen von Elementen der Hand, d.h. Fingern, und dem daraus abgeleiteten Fingertracking 1230 liegt darin, dass aus Sicht der Kamera 185 einzelne Finger ggf. verdeckt sind und damit nicht direkt schätzbar sind. Dies ist bei Gesten der Fall, die ohne Gegenstand in der Hand auskommen. Wird hingegen von einer oder mehreren Händen ein Blatt gefaltet, so kann je nach Art des Faltvorgangs ebenso ein Teil der Finger verdeckt sein. Der Faltvorgang kann anhand der Fingerbewegungen 1235 bspw. dadurch erkannt bzw. als solcher klassifiziert werden, dass entweder mindestens ein Daumen und mindestens einen, besser mehrere Finger der gleichen Hand sich in Höhe der Fingerspitzen berühren 1240, d.h es erden bspw. mindestens zwei Finger erfasst und getrackt. Alternativ können sich auch ein oder mehrere Finger der einen Hand mit einem oder mehreren Fingern der anderen Hand berühren, z.B. im Bereich der Fingerkuppen 1245. In allen Fällen steht das Blatt mit mindestens einem Finger in Eingriff 1250. Bspw. befindet sich zwischen diesen Fingern das Blatt, das wie im folgenden Absatz beschrieben erkannt wird.

[0106] Das System und Verfahren stellt alternativ und/oder ergänzend auf die Erkennung eines Blatts und seiner Formänderung ab (Schritt 1252), wobei dieses Blatt in Kontakt mit mindestens einem Finger ist bzw. mit diesem in Eingriff ist. Hierbei stellt die Erkennung in einem Aspekt auf die vier Ecken des Blatts ab 1255, das sich in einer oder in beiden Händen des Nutzers befindet. Hierbei wird jede Ecke einzeln über den Zeitverlauf getrackt 1260 und die Distanz zwischen diesen Ecken ermittelt 1265. Dabei wird eine erfolgreiche Faltung bspw. dadurch erkannt, a) dass der Abstand von jeweils zwei Ecken im dreidimensionalen

Raum sich um mehr als 90% reduziert, bspw. sich um mehr als 98% reduziert 1270.

Alternativ und/oder ergänzend kann auch die Distanz zwischen zwei gegenüberliegenden Rändern des Blatts getrackt werden und bei Unterschreitung der Distanz um diese genannten Werte ein Faltvorgang erkannt werden. Ergänzend und/oder alternativ dazu wird (b) die Oberfläche des Blatts getrackt mit Blick auf deren Krümmung 1275. Hierzu ermittelt das Faltmodul jeweils die Mitte zwischen zwei Ecken 1277 und monitort (trackt) bspw. in diesen Bereichen die Krümmung des Blatts 1279. Eine erfolgreiche Faltung in diesem Fall 1280 wird dadurch erkannt, dass die Krümmung über den Zeitablauf in diesem Bereich zunimmt 1282, während sich die Blattkanten/Ränder nahe den Ecken in etwa parallel verhalten 1284 (d.h. insbesondere die, die gefaltet werden) und der Abstand der Blattkanten sich stark verringert 1285, bspw. auf einen Abstand von unter 2mm, womit eine Einzel-Erfassung der beiden etwa gleich großen Blattteile im Regelfälle nicht mehr möglich wird, da die Tiefenauflösung der Kamera 185 zwei aufeinanderliegende Blätter aufgrund der geringen Stärke der Blätter nicht erfassen kann. Ergänzend und/oder alternativ dazu wird (c) im Zeitverlauf auch die Fläche des Blatts im dreidimensionalen Raum erfasst, wobei eine Tiefe des Blatts von unter 2mm nicht oder nur schlecht detektiert wird. Eine Faltung des Blatts wird dadurch ermittelt, dass sich im Zeitablauf die Fläche des Blatts um mehr als 40%, z.B. um ca. 50% reduziert. Dieser Ansatz ist bspw. auch umsetzbar, ohne die Finger explizit zu analysieren und zu tracken. Alternativ und/oder ergänzend dazu wird (d) er Abstand der Enden eines Blattrands parallel zueinander erfasst und ausgewertet 1293 und, wenn der Abstand der Blattenden zueinander weniger als 20mm beträgt, eine Faltung erkannt 1294. Durch Kombination von zwei oder mehr dieser drei Erfassungsvarianten lässt sich die Erfassungsgenauigkeit insgesamt erhöhen. Sofern diese Übung erfolgreich absolviert wurde, d.h. das Blatt gefaltet wurde und es sich anschließend in Richtung Erdmittelpunkt 1295 bewegt, alternativ auf einer Ebene zum Liegen kommt 1297, wird dies in einer Datenbank vermerkt 1299, insbesondere in der Datenbank, in der die Testergebnisse gespeichert werden.

[0107] Zusammengefasst stellt Fig. 61 das System, bspw. einen Serviceroboter 17, zur Erkennung einer Faltübung dar: Das System umfasst einen Rechner 9, einen Speicher 10 und einen Sensor zur berührungslosen Erfassung der Bewegung einer Person wie bspw. eine 2D und/oder 3D-Kamera 185, einen LID AR 1, einen Radar- und/oder Ultraschall sensor 194 sowie über mehrere Module in seinem Speicher 10. Dazu zählt ein Blattdetektionsmodul 4705, ein Faltbewegungsermittlungsmodul 4710 zur Ermittlung einer Faltbewegung eines Blatts, ein Skelett-Erstellungs-Modul 5635 zur Erstellung eines Skelettmodell der Person, ein Blatt-Abstands-Ecken-Kanten-Modul 4720 zur Detektion des Abstands von Kanten und/oder Ecken eines Blatts, ein Blattformänderungs-Modul 4725 zur Detektion der Formänderung eines Blatts, ein Blattkrümmungs-Modul 4730 zur Detektion der Krümmung eines Blatts, ein Blattdimensions-Modul 4740 zur Detektion der Dimensionen eines Blatts, und/oder ein Blattrand-Orientierungs-Modul 4745 zur Detektion der Orientierung von Blatträndern. Weiterhin umfasst der Speicher 10 ein Fingerkuppen- Ab Stands-Modul 4750 zur Detektion des Abstands von Fingerkuppen von mindestens einer Hand und ein Blattdetektionsmodul 4705 zur Detektion eines Blatts, bspw. bestehend aus einem Blattsegmentierungsmodul 4755 zur Detektion eines Blatts und/oder einem Modul für die Blattklassifikation 4760. Ferner verfügt das System über eine Ausgabevorrichtung wie einen Lautsprecher 192 und/oder ein Display 2 zur Übermittlung von Instruktionen und über eine Schnittstelle 188 zu einem Terminal 13. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112, 113),

Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635 und/oder skelettmodell- basiertes-Merkmalsextraktions-Modul 5640. Vom Ablauf her erfolgt eine Erfassung, Identifizierung und Tracking mindestens einer Hand einer Person; eine Erfassung, Identifizierung und Tracking eines Blatts und eine gemeinsame Klassifizierung von Dimensionen, Formen und/oder Bewegungen des erfassten Blatts und Elementen einer Hand als Faltvorgang. In einem Aspekt erfolgt weiter eine Identifizierung des Blatts über einen fehlertoleranten Segmentierungsalgorithmus und bspw. eine Blattklassifikation und/oder Klassifikation eines Faltvorgangs basierend auf Vergleich mit zweidimensionalen oder dreidimensionalen Mustern, darunter Formmustern und/oder Bewegungsmustern.

Mini -Mental-Test: Satz-Übung

[0108] Im Rahmen des Tests kann der Serviceroboter 17 den Nutzer ferner auffordern, einen Satz spontan zu erdenken, bei dessen Auswertung Orthografie und Grammatik nicht relevant sind, der jedoch mindestens ein Subjekt und ein Prädikat enthalten muss. Hierzu fordert der Serviceroboter 17 über die Kommunikationsvorrichtungen (Display 2; Lautsprecher 192) die zu beurteilende Person auf, einen spontanen Satz sich auszudenken 1305 und diesen mit den Fingern auf das Touchpad des Serviceroboters 17 zu schreiben 1320. Dies kann über eine Displayausgabe 1310 oder eine Sprachausgabe 1315 erfolgen. In einem zweiten Aspekt wird hierfür ein Stift oder stiftähnlicher Gegenstand vom Serviceroboter 17 bereitgehalten 1320. In einem dritten Aspekt werden Stift und ein Blatt bereitgehalten, die die Person nutzen kann, um den Satz niederzuschreiben 1325 und der Serviceroboter 17 fordert die Person über die Kommunikationsvorrichtung dazu auf, das beschriebene Blatt vor eine Kamera 185 des Serviceroboters 17 zu halten 1330, um dieses aufzuzeichnen und im Speicher 10 des Serviceroboters 17 abzulegen. Dazu trackt die Sensorik (2D, 3D-Kamera 185) die Nutzerbewegungen 1335 bspw. mittels des visuellen-Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113, nutzt die interne Objekterkennung eines Blatts (siehe vorige Ansätze) und erkennt, dass der Nutzer das Blatt vor der 2D-Kamera des Serviceroboters 17 hält 1340 und der Serviceroboter 17 erkennt das Blatt 1345, welches der Serviceroboter 17 mit der 2D-Kamera abfotografiert 1350.

[0109] In einem nächsten Prozessschritt findet eine OCR- Verarbeitung des im Foto enthaltenen Satzes statt 1355. Hierbei greift der Prozessor des Serviceroboters 17 auf entsprechende, etablierte Bibliotheken zur Bild- bspw. Textverarbeitung zurück, die eine OCR-Verarbeitung ermöglichen. Je nach Aspekt ist eine derartige Datenverarbeitung in der Cloud möglich. In einem weiteren Schritt wird ein Natural Language Parser 1360 genutzt, um die Existenz von Subjekt und Prädikat im Satz zu bestimmen. Dazu werden der erfasste Satz im ersten Schritt in einzelne Wörter zerlegt (Tokenization) 1365. Anschließend wird die Stammform der Wörter gebildet (Stemming und/oder Lemmatization) 1370. Anschließend findet das POS-Tagging (Part-of-Speech)-Tagging statt, über das die Wörter in Subjekt, Prädikat, Objekt usw. klassifiziert werden 1375. In diesem Kontext kann auch ein Ansatz auf Basis neuronaler Netze zum Einsatz kommen. Hierfür können Toolkits wie NLTK oder SpaCy genutzt werden. Die Ergebnisse werden im Schritt 1380 in einem Speicher abgelegt und es wird im nächsten Schritt 1385 verglichen, ob im vom Nutzer angegebenen Satz ein Subjekt und ein Prädikat Vorkommen. In diesem Fall wird in einer Datenbank hinterlegt, dass die Übung erfolgreich absolviert wurde (Schritt 1390).

Mini -Mental-Test: Fünfeck-Übung

[0110] Ein weiteres Element des Tests beinhaltet das Zeichnen von zwei Fünfecken, die sich üb er schnei den. Hierzu wird der zu beurteilenden Person in einem ersten Aspekt die Möglichkeit geboten, die Zeichnungen auf einem Display 2 anzufertigen, welches sich am Serviceroboter 17 befindet. In einem zweiten Aspekt befindet sich das Display 2 frei beweglich innerhalb des Raumes, indem sich Serviceroboter 17 und Nutzer befinden, ist jedoch drahtlos über eine Schnittstelle 188 (wie z.B. WLAN) mit dem Serviceroboter 17 verbunden. Die Zeichnung selbst kann hierbei entweder mit den Fingern oder mittels eines Tablet-geeigneten Stifts erfolgen. In einem dritten Aspekt kann die Zeichnung auf einem Blatt angefertigt werden, wobei die zeichnende Person vom Serviceroboter 17 mittels der Kommunikationsvorrichtungen aufgefordert wird, die fertige Zeichnung vor eine Kamera 185 des Serviceroboters 17 zu halten. Die Kamera 185 nimmt das Bild auf. Insofern verlaufen diese Prozesse analog zu denen, die in Fig. 13 in 1305 bis 1350 beschrieben wurden, mit dem Unterschied, dass es sich hier nicht um einen Satz handelt, der niedergeschrieben werden soll, sondern um die Zeichnung von Fünfecken.

[0111] Die erfassten Bilder werden vom Rechner mit solchen verglichen, die in einer Datenbank abgelegt sind, wobei ein Regelwerk 150 zum Einsatz kommt, dass die Merkmale eines Bildes mit Merkmalen klassifizierter Bilder vergleicht und basierend auf Wahrscheinlichkeiten eine Zuordnung übernimmt. Für die Klassifikationsmechanismen kommen Verfahren zum Tragen, die im Stand der Technik beschrieben sind und die zuvor auf Basis von automatisierten Trainings erstellt wurden, vor allem durch Verfahren neuronaler Netze. Alternativ können auch solche Klassifikationsmechanismen zum Tragen kommen, die ohne Training erstellt wurden und deren Klassifikationsmerkmale auf Basis charakteristischer Merkmale eines Fünfecks, von sich überlappenden Fünfecken in Form definierter Regeln festgelegt wurden (wie bspw. die Anzahl an Winkeln und Linien). Dies berücksichtigt bspw. abgerundete Kanten, ungerade Linienführungen und ggf. Linien, die kein geschlossenes Fünfeck bilden. Im Rahmen einer derartigen Auswertung können Glättungsansätze verwendet werden, um bspw. die Klassifizierung zu vereinfachen. Sofern ein Schwellwert im Ähnlichkeitsvergleich (z.B. Korrelation) zwischen der vom Serviceroboter 17 aufgezeichneten und im Regelwerk 150 hinterlegten Vergleichsmuster bzw. den Erkennungsregeln von zwei sich überlappenden Fünfecken erreicht wird, wird in einer Datenbank hinterlegt, dass die Übung erfolgreich absolviert wurde.

Manipulationserkennung

[0112] Der Serviceroboter 17 verfügt über eine Funktionalität, um Manipulationen durch Dritte beim Absolvieren der Übungen zu erkennen. Dazu erfasst die Sensorik, mit der auch der Nutzer und seine Aktivitäten analysiert werden, die Anwesenheit von weiteren Personen im Raum 1405. Hierbei wird analysiert, ob die Person(en) (inkl. Nutzer) während des Tests sich derart räumlich positionieren, dass sie Manipulationen am Serviceroboter 17 vornehmen können, d.h. ob sie sich in einer sogenannten kritischen Distanz zum Serviceroboter 17 befinden 1410. Zu den Manipulationen zählen, in einem Aspekt, die Eingabe der Daten auf einem Display 2 des Serviceroboters. Dabei wird der Abstand der Person vom Serviceroboter 17 ermittelt und dann auf mindestens einem der drei folgenden Wege bestimmt, ob die Person ausreichend dicht am Serviceroboter 17 positioniert ist, um ggf. Eingaben (insbesondere am Display 2) vornehmen zu können: a) es wird von einem pauschalen Distanzwert ausgegangen, bspw. 75cm. Wird dieser unterschritten, so geht der Serviceroboter 17 von einer Bedienbarkeit des Displays 2 aus (Schritt 1415). Alternativ und/oder ergänzend kann auch der Abstand der Hand und/oder Finger der Person zum Serviceroboter 17 detektiert werden, wobei der Abstand, ab wann von einer Manipulation ausgegangen wird, kürzer ist als der der Person an sich b) Es wird über das Skelettmodell die Armlänge der Person ermittelt 1420, insbesondere durch Ermittlung der Distanzen zwischen einem Schultergelenkpunkt und einem Handgelenkpunkt bzw. den Fingergelenkpunkten. Wird diese unterschritten, geht der Serviceroboter 17 von einer Bedienbarkeit aus 1425. c) es wird über die Größe der Person, die durch den Serviceroboter 17 ermittelt wird 1430, auf eine durchschnittliche Armlänge geschlossen 1435 (welche bspw. in dem Speicher 10 abgelegt ist) und, sobald diese Distanz unterschritten wurde, von einer Bedienbarkeit/Manipulierbarkeit ausgegangen 1425. Ergänzend zu diesen drei Ansätzen kann der Serviceroboter 17 die Positionierung der Person im Raum relativ zur Position des Displays 2 errechnen (Schritt 1440). Befindet sich bspw. die Ausrichtung der Schultern, Hüftgelenke, etc. bzw. die daraus abgeleitete Frontalebene der Person in etwa parallel zum Display 2 oder in einem Winkel von unter 45°, und ist die Person in Richtung des Displays 2 orientiert, wie sich bspw. aus der primären Bewegungsrichtung der Person ergibt, der Haltung der Arme, des Kopfes, der Knie, Füße, von Gesichtsmerkmalen, etc., so erhöht dies die Wahrscheinlichkeit einer Interaktion mit diesem. Dieser Ansatz ist, je nach Orientierung der Sensorik des Serviceroboters 17, auch für andere Elemente des Serviceroboters 17 anstelle eines Displays 2 realisierbar, bspw. eines Ausschaltknopfs. In so einem Fall wird anstelle der Ebene, die das Display 2 mit Bezug zur Person darstellt, eine virtuelle Ebene berücksichtigt, die orthogonal zur Symmetrieachse des Bedienelements 186 hin zum Zentrum des Serviceroboters 17 orientiert ist. In einem zweiten, optionalen Schritt analysiert die Sensorik, ob die Eingabe bzw. Manipulation des Serviceroboters 17 durch den Nutzer oder über eine Dritte Person erfolgt 1450. Dafür trackt der Serviceroboter 17 die Personen in seinem Umfeld auf Basis charakteristischer Merkmale 1445, wie im Stand der Technik allgemein beschrieben ist (bspw. auf Basis der Größe, Dimensionen der Gliedmaßen, Gangmerkmalen, Farbe und Textur seiner Oberfläche wie Kleidung, etc.), bspw. mittels des Visuellen-Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Die Differenzierung in Nutzer und Dritte wird durch die Identifizierung am Serviceroboter 17 vorgenommen, wobei davon ausgegangen wird, dass die sich identifizierende Person der Nutzer ist. Dies geschieht mit Blick auf Eingaben über das Display 2 über die optischen Sensoren des Serviceroboters 17. Zusammengefasst kann hier eine Ermittlung einer Orientierung der Person relativ zum Serviceroboter 17 durch eine Ermittlung des Winkels zwischen der Frontal ebene der Person und der senkrecht auf den Bedienelementen 186 des Serviceroboters 17 stehenden Achse, jeweils in eine horizontale Ebene projiziert, und ein Vergleich des ermittelten Winkels mit einem Schwellwert, wobei Unterschreiten des Schwellwerts eine Detektion einer erhöhten Manipulationswahrscheinlichkeit umfasst, erfolgen. In einem Aspekt kann eine Registrierung der Person am Serviceroboter 17 und Erfassung und Speicherung von

Identifikationsmerkmalen der Person erfolgen, gefolgt bspw. von der Erfassung und Tracking der Person, Erfassung von Identifikationsmerkmalen der Person, Vergleich der erfassten Identifikationsmerkmale mit den bei der Registrierung abgespeicherten Identifikationsmerkmalen der Person und Vergleich mit einem Schwellwert, wobei hier Ähnlichkeiten verglichen werden und ein Schwellwert eine Mindestähnlichkeit impliziert. Dabei erfolgt eine Detektion einer erhöhten Manipulationswahrscheinlichkeit, sofern der Schwellwert unterschritten wird und Detektion einer niedrigeren

Manipulationswahrscheinlichkeit, sofern der Schwellwert überschritten wird. Zum Abschluss kann eine Multiplikation der ermittelten Manipulationswahrscheinlichkeiten zur Ermittlung eines Manipulationsscores erfolgen, der bspw. bei oder nach Durchführungen von Auswertungen durch den Roboter mit der erfassten Person zusammen mit den Auswertungsergebnissen abgespeichert wird. Je nach Art des Vergleichs können auch andere Interpretationen erfolgen, wie bspw. einleitend dargestellt wurde.

[0113] Fig. 62 stellt in Aspekt eines Systems zur Manipulationserkennung dar. Das System, bspw. ein Serviceroboter, umfasst einen Rechner 9, einen Speicher 10 und einen Sensor zur berührungslosen Erfassung der Bewegung mindestens einer Person, bspw. eine 2D und/oder 3D-Kamera 185, einen LID AR 1, einen Radar- und/oder Ultraschall sensor 194. Das System umfasst Module mit Regeln in seinem Speicher 10. Dazu zählen bspw. ein Manipulationsversuchs-Detektionsmodul 4770 durch mindestens eine Person, die im Umfeld des Systems detektiert wird, ein Personenidentifizierungsmodul 111, ein Person-Roboter- Abstandsermittlungs-Modul 4775 zur Ermittlung des Abstands der mindestens einen Person zum Serviceroboter 17, ein Größe- Armlänge-Orientierungs-Modul 4780 zur Ermittlung der Größe, der Armlänge und/oder Orientierung der mindestens einen Person, und/oder ein Eingabe-Registrierungs-Vergleichsmodul 4785 zum Abgleich, ob eine vom System identifizierte Person Eingaben am System vornimmt, bspw. über die Bedienelemente 186. Darüber hinaus verfügt das System bspw. über eine Ausgabevorrichtung wie einen Lautsprecher 192, ein Display 2 zur Übermittlung von Instruktionen und/oder eine Schnittstelle 188 zu einem Terminal 13. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Trackingmodul (112, 113), Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635, skelettmodell-basiertes-Merkmalsextraktions-Modul 5640 und/oder einen Bewegungsplaner 104.

[0114] Um auszuschließen, dass Dritte lediglich auf Weisung des Nutzers Eingaben vornehmen, werden durch vorhandene Mikrofone 193 die verbale Kommunikation zwischen den Personen ausgewertet 1455 (in Fig. 14). Dazu werden im Umfeld des Serviceroboters 17 über mindestens ein integriertes Mikrofon 193 Sprachsignale aufgezeichnet 1560. Eine Identifizierung der Sprechquelle wird auf zwei alternativen oder ergänzenden Wegen umgesetzt, bspw. ebenfalls im Sprachauswertungsmodul 132. Einerseits kann hierzu eine visuelle Auswertung der Lippenbewegungen vorgenommen werden, die zunächst identifiziert 1565 und getrackt werden 1570 und dann mit den vom Serviceroboter 17 aufgezeichneten Sprachsignalen zeitlich synchronisiert werden 1575. Für die Erkennung der Sprechbewegungen der Lippen werden Bilderkennungs- und Trackingverfahren aus dem Stand der Technik herangezogen. Damit kann der Serviceroboter 17 zuordnen, von wem die registrierte Sprache kommt und ob sie mit dem Nutzer übereinstimmt, der die Übung durchführen soll, wobei bspw. die Sprache des Nutzers erfasst wird, wenn sich dieser am Serviceroboter 17 identifiziert. In gegenteiligen Fall könnte eine Manipulation vorliegen 1580. Ein Nachteil dieses Ansatzes ist, dass ggf. die Lippenbewegungen von Dritten, deren Körperhaltung nicht dem Serviceroboter 17 zugerichtet ist, ggf. nur schwer bis gar nicht erfasst werden können. Der zweite Weg, der diese Problematik umgeht, besteht aus der Tonanalyse von mehreren Mikrofonen 193 (Schritt 1480), die an verschiedenen Positionen des Serviceroboters 17 angebracht sind und die über mehrere Kanäle im Zeit- und Frequenzverlauf aufgezeichnet werden, wobei der Prozessor des Serviceroboters 17 eine Laufzeitanalyse vornimmt 1485 und aus dem zeitlichen Versatz, wann die Signale ankommen, errechnet, von welcher Person sie stammen 1490. Alternativ und/oder ergänzend kann auch ein Mikrofon 193 eingesetzt werden, wobei in dem Falle eine Triangulation durch Positionswechsel des Serviceroboters 17 vorgenommen werden kann. Dazu werden bspw. die Zeitverläufe korreliert mittels des errechneten zeitlichen Versatzes über Triangulation die Herkunft im Raum bestimmt (was zwei- oder dreidimensional geschehen kann). Diese wird dann mit der Positionierung der Personen im Raum, die durch die 2D- oder 3D-Kamera(s)

185 bzw. dem LID AR 1 ermittelt wird, abgeglichen, so dass der Serviceroboter 17 auf diesem Weg feststellen kann, welche Person gesprochen hat 1495. Handelt es sich um die Dritte Person (und nicht den Nutzer), der die Sprachsignale zugeordnet werden, so könnte eine Manipulation vorliegen 1498. Daraufhin kann ein Wert in einem Speicher angepasst werden und, in einem Aspekt, ein Hinweis oder eine Fehlermeldung im Nutzerdialog generiert werden.

[0115] Nun kann es sein, dass die weitere Person dem Nutzer nur bei der Eingabe assistiert, d.h. keine eigenen Eingaben vomimmt, sondern nur das Gesprochene, aufgezeichnete usw. in den Serviceroboter 17 über das Display 2 oder die Mikrofone 193 eingibt. Elm diese Möglichkeit zu prüfen, werden die aufgezeichneten Wortsequenzen insofern analysiert, dass sie den einzelnen Personen über mindestens einen der bspw. in vorangegangenen Abschnitten aufgezeigten Wege zugeordnet werden 1505. Fig. 15 illustriert die Eckpunkte dieses Vorgehens. Alternativ oder ergänzend dazu kann die Sprache im Elmfeld des Serviceroboters 17 aufgezeichnet werden 1510 und eine Differenzierung der Sprecher aufgrund unterschiedlicher Sprachmerkmale/Sprachcharakteristika vorgenommen werden 1515, darunter vor allem der Sprachfrequenzen (insbesondere Fundamentalfrequenzen), unterschiedlicher Sprachintensität und/oder unterschiedlicher Sprachgeschwindigkeit vorgenommen werden, insbesondere innerhalb des Sprachauswertungmoduls 132. Dieses Verfahren in Kombination mit den aus Fig. 14, die Sprachsignale von Personen entweder durch Lippentracking oder Ortung aufgrund von Sprachsignallaufverhalten nutzen, ermöglicht es, einmal identifizierte Sprachsignale den Personen zuzuordnen, ohne jedes Mal erneut die Lippenbewegungen und/oder räumliche Position der Sprecher ermitteln zu müssen und ggf. mit den 2D/3D-Personentrackingergebnissen abgleichen zu müssen. Dieses Matching der Personen mit den Sprachcharakteristika 1520 erlaubt es, Sprache aufzuzeichnen und gleichzeitig nutzerbezogen zu tracken 1525. Die jeweils aufgezeichneten und im Speicher 10 des Serviceroboters 17 abgelegten Sequenzen werden inhaltlich insofern analysiert, als dass nach „Vorsage- Verhalten“ gesucht wird, d.h. es wird überprüft, ob dieselben Textfragmente bzw. Sprachfragmente /Sprachmuster zeitlich hintereinander mehrmals Vorkommen 1530 und von unterschiedlichen Personen stammen 1535, was über ein Tagging der Muster und der den Personen zugeordneten Sprachcharakteristika wie den Fundamentalfrequenzen geschieht (alternativ und/oder ergänzend können auch die in Fig. 14 genannten Ansätze genutzt werden). Unter Textfragmenten, Sprachfragmenten bzw. Sprachmustern werden bspw. gleiche Worte und/oder Wortfolgen verstanden. Hierbei ist für eine Bewertung dieser Sequenzen mit Blick auf die Assistenz des Nutzers oder der Manipulation des Serviceroboters 17 relevant, von welcher Person eine relevante Sequenz erstmalig genannt wurde. Ist dies der Nutzer 1565, so ist von keiner Manipulation auszugehen, sondern von einer Assistenztätigkeit der Dritten Person 1570. Stammt sie erstmalig von der Dritten Person, so ist von einer Manipulation auszugehen 1575. Dazu wird im ersten Schritt geprüft, ob ein Sprachfragment zuerst von einer Person aufgezeichnet wurde, die nicht der Nutzer ist, bevor der Nutzer dieses Sprachsegment wiederholt. Hierfür werden Korrelationen, insbesondere im Zeitbereich, vorgenommen, um nach identischen Worten zu suchen. Hierbei wird insbesondere untersucht, ob mehr als ein einzelnes, hintereinander vorkommendes Wort wiederholt wird. Ergänzend oder alternativ zur Korrelationsanalyse der Sprachsequenzen ist auch eine lexikalische Analyse mittels Natural Language Processing möglich 1545, bei dem Worte wie bspw. in vorangegangenen Absätzen analysiert und die Sequenz der getaggten Wörter verglichen wird, basierend bspw. auf Tokenisation, Lemmatisation und Part-of-Speech-Tagging, z.B. mittels spaCy oder NLTK in Python. Dieses Vorgehen ermöglicht es weiterhin zu überprüfen, ob ein „Vorsagen“ nicht etwa vom Nutzer akustisch für die Aufzeichnung durch den Serviceroboter 17 wiederholt wird, sondern direkt eine entsprechende Eingabe durch den Nutzer in den Serviceroboter 17 erfolgt. Denn nur solche wiederholten Sprachsegmente/-muster sind von Relevanz, die auch im Rahmen des Tests vom Serviceroboter 17 erfasst und inhaltlich ausgewertet werden, bspw. in Form eines Formulars, das an den Nutzer gerichtete Fragen beantworten soll 1540. Dazu werden textuelle Eingaben im Serviceroboter 17 („Freitext“) als auch menügeführte Eingaben (Auswahloptionen) entsprechend ebenfalls durch Natural Language Processing 1550, alternativ durch abgespeicherte Sprachsignale verglichen, die die Menüauswahl wiedergeben 1555, analysiert und die Sprachaufzeichnungen Dritter mit den Nutzereingaben verglichen 1560. Wird bei diesen hier beschriebenen Ansätzen zur Manipulationserkennung erkannt, dass eine Eingabe bzw. Aufzeichnung des Nutzers durch Dritte vorgenommen wird bzw. durch Dritte ein „Vorsagen“ stattfindet, wird im Speicher 10 des Serviceroboters 17 vermerkt, dass eine Manipulation stattgefunden hat 1580.

[0116] Zusammengefasst umfasst das Verfahren zur Ermittlung einer

Manipulationswahrscheinlichkeit die Erfassung und das Tracking mindestens einer Person im Umfeld des Roboters durch einen berührungslosen Sensor, die Ermittlung der Position der Person im Umfeld des Roboters, die Aufzeichnung und Auswertung von Audiosignalen, die Positionsermittlung der Quelle der Audiosignale, einen Vergleich der ermittelten Position der Person und der Position der Quelle der Audiosignale und Vergleich der Positionsdifferenz mit einem Schwellwert und die Ermittlung einer Wahrscheinlichkeit für eine Manipulation des Roboters auf Basis des Vergleichs der Positionsdifferenz mit dem Schwellwert. Dabei kann die Positionsermittlung der Quelle der Audiosignale über eine Erfassung der Richtung der Audiosignale durch mindestens ein Mikrofon und Triangulation der ermittelten Richtungen erfolgen, bspw. auch durch einen Positionswechsel des Serviceroboters 17 oder durch ein zweites Mikrofon. Die Positionsermittlung der Quelle der Audiosignale umfasst die Erfassung der Richtung des Audiosignals durch ein Mikrofon, die Ermittlung der Position mindestens einer Person durch den berührungslosen Sensor, die Triangulation der Richtung des Audiosignals und der ermittelten Position der Person. Weiterhin erfolgt bspw. die Auswertung des Gesichts der Person, die Erfassung der Lippenbewegungen im Zeitablauf, ein zeitlicher Vergleich der erfassten Audiosignale (bspw. mittels Korrelationsauswertungen) mit den erfassten Lippenbewegungen in Relation zu einem Schwellwert und bei Überschreitung des Schwellwerts eine Zuordnung der erfassten Audiosignale zur erfassten Person. Das Verfahren kann ebenfalls die Registrierung der Person am Roboter (als Nutzer) und eine Erfassung und Speicherung von Identifikationsmerkmalen der Person (als Nutzer) beinhalten, wobei Identifikationsmerkmale Frequenz, Intensität, und/oder Spektrum der Audiosignale von der Person umfassen, bspw. weiterhin eine Erfassung und Tracking der Person, eine Erfassung von Identifikationsmerkmalen der Person, ein Vergleich der erfassten Identifikationsmerkmale mit den im Rahmen der Registrierung der Person am Roboter abgespeicherten Identifikationsmerkmalen der Person und ein Vergleich mit einem Schwellwert (d.h. Aufweisen einer Mindestähnlichkeit), die Registrierung von Eingaben der Person an den Bedienelemente (186) und eine Zuordnung, ob eine registrierte Person (ein Nutzer) Eingaben an den Bedienelementen (186) vornimmt. Bspw. kann eine Ermittlung einer erhöhten Wahrscheinlichkeit für eine Manipulation des Roboters erfolgen, wenn eine nicht registrierte Person Eingaben an den Bedienelementen (186) des Roboters vornimmt. Das Verfahren kann darüber hinaus bspw. weiter umfassen: eine Ermittlung von Wörtern und/oder Wortsequenzen in den erfassten Audiosignalen bzw. Audiosequenzen, eine Zuordnung der ermittelten Wörter und/oder Wortsequenzen zu erfassten Personen, eine Ermittlung einer erhöhten Wahrscheinlichkeit für eine Manipulation des Roboters, wenn ein Vergleich der ermittelten Wortsequenzen eine Wort- und/oder Wortsequenz-Differenz ergibt, die über einem Schwellwert liegt, d.h. dass eine Mindestkorrelation nicht erreicht wird. Weiterhin kann das Verfahren bspw. die Ermittlung von Worten oder Wortsequenzen, die von der Person über ein Bedienelement (186) eingegeben werden, die Ermittlung von Wörtern und/oder Wortsequenzen in den erfassten Audiosignalen, die Zuordnung der ermittelten Wörter und/oder Wortsequenzen aus den erfassten Audiosignalen zu erfassten Personen, die Erfassung von Identifikationsmerkmalen der Person, die Ermittlung einer erhöhten Wahrscheinlichkeit für eine Manipulation des Roboters, wenn ein Vergleich der über die Bedienelemente (186) eingegebenen Wortsequenzen mit aus den erfassten Audiosignalen ermittelten Wortsequenzen eine Wort- und/oder Wortsequenz-Mindestähnlichkeit und zugleich eine Mindestähnlichkeit der erfassten Identifikationsmerkmale der Person mit den bei der Registrierung erfassten und abgespeicherten Identifikationsmerkmalen.

[0117] Fig. 58 stellt die Architektursicht für das System zur Manipulationserkennung auf Basis von Audiosignalen dar. Dazu gehört ein Rechner 9, ein Speicher 10 und ein Sensor zur berührungslosen Erfassung der Bewegung einer Person, die im Umfeld des Systems detektiert wird, mindestens ein Mikrofone 193, ein Personen-Positions-Ermittlungs-Modul zur Ermittlung der Position einer Person im Raum 4415, ein Audioquellen-Positionsermittlungs- Modul zur Bestimmung der räumlichen Herkunft eines Audiosignals 4420, ein Modul zur Korrelation von zwei Audiosignalen 4025, ein Audiosignal-Personen-Modul 4430 zur Zuordnung von Audiosignalen zu einer Person, und/oder ein Sprachauswertungsmodul 132. Ferner existiert ein Eingabe-Registrierungs-Vergleichsmodul 4785 zum Abgleich, ob eine vom System identifizierte Person Eingaben am System vornimmt. Das System verfügt ferner über ein Audiosequenz-Eingabe-Modul 4435 zum Vergleich einer Audiosequenz (d.h. einer Tonfolge, die bspw. Worte wiedergibt) mit einer Sequenz taktil eingegebener Buchstaben. Es gibt daneben bspw. eine Ausgabevorrichtung wie einen Lautsprecher 192 und/oder ein Display 2 zur Übermittlung von Instruktionen. Über eine Schnittstelle 188 (z.B. WLAN) kann eine Verbindung zu einem Terminal bestehen. Beim Sensor zur berührungslosen Erfassung der Bewegung einer Person handelt es sich um eine 2D und/oder 3D-Kamera 185, einen LID AR 1, einen Radar- und/oder Ultraschall sensor 194. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112, 113), Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635 und/oder skelettmodell-basiertes-Merkmalsextraktions-Modul 5640.

Prüfung von Beeinträchtigungen des Nutzers

[0118] Bei den Nutzern handelt es sich vornehmlich um Senioren, die neben einer möglichen kognitiven Beeinträchtigung, welche mittels der in dieser Patentanmeldung beschriebenen Vorgehensweisen geprüft werden soll, auch unter Hör- und Sehbeeinträchtigungen leiden könnten, welche möglicherweise die Testergebnisse verfälschen. Um die Genauigkeit der Testergebnisse zu verbessern, ist der Serviceroboter 17 in einem Aspekt derart konfiguriert, dass der Serviceroboter 17 vor Beginn der Übungen einen kurzen Hörtest, ergänzend oder alternativ dazu einen kurzen Sehtest, mit dem Nutzer durchführt. Die hier ablaufenden Verfahrensschritte sind im Wesentlichen in Fig 16 dargestellt. Der Serviceroboter 17 weist den Nutzer zunächst über eine Bildschirmausgabe und/oder akustische Ausgabe optional auf die Problematik hin, dass möglicherweise Verständnisprobleme auftreten könnten und deshalb eine Kalibrierung des Serviceroboters 17 an den Nutzer notwendig ist. Der Seh- und/oder Hörtest stellt eine solche Kalibrierung dar. Dann fordert der Serviceroboter 17 den Nutzer auf, an der Kalibrierung teilzunehmen 1605.

[0119] Im Rahmen eines kurzen Hörtests fordert der Serviceroboter 17 den Nutzer auf, im Menü auf dem Display 2 entsprechende Felder zu drücken, wenn der Nutzer bestimmte Töne gehört hat. Alternativ oder ergänzend dazu ist auch eine Spracheingabe für den Nutzer möglich, die wiederum mittels Verfahren des Natural Language Processings, wie es im Stand der Technik beschrieben ist, ausgewertet wird, bspw. innerhalb des Sprachauswertungsmoduls 132. Der Serviceroboter 17 spielt anschließend eine Folge von Tönen unterschiedlicher Frequenz und unterschiedlicher Lautstärke ab, die aber einzeln im Wesentlichen eine konstante Frequenz und Laustärke haben 1610, und „erfragt“ jedes Mal, ob der Ton vom Nutzer gehört wurde, was bspw. dadurch geschehen kann, dass der Serviceroboter 17 ein Display 2 mit Eingabeoptionen dem Nutzer präsentiert, über das der Nutzer angeben kann, inwieweit der den Ton gehört hat 1615. Dabei werden die Töne im Zeitablauf in einem Aspekt leiser und höher frequent 1620. Es ist jedoch auch eine andere Reihenfolge diesbzgl. denkbar. Die Antworten des Nutzers werden erfasst. Es wird anschließend ein Score ermittelt 1625, der angibt, in welchem Umfang der Nutzer die Töne gehört hat. Sofern der Nutzer bspw. bestimmte Schwellwerte im Hörverhalten nicht erreicht, d.h. der Serviceroboter 17 über seine entweder Bildschirmmenü-geführten oder Sprachmenü- geführten und entsprechend ausgewerteten Antworten vorab definierte Grenzwerte bei positiven Antworten nicht erreichen (z.B. nur drei von sieben Tönen erkannt), kann daraus ein entsprechender Score-Wert ermittelt werden. Dieser Score wird in einem Aspekt in einer Datenbank im Serviceroboter 17 hinterlegt 1630, z.B. zusammen mit Nutzerinformationen, die den medizinischen Zustand der Person charakterisieren. Alternativ oder ergänzend dazu kann der Serviceroboter 17 auch über die Lautstärke der Antworten, die der Nutzer gibt, bspw. relativ zum Umgebungsgeräuschpegel 1635, der über mindestens ein weiteres Mikrofon 193 aufgezeichnet wird, ermitteln, ob der Nutzer einen Bedarf an einer höheren Lautstärke der vom Serviceroboter 17 ausgegebenen Signale hat. In einem ergänzenden und/oder alternativen Aspekt wird die Lautstärke der Ausgabe akustischer Signale des Serviceroboters 17 entsprechend angepasst, bspw. erhöht, wenn sich auf mindestens einem dieser beschriebenen Wege herausstellt, dass der Nutzer schwerhörig ist.

[0120] Im Rahmen eines kurzen Sehtests fordert der Serviceroboter 17 den Nutzer auf, im Menü auf dem Display 2 entsprechende Felder zu drücken, wenn der Nutzer bestimmte Buchstaben oder anderweitige Symbole erkennen kann 1650. Alternativ oder ergänzend dazu ist auch eine Spracheingabe für den Nutzer möglich, die wiederum mittels Verfahren des Natural Language Processings, wie es im Stand der Technik beschrieben ist, vorgenommen wird. Der Serviceroboter 17 spielt anschließend eine Folge von Zeichen bzw. Bildern auf dem Display 2 ab 1655. Der Nutzer signalisiert im Schritt 1660 dabei, ob der Nutzer das Zeichen erkannt hat oder nicht bzw. welches Zeichen der Nutzer erkannt hat. Dabei werden die Zeichen bzw. Bilder im Zeitablauf in einem Aspekt kleiner (Schritt 1665). Es ist jedoch auch eine andere Reihenfolge diesbzgl. denkbar. Ergänzend und/oder komplementär dazu sind auch unterschiedliche Farbmuster möglich, um eine etwaige Farbblindheit des Nutzers zu erkennen. Die Antworten des Nutzers werden erfasst. Die Ergebnisse des Tests werden in Form eines Scores abgebildet 1670. Wenn bspw. der Nutzer bestimmte Schwellwerte der Sehfähigkeit nicht erreicht bzw. eine Farbblindheit festgestellt wird, d.h. eine bestimmte Anzahl an Objekten/Mustem nicht erkannt wird (wie bspw. drei von sieben), beeinflusst dies den Score wird dies in einem Aspekt in einer Datenbank im Serviceroboter 17 hinterlegt 1675. In einem ergänzenden und/oder alternativen Aspekt wird die Größe der Buchstaben bei der Ausgabe von Textelementen auf dem Display 2 des Serviceroboters 17 entsprechend angepasst, ggf. auch die Menügestaltung, um entsprechende Menüpunkte mit größeren Buchstaben darstellen zu können 1680. Weiterhin kann auch die Farbgebung des Displays 2 in einem ergänzenden Aspekt angepasst werden, um damit im Falle einer Farbblindheit ein besseres Erkennen des Displaymenüs zu ermöglichen. Weiterhin ist in einem ergänzenden und/oder alternativen Aspekt es möglich, dass der Serviceroboter 17 den Abstand zum Nutzer variiert, bspw. bei Nutzern mit Sehschwierigkeiten dichter an den Nutzer heranfährt 1695. Dazu wird im Navigationsmodul 101 ein Parameterwert temporär modifiziert, der die übliche Distanz zwischen Nutzer und Serviceroboter 17 definiert 1690. Zu guter Letzt können auch die Kontraste und/oder die Helligkeit des Displays 2 des Serviceroboters 17 an die Umweltbedingungen angepasst werden unter Berücksichtigung der Sehfähigkeiten des Nutzers 1685. Verbesserung der Signalverarbeitungsqualität durch Adaption an Umwelteinflüsse

[0121] Unabhängig von den Seh- und Hörtests, aber auch unter Berücksichtigung der Nutzerbeeinträchtigungen ist der Serviceroboter 17 in einem weiteren Aspekt der Lage, die Ein- und Ausgabeeinheiten an die Umwelt derart anzupassen, dass eine Bedienung bei unterschiedlichen Helligkeitsgraden und/oder Geräuschkulissen möglich ist. Hierzu verfügt der Serviceroboter 17 über einen handelsüblichen Helligkeitssensor in Displaynähe, um zu ermitteln, wie viel Licht auf das Display 2 fällt. Dabei wird der Helligkeitswert des Displays 2 an die Umgebung angepasst, d.h. vor allem bei intensivem Lichteinfall, die Helligkeit des Displays 2 zu erhöhen und bei niedrigen Helligkeitswerten die Helligkeit des Displays 2 zu reduzieren. Alternativ oder ergänzend ist der Serviceroboter 17 in der Lage, durch ein oder mehrere Mikrofone 193 die Geräuschkulisse im Hintergrund zu ermitteln. Dies kann in einem Aspekt dazu führen, dass bei einem erhöhten Geräuschpegel auch die Lautstärke der akustischen Ausgaben des Serviceroboters 17 lauter erfolgt, bei niedrigem Geräuschpegel dagegen abgesenkt wird. In einem ergänzenden oder alternativen Aspekt zeichnet mindestens ein weiteres Mikrofon 193 die Hintergrundgeräusche auf und nutzt Noise Cancellation-(d.h. Geräuschunterdrückungs-)Verfahren (Phasenverschiebungen des Eingangssignals um die aufgezeichneten Hintergrundgeräusche), um die Signalqualität des akustischen Eingangssignals zu verbessern und damit eine verbesserte Sprachverarbeitung zu ermöglichen, um so bspw. Erfassungsfehler zu vermeiden, das erneute Stellen einer Frage oder Aufforderung durch den Serviceroboter 17, usw.

[0122] Des Weiteren erfragt der Serviceroboter 17 als Maßnahme zur

Genauigkeitsverbesserung der Testergebnisse, ob die zu evaluierende Person Schmerzen hat, wobei auch die Intensität der Schmerzen erfragt wird. Die Interaktion zwischen dem Serviceroboter 17 und der zu evaluierenden Person erfolgt hierbei via der an anderer Stelle bereits beschriebenen Kommunikationsvorrichtung. Eine solche Information wird im Datenbankrecord des Nutzers abgelegt.

[0123] Der Serviceroboter 17 erhält ferner als weitere Maßnahme zur

Genauigkeitsverbesserung der Testergebnisse aus dem Patientenadministrationsmodul 160 die Information, wann der Patient in die Klinik eingewiesen wurde, in der das Test stattfindet, und errechnet die Dauer des bisherigen Aufenthalts, um dem Abfall kognitiver Leistung durch stationäre Klinikkaufenthalte Rechnung zu tragen. Zugleich wird im Patientenadministrationsmodul 160 erfasst, ob der Patient bereits eine Diagnose zu einer Krankheit erhalten hat. Diese Information wird bei der Darstellung des Ergebnisses des Mini- Mental-Tests ebenfalls berücksichtigt und im Datenbankrecord des Nutzers abgelegt.

[0124] Der Serviceroboter 17 überträgt die Ergebnisse der abgespeicherten, oben beschriebenen Testaufgaben über eine Schnittstelle 188 (wie z.B. WLAN) an das Patientenadministrationsmodul 160 und stellt sie auf diese Art und Weise dem medizinischen Personal zur Verfügung, wobei zugleich auch eine Dokumentation der Ergebnisse erfolgt.

Spektrometrische Messungen am Patienten

[0125] In einem Aspekt ist der Serviceroboter 17 derart konfiguriert, dass der Serviceroboter 17 in der Lage ist zu ermitteln, ob ein Patient bestimmte Ausscheidungen über die Haut aufweist, die in einem Aspekt auf bestimmte Erkrankungen hindeuten, die sich darüber diagnostizieren lassen. So kann der Serviceroboter 17 bspw. ermitteln, ob und ggf. auch wie stark ein Patient im Bett schwitzt. Hierbei kann bspw. ein Spektrometer 196 eingesetzt werden wie ein Nahinfrarot-Spektrometer, in einem anderen Aspekt auch ein Raman- Spektrometer. Die Prozesse um die Messung von Ausscheidungen 2100 sind in Fig. 21 dargestellt. Hierbei sind jeweils Messungen an verschiedenen Stellen des Körpers möglich. Exemplarisch wird das Vorgehen für drei Stellen beschrieben: an den Händen, auf der Stirn, und eine Messung auf dem Rumpf, insbesondere dem Bettzeug. Detektion von Schweiß an diesen Stellen sind bspw. Bestandteil des Delirium Detection Score, eines weiteren Tests, um Delir bei Patienten nachzuweisen.

[0126] Der Serviceroboter 17 ist derart konfiguriert, dass der Serviceroboter 17 mittels eines 3D-Sensors, bspw. einer 3D-Kamera, einen Patienten in einem Bett aufzeichnen kann. Dazu ist dieser Sensor bspw. derart am Serviceroboter 17 positioniert, dass der Serviceroboter 17 sich in einer Höhe von mindestens 80cm, z.B. mindestens 1,2m Höhe befindet und bspw. dreh- und/oder kippbar gelagert ist.

[0127] Der Serviceroboter 17 ist in der Lage, basierend auf einer Objekterkennung Betten zu identifizieren 2105. Dazu kann der Serviceroboter 17, in einem Aspekt, über den 2D oder 3D- Sensor, bspw. den LID AR 1, den Raum abtasten, von dem a priori bekannt ist, dass ich in diesem Raum Betten befinden. Alternativ und/oder ergänzend können Dimensionen auch über eine im Speicher 10 hinterlegte Karte ermittelt werden, die bspw. Rauminformationen wie die Breite und Tiefe eines Raums beinhaltet. Auf diese Art und Weise werden die Raumdimensionen ausgewertet 2110. Der Serviceroboter 17 kann zudem die Dimensionen gemessener Objekte ermitteln 2115, bspw. durch Triangulation in Verbindung mit einer implementierten Odometrie-Einheit 181 (Schritt 2120), die die Positionsabweichungen des Serviceroboters 17 ermitteln kann. Die Dimensionen der gemessenen Objekte im Raum relativ zu den Rauminformationen werden ermittelt 2122, wozu kein Rückgriff auf die Odometriefunktion notwendig ist. Die ermittelten Dimensionen, vor allem die äußeren Abmaße des Betts, werden auf Basis von in dem Speicher 10 abgelegten Regeln klassifiziert, um darüber zu ermitteln, ob es sich dabei um ein Bett handelt 2124. Dazu zählen in einem Aspekt die Dimensionen, die ein Bett einnehmen kann. In ergänzenden und/oder alternativen Aspekten kann eine Klassifizierung der von dem LID AR 1 und/oder der 2D und/oder 3D- Kamera 185 erkannten Objekte auch auf Basis charakteristischer Merkmale erfolgen, welche ein Bett eindeutig identifizieren 2125. Dabei kann es sich um die Ausgestaltung der Räder des Betts und/oder die Hubvorrichtung zur Höhenverstellung des Betts handeln. Es können aber auch Klassifikationsregeln genutzt werden, die durch das Erlernen typischer Bettmerkmale auf Basis von Verfahren des maschinellen Lernens und/oder neuronaler Netze erstellt wurden. Alternativ und/oder ergänzend können die Betten auch mit Sensorik und/oder Barcodes ausgestattet sein 2130, bspw. RFID- oder Bluetooth-Sendern, die eine Bettidentifizierung zulassen.

[0128] In einem Aspekt lässt sich über die Positionierung der Sensoren am Bett eine Ermittlung der Orientierung des Betts im Raum ermitteln 2140, bspw. dadurch, dass Backscatter-Signale genutzt werden, welche unterschiedlich am Bettgestell reflektiert werden und über die Laufzeit- und/oder Phasendifferenzen die Orientierung des Betts im Raum ermitteln lassen. Barcodes können ebenfalls derart am Serviceroboter 17 befestigt sein, dass ein Auslesen die Ermittlung einer räumlichen Orientierung des Betts erlaubt. Die in der Sensorik und/oder den Barcodes hinterlegten Codes werden durch den Serviceroboter 17 ausgelesen und mit solchen verglichen, welche im Speicher 10 des Serviceroboters 17 hinterlegt sind und die Betten zugeordnet sind, womit der Serviceroboter 17 feststellen kann, dass der ausgelesene Sensor und/oder Barcode einem Bett zugewiesen ist. Alternativ und/oder ergänzend, vor allem aber dann, wenn ein Bett auf Basis seiner Dimensionen als solches erkannt wurde 2124, kann die Orientierung des Betts im Raum über die Bettdimensionen erfolgen, in einem Aspekt auch über einen Abgleich der Position zur nächsten Wand 2135: Das heißt, der Serviceroboter 17 ermittelt auf Basis von a-prior-Informationen die Orientierung des Betts, insbesondere des Kopfendes, wobei die a-priori-Information darauf abzielen, dass ein Bett eine im Wesentlichen rechteckige Form aufweist, deren kürzere Seiten entweder das Kopf- oder Fußende darstellen. Dabei wird die kürzere Seite als Kopfende erkannt, welche sich bspw. näher an einer Wand des Raums befindet. In einem alternativen Aspekt identifiziert der Serviceroboter 17 eine Person im Bett, insbesondere deren Kopf und Arme, welche bspw. im Rahmen eines Skelettmodells ausgewertet werden können.

[0129] Anschließend ermittelt der Serviceroboter 17 in einem optionalen Schritt 2145, wo der Serviceroboter 17 relativ dicht an den Kopf des Patienten herannavigieren kann. Dazu ermittelt der Serviceroboter 17 als nächstes auf einer Seite des Betts, wie weit der Serviceroboter 17 bis zum Kopfende fahren kann. Wenn die Distanz bis zur Wand am Kopfende auf einer Seite des Betts weniger als 1 m beträgt, fährt der Serviceroboter 17 entlang dieser Bettseite. Beträgt die Distanz mehr als lm, ermittelt der Serviceroboter 17 auf der anderen Seite des Betts die Distanz bis zur Wand und fährt anschließend möglichst weit vor bis zur Wand am Kopfende, und zwar auf der Seite, bei der der Serviceroboter 17 möglichst weit bis zur Wand am Kopfende fahren kann. In einem alternativen Aspekt prüft der Serviceroboter 17 zunächst beide Seiten wie beschrieben auf ihre Tiefe und fährt dann auf der Seite in Richtung Kopfende, auf der der Serviceroboter 17 am weitesten in Richtung Wand am Kopfende gelangen kann.

[0130] Als nächstes ermittelt der Serviceroboter 17 eine Kandidatenregion des Kopfs 2150. Dazu positioniert sich der Serviceroboter 17 derart, dass seine Front in Richtung der vermuteten Position des Kopfs zeigt. Dies kann bspw. durch Drehen des Serviceroboters 17 auf der Stelle geschehen, wobei der Serviceroboter 17 einen Drehwinkel zwischen 25 und 90° gemessen zur langen Seite des Betts aufweist. Mittels eines 2D oder 3D-Sensors erfasst der Serviceroboter 17 die Oberfläche des Betts, insbesondere im Bereich hin zum Kopfende. Alternativ und/oder ergänzend errechnet der Serviceroboter 17 eine Kandidatenregion, in der sich der Kopf üblicherweise befindet und die in einem Bereich liegt, der mindestens 25cm von jeder langen Bettseite und mindestens 10cm vom Kopfende des Betts entfernt, bis zu einer Entfernung von 60cm des Kopfendes.

[0131] Alternativ und/oder ergänzend können auch Intervalle für die Breite hinterlegt werden.

Sofern der Abstand zwischen langer Seite des Betts (relativ ermittelt aus einem Vergleich der

Bettseiten und/oder über vordefinierte Längenintervalle) weniger als ein definierter

Schwellwert beträgt (bspw. 20 cm), steht das Bett längs zur Wand und der Serviceroboter 17 bewegt sich entlang der Längsseite des Betts, auf der ausreichend Platz ist. Anschließend nutzt der Serviceroboter 17 die bereits beschrieben Ermittlung der Kandidatenregion für den Kopf, alternativ scannt der Serviceroboter 17 das ganze Bett mittels der Kamera 185, deren Bilder über ein am Markt verfügbares Framework ausgewertet werden, das eine Kopferkennung implementiert hat.

[0132] Der Serviceroboter 17 ist auf Basis von Merkmalen des Kopfs in der Lage, die Stirn zu ermitteln 2152. In einem Aspekt wird hierzu ein Bereich definiert, der durch folgende Gesichtsmerkmale begrenzt wird: ca. 4cm oberhalb der Linie, die die Augenmittelpunkte verbindet, Haaransatz an den Seiten, erkennbar an einem farblichen Kontrast zur Haut des Patienten. Alternativ und/oder ergänzend kann auch die Form des Kopfs hierbei genutzt werden, wobei die Stirnflächenbegrenzung durch die Rundung des Kopfs eingeschränkt wird. Hierbei können bspw. Ansätze wie Histogram-of-Gradients genutzt werden, die in Frameworks wie OpenCV oder Scikit-image implementiert sind. Als Begrenzung kann hierbei der Winkel genutzt werden, dessen einer Schenkel aus einem Lichtstrahl vom Sensor des Kopfs besteht und der Senkrechten an der Stelle, an der der Lichtstrahl auf die Oberfläche des Kopfs trifft. Nachdem die Stirn des Patienten identifiziert wurde, trackt der Serviceroboter 17 die Position des Kopfes 2172, bspw. mittels des Visuellen-Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113.

[0133] Sofern der Serviceroboter 17 Probleme hat, die Stirn des Patienten zu identifizieren bzw. die Augen, kann er, in einem Aspekt, die Bettseite wechseln, um sicherzustellen, dass der Patient ihm nicht den Hinterkopf zugedreht hat. Alternativ und/oder ergänzend kann der Serviceroboter 17 über seine Ausgabeeinheiten wie Display 2 und/oder die Sprachsyntheseeinheit 133 den Patienten auffordem, den Kopf zu bewegen 2154, bspw. ihn anzusehen. Nach einer solchen Aufforderung erfolgt erneut ein Identifizierungsversuch des Kopfes bzw. der Stirn.

[0134] Der Serviceroboter 17 nutzt weitere Klassifizierungsalgorithmen, um die Hände eines

Patienten zu erkennen. Hierbei kann einerseits wie für der Identifizierung des Kopfs des

Patienten vorgegangen werden (d.h. es werden zwei Kandidatenregionen für die Hand 2157 in etwa mittig der langen Bettseite und mit einer Tiefe von ca. 30 cm parallel zur kurzen

Bettkante ermittelt), alternativ und/oder ergänzend können Algorithmen aus den SDKs einer

RGB- oder RGB -D-Kamera 185 genutzt werden, um ein (anteiliges) Skelettmodell des

Patienten zu erstellen, wobei hierbei vor allem die Arme und Hände erkannt werden, d.h. deren Gelenkpunkte, während sich die Verbindungen zwischen den Gelenkpunkten als

Richtungsvektoren darstellen lassen. Sofern der Serviceroboter 17 keine Arme bzw. Hände erkennen sollte, kann der Serviceroboter 17 über seine Ausgabeeinheiten wie Display 2 und/oder Sprachsyntheseeinheit 133 den Patienten auffordem, die Hände bzw. Arme zu bewegen 2159, bspw. diese unter der Bettdecke hervorzutun. Nach einer solchen Aufforderung erfolgt erneut ein Identifizierungsversuch von Armen bzw. Händen. Der Serviceroboter 17 identifiziert, ähnlich wie die Stirn, auch die Handoberflächen, entweder den Handrücken und/oder die Handfläche. Hierbei können zur verbesserten Lokalisierung alternativ und/oder ergänzend auch Gelenkpunkte aus dem Skelettmodell einbezogen werden, wobei der Handbereich von Interesse zwischen dem Handgelenk und den Fingergelenken liegt. Alternativ und/oder ergänzend kann die Handflächenerkennung über eine Bildklassifikation erfolgen, wobei die Klassifikationsalgorithmen durch Trainieren mittels Bilder, die Handflächen darstellen, erfolgt ist.

[0135] Eine weitere Körperregion von Interesse ist der Oberkörper des Patienten, der über eine Kandidatenregion vorab definiert wird als vom Kopf abwärts gerichteter Bereich, der sich über eine Länge von ca. 1,5 Kopfhöhen erstreckt, die eine halbe Kopfhöhe unterhalb des Kopfes beginnt und die eine Breite von ca. 2 Kopfbreiten hat. Alternativ und/oder ergänzend wird der Bereich definiert über eine Breite von ca. 45 cm und eine Höhe von ca. 50cm, die ca. 10cm unter dem Kopf des Patienten beginnt, alternativ in etwa bettmittig positioniert ist in einer Entfernung von ca. 50cm vom Kopfende. Es kann alternativ und/oder ergänzend auch eine Klassifizierung über die dreidimensionale Form erfolgen. In einem Aspekt wird dabei die Breite des Betts mit Blick auf die Höhe abgetastet sowie im Bereich der Achse parallel zur langen Seite der Bereich, welcher sich in der Hälfte des Betts befindet, dass hin zum Kopfende orientiert ist. Entlang der Kammlinie, die sich in dieser Zone ergibt, wird der Teil selektiert, der sich unterhalb der Kandidatenregion für den Kopf befindet. Auf diese Art und Weise lässt sich eine Kandidatenregion für den Oberkörper 2160 ermitteln. Es erfolgt darauf eine Abtastung der Erhebung gegenüber dem Niveau der Matratze, welches durch die 3D- Sensorik des Serviceroboters 17 erfasst wird und, im Falle der Detektion einer Erhebung in der Kandidatenregion, wird dieser Bereich als Oberkörper identifiziert 2162.

[0136] Damit ist der Serviceroboterl 7 in der Lage, drei Zielregionen des Patienten zu erfassen und zu identifizieren: die Stirn, die Handoberfläche/den Handrücken und den oberen Teil des Rumpfs. Diese können mittels der Sensorik, bspw. mittels der RGB-D-Kamera 185, im Raum so identifiziert werden, so dass deren Oberfläche entsprechend in einem dreidimensionalen Koordinatensystem darstellbar ist. Dabei findet z.B. auch ein Tracking 2170 statt, insbesondere für den Kopf des Patienten 2172, in einer Variante auch für die Hand 2174 und optional für den Oberkörper, bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Dabei werden bspw. die von der Sensorik erstellten Abbildungen segmentiert, um durch eine Klassifikation Körperregionen zu bestimmen, so dass das Spektrometer (196) auf diese Körperregionen gerichtet werden kann. Eine entsprechende Klassifikation kann im Speicher 10 hinterlegt sein. Der Serviceroboter 17 kann bspw. in der Applikation zur Steuerung des Spektrometers auch Regionen hinterlegt haben, auf denen die Messung vorgenommen werden soll.

[0137] Vor der Messung trackt der Serviceroboter 17 im Schritt 2170 über einen definierten Zeitraum die Bewegungen der Hand bzw. des Kopfes (optional auch des Oberkörpers). Wird für eine Zeitdauer, die über einem definierten Schwellwert liegt, keine Bewegung festgestellt (bspw. 5 Sekunden), oder aber lediglich eine Bewegung festgestellt, bei der sich die Hand/der Kopf einen definierten Schwellwert nicht überschreitet (bspw. 5 mm) 2180, erfolgt eine Messung und Auswertung der erfassten Daten 2185.

[0138] Während der Spektrometer-Messung wird im Rahmen einer Sicherheitsprüfung 2178 durch die RGB-D-Kamera 185 der Kopf des Patienten bzw. die Hand, auf der gemessen wird, fortlaufend getrackt. Sofern Bewegungen festgestellt werden, bspw. eine Drehbewegung des Kopfes, ein Senken oder Heben des Kopfes, die einen definierten Schwellwert überschreitet, wird die Messung sofort unterbrochen. Der Serviceroboter 17 trackt die Regionen, auf denen eine Messung stattfinden soll, weiterhin, und startet einen erneuten Messversuch, wenn die Bewegungen des Kopfes geringer als ein definierter Schwellwert sind.

[0139] Der Serviceroboter 17 verfügt ferner bspw. über ein Nahinfrarot-Spektrometer für eine Stoffanalyse 2186, das dreh- und schwenkbar gelagert und diesbzgl. elektronisch verstellbar ist. Der Serviceroboter 17 in der Lage, über diese Lagerung das Spektrometer 196 so auszurichten, dass der Pfad der vom Spektrometer 196 emittierten Strahlung die Koordinaten der Zielregion im dreidimensionalen Raum erreicht und die reflektierte Strahlung vom Spektrometer 196 auch wieder detektiert wird 2187. Wenngleich als Lichtquelle eine Infrarotdiode mit fokussierender Optik infrage kommen, wird in einem Aspekt ein Infrarot- Laser eingesetzt.

[0140] Es erfolgt die Messung, d.h. die Signale des Spektrometers 196 werden ausgewertet und anhand von einer Referenzdatenbank klassifiziert 2189, die Referenzspektren enthält und somit erlaubt zu ermitteln, was sich in bzw. auf der Zielregion befindet 2188, und zwar qualitativ oder quantitativ 2190. Alternativ und/oder ergänzend können auch direkt Klassifikationsregeln zur Bestimmung der Substanzen aus den gemessenen Spektren hinterlegt sein, die bspw. auf Basis von Korrelationsanalysen arbeiten. Ein einem Aspekt können hierbei charakteristischen Signale, d.h. vor allem Spektralverläufe von Schweiß ermittelt werden 2191, die sich aus Einzel Spektren von Wasser, Natrium und/oder Chlorid zusammensetzen und bspw. auf der Haut des Patienten wie der Stirn oder der Hand auftreten. Mit Blick auf die Zielregion Rumpf wird erfasst, wieweit die Bettdecke des Patienten feucht ist, d.h. die hierbei verwendete Klassifikation zur Signalauswertung berücksichtigt dabei entsprechend das Material des Bettzeugs.

[0141] Durch Abtasten unterschiedlicher Teilbereiche der Bettdecke lässt sich mittels Klassifizierung über die Referenzdatenbank bspw. auch die Menge an als Schweiß ausgeschiedenem Wasser abschätzen.

[0142] In einem weiteren Aspekt verfügt die Datenbank mit Referenzspektren über solche, die die Konzentration von weiteren Substanzen bestimmen können, darunter verschiedener Drogen 2192 wie Heroin, Opiate (wie z.B. Morphin), Amphetamin, Methamphetamin,

Kokain (inkl. ggf. Benzoylecgonin), 9-tetrahydrocannabinol (THC) oder aber weiterer Stoffe 2193 wie Glucose, Laktat, Harnsäure, Harnstoff, Kreatinin, Cortisol, etc.

[0143] Der Serviceroboter 17 verfügt über eine weitere Referenzdatenbank, die auf Basis der Kombination verschiedener Substanzen und/oder ihrer Konzentration(en) dahingehend eine Klassifizierung ermittelter Messwerte erlaubt, welche verschiedenen Krankheiten möglicherweise mit den gemessenen Spektren assoziiert sind 2194. Dabei sind sowohl Schwellwerte von Konzentrationen bzw. der gemessenen Stoffmenge, das Verhältnis der Stoffmengen und/oder Konzentrationen untereinander als auch Kombinationen daraus Bestandteil dieser Klassifikation. Als Beispiel sei die Kombination von Harnstoff, Harnsäure und Kreatinin genannt, bei denen die Konzentration von Harnsäure größer 0,02 mmol/1, Kreatinin 0,04 mmol/1 (bei niedrigeren Temperaturen höher), und Harnstoff >15 mmol/1 (bei niedrigen Temperaturen) bzw. >100 mmol/1 (bei höheren Temperaturen). Der Serviceroboter 17 berücksichtigt bei dieser Klassifizierung die Umgebungstemperatur mittels eines sich im Serviceroboter 17 befindlichen Thermometers, die Jahreszeit bzw. die Außentemperatur und ist für den letzteren Fall mit einer Schnittstelle 188 (wie z.B. WLAN) ausgestattet, um über die Cloud 18 die Außentemperatur für seinen Standort zu ermitteln, d.h. der Serviceroboter 17 ist in der Lage, zur verbesserten Auswertung weitere Daten zu erfassen, entweder über weitere Sensoren 2195 und/oder über Schnittstellen 188 (wie z.B. WLAN) zu weiteren Datenbanken 2196.

[0144] Die Messergebnisse werden in einer Datenbank abgespeichert 2197, die sich im Serviceroboter 17 befindet und/oder sie können über eine Schnittstelle 188 (wie z.B. WLAN) an einen Server in der Cloud 18 übertragen und dort abgespeichert werden 2198. Sie können anschließend über ein Display 2 und/oder eine Sprachausgabe ausgegeben werden 2199, bspw. über den Serviceroboter 17 und/oder ein Terminal, auf das medizinisches Personal zu Auswertungszwecken Zugriff hat.

[0145] Zusammenfassend ist das Spekrometriesystem (bspw. der Serviceroboter 17) in Fig.

63 illustriert: Das Spektrometriesystem umfasst einen Rechner 9, einen Speicher 10 und einen Sensor zur berührungslosen Erfassung einer Person (bspw. eine 2D und/oder 3D-Kamera 185, einen LID AR 1, einen Radar- und/oder Ultraschall sensor 194), ein Spektrometer 196 und eine Spektrometer- Ausrichtungseinheit 4805 zur Ausrichtung des Spektrometers 196 auf eine Körperregion einer Person, ähnlich einer Kippeinheit. Daneben kann das System über ein Thermometer 4850 zur Messung der Umgebungstemperatur und/oder eine Schnittstelle 188 zu einem Terminal 13 verfügen. Im Speicher 10 befindet sich ein Körperregions-Detektions- Modul 4810 zur Detektion von Körperregionen, ein Körperregion-Tracking-Modul 4815 zum Tracken von Körperregionen vor und/oder während einer spektroskopischen Messung auf dieser Körperregion, ein Spektrometer-Messmodul 4820 zum Überwachen, inkl.

Unterbrechen und/oder Fortsetzen einer spektrometri sehen Messung auf Basis von Bewegungen der Körperregion, auf der die Messung stattfindet, ein visuelles Personentracking-Modul 112 und/oder ein laserbasiertes Personentracking-Modul 113. Das System greift auf eine Referenzspektren-Datenbank 4825 und/oder eine Krankheitsbilder- Datenbank 4830 mit hinterlegten Krankheitsbildern und damit assoziierten Spektren zum Abgleich der gemessenen Spektren und Ermittlung der gemessenen Substanzen zu, die sich in der Cloud 18 und/oder im Speicher 10 befinden. Im Speicher 10 oder in der Cloud 18 befindet sich weiterhin ein Perspirations-Modul 4835 zur Ermittlung der Menge an ausgeschwitzter Feuchtigkeit, ein Delirium-Detection-Score-Ermittlungs-Modul 4840 zur Ermittlung eines Delirium Detection Score und/oder ein Kognitive-Fähigkeiten-Bewertungs-Modul 4845 zur Ermittlung kognitiver Fähigkeiten. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112,

113) und/oder Bewegungsauswertungsmodul 120. Delirerkennung und Monitoring auf Basis mehrerer Tests

[0146] Alternativ zum Mini -Mental-Tests haben sich in der klinischen Diagnose Testverfahren für die Delirerkennung herausgebildet, die derzeit durch medizinisches Personal abgebildet werden. Bei einem Delir handelt es sich um einen mindestens temporären Zustand geistiger Verwirrtheit. Diese firmieren insbesondere unter dem Begriff CAM-ICU, wobei CAM für „Confusion Assessment Method“ steht und ICU für „Intense Care Unit“, also die Intensivstation. Die vom medizinischen Personal vorgenommene Bewertungen adressieren dabei u.a. Aufmerksamkeitsstörungen, die mittels akustischer und/oder visueller Tests vorgenommen werden, aber auch Tests zum unorganisierten Denken, die motorische Reaktionen erfordern.

Auswertung von Aufmerksamkeitsstörungen des Patienten auf Basis der Erkennung einer Folge von akustischen Signalen

[0147] In einem Aspekt ist der Serviceroboter 17 so konfiguriert (siehe Fig. 22), dass der Serviceroboter 17 die Ausgabe einer gepulsten Folge an unterschiedlichen Tonsignalen 2205 (bspw. eine Tonsequenz) über einen Lautsprecher 192, bspw. mit einer Pulsfrequenz von 0,3- 3 Hz, bspw. von ca. einem Hertz ausgibt. Zugleich kann der Serviceroboter 17 Signalen von mindestens einem taktilen Sensor 4905 erfassen (Schritt 2210) und mit den ausgegebenen Signalen synchronisieren 2220. Jedem Tonsignal kann zudem ein Wert in dem Speicher 10 zugewiesen sein. Es ist eine zeitliche Verzögerung 2215 zwischen der Ausgabe der Tonsignale und der Detektion der Signale vom taktilen Sensor 4905, d.h. bspw. eine Phasenverschiebung um max. eine halbe Pulslänge, die dem gepulsten Signal nachläuft.

Dabei werden die mit der möglichen Phasenverschiebung registrierten Signale des mindestens einen taktilen Sensors 4905 danach ausgewertet, ob sie bei einem definierten und in dem Speicher 10 abgelegten Tonspektrum auftreten 2225, d.h. es findet ein Abgleich statt, ob die detektierten Signale nach einer definierten Tonsequenz auftreten. Sofern dies der Fall ist, wird ein Zähler in dem Speicher 10 um einen ganzzahligen Wert erhöht 2230, alternativ findet keine Erhöhung statt 2235. Anschließend findet eine Klassifizierung des ermittelten Zählerwerts in der Gestalt statt, dass den ermittelten Zählerwerten eine Zählerwerten zugeordnete Diagnose zugeteilt wird 2240. Die Ausgabe der Töne erfolgt gerichtet an einen Patienten, um bspw. dessen kognitive Fähigkeiten zu überprüfen. Je höher der Wert, der inkrem entiert wird, desto weniger sind die kognitiven Fähigkeiten des Patienten beeinträchtigt. Die Diagnose wird in dem Speicher 10 des Serviceroboters 17 abgelegt 2245, optional an einen cloudbasierten Cloud-Speicher in der Cloud 18 übertragen und optional über ein Terminal medizinischem Personal zur Verfügung gestellt.

[0148] Beim taktilen Sensor 4905 handelt es sich um einen piezoelektrischen, piezoresistiven, kapazitativen oder resistiven Sensor. Es können jedoch auch andere Sensortypen eingesetzt werden, wie in Kappassov et al. 2015 (DOI: 10.1016/j.robot.2015.07.015) beschrieben. In einem Aspekt befindet sich der taktile Sensor 4905 an einem Aktor 4920 des der Serviceroboters 17, der über mindestens ein Gelenk verfügt und derart positioniert werden kann, dass der Serviceroboter 17 die Hand des Patienten erreicht, d.h. der taktile Sensor 4905 wird in einer Distanz zur Hand positioniert, die unter einem Schwellwert liegt, der bspw. in einem Speicher abgelegt ist. In einem Aspekt ist der Sensor in eine robotische Hand integriert. In einem alternativen oder ergänzenden Aspekt ist der Sensor auf der Oberfläche des Serviceroboters 17 angebracht. Dazu kann der Serviceroboter 17 mit mindestens einer Kamera 185 den Patienten identifizieren, tacken, und die Position seiner Hände ermitteln, bspw. mindestens die der rechten Hand.

Anwendungsbeispiel :

[0149] Der Serviceroboter 17 gibt im Rahmen eines Tests zur Erfassung der Aufmerksamkeit eines Patienten über einen Lautsprecher 192 eine Buchstabenfolge aus, die einem Wort entspricht. Jeder Buchstabe wird im Abstand von ca. einer Sekunde ausgegeben. Der Patient wird vom Serviceroboter 17 aufgef ordert, beim Erkennen bestimmter Buchstaben eine Druckbewegung mit seiner Hand auszuführen. Diese Druckbewegungen werden durch den beschriebenen taktilen Sensor 4905 ausgewertet und es wird gezählt, wie häufig die bestimmten Buchstaben erkannt wurden. Je höher die Erkennungsrate, desto geringer die Beeinträchtigung des Patienten.

[0150] Das Aufmerksamkeits-Analysesystem wird, wie in Fig. 64 illustriert, wie folgt zusammengefasst: Das System, bspw. ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10, eine Ausgabeeinheit für akustische Signale wie bspw. einen Lautsprecher 192, einen taktilen Sensor 4905 sowie eine taktile Sensor- Auswertungseinheit 4910 zur Auswertung von Signalen durch den taktilen Sensor und eine Taktil-Sensor- Ausgabe- Vergleichsmodul 4915 zur Durchführung eines Vergleichs, ob die erfassten Signale nach einer definierten Ausgabe auftreten. Das System kann ebenfalls einen Aktor 4920 umfassen, bspw. einen Roboterarm, sowie eine Kamera 185. Der taktile Sensor 4905 ist bspw. auf dem Aktor 4920 positioniert. Im Speicher 10 befindet sich eine Aktor-Positionierungseinheit 4925, die den taktilen Sensors 4905 mittels des Aktors 4925 neben der Hand einer Person positioniert, und über ein Personenidentifizierungsmodul 111 und/oder ein Handidentifizierungsmodul 4930 sowie ein Kognitive-Fähigkeiten-Bewertungs-Modul 4845 zur Ermittlung kognitiver Fähigkeiten der Person. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Trackingmodul (112, 113),

Auswertung der kognitiven Fähigkeiten eines Patienten auf Basis einer Bilderkennung [0151] In einem alternativen oder ergänzenden Aspekt des Serviceroboters 17 ist dieser so konfiguriert, die Erkennung von Bildern durch einen Patienten auszuwerten und zu klassifizieren, um damit die kognitiven Fähigkeiten des Patienten zu bewerten, insbesondere dessen Aufmerksamkeit. Fig. 23 stellt den hierbei genutzten Ablauf beispielhaft dar. Dabei indiziert der Serviceroboter 17 über eine Sprachsyntheseeinheit 133 einem Patienten, dass der Serviceroboter 17 sich mehrere Bilder merken solle 2305. Im Anschluss an diese Sprachausgabe wird eine Sequenz an Bildern auf dem Monitor des Serviceroboters 17 angezeigt 2310, bspw. fünf im Abstand von jeweils drei Sekunden. Im Anschluss wird über eine Sprachsyntheseeinheit 133 der Patient informiert, dass der Serviceroboter 17 durch Bewegung seines Kopfes signalisieren möge, ob ihm diese dann gezeigten Bilder bekannt Vorkommen, d.h. der Serviceroboter 17 möge eine diesbzgl. Klassifizierung im Schritt 2315 vornehmen. Dabei werde ein Kopfschütteln als Ablehnung, ein Nicken als Bestätigung gewertet. Es folgt eine Wiedergabe von zehn Bildern auf dem Bildschirm des Serviceroboters 17 (Schritt 2320) im Abstand von jeweils drei Sekunden. Davon wiederholen sich fünf gegenüber der vorigen Sequenz aus den fünf Bildern, z.B. jedes Bild aber nur einmal. In einem Aspekt kann durch einen Zufallsgenerator die Reihenfolge der Bilder und/oder die Differenzierung in neues Bild vs. bereits gezeigtes Bild erfolgen 2325. Der Serviceroboter 17 speichert die gezeigte Sequenz an Bildern ab, ob sie bereits gezeigt wurden oder nicht 2330, und erfasst während des Zeigens (bzw. bis zu einer Sekunde nachlaufend) die Kopfbewegungen des Patienten. Dazu verfügt der Serviceroboter 17 über mindestens einen Sensor, z.B. eine RGB-D-Kamera 185, die den Kopf eines Patienten erkennen und tracken kann 2335, wobei die Auswertung bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 erfolgt. Dies schließt die Drehung des Kopfes und/oder das Nicken mit dem Kopf ein. Hierbei ist der Serviceroboter 17 in der Lage, durch Klassifizierungsverfahren markante Punkte des Gesichts zu erfassen, darunter die Augen, die Augenhöhlen, den Mund und/oder die Nase. Im Stand der Technik sind hierzu Lösungen bekannt (z.B. DOL 10.1007/978-3-642-39402-7_16; 10.1007/sl 1263-017-0988-8), die u.a. Histograms-of-Gradients nutzen. Die Kopfbewegungen des Patienten werden als nächstes klassifiziert, um ein Kopfschütteln und/oder Nicken erkennen zu können 2340. Hierfür werden ebenfalls Frameworks aus dem Stand der Technik genutzt. Die darüber erkannten Bewegungen des Nickens oder Kopfschütteins werden entsprechend mit den gezeigten Bildern synchronisiert 2345. Daraufhin wird die gezeigte Bildsequenz dahingehend kodiert, ob der Patient ein wiederholtes Zeigen oder erstmaliges Zeigen richtig erkannt hat 2350. Der Serviceroboter 17 speichert optional den Vergleich der Werte, z.B. mit dem Datum der Durchführung, in einer Datenbank ab, die bspw. auch die gezeigten Bildsequenzen abgespeichert hat. Für jede vom Patienten richtig erkannte Bildwiederholung wird ein Zähler inkrementiert 2355. Der Score, der durch Inkrementierung entsteht, dient als Maß dafür, ob der Patient unter kognitiven Beeinträchtigungen leidet. Dazu wird der ermittelte Score klassifiziert und ihm eine medizinische Interpretation zugewiesen 2360. Der Score und dessen medizinische Interpretation werden in einer Datenbank abgespeichert 2365, ggf. in dem Cloud-Speicher in der Cloud 18 abgelegt 2370 und stehen medizinischem Personal über ein Terminal zu Auswertungszwecken zur Verfügung 2375.

[0152] In einem optionalen Aspekt ist der Serviceroboter 17 in der Lage, die Position der Augen des Patienten im dreidimensionalen Raum 2410 sowie die des Displays 2 zu ermitteln (Schritt 2405). In einem Aspekt nutzt der Serviceroboter 17 diese Daten, um die Sichtverbindung zwischen Augen und Display 2 auf das Vorhandensein von Hindernissen zu prüfen. So kann bspw. bei einem Patienten im Bett der Herausfall schütz möglicherweise ein solches Hindernis darstellen. Dazu berechnet der Serviceroboter 17 zunächst die Koordinaten, die auf der Sichtlinie liegen 2415 und prüft, bspw. mittels einer 3D-Kamera, ob diese Koordinaten der Sichtverbindung mit detektierten Hindernissen assoziiert sind 2420. Identifiziert der Serviceroboter 17 Hindernisse, so erfolgt eine Neupositionierung der Displayneigung 2450, alternativ und/oder ergänzend eine Neupositionierung des Serviceroboters 17 in der XY-Ebene 2455. In einem alternativen und/oder ergänzenden Aspekt ist der Serviceroboter 17 so konfiguriert, dass der Serviceroboter 17 unter Zuhilfenahme der Raumkoordinaten des Displays 2, bspw. der Displayecken, und Ermittlung der Winkel zwischen den Augen des Patienten und der Displayoberfläche (Schritt 2425) sicherstellt, dass mindestens ein Winkel in einem Intervall liegt 2430, das bspw. gerätespezifisch sein kann. Auf diesem Weg kann sichergestellt werden, dass bspw. eine reflektierende Oberfläche des Displays 2 nicht dazu führt, dass der Patient das Display 2 nicht ausreichend erkennen kann, weil die Displayneigung aus Sicht des Patienten starke Reflexionen erkennen lässt. Dazu ist der Serviceroboter 17 in der Lage, die Displayneigung entsprechend anzupassen 2450 und/oder den Serviceroboter 17 neu im Raum zu positionieren. Alternativ und/oder ergänzend kann auch eine Anpassung der Schriftgröße und/oder anderer Symbole auf dem Display 2 in Abhängigkeit des Abstands zwischen Patienten und Display 2 vorgenommen werden. Dazu berechnet der Serviceroboter 17 zunächst die euklidische Distanz zwischen Augen und Display 2, vergleicht diese mit im Speicher 10 des Serviceroboters 17 hinterlegten Referenzwerten, ob dieser Abstand üblicherweise akzeptabel für eine Erkennung ist, und bezieht, in einem ergänzenden Aspekt Patientendaten zur Sehfähigkeit mit ein, um die Referenzwerte ggf. anzupassen. Daraus resultierend kann der Serviceroboter 17 die Anzeigengröße des Displays 2 anpassen (also die Größe angezeigter Objekte und Zeichen) und/oder der Serviceroboter 17 positioniert sich derartig im Raum innerhalb der XZ-Ebene (d.h. der Fußbodenebene), dass die Abstände zum Erkennen der Displayinhalte ausreichend sind.

[0153] Mit Blick auf die Neupositionierung des Serviceroboters 17 in der XZ-Ebene, der Neigung des Displays 2 und/oder der Größenanpassung der Displayanzeige ist der Serviceroboter 17 in der Lage, durch Abtasten seines Umfelds und eines möglicherweise erweiterten bzw. alternativen Sichtkorridors, der frei von Hindernissen ist, der Neigungsmöglichkeit des Displays 2 und/oder der Anzeigendimensionen des Displays 2 zu ermitteln, was eine Position in der XZ-Ebene, eine Displayneigung und/oder eine Anzeigengröße wäre, damit der Patient keine Hindernisse zwischen seinen Augen und dem Display 2 vorfmdet, das Display 2 derart räumlich positioniert ist, dass es weitestgehend frei von Reflexionen ist und/oder dass die Anzeigengröße für die Sehfähigkeiten des Patienten ausreichend ist.

[0154] In einem alternativen und/oder ergänzenden Aspekt verfügt der Serviceroboter 17 über eine Ansteuerung für die Displayneigung und eine Dialogfunktion im Display 2 bzw. als Sprachinterface konfiguriert. Mittels dieser Dialogfunktion wird der Patient um eine Rückmeldung gebeten, inwieweit die Displaydarstellung für ihn ausreichend erkennbar ist.

Für den Fall von Beanstandungen seitens des Patienten kann der Serviceroboter 17 die Ausrichtung des Displays 2 ändern. Das kann in einem Aspekt durch Neupositionierung des Serviceroboters 17 ggü. dem Patienten erfolgen. Dies kann einerseits durch eine Drehung auf der Stelle erfolgen, andererseits auch durch Einnehmen einer anderen Position (bspw. definiert über den Bereich, den der Serviceroboter 17 auf dem Boden abdeckt). In einem alternativen und/oder ergänzenden Aspekt kann die Neigung des Displays 2 angepasst werden, wobei die Kippachsen horizontal und/oder vertikal ausgerichtet werden kann.

[0155] Nach einer Neupositionierung des Displays 2 und/oder des Serviceroboters 17 in der XZ-Ebene wird dieser beschriebene Prozess erneut durchlaufen, um zu überprüfen, dass der Patient das Display 2 gut erkennen kann.

Roboter zählt Anzahl Finger an einer Hand

[0156] In einem Aspekt ist der Serviceroboter 17 derart konfiguriert, dass über die Kamera 185, bspw. eine RGB-D-Kamera 185, eine Identifizierung der Finger sowie deren Tracking erfolgen kann, um die von der Hand gezeigten Posen mit Blick auf dargestellte Zahlen auszuwerten, bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Fig. 25 illustriert diesen Prozess. Dazu wird das von der 3D-Tiefenkamera erzeugte Tiefenbild 2505 in eine 3D-Punktewolke transformiert, in dem jeder Pixel der Kamera einer Raumkoordinate zugeordnet wird 2510, woraus über Kamera-SDKs bzw. Software von Drittanbietern wie bspw. NUITrack die Skeletterkennung 2515 stattfindet. Dabei werden die Gelenkpunkte entsprechend erkannt, darunter das Handgelenk sowie die Fingergelenke.

[0157] Als nächstes findet eine Gelenkselektion 2520 statt, d.h. es werden nur für die nachfolgend durchzuführenden Berechnungen notwendigen Gelenkpunkte weiterverarbeitet. Anschließend werden Winkelberechnungen 2525 vorgenommen, bspw. für den Winkel zwischen dem dritten und dem zweiten Fingerglied, dem zweiten und dem ersten Fingerglied sowie dem ersten Fingerglied und dem Mittelhandknochen. (Dabei wird allgemein das dritte Fingerglied als das mit der Fingerspitze bezeichnet). Da der Daumen über kein zweites Fingerglied verfügt, sind es hier der Winkel zwischen dem dritten und dem ersten Fingerglied, dem ersten Fingerglied und dem Mittelhandknochen, sowie, in einem Aspekt, zwischen dem Mittelhandknochen und dem Handwurzelknochen. Dabei wird jedes Fingerglied bzw. jeder Handknochen als Richtungsvektor dargestellt, jeweils vom betrachteten Gelenkpunkt aus. Als nächstes findet eine Merkmalsextraktion 2530 statt, bei der bspw. die Winkel besagter Gelenkpunkte pro Finger gemeinsam ausgewertet werden. Im Rahmen einer Merkmalsklassifizierung 2535, die auf Basis festgelegter Regeln umgesetzt wird, wird bspw. ein gestreckter Zeigefinger definiert als ein Winkel von 180° zwischen dem ersten und zweiten sowie zweiten und dritten Fingerglied. Im Rahmen der Merkmalsklassifikation können Schwellwerte definiert werden, die die Bedingung 180° etwas aufweichen und bspw. für den Winkel zwischen dem dritten und zweiten Fingerglied zwischen 150° und 180°, und den Winkel zwischen dem ersten und zweiten Fingerglied zwischen 120° und 180° sowie den zwischen Mittelhandknochen und ersten Fingerglied zwischen 90° und 180°. Beim Daumen ist es der Winkel zwischen dem dritten und ersten Fingerglied, der zwischen 120° und 180° liegt, während der Winkel zwischen dem ersten Fingerglied und dem Mittelhandknochen zwischen 150° und 180° liegt. Im Rahmen der Posenklassifizierung 2540 werden verschiedene Finger und deren Gelenkpunktwinkel in Kombination betrachtet. So kann einerseits auf Basis manuell definierter Werte 2545 der Wert 2, der mittels Fingern gezeigt wird, durch das Strecken von Daumen und Zeigefinger, Zeigefinger und Mittelfinder, bzw. Kombinationen zwischen diesen und/oder weiteren der Fingern, von denen zwei gestreckt sind, detektiert werden, während die anderen Finger insbesondere zwischen dem zweiten und dritten Fingerglied einen Winkel kleiner 120°, z.B. kleiner 90° aufweisen. Für den Fall, dass der Daumen nicht gestreckt ist und stattdessen zwei andere Finger, so beträgt dabei der Winkel zwischen dem dritten und ersten Fingerglied des Daumens weniger als 120°, bspw. weniger als 100°, um letztendlich als 2 erkannt zu werden. Optional beträgt der Winkel zwischen den Handknochen weniger als 145°, z.B. weniger als 120° .

[0158] Merkmalsextraktion, Merkmalsklassifikation, und Handposenklassifikation können einerseits durch vordefinierte Regeln vorgenommen werden wie Winkeldefinitionen einzelner Gelenkpunkte und deren Kombination, oder aber mittels Ansätzen des maschinellen Lernens 2550 trainiert werden wie bspw. Support-Vektor-Modellen, bei denen bestimmte Winkelkombinationen entsprechend gelabelt werden, d.h. die Kombination von Winkeln der einzelnen Fingerglieder zueinander angeben kann, dass bspw. zwei Finger gezeigt werden, die dem Wert 2 entsprechen.

[0159] Im Rahmen des Tests der kognitiven Fähigkeiten des Patienten wird in einem Aspekt zunächst eine Ausgabe des Serviceroboters 17 getriggert, die über die Sprachsyntheseeinheit 133 via Lautsprecher 192 und/oder über Text und/oder Bilder auf dem Bildschirm des Serviceroboters 17 ausgegeben wird. Diese Sprachausgabe fordert den Patienten auf, zwei Finger zu zeigen 2605. Dabei identifiziert die Kamera 185 die Hände des Patienten, deren Finger, und trackt die Fingerbewegungen. Dabei wertet der Serviceroboter 17 diese im Rahmen der Posenklassifizierung aus, um zu ermitteln, wie viele Finger angezeigt werden 2610. Hierbei kann in einem optionalen Aspekt, wie weiter unten geschildert wird, berücksichtigt werden, ob die vom Patienten angezeigte Fingerpose mit einem Code assoziiert ist 2665. Anschließend speichert der Serviceroboter 17 einen Wert ab, der indiziert, ob der Patient zwei Finger gezeigt hat 2615, d.h. es erfolgt eine Bewertung des Vergleichs der bewerteten Fingerposen mit den optisch und/oder akustisch ausgegebenen Zahlenwerten.

[0160] In einem alternativen und/oder ergänzenden Aspekt verfügt der Serviceroboter 17 über mindestens einen Aktor 4920, z.B. einen Roboterarm mit mindestens einem Gelenk, der zudem über mindestens eine Roboterhand verfügt 2620, die mindestens zwei dem Menschen nachempfundene Finger verfügt, z.B. jedoch mindestens über fünf Finger, von denen einer von seiner Anordnung her einem Daumen entspricht, und die bspw. so viele Fingerglieder haben wie die menschliche Hand. Dabei ist der Serviceroboter 17 in der Lage, mittels dieser Finger Zahlen anzuzeigen, wobei gestreckte Finger und Fingerposen sich aus den Winkeln der Fingerglieder ergeben, die bereits oben mit Blick auf die Erkennung von Fingergliedern durch die Kamera 185 klassifiziert wurden. Damit ist der Serviceroboter 17 in der Lage, auch den Wert 2 anzuzeigen 2670, indem bspw. der Daumen und der Zeigefinger an der Roboterhand gestreckt werden, d.h. die Winkel zwischen den ersten drei Fingergliedern bspw. annähernd 180° aufweisen, während die Winkel der anderen Fingerglieder und der Fingerglieder und der Handknochen weniger als 120° betragen. Der Serviceroboter 17 ist so konfiguriert, dass der Serviceroboter 17 über die Sprachausgabe und/oder Display 2 die Regelung der Posen der Roboterhand so synchronisieren kann, dass der Wert 2 von der Roboterhand angezeigt wird, während die Aufforderung über Display 2 und/oder Sprachsyntheseeinheit 133 an den Patienten erfolgt, so viele der Finger anzuzeigen, wie die Roboterhand anzeigt 2675. Es findet dann die bereits beschriebene Handidentifizierung, das Handtracking und die Posenklassifizierung zur Erkennung von zwei der Finger 2610 beim Patienten statt, um bei Ermittlung, dass der Patient die Zahl zwei angezeigt hat, einen Wert abzuspeichern 2615. Dabei werden in einem Aspekt die vom Patienten gezeigten Handposen z.B. innerhalb von Zeitfenstem von 3 Sekunden ausgewertet, nachdem der Serviceroboter 17 über seine Ausgabeeinheiten wie Lautsprecher 192 und/oder Display 2 den Patienten zum Anzeigen eines Zahlenwerts aufgefordert hat bzw. ihm durch die Roboterhand die entsprechenden Zahlen gezeigt wurden. [0161] Die im Rahmen dieses Tests gewonnen Erkenntnisse erlauben eine Bewertung, inwieweit der Patient durch unorganisiertes Denken beeinträchtigt ist und stellen damit ein Testverfahren mit Blick auf das Erkennen und Monitoring von Delir dar.

[0162] Der Serviceroboter 17 ist in einem optionalen alternativen und/oder ergänzenden Aspekt derart konfiguriert, dass das Anzeigen der Zahlen mit den Fingern basierend auf kulturellen und/oder nationalen Unterschieden möglich ist. Alternativ und/oder ergänzend kann eine Erkennung gezeigter Zahlen auch dadurch erleichtert werden, dass der Serviceroboter 17 bei der Auswertung der Handposen diese Unterschiede berücksichtigt. Daraus kann resultieren, dass bspw. die Zahl 2 bei Patienten aus Deutschland mit höherer Wahrscheinlichkeit durch Daumen und Zeigefinger angezeigt wird, während US-Amerikaner Zeigefinger und Mittelfinger nutzen, um die Zahl 2 anzuzeigen. Für die Umsetzung dieser Implementierung enthält der Serviceroboter 17 in dem Speicher 10 Codes für verschiedene Posen, die die gleiche Zahl anzeigen 2650 und die dementsprechend länderspezifisch/kulturell bedingt sind. Die Patientendaten, die der Serviceroboter 17 in seinem Speicher 10 vorhält, können ebenfalls einen dieser Codes enthalten 2652, der entsprechend auf den nationalen/kulturellen Hintergrund des Patienten verweist. Damit sind in dem Speicher 10 pro Zahl mehrere Posen hinterlegt, insbesondere mehrere Kombinationen an Fingern. Es findet als nächstes ein Abgleich der Codes statt, um die vom Patienten präferierten Posen zu ermitteln 2655. Gerade auch mit Hinblick auf eine mögliche kognitive Beeinträchtigung des Patienten erhöht es die Reliabilität des Tests, dem Patienten die Zahlen in der ihm vertrauten Hand- und/oder Fingerpose anzuzeigen. Damit ist der Serviceroboter 17 in der Lage, dem Patienten die Hand- und/oder Fingerpose zu zeigen, bspw. die Zahl 2, die seinem kulturellen/nationalen Hintergrund entspricht 2660, was durch die Roboterhand des Aktors 4920 umgesetzt wird 2670. Alternativ und/oder ergänzend können diese Informationen zum entsprechend codierten kulturellen/nationalen Hintergrund des Patienten dazu genutzt werden, die vom Patienten gezeigten zwei Finger besser zu erkennen. Diese Fingerausgabe und/oder Erkennung unter Berücksichtigung derartiger Codes ist eine optionale Implementierung.

[0163] Der Serviceroboter 17 ist ferner so konfiguriert, dass über den Aktor 4920 mit mindestens einem Gelenk die Roboterhand derart räumlich ausgerichtet werden kann, dass die Roboterhand durch den Patienten im Schritt 2638 erkannt werden kann. Dazu erfasst der Serviceroboter 17 den Kopf des Patienten und dessen Orientierung im Raum, indem der Serviceroboter 17 im Stand der Technik etablierte Verfahren der Gesichtsposen-Erkennung 2625 nutzt, wie sie bspw. im Framework OpenPose enthalten sind. Dabei können in einem Aspekt auch Ansätze wie Histograms-of-gradients genutzt werden, die in Frameworks wie OpenCV oder Scikit-image implementiert sind. Der Serviceroboter 17 ermittelt mittels dieser Frameworks die Orientierung des Kopfes im Raum und errechnet für die Augen einen Sichtbereich. Darunter werden insbesondere jeweils Kegel mit einem Öffnungswinkel von 45° verstanden, bspw. 30° (gemessen von der Lotrechten aus) - nachfolgend bezeichnet als „gute Erkennbarkeit“, die senkrecht zur Front des Kopfes ausgerichtet sind. Somit verfügt der Serviceroboter 17 also über eine Blickkegel-Erkennung 2630. Dabei erfasst der Serviceroboter 17 seine Position im Raum und die Position des Aktors 4920, insbesondere die Position der Roboterhand, und ermittelt, ob diese Position sich innerhalb des Kegels befinden 2632. Befinden diese Position sich nicht innerhalb des Kegels, so berechnet der Serviceroboter 17, welche Winkeleinstellungen der Gelenke des Aktors 4920 notwendig sind, um die Roboterhand innerhalb des Kegels zu positionieren. Dabei errechnet der Serviceroboter 17 einen dreidimensionalen Bereich im Raum, der einen Mindestabstand zum Patienten aufweist und der z.B. je nach Körperregion des Patienten variiert. Derartige Mindestabstände sind in dem Speicher 10 des Serviceroboters 17 im Schritt 2636 abgelegt. Durch Identifizierung des Patienten im Bett, d.h. seines Kopfes und seines Körpers, wird eine „erlaubte Zone“ errechnet, in denen sich die Roboterhand bewegen darf, wobei der Abstand zum Kopf des Patienten weiter ist als bspw. zum Rumpf oder den Armen. In einem Aspekt beträgt der Abstand zum Kopf 50 cm, der zum restlichen Teil des Patientenkörpers 30 cm.

Der Serviceroboter 17 ermittelt im Schritt 2638 also, wo in welchen Teil der erlaubten Zone der Serviceroboter 17 die Roboterhand positionieren kann, so dass diese Roboterhand sich innerhalb der beiden Kegel befindet. Danach richtet der Serviceroboter 17 im Schritt 2638 die Roboterhand mittels des Aktors 4920 so aus, dass eine „gute Erkennbarkeit“ der Hand durch den Patienten möglich wird. Sofern keine derartige Positionierung möglich ist, fordert der Serviceroboter 17 im Schritt 2640 den Patienten über die Ausgabeeinheiten wie Display 2 und/oder Sprachsyntheseeinheit 133 via Lautsprecher 192 den Patienten auf, den Serviceroboter 17 anzusehen. Danach findet im Schritt 2642 eine erneute Prüfung statt, d.h. ein Durchlauf der Schritte 2630-2640. Sofern sich die Ausrichtung der ermittelten Kegel nicht ändert, bricht der Serviceroboter 17 den Test Schritt 2644 ab und übermittelt Informationen an medizinisches Personal im Schritt 2646, wozu bspw. über eine Schnittstelle 188 (wie z.B. WLAN) Informationen an den Server und/oder ein mobiles Terminal gesendet werden. Alternativ und/oder ergänzend kann der Serviceroboter 17 den Patienten erneut auffordem und/oder etwas länger warten. Wird die Ausrichtung der Roboterhand derart vorgenommen, dass der Patient diese gut erkennen kann, so erfolgt das Anzeigen zweier Finger mit dieser Hand im Schritt 2670 und der Prozess wird, wie oben geschildert, weiter fortgesetzt. Bei dieser Ausrichtung der Roboterhand auf Basis der Gesichtsposenerkennung und der Berücksichtigung der „erlaubten Zone“ handelt es sich um einen optionalen Aspekt.

[0164] Das System zur kognitiven Analyse ist in Fig. 65 illustriert. Das System, bspw. ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10, eine Ausgabeeinheit und im Speicher über ein Zahlenwert-Ausgabe-Modul 4940 zur Ausgabe von Zahlenwerten, eine Personenerfassungs- und Trackingeinheit (4605) mit einer Kamera (185) und einem Personenerkennungsmodul (110). Bei der Ausgabeeinheit handelt es sich um einen Tongenerator wie bspw. um einen Lautsprecher 192, ein Display 2 und/oder einen Aktor 4920, bspw. einen Roboterarm, in einem Aspekt mit einer Roboterhand 4950. Das System verfügt im Speicher 10 über ein Handposen-Detektions-Modul 4960 zur Detektion von Handposen der Person, Fingerposen-Generierungsmodul 4955 zur Generierung von Fingerposen der Roboterhand (4950), wobei die Fingerposen bspw. Zahlenwerte repräsentieren. Das System verfügt ferner über ein Kognitive-Fähigkeiten-Bewertungs-Modul 4845 zur Bewertung kognitiver Fähigkeiten der erfassten Person. Das System ist, in einem Aspekt, mit einem Patientenadministrationsmodul 160 verbunden. Das System verfügt über Regeln, um kognitive Fähigkeiten der erfassten Person zu ermitteln, die an anderer Stelle beschrieben wurden. In einem Aspekt verfügt das System über ein Personenidentifizierungsmodul 111, Trackingmodul (112, 113),

Schmerzstatus-Bestimmung

[0165] In einem Aspekt ist der Serviceroboter 17 derart konfiguriert, dass der Serviceroboter 17 in der Lage ist, ein Test des Schmerzempfindens des Patienten vorzunehmen, das durch Verhaltensbeobachtung des Patienten durch den Serviceroboter 17 umgesetzt wird. Hierbei orientiert sich das Vorgehen am Behavioral Pain Scale, einer in der Medizin etablierten Schmerzbewertungsskala. Derartige Tests werden auch im Rahmen des Delirmonitorings vorgenommen. Hierbei wird im ersten Schritt der Gesichtsausdruck des Patienten analysiert, welcher sich in einem Bett befindet. An anderer Stelle in dieser Erfindungsbeschreibung (bspw. Fig. 21 a) wurden Ansätze dargestellt, wie der Serviceroboter 17 bei Patienten in einem Bett deren Gesicht identifizieren und ggf. tracken kann inkl. der damit verbundenen Navigation des Serviceroboters 17. In einem Aspekt wird ein Bett sensorisch erfasst und die dabei erzeugte Abbildung über einen Mustervergleich ausgewertet, um zu bewerten, ob es sich um ein Bett handelt. Diese Ansätze können in einem Aspekt auch hierbei genutzt werden.

Schmerzstatus: Emotionserkennung

[0166] Der Serviceroboter 17 wertet in einem ersten Teil des Tests die Emotionen des Patienten aus, die sich über dessen Gesichtsausdruck ergeben. Hierzu kann der Serviceroboter 17 in einem Aspekt auf eine Gesichtsklassifizierungs-Datenbank zurückgreifen, in der Klassifizierungsregeln für Klassifizierungen innerhalb einer Kandidatenregion des Gesichts und über mehrere Kandidatenregionen des Gesichts hinweg hinterlegt sind, die auf Basis von Gesichtsmerkmalen Rückschlüsse auf dem emotionalen Zustand des Patienten erlauben und die unten näher beschrieben werden. Dieses zweistufige Verfahren weicht hierbei vom Stand der Technik ab, der bspw. in US20170011258 oder US2019012599 als einstufiges Verfahren beschrieben wurde. Im Rahmen dieser Implementierung werden bspw. Histograms-of- Gradients genutzt, die bspw. in Frameworks wie OpenCV oder Scikit-image implementiert sind. Bei der Emotionserkennung wird vor allem auf solche Emotionen abgestellt, die die Anspannung des Patienten messen, von entspannt bis hin zu einer großen Anspannung, die sich in Grimassen äußert.

[0167] Im Rahmen dieses Verfahrens wird zunächst im Schritt 2705 der Kopf des Patienten identifiziert, bspw. mittels Frameworks wie OpenPose. Diese Auswertungen können mittels der 2D oder 3D-Kamera 185 stattfinden. Hierbei werden z.B. zunächst Kandidatenregionen innerhalb des Gesichts identifiziert 2710, bevor die für die Auswertung des emotionalen Zustands notwendige Merkmalsextraktion basierend auf Histogram-of-Gradients- Algorithmen in mindestens einen Kandidatenregion im Schritt 2715 stattfindet, womit sich bspw. die Bewegungen des Mundes bewerten lassen oder die der Augenbrauen. Basierend auf den erhobenen Histogram-of-Gradients-Daten findet eine Merkmalsklassifizierung statt, die auf eine bestehende Merkmalsklassifikation zurückgreift, welche mittels etablierter Clusteringverfahren wie bspw. K-Means, Support Vector Machines und/oder basierend auf Gewichten, die durch das Trainieren eines neuronalen Netzes erhoben wurden, bspw. eines mehrschichtigen konvolutionären neuronalen Netzwerks mit Rückwärtspropagation mithilfe eines Labellings von Gesichtsausdrücken im Schritt 2720 entstanden sind. In einem nächsten Schritt werden die auf Kandidatenregionsebene vorgenommenen Klassifizierungen über mehrere Kandidatenregionen klassifiziert, was ebenfalls mittels Klassifizierung auf Basis von etablierten Clusteringverfahren des maschinellen Lernens wie bspw. K-Means, Support Vector Machines, und/oder den bereits genannten konvolutionären neuronalen Netzwerken im Schritt 2725 geschieht. Hiermit werden bspw. Bewegungen von Mund und Augenbrauen gemeinsam ausgewertet.

[0168] Die Erkennungsalgorithmen können in verschiedenen Aspekten im Schritt 2730 gefiltert werden, d.h. bspw. um das Alter des Patienten im Schritt 2735 korrigiert werden, welches der Serviceroboter 17 über eine Schnittstelle 188 (wie z.B. WLAN) aus einer Datenbank erhalten kann, sofern die Auswertung der Emotionen direkt auf dem Serviceroboter 17 stattfindet. Alternativ und/oder ergänzend können die Aufnahmen, die die Kamera 185 vom Kopf des Patienten zwecks Erkennung der Emotionen erstellt, auch über eine Schnittstelle 188 (wie z.B. WLAN) in die Cloud 18 übertragen und dort analysiert werden. In dem Fall würden etwaige Altersinformationen von dem Cloud-Speicher in der Cloud 18 an das die Emotionen durchführende Modul übertragen werden. Ein weiterer Filter ist in einem Aspekt, ob der Patient über eine Endotrachealkanüle verfügt (Schritt 2740), die eine künstliche Beatmung des Patienten durch den Mund sicherstellt. Die Klassifizierungsalgorithmen, die für die beschriebene Bewertung der Emotionen genutzt werden, sind z.B. in einem Aspekt durch Trainingsdaten mit Bildern entsprechender, endotracheal beatmeter Patienten erstellt worden. Weitere Details zur Detektion von Kanülen finden sich weiter unten und können auch, in einem Aspekt, im Rahmen des hier beschriebenen Vorgehens genutzt werden.

[0169] Im Rahmen einer Score-Ermittlung im Schritt 2745 werden die Emotionen auf einer Skala von 1-4 bewertet, wozu ermittelten Emotionen mit solchen verglichen werden, die in dem Speicher 10 hinterlegt sind und denen Skalenwerte zugeordnet sind. Ein Wert von „1“ bedeutet ein als regulär klassifizierter Gesichtsausdruck, während die Anspannung auf der Skala ansteigt bis hin zum Wert von 4, der Grimassen impliziert. Dazu existiert für die kandidatenregionsübergreifende Klassifikation eine Matrix, die für verschiedene Gesichtsausdrücke entsprechende Scores darstellt.

[0170] In einem Aspekt werden die Werte über den Ablauf mehrerer Stunden oder Tage erfasst, was eine Auswertung des emotionalen Zustands des Patienten ggf. vereinfacht, bspw. dann, wenn zu Beginn der durch den Serviceroboter 17 vorgenommen Reihe an Emotionsmessungen ein Patient sich in einem entspannten Zustand befindet, was bspw. über ein Terminal und eine Menükonfiguration bspw. durch medizinisches Personal in dem Speicher 10 abgelegt werden kann, auf den der Serviceroboter 17 Zugriff hat. Hierunter fallen zum Gesundheitszustand, bspw. die Information, dass der Patient zu Beginn der Messung schmerzfrei ist. Damit ist es möglich, Gesichtszüge und Emotionen im schmerzfreien und möglicherweise schmerzbehafteten Zustand zu erfassen und auszuwerten, womit die Klassifizierungsmerkmale des schmerzfreien Zustands zur Evaluation des schmerzbehafteten Zustands herangezogen werden können und als Filter fungieren. Mittels dieser dynamischen Klassifizierung (Schritt 2750) der Gesichtsausdrücke steigt die Klassifizierungsgüte, da die Klassifizierungen auf Basis von Differenzbetrachtungen des Gesichts zu mehreren Zeitpunkten möglich werden. Damit lässt sich bspw. auch eine retrospektive Klassifizierung vornehmen, wobei bspw. lediglich die extrahierten Merkmale, zusammen mit einem Zeitstempel, der die Erfassungszeit charakterisiert, abgespeichert und neu klassifiziert werden. Um dies zu realisieren, werden die Aufzeichnungen des Gesichts abgespeichert. Zusammengefasst erfolgt daraus die Erfassung der Person, eine Gesichtserkennung der Person, eine Selektion von Kandidatenregionen innerhalb des Gesichts, eine Merkmalsextraktion der Oberflächenkrümmungen der Kandidatenregionen und eine Klassifizierung der Oberflächenkrümmungen der Kandidatenregionen einzeln und/oder zusammenhängend, wobei die Klassifizierung einen Schmerzstatus beschreibt.

Schmerzstatus: Erfassung der Bewegung der oberen Extremitäten [0171] Ein zweiter Teil des Tests stellt auf Bewegungen der oberen Extremitäten wie Oberarm, Unterarm, Hand und Finger ab. Hierbei trackt der Serviceroboter 17 diese, welche der Serviceroboter 17 wie oben beschrieben erkannt hat, über den Zeitablauf, was entweder mittels der 2D-Kamera und Frameworks wie OpenPose oder 3D-Kamera (ggf. einer RGB-D- Kamera 185) geschieht, wobei bspw. die Auswertung mittels des visuellen Personentracking- Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 erfolgt. Bei der RGB- D-Kamera 185 stellt sich der Ablauf bzw. derart, dass das 3D-Bild ein eine Punktwolke im Schritt 2805 konvertiert wird, jedem Punkt eine Raumkoordinate im Schritt 2810 zugeordnet wird, durch Kamera-Frameworks oder andere Softwarewerkzeuge im Stand der Technik eine Skelettmodell-Erkennung im Schritt 2015 stattfindet, bei der die Gelenkpunkte des Skeletts erkannt werden. Anschließend wird eine Gelenkselektion im Schritt 2820 vorgenommen, d.h. die Erkennung zielt hierbei insbesondere auf Gelenkpunkte wie das Schultergelenk, das Ellbogengelenk, das Handgelenk und die Fingergelenke ab. Es findet eine Winkelberechnung dieser Gelenkpunkte im Schritt 2825 statt, bei denen der Winkel bspw. über die Richtungsvektoren definiert wird, die den Gelenkpunkt als Ausgangspunkt nehmen. Im Rahmen einer Merkmalsextraktion im Schritt 2830 werden die Winkel dieser Gliedmaßen im Zeitverlauf erfasst. Die Gliedmaßen werden daraufhin derart klassifiziert, dass die Anzahl der Winkeländerungen pro Zeiteinheit, die Geschwindigkeit, d.h. bspw. die Winkelgeschwindigkeit, etc. als Maß für die Bewegungsintensität herangezogen wird. Dabei klassifiziert der Serviceroboter 17 diese Bewegungen im Schritt 2835 auf einer Skala von 1 bis 4, und speichert diesen Wert ab. Ein Wert von 1 entspricht keiner Bewegung innerhalb der getrackten Zeit. Der Wert 2 entspricht wenigen und/oder langsamen Bewegungen der Arme, 3 entspricht Bewegungen der Finger, und 4 entspricht einer hohen Bewegungsintensität der Finger, die bspw. über die Anzahl von Fingerbewegungen pro Zeiteinheit und/oder deren Geschwindigkeit definiert werden und welche schwellwertabhängig sind.

Schmerzstatus: Schmerzvokalisierung

[0172] Ein dritter Teil des Tests stellt auf die Schmerzvokalisierung des Patienten ab und kann in zwei prinzipiell verschiedenen Abläufen erfolgen, die sich an zwei verschiedenen Szenarien orientieren und sich in zwei Varianten der Bewertung äußern. Im ersten Szenario handelt es sich um einen künstlich beatmeten Patienten, bei dem die Vokalisierung auf Basis von Husten bewertet wird. Im zweiten Szenario ist der Patient nicht beatmet und es werden typische Schmerzlaute bewertet. Das Vorgehen hierbei ist in Fig. 29 näher beschrieben.

Schmerzstatus: Schmerzvokalisierung beatmeter Patienten

[0173] In einer ersten Variante handelt es sich um beatmete Patienten. Diese können entweder eine Trachealkanüle aufweisen, die eine Beatmung durch eine Öffnung im Hals sicherstellt, oder eine Endotrachealkanüle, welche eine Beatmung durch den Mund ermöglicht. Mittels

Bilderkennungsalgorithmen ist der Serviceroboter 17 in der Lage, derart beatmete Patienten im Schritt 2901 zu identifizieren. Dazu werden, entweder als 2D oder als 3D-Bild, die Kopf- und Halsregion des Patienten aufgezeichnet, welche im ersten Schritt als Kandidatenregionen dienen, wobei der Hals im Falle einer Trachealkanüle, der Mund im Falle einer

Endotrachealkanüle als Kandidatenregion dient. Die Erkennung der Kandidatenregionen erfolgt bspw. in Verbindung mit Histogram-of-Gradient-(HoG)-basierter Gesichtserkennung im Schritt 2905 und daraus abgeleiteter Kandidatenregionen wie Mund und Hals im Schritt

2910. Es werden entsprechend beide Regionen ausgewertet. Dabei können Modellannahmen zugrunde gelegt werden, d.h. die Form, die solche Kanülen typischerweise aufweisen (Schritt

2915). Die durch die Kamera 185 aufgenommenen Pixel werden anschließend durch einen optional echtzeitfähigen und fehlertoleranten Segmentierungsalgorithmus 2920 ausgewertet, um eine derartige Kanüle zu erkennen. Damit ist der Serviceroboter 17 in der Lage, die Kanüle zu detektieren.

[0174] Alternativ und/oder ergänzend kann eine datenbankbasierte Erkennung im Schritt 2902 vorgenommen werden, wobei der Serviceroboter 17 Information zur Beatmung des Patienten im Schritt 2925 über eine Schnittstelle 188 (wie z.B. WLAN) aus einer cloudbasierten Datenbank mit Patienteninformationen in der Cloud 18 im Schritt 2927 abfragt und/oder die Informationen befinden sich, zusammen mit weiteren Patientendaten, im Speicher 10 des Serviceroboters 17 (Schritt 2929).

[0175] Der Serviceroboter 17 ermittelt für diese beiden Fälle der künstlichen Beatmung, inwieweit der Patient normal atmet oder gar hustet 2930. Diese Ermittlung kann auf verschiedenen Wegen erfolgen. In einem Szenario nutzt im Schritt 2935 der Serviceroboter

17 hierbei Daten aus einem Beatmungsgerät und/oder Adapter, der sich zwischen der Kanüle und dem Beatmungsgerät befindet. In einem Aspekt im Schritt 2936 greift der Serviceroboter

17 über eine Schnittstelle 188 (wie z.B. WLAN) auf das genutzte Beatmungsgerät zu und erfasst die vom Beatmungsgerät vorgenommenen Auswertungskurven des Beatmungszyklus, die durch Druck- und/oder Fluss-Sensoren erfasst wurden. Die aufgezeichneten

Kurvenverläufe werden im Schritt 2941 entweder mit Schwellwerten verglichen, die für verschiedene Beatmungsszenarien wie druck- oder volumenkontrollierte Beatmung typisch sind und solchen, die bei diesen Beatmungsszenarien im Falle des Hustens auftreten.

Alternativ und/oder ergänzend kann auch ein Labelling in den Fällen, bspw. durch medizinisches Personal, vorgenommen werden, um atypische Beatmungsmuster wie Husten zu erkennen, was durch die Algorithmen des maschinellen Lernens und/oder neuronaler Netze dann als Husten im Schritt 2942 klassifiziert wird. Alternativ und/oder ergänzend lassen sich die Kurvenverläufe (Druck, Volumen, Fluss) über die Zeit auswerten und Anomalien im

Zeitablauf erkennen, d.h. Abweichungen, die im Atemzyklus zuvor und danach nicht mehr auftreten, mittels Verfahren des maschinellen Lernens und/oder neuronaler Netze als Husten klassifizieren. Dabei kann eine Anomalie nicht nur direkt mit dem Zyklus davor und danach im Schritt 2942 verglichen werden, sondern auch Ketten mehrerer Zyklen, um bspw.

Hustenanfälle, die mehrere Hustenereignisse betreffen, entsprechend zu detektieren. In Fällen, in denen das Beatmungsgerät gar ein Husten durch Adaption der Beatmung unterstützt, können auch die entsprechenden Modi des Beatmungsgeräts, alternativ die daraus abgeleiteten Beatmungskurven (Druck/Fluss über die Zeit) durch den Serviceroboter 17 erkannt und entsprechend in der Klassifizierung der Beatmung des Patienten im Schritt 2944 berücksichtigt werden. Alternativ und/oder ergänzend kann der Serviceroboter 17 auch die Information vom Beatmungsgerät erhalten, dass es sich im Hustenunterstützungsmodus befindet bzw. ein Husten triggert, womit das System ein Hustenereignis detektieren würde. Alternativ und/oder ergänzend kann, statt über eine Schnittstelle 188 (wie z.B. WLAN) auf die Auswertung des Beatmungsgeräts zuzugreifen, auf auch einen Adapter im Schritt 2937 zugegriffen werden, der zwischen der Kanüle und dem Beatmungsgerät den Druck und/oder Fluss im Zuleitungsschlauch mittels eines Druck- und/oder Flusssensors misst und die Signale bspw. drahtlos über eine Schnittstelle 188 an den Serviceroboter 17 überträgt, der dann entsprechende Auswertungen des Beatmungsprofils erstellt, die wie oben beschrieben ausgewertet werden können.

[0176] Alternativ und/oder ergänzend kann Husten auch über mindestens einen Sensor detektiert werden, der sich bspw. am Körper des Patienten befinden 2950. Dazu zählen einerseits Inertialsensoren 2952 (bspw. mit Magnetometer), die z.B. im Bereich des Brustkorbs, des Halses oder der Wangen eingesetzt werden, Dehnungssensoren 2954 (z.B. Dehnungsmesstreifen, die an eben diesen Stellen auf der Haut des Patienten aufgebracht werden), Kontaktmikrofone 193 (Schritt 2956) (welche ebenfalls auf der Haut des Patienten aufgebracht werden und, in einem Aspekt, an Stellen, an denen sich ein Knochen dicht unter der Haut befinden, die Hustengeräusche erfassen), ein sich bspw. an oder in der Nase befindlicher Thermistor 2958, und die jeweils drahtlos über eine Schnittstelle 188 (z.B. WLAN) mit dem Serviceroboter 17 verbunden sind. Hier ist sowohl eine direkte Verbindung zu dieser Sensorik als auch ein Zugriff auf die von der Sensorik generierten und im Speicher 10 abgelegten Daten möglich, bspw. ein Krankenhausinformationssystem. Dabei können diese Daten bereits mit Blick auf Hustensignale ausgewertet worden sein oder die Auswertung findet innerhalb des Serviceroboters 17 statt.

[0177] Drugman et al. 2013, „Objective Study of Sensor Relevance for Automatic Cough Detection, IEEE Journal of Biomedical and Health Informatics, vol 17 (3), May 2013, pages 699-707 (DOI: 10.1109/JBHI.2013.2239303) haben gezeigt, dass im Vergleich zu den im vorigen Absatz eingesetzten Sensoren die Detektion von Husten durch ein Mikrofon 193 am besten funktioniert, wobei deren Betrachtung sich lediglich auf nicht intubierte Patienten bezog, während in diesem Fall die Patienten entweder über eine Trachealkanüle oder Endotrachealkanüle verfügen. Aus diesem Grund wird in einem Aspekt mindestens ein Mikrofon 193 (Schritt 2960) eingesetzt, dass sich am Patienten und/oder an einer anderen Position im Raum des Patienten befindet und das direkt (oder indirekt mit Datenablage (in einer Variante auch Ablage bereits mit Blick auf Hustensignale ausgewerteten Daten) im Speicher 10, auf den der Serviceroboter 17 Zugriff hat) mit dem Serviceroboter 17 verbunden ist. bspw. ist dieses mindestens eine Mikrofon 193 in den Serviceroboter 17 integriert 2962, zeichnet die Geräusche in der Umgebung des Patienten im Speicher 10 des Serviceroboters 17 auf und klassifiziert die Schallsignale dahingehend, ob ein Husten vorkommt. Hierbei werden bspw. Algorithmen des maschinellen Lernens und/oder neuronaler Netze genutzt, die mittels aufgezeichneter Hustengeräusche trainiert worden sind.

[0178] Für die Erstellung einer solchen Klassifikation wird in einem Aspekt ein System trainiert, dass über mindestens einen Prozessor zur Verarbeitung der Audiodaten und mindestens einen Audiodaten-Speicher verfügt, in welchem sich Audiodaten, in einem Aspekt auch als Spektraldaten vorliegend, befinden und die entsprechend gelabelt sind.

[0179] In einem alternativen und/oder ergänzenden Aspekt ermittelt der 3D-Sensor des Serviceroboters 17, z.B. die 3D-Kamera, Bewegungen rund um den Mund, aber auch des Brustkorbs und/oder Halses auf, d.h. mittels eines fehlertoleranten

Segmentierungsalgorithmus 2976 werden besagte Kandidatenregionen 2974 ausgewertet. An anderer Stelle wurde bereits beschrieben, wie der Mund detektiert werden kann. Mit Blick auf die Detektion des Brust- und Bauchbereichs wird die Kandidatenregion 2974 bspw. über den

Abstand der Schultergelenkpunkte über das Skelettmodell ermittelt und orthogonal zu dieser

Linie in Richtung Füße der gleiche Abstand ermittelt, um darüber die Kandidatenregion

Rumpf unter der Bettdecke zu identifizieren, die aus Brustkorb und Bauch besteht, welche sich beide beim Atmen auswertbar bewegen. Alternativ und/oder ergänzend kann die

Kandidatenregion 2974 bspw. auch aus der doppelten Kopfhöhe, die sich vom Kinn abwärts erstreckt, und der ca. 2,5-fachen Kopfbreite ermittelt werden. In beiden Fällen kann hierbei die Identifizierung des Kopfs als initialer Schritt und damit als Referenz 2972 genutzt werden, um von dort die Kandidatenregionen zu identifizieren. Alternativ und/oder ergänzend können auch Abmessungen des Betts als Referenz 2972 genutzt werden, um diese

Kandidatenregionen 2974 zu identifizieren. Alternativ und/oder ergänzend kann auch die 3D-

Kamera die Erhebungen der Bettdeckenoberfläche erfassen, wobei in einem Aspekt eine

Histogram-of-Gradients-Bewertung stattfindet, die auf Basis einer Klassifikation ausgewertet werden, welche durch ein System trainiert wurden, welches als Eingangsgrößen 2D oder 3D-

Aufnahmen von Betten beinhaltet, die dahingehend gelabelt sind, ob sich Patienten in den

Betten befinden oder nicht und die mittels Klassifizierungsverfahren aus dem Bereich maschinelles Lernen und/oder neuronaler Netze ausgewertet wurden, während die Auswertungsergebnisse die Klassifikation bilden, um insbesondere den Oberkörper eines Patienten zu detektieren.

[0180] Im Rahmen der Merkmalsextraktion im Schritt 2978 werden die von der 3D-Kamera erfasst Bewegungen von Mund, Wangen, Hals und Oberkörper im Zeitablauf ausgewertet. Hierbei wird, in Anlehnung an Martinez et al. 2017, „Breathing Rate Monitoring during Sleep from a Depth Camera under Real -Life Conditions, 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), 24-31 March 2017 (DOL 10.1109/WACV.2017.135), eine Interferenzreduktion 2980 vorgenommen, was die Detektion von Bewegungen angeht, die durch mit Stoff bzw. die Bettdecke verdeckt sind, also vornehmlich des Oberkörpers/Bauch. Interferenzen, die durch unterschiedliche Phasen der erfassten Bewegungen der Bettdecke entstehen und die eigentlichen Atembewegungen in ihrer Detektion erschweren, werden durch die Ermittlung des Leistungsdichtespektrums eliminiert, was die Erfassung der Bewegungen des Brustkorbs erleichtert. Dabei wird für jeden im Zeitablauf erfassten Pixel im dreidimensionalen Raum das Leistungsdichtespektrum bspw. mittels einer schnellen Fourier-Transformation (FFT) im Schritt 2982 ermittelt, dann die Leistungsdichtespektren für alle Pixel im Schritt 2984 aggregiert und das Maximum über quadratische Interpolation im Schritt 2986 ermittelt, wobei die Position des Maximums die Atemfrequenz im Schritt 2988 angibt. Diese wird anschließend mit Blick auf Frequenzänderungen gemonitort, die das Husten im Schritt 2990 wiedergeben. Anschließend wird eine Frequenzermittlung der erfassten Körperteile im Schritt 2990 vorgenommen 2990. Bspw. werden hierbei Histogram-of-Gradient-Berechnungen im Schritt 2990 herangezogen. Die anschließende Merkmalsklassifizierung im Schritt 2992 basiert auf einer Klassifikation, die durch die Aufzeichnung von Hustenbewegungen und Nicht-Hust-Bewegungen generiert wurde, wozu Standard-Klassifikationsverfahren und/oder neuronale Netze eingesetzt werden können, wie an anderer Stelle in diesem Dokument bereits beschrieben wurde. Sofern kein Husten durch die beschriebenen Ansätze detektiert wird, wird dieses Kriterium mit dem Score von 1 bewertet. Wird Husten detektiert, wird der Score mit 2 bewertet.

[0181] Zusammengefasst lässt sich der Ablauf wie folgt beschreiben: Erfassung der Person, Gesichts- und Halserkennung der Person, Auswertung des Gesichts- und Halsbereichs der Person nach Mustern, die eine Vorrichtung zur künstlichen Beatmung beschreiben, Abspeichern eines Werts bei Detektion eines Musters, das eine Vorrichtung zur künstlichen Beatmung beschreibt, wobei die Vorrichtung zur künstlichen Beatmung einen Schmerzstatus beschreibt.

Schmerzstatus: Schmerzvokalisierung unbeatmeter Patienten

[0182] Sofern der Serviceroboter 17 mittels der implementierten Bilderkennung keine Kanüle beim Patienten erkannt hat und/oder in der Datenbank mit Patienteninformationen keine Informationen zu einer künstlichen Beatmung abgelegt sind, findet eine andere Variante des dritten Teils des Tests statt, analysiert der Serviceroboter 17 mittels Mikrofon 193 vom Patienten emittierte Geräusche. Diese Geräusche werden auf Basis von Algorithmen klassifiziert, die auf Basis von gelabelten Geräuschdaten derart mittels Algorithmen des maschinellen Lernens und/oder neuronaler Netze trainiert worden sind, dass die Geräusche eine Schmerz-Vokalisierung in unterschiedlichen Ausprägungen erkennen können. Wird keine Schmerzvokalisierung festgestellt, wird dieses Kriterium mit dem Wert 1 bewertet.

Wird eine Schmerzvokalisierung über eine Dauer von weniger als 3 Sekunden und mit einer Frequenz von weniger als drei Schmerzvokalisierungen pro Minute erfasst, wird dieses Kriterium mit 2 bewertet. Eine höhere Frequenz oder längere Dauer wird mit 3 bewertet, während bspw. verbale Schmerzvokalisierungen, die in einem Aspekt auch über einen Dialog mit dem Patienten ermittelt werden können, erfasst, wird das Kriterium mit 4 bewertet.

[0183] Die Scores über die drei Teile des Tests werden schließlich aufsummiert. Die Ergebnisse werden in einer Datenbank abgespeichert, in einer Variante über eine Schnittstelle 188 (wie z.B. WLAN) auf einen Server in der Cloud 18 übertragen und dort abgespeichert. In beiden Varianten hat das medizinische Personal Zugriff auf die Auswertung, welche auch eine detaillierte Betrachtung der Testergebnisse ermöglicht (Teilergebnisse und Gesamtergebnis), und über ein Terminal können diese Daten visuell dargestellt werden. In einem alternativen und/oder ergänzenden Aspekt können die einzelnen Teile des Tests auch unabhängig voneinander durchgeführt werden.

[0184] Zusammengefasst lässt sich die Schmerzstatusermittlung auf Basis einer

Schmerzvokalisierung unbeatmeter Patienten wie folgt zusammenfassen: Aufzeichnung akustischer Signale, Auswertung der akustischen Signale durch eine Schmerzklassifikation zur Ermittlung, ob die aufgezeichneten akustischen Signale eine Schmerzvokalisierung repräsentieren, Bewertung der als Schmerzvokalisierung klassifizierten akustischen Signale durch eine Schmerzintensitätsklassifikation, wobei die Schmerzintensitätsklassifikation die

Zuweisung von Skalenwerten zu den aufgezeichneten akustischen Signalen umfasst und die Skalenwerte einen Schmerzstatus repräsentieren. In einem Aspekt erfolgt weiterhin eine Positionsbestimmung der Quelle akustischer Signale, eine Positionsbestimmung der Person, deren Schmerzstatus ermittelt wird, und ein Abgleich der ermittelten Position durch Vergleich mit einem Schwellwert (d.h. hinsichtlich einer Mindestähnlichkeit der Positionswerte), und Abspeichern eines Werts bei Unterschreiten des Schwellwerts in Bezug auf den ermittelten Schmerzstatus.

[0185] Ein System zur Schmerzstatus-Ermittlung einer Person wird wie folgt in Fig. 66 zusammengefasst: Das System, bspw. ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und einen Sensor zur berührungslosen Erfassung der Person, bspw. eine 2D und/oder 3D-Kamera 185, einen LID AR 1, einen Radar- und/oder Ultraschall sensor 194. Je nach Konfiguration der Art der Schmerzstatus-Bestimmung kann es über unterschiedliche Module in seinem Speicher 10 verfügen. In einem Aspekt verfügt das System über ein Personenerkennungsmodul (110), ein visuelles Personentracking-Modul (112), Gesichtserkennungs-Modul 5005 zur Erkennung des Gesichts der Person, ein Gesichts- Kandidatenregion-Modul 5010 zur Selektion von Kandidatenregionen innerhalb des Gesichts, ein Emotions-Klassifikations-Modul 5015 zur Klassifizierung der Oberflächenkrümmungen der Kandidatenregionen in Emotionen, und ein Emotions-Bewertungs-Modul zur Ermittlung eines Skalenwerts für die Emotion 5020. Das System verfügt bspw. über ein Betterkennungs- Modul 5025 zur Erkennung eines Betts und/oder über ein obere-Extremitäten-Auswertungs- Modul 5035 zur Detektion der oberen Extremitäten der Person, Tracking dieser im Zeitverlauf, und Auswertung der Winkel zwischen den Rumpf und dem Oberarm, dem Oberarm und dem Unterarm und/oder den Fingergliedern und den Handknochen hinsichtlich der Intensität der Winkeländerungen, deren Geschwindigkeit und/oder die Anzahl der Winkeländerungen pro Zeiteinheit ausgewertet wird, sowie bspw. über ein Schmerzstatus- Berechnungsmodul 5040 zur Ermittlung eines Skalenwerts für den Schmerzstatus. In einem Aspekt umfasst das System ein Mikrofon 193 zur Aufzeichnung akustischer Signale, bspw. ein Audioquellen-Positionsermittlungs-Modul (4420) zur Auswertung der Position der Quelle akustischer Signale und ein Audiosignal-Personen-Modul (4430) zur Zuordnung von Audiosignalen zu einer Person. Das System kann bspw. über ein Schmerzvokalisations- Modul (5055) zur Klassifizierung der Intensität und Frequenz der akustischen Signale und Ermittlung eines eine Schmerzvokalisierung repräsentierenden Skalenwerts. In einem Aspekt umfasst es ein Beatmungsvorrichtungs-Erkennungsmodul 5065 zur Erkennung einer Vorrichtung zur künstlichen Beatmung, d.h. Selektion von Kandidatenregionen der künstlichen Beatmung, Ausweitung der Kandidatenregionen der künstlichen Beatmung mittels einer Objekterkennung, und Objektklassifizierung zur Identifizierung von Kanülen, um Trachealkanülen oder Endotrachealkanülen. Daneben kann es über ein Schmerzempfindungs-Auswertungsmodul 5085 zur Auswertung von an einer Person befestigten Sensoren wie einem Inertialsensor, Dehnungssensor, Kontaktmikrofon und/oder Thermistor, die Bewegungen, Luftströme und/oder Laute erfassen, die hinsichtlich einer Schmerzäußerung klassifiziert werden. In einem Aspekt verfügt das System über ein Personenidentifizierungsmodul 111, Bewegungsauswertungsmodul 120, Skelett-Erstellungs- Modul 5635 und/oder skelettmodell-basiertes-Merkmalsextraktions-Modul 5640.

Blutdruckermittlung und Ermittlung weiterer Kardioparameter

[0186] Der Roboter 17 ist ferner mit einem System ausgestattet, welches sich wiederholende Bewegungen des menschlichen Körpers erfasst, die mit dem Blutausstoß des Herzens in die großen Blutgefäße bei jedem Herzschlag korrelieren. Dabei werden Änderungen erfasst, die einerseits durch Bewegungen der großen Blutgefäße entstehen und sich bspw. wellenförmig im Körper ausbreiten, und/oder die durch Bewegungen von Arterien in der Haut ergeben. Letztere sind robuster gegenüber Schwankungen der Beleuchtung des Körperteils und/oder unterschiedlichen Farbtönen der Haut. Alternativ und/oder ergänzend werden Änderungen des Blutvolumens bzw. der Blutfluss in der Haut, z.B. im Zeitablauf, erfasst, welche(r) mit dem Herzschlag korrelieren. Fig. 30 stellt nachfolgend den Prozess der Datenerfassung und Auswertung dar.

[0187] Es werden eine Körperregion und mehrerer Subregionen im Schritt 3005 identifiziert. Bspw. ist die Körperregion das Gesicht, wobei die Auswertung z.B. mittels der Kamera 185 erfolgt. Das System nutzt Algorithmen aus dem Stand der Technik, um das Gesicht (alternativ andere Körperregionen) zu erfassen, bspw. das Framework OpenCV, OpenPose oder dlib und zu tracken, wobei die Auswertung bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 erfolgt. Dabei werden als Teilregionen mindestens die Stirn, die Wangen oder das Kinn erfasst, z.B. mehrere Körperregionen zusammen, die dann einzeln und/oder getrennt nach den weiter unten beschriebenen Schritten ausgewertet werden. Hierbei kann bspw. eine Selektion von Kandidatenregionen vorgenommen werden, d.h. Teilregionen des Gesichts, die für die Auswertung relevant sind, wozu im Stand der Technik bekannte Segmentierungsverfahren (wie bspw. RANSAC) eingesetzt werden können. Diese Teilregionen werden, wie auch die Körperregion als solche, durch die genannten Frameworks im Zeitablauf im Schritt 3010 getrackt.

[0188] In einem optionalen Schritt 3015 erfolgt eine Ausrichtung der Kamera 185 möglichst parallel zur Region, die getrackt werden soll. Dazu kann eine Minimierung des Erfassungswinkel des Gesichts, der sich aus einer Achse ergibt, die senkrecht der das Gesicht erfassenden Kamera steht, und einer Achse, die sich senkrecht auf der Sagittalebene des Gesichts befindet, erfolgen. Hierbei ermittelt das System bspw. eine Ebene, die durch das Gesicht läuft und die im Wesentlichen parallel ist zur Draufsicht auf das Gesicht und die bspw. der Sagittalebene entspricht. Basierend bspw. auf Histogram-of-Gradients (HoG) verfügt das System über eine Klassifizierung, die die Abweichungen von dieser Draufsicht beschreiben, um damit die Neigung des Gesichts im dreidimensionalen Raum zu erfassen. In einem Aspekt nutzt das System dieses Vorgehen, um einen in die Kamera 185 des Systems blickendes Gesicht danach zu bewerten, inwieweit das Gesicht parallel zur Kameralinse ausgerichtet ist. Bei Abweichungen kann das System in einem Aspekt die Neigung der Kamera 185 im dreidimensionalen Raum durch eine entsprechende Mechanik wie eine Kippeinheit 5130 anpassen, bspw. durch Ansteuerung von zwei mit orthogonal zueinander angeordneten Kippachsen, die durch Stellmotoren angetrieben werden. Unter dem Begriff Kippeinheit wird in diesem Dokument daher eine Kippeinheit mit mindestens zwei Achsen verstanden, die einerseits eine Schrägstellung der horizontalen Ebene ermöglicht und andererseits eine Rotation um die vertikale Achse. Alternativ und/oder ergänzen werden die Räder des Serviceroboters 17 derart angesteuert, dass der Serviceroboter 17 sich in Richtung der Person dreht, um die ermittelte Abweichung der Kameraebene von der Gesichtsebene zu reduzieren. In einem alternativen und/oder ergänzenden Aspekt triggert eine solche Abweichung die Sprachausgabe des Serviceroboters 17, um dem Patienten Anweisungen zu erteilen, sein Gesicht entsprechend auszurichten. Dabei sind bspw. Regeln hinterlegt, die eine Ausrichtung in XY-Ebene fordern, wenn Abweichung in XY-Ebene festgestellt wurde. Abgleich der Gesichtsneigung und Ansteuerung der Kippmechanismen, der Orientierung des Serviceroboters 17 und/oder die Sprachausgabe mit Blick auf den Patienten werden bspw. so lange durchgeführt, bis die Winkel zwischen der Kameraebene und der Gesichtsebene ein Minimum erreicht haben. Alternativ und/oder ergänzend kann der Erfassungswinkel der Kamera 185 im Vergleich zur Sagittalebene und ggf. auch der Transversal ebene minimiert werden, was bspw. auch Fahrmanöver des Roboters 17 beinhaltet. [0189] Das System ist in einem optionalen Aspekt zum Ausleuchten des Körperteils wie des Gesichts im Schritt 3020 konfiguriert. D.h. dass während einer Aufnahme durch die Kamera 185 das Gesicht (oder ein anderer Körperteil) mittels einer Leuchte bestrahlt wird, die das aufzunehmende Körperteil des Patienten ausleuchtet. Dabei kommt mindestens eine Leuchte zum Einsatz, welche sich z.B. nahe an der Kamera 185 befindet. Idealerweise befindet diese sich unterhalb und/oder oberhalb der Kamera 185, ist also vertikal um diese Kamera 185 versetzt. Bspw. wird das emittierte Licht gestreut, um eine möglichst homogene Ausleuchtung der aufzunehmenden Fläche zu gewährleisten. Eine seitliche Anordnung der Kamera 185 kann, je nach Position des Gesichts und seiner Dimensionen, möglicherweise zu einem Schattenwurf der Nase führen, der die Wangen, welche sich seitlich von der Nase befinden und deren Aufzeichnung ein überdurchschnittliches Signal-Rauschverhältnis liefern, betrifft, und damit ggf. die Auswertungsqualität verschlechtern.

[0190] Die eingesetzte Kamera 185 liefert für die Auswertung mindestens einen Farbkanal, darunter z.B. mindestens den grünen Farbkanal, da das hierbei emittierte Licht von Hämoglobin besonders gut absorbiert wird. In einem weiteren Aspekt liefert die Kamera 185 auch einen Farbkanal für den Farbton orange und/oder cyan. Die Farbtiefe je Kanal beträgt bspw. mindestens 8 Bit, die Bildfrequenz 30 Bilder pro Sekunde. In einem Aspekt kann es sich bei der Kamera 185 auch um eine RGB-D-Kamera 185 handelt, welche eine Tiefenerkennung neben einer Farberkennung zur Verfügung stellt, bspw. auf Basis von time- of-flight-Sensorik oder Speckle-Mustern, um darüber rhythmische, vaskuläre Blutflüsse und rhythmische, vaskuläre Ausdehnungen zu erfassen.

[0191] Im ersten Schritt 3025 findet eine Signal extraktion statt. Dazu wird zunächst eine Selektion des Eingangssignals auf Basis der Videosignale der getrackten Regionen vorgenommen, was entweder eine durch die Pumprhythmen des Herzens hervorgerufene Bewegung und/oder eine Farbänderung mit Blick auf den Fluss des Bluts, insbesondere des Hämoglobins, sein kann, wodurch sich besagte rhythmische, vaskuläre Blutflüsse und/oder rhythmische, vaskuläre Ausdehnungen erfassen lassen.

[0192] Es findet im zweiten Schritt mit Blick auf die Rohdaten eine Farbkanalauswertung unter Einbeziehen von bekannten Informationen statt, welche Merkmale durch welchen Farbkanal abgebildet werden, sofern es sich um eine Erfassung des Blutflusses handelt. Hierunter wird insbesondere eine Gewichtung der Kanäle im Schritt 3030 verstanden. Dabei kann vornehmlich der grüne Farbkanal ausgewertet werden, der grüne und rote Farbkanal (bspw. als Differenzbetrachtung des grünen und roten Kanals), die Kombination von grün, cyan und orange, etc. Für die Erfassung der Bewegungen werden alternativ oder ergänzend die Ortsauflösung ermittelt. D.h. es werden die vertikalen und/oder horizontalen Bewegungen von erfassten Eigenschaften des Gesichts getrackt bspw. die Position des Gesichts und seiner Teilregionen im Zeitablauf erfasst und ausgewertet. Darunter fallen sowohl die Bewegungen des Kopfs als auch die einzelner Gesichtsteile.

[0193] Die sich daran anschließende Signalermittlung nutzt im ersten Teilschritt (der Präprozessierung 3035) bspw. mindestens ein Filter. Dazu zählt eine Trendbereinigung (bspw. mit Skalierung und/oder Normalisierung); eine gleitende Durchschnittswert- Betrachtung, eine Hochpassfilterung; eine Bandpassfilterung, ggf. als adaptive Bandpassfilterung ausgestaltet; eine amplitudenselektive Filterung; eine Kaimanfilterung; und/oder eine kontinuierliche Wavelet-Transformation. Es können alternativ und/oder ergänzend auch eine lineare Polynomapproximation der kleinsten Quadrate zum Einsatz kommen.

[0194] Daran schließt sich ein Signaltrennungsverfahren 3040 an, um das Signal- Rauschverhalten zu verbessern und die Zahl der zu betrachteten Merkmalsdimensionen zu reduzieren. Hierbei kann bspw. eine Hauptkomponentenanalyse oder eine Einabhängigkeitsanalyse genutzt werden, in einem Aspekt auch Verfahren des maschinellen Lernens.

[0195] Die Signalprozessierung 3045 umfasst die Ermittlung der Pulsrate und ggf. weiterer Größen im Rahmen einer Fouriertransformation (schnelle bspw. diskrete Fouriertransformation, insbesondere zur Ermittlung der maximalen Leistungsspektrumsdichte), autoregressiver Modelle (bspw. mittels Burg’s Methode), dem Einsatz von Bandpassfiltern in Zusammenhang mit der Detektion von Maxima bspw. einer Spitzenerkennung, eine kontinuierliche Wavelet-Transformation, und/oder Modelle des Maschinellen Lernens, insbesondere des nicht-üb erwachten Lernens. Alternativ und/oder ergänzend kann auch eine diskrete Kosinustransformation eingesetzt werden.

[0196] Im Rahmen einer Postprozessierung 3050 können ferner Verfahren zum Einsatz kommen, um bspw. Fehler durch Bewegungen des Kopfes, etc. auszugleichen, wozu wiederum Kalmanfilter, (adaptive) Bandpassfilter, eine Ausreißerdetektion, gleitende Durchschnitte, Bayes’sche Fusion und/oder Verfahren des maschinellen Lernens zum Einsatz kommen können.

[0197] Die bis hier erfolgten Prozessierungsschritte geben bereits einen Teil der medizinisch relevanten Parameter wieder wie die Pulsrate, Pulsratenvariabilität, Pulswellenlaufzeit, Pulswellenform, etc. Eine weiterführende Errechnung medizinisch relevanter Parameter im Schritt 3055, bspw. erfolgt auf Basis verschiedener, im Stand der Technik beschriebener Ansätze, womit sich bspw. der systolische und diastolische Blutdruck ermitteln lässt, wozu lineare oder nichtlineare Prognoseverfahren eingesetzt werden können.

[0198] Die genannten Verfahren des maschinellen Lernens, bspw. neuronale Netze wie konvolutionäre neuronale Netze, sind in der Lage, in den Daten versteckte und teils unbekannte Merkmale in den Daten zu erkennen und bei der Auswertung zu berücksichtigen, bspw. im Rahmen durchgeführter Clusteranalysen. Hierbei werden bspw. auf Basis von Trainingsdaten Gewichte für die Klassifikationen oder lineare bzw. nicht-lineare Prognosemodelle generiert, die dann im Rahmen des beschriebenen Prozesses im Produktivbetrieb eingesetzt werden.

[0199] Die ermittelten Werte für die Pulsrate, Pulsratenvariabilität und ggf. weiterer Werte, ggf. nach erfolgter Postprozessierung, werden in einem Aspekt mit im Speicher 10 abgelegten Werten im Schritt verglichen und daraus basierend die Pulsrate, Pulsratenvariabilität, bzw. weitere Größen ermittelt, insbesondere auch der systolische und diastolische Blutdruck.

[0200] Die Filterung im Rahmen der Prä- und Postprozessierung ist abhängig von den zu detekti er enden Größen ab. Für die Pulsamplitude kann, in einem Aspekt, ein Bandpassfilter genutzt werden, der das Spektrum 0-6 Herz abdeckt, bspw. mindestens 0,7-4, 5 Hz. In einem Aspekt kann das Signal des Pulses in diesem Frequenzbereich auch enger gesampelt werden, bspw. mit einem Fenster von 0,1 Hz. Anschließend kann eine Glättung durch einen Tiefpassfilter erfolgen. Die Pulsrate, Herzrate bzw. Pulsfrequenz oder Herzfrequenz kann bspw. mittels eines Bandpassfilters prozessiert werden, der eine Breite zwischen 0,7 und 4 Hz hat. Um die Pulsratenvariabilität zu ermitteln, ist wiederum ein Bandpassfilter mit einem Fenster zwischen 0 und 0,4 Hz einsetzbar, in einem Aspekt gesampelt mit Abständen von 0,02 Hz. Die Pulswellenlaufzeit kann durch Vergleich der Werte von mindestens zwei erfassten Regionen erfolgen, wobei eine Bandbreite zwischen 0,5 und bspw. 6 Hz ausgewertet werden kann, in einem Aspekt gesampelt in Intervalle von 0,1 Hz. Durch den Vergleich der Werte mehrerer Regionen lässt sich damit die Pulswellenlaufzeit ermitteln. Die Pulsform ergibt sich aus einem ungesampelten Verlauf im Spektralfenster von ca. 0-6 Hz, bspw. charakterisiert durch die Fläche unter der Kurve, die Höhe und/oder Breite. Die Pulsenergie ergibt sich aus der ersten Ableitung dieser Werte.

[0201] So kann der Blutdruck bspw. mittels eines linearen Modells aus der Pulswellenlaufzeit und der Puls- bzw. Herzrate sowie dem vorangegangenen Blutdruckwert ermittelt werden, für lineare Regressionsmodelle oder neuronale Netze verwendet werden können. Anstelle eines vorangegangenen Blutdruckwerts lassen sich bspw. auch die Form der gemessenen Pulse auswerten, z.B. indem die Differenzen zwischen der Pulskurve und der durch den Maximalwert verlaufenden Senkrechten ermittelt werden.

[0202] Das System zur Blutdruckermittlung wird, wie in Fig. 67 dargelegt, wie folgt illustriert: Das System zur Ermittlung kardiovaskulärer Parameter einer Person, in einem Aspekt ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und eine Kamera 185 (z.B. eine 2D und/oder 3D-Kamera) sowie weiterhin ein Körperregions-Detektions- Modul 4810 zur Detektion von Körperregionen, ein Körperregion-Tracking-Modul 4815, ein Gesichtserkennungs-Modul 5005, ein Gesichts-Kandidatenregion-Modul 5010 und ein kardiovaskuläre-Bewegungen-Modul 5110 zur Erfassung von Bewegungen, die auf kardiovaskuläre Aktivitäten zurückzuführen sind. Die Kamera 185 stellt mindestens den grünen Farbkanal mit 8 Bit zur Verfügung. Das System weist außerdem eine Leuchte 5120 auf, um das Gesicht während der Aufzeichnung durch die Kamera 185 auszuleuchten, die sich bspw. oberhalb und/oder unterhalb von der Kamera 185 befindet. Das System verfügt über ein Blutdruck-Ermittlungs-Modul 5125 zur Ermittlung des systolischen oder diastolischen Blutdrucks 5125 und/oder über eine Kippeinheit 5130, um den Erfassungswinkel der Kamera 185 im Vergleich zur Sagittal ebene zu minimieren. Dazu verfügt das System über Regeln, um bspw. eine senkrechte Linie zwischen die Augen der erfassten Person zu legen, so dass der Kopf in zwei Hälften geteilt wird. Es erfolgt eine Segmentierung des Gesichts, wobei über die einzelnen Segmente histograms-of-gradients gelegt werden. Sofern diese eine (spiegelverkehrte) Ähnlichkeit aufweisen, die unter einem Schwellwert liegt, wird das Gesicht als senkrecht erfasst wahrgenommen. Die Kamera 185 kann nun über eine Kipp-Einheit 5130 so angesteuert werden, dass während der Ansteuerung dieser Vergleich der Spiegel verkehrten Gesichtshälften über die histograms-of-gradients vorgenommen wird und die Kamera so positioniert wird, dass diese Schwellwerte der histograms-of-gradients unterschritten werden. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, ein visuelles Personentracking-Modul 112, Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635, skelettmodell-basiertes- Merkmalsextraktions-Modul 5640 und/oder Bewegungsplaner (104).

Detektion von Substanzen auf oder unterhalb der Hautoberfläche

[0203] In einem Aspekt kann der Serviceroboter 17 auch mit einem Detektor 195 ausgestattet sein, der sich z.B. auf der dem Patienten zugerichteten Seite des Serviceroboters 17 befindet. Dieser Detektor 195 kann in einem Aspekt fest in oder auf der Oberfläche des Serviceroboters 17 integriert sein. In einem alternativen und/oder ergänzenden Aspekt ist der Detektor 195 auf einem Aktor 4920 montiert, bspw. einem Roboterarm, und kann, wie beispielhaft für die Ausrichtung des Spektrometers 196 auf die Haut eines Patienten beschrieben, auf vom Serviceroboter 17 identifizierte Oberflächen des Körpers des Patienten ausgerichtet werden und, in einem Aspekt, auf diese Weise auf die Haut des Patienten berühren. Der Serviceroboter 17 kann alternativ und/oder ergänzend den Patienten auch auffordem, den Detektor 195 zu berühren, bspw. mit einem Finger. Dabei ist der Serviceroboter 17 in einem Aspekt in der Lage zu verifizieren, dass der Patient den Detektor 195 tatsächlich berührt. In einem Aspekt kann diese Verifizierung über eine Probemessung erfolgen, wobei die erfassten Werte mit solchen aus einem im Speicher 10 abgelegten Messintervall verglichen werden, um zu beurteilen, ob der Patient tatsächlich einen Finger auf den Detektor 195 gelegt hat. Es ist bei diesem Ansatz jedoch nicht auszuschließen, dass die Messergebnisse ggf. durch die Orientierung des Fingers auf dem Sensor beeinflusst werden. In einem alternativen und/oder ergänzenden Aspekt wird daher ein kamerabasiertes Tracking des Fingers vorgenommen, wobei die Auswertung bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 erfolgt. Ein derartiges Tracking wurde an anderer Stelle in diesem Dokument bereits beschrieben. Alternativ und/oder ergänzend kann ein dialogbasiertes Verfahren genutzt werden, bei dem der Patient vom Serviceroboter 17 gefragt wird, ob der Serviceroboter 17 den Finger richtig abgelegt hat, was auf dem Weg über ein Display 2 und/oder eine Sprachausgabe erfolgen kann.

[0204] Die Oberfläche des Detektors 195 besteht aus einem Kristall, z.B. einen Kristall mit kubischer Gitterstruktur, bspw. in Diamantstruktur, mit hexagonaler Gitterstruktur oder mit tetragonaler Gitterstruktur. Der Kristall verfügt über einen Brechungsindex von 1-4, z.B. 1,3- 1,4, 2, 2-2, 4 oder bspw. 3,4-4, 1. Die Spektralweite des Kristalls liegt im Intervall lOOnm - 20.000 nm, z.B. im Intervall 900nm - 12.000nm. Das Messverfahren des Detektors 195 nutzt hierbei Ablenkungen eines Auswertungslasers 5205 an der Kristalloberfläche basierend auf laserinduzierter Anregung von Substanzen, welche durch einen weiteren Laser 5210 auf und/oder innerhalb der Haut eines Patienten angeregt werden. Dabei steht die Fläche, die durch den weiteren Laser 5210 angeregt wurde, bspw. mit dem Detektor 195 an der Stelle in Eingriff, an der der Auswertungslaser 5205 an der Kristalloberfläche abgelenkt wird. Zum Zwecke der Auswertung findet eine Merkmalsextraktion statt, bei der als Merkmale die Variationen der Wellenlänge des weiteren Lasers 5210 und die dadurch hervorgerufene und durch einen auf dem Photoeffekt basierenden Sensor erfasste Ablenkung des Auswertungslasers 5205 einfließen. Hierbei können die in Fig. 30 dargestellten Schritte, insbesondere 3025-3050, genutzt werden, welche an anderer Stelle detaillierter beschrieben wurden. Diese Merkmale werden anschließend klassifiziert, indem ein Vergleich mit im Speicher 10 hinterlegten Merkmalsklassen erfolgt. Hierbei sind bspw. bestimmten Wellenlängen und oder Wellenlängenvariationen des weiteren Lasers 5210 und darauf basierenden Ablenkungen des Auswertungslasers 5205 bestimmte Substanzen und deren Konzentrationen zugeordnet. Anschließend werden die ermittelten Klassifikationen abgespeichert und über ein Display 2 ausgeben und/oder im Patientenadministrationsmodul 160 abgespeichert.

[0205] In einer alternativen und/oder ergänzenden Ausführungsform wird ein kamerabasiertes System genutzt, welches auf die Oberfläche der Haut eines Patienten gerichtet ist und Messungen durchführen kann. Hierbei kann das System in einem Aspekt entweder starr am Serviceroboter 17 angebracht sein oder aber derart, dass es z.B. dreidimensional ausgerichtet werden kann, so dass es die Hautoberfläche eines Patienten erfassen kann, ohne dass sich dieser Patient bewegt. Dabei detektiert der Serviceroboter 17, wie bspw. für die Detektion von Emotionen beschrieben, Areale des Patienten, in denen die Hautoberfläche des Patienten erfasst werden soll.

[0206] Die zu erfassende Hautoberfläche wird von der mindestens einen Kamera 185 ausgeleuchtet, wozu in einem Aspekt LEDs eingesetzt werden, welche zusammen ein Lichtspektrum im Bereich von 550 -1600 nm, z.B. mindestens 900-1200 nm abbilden und damit im Infrarotbereich liegt. Hierbei ist der Sensor der mindestens einen Kamera 185 ein Sensor auf Basis von Indiumgalliumarsenid oder Bleisulfid, der in einem Aspekt mit einem Sensor auf Basis von Silizium ergänzt wird, der ggf. in einer weiteren Kamera 185 integriert ist. In einem Aspekt werden anstelle der LEDs ein Laser verwendet. Die Lichtquellen können so angesteuert werden, dass die Wellenlänge der Lichtquellen im Zeitablauf variiert. Dabei erfasst die mindestens eine Kamera 185 die durch das Licht angeregten Emissionen von Substanzen, die sich auf oder innerhalb der Haut befinden. Es findet während der Messung eine Merkmalsextraktion statt, welche Phase und Frequenz der von Substanzen auf und innerhalb der Haut emittierten Substanzen ermittelt, in einem weiteren Aspekt ebenfalls die Frequenzen des emittierten Lichts berücksichtigt. Hierbei kann eine Prä- und/oder eine Postprozessierung stattfinden, bei der verschiedene Filter genutzt werden, bspw. Band- und/oder Tiefpassfilter. Insgesamt können auch hier die in Fig. 30 dargestellten und an anderer Stelle detaillierter beschriebenen Schritte 3025 bis 3050 durchlaufen werden. Auf Basis einer Merkmalsklassifikation werden anschließend Konzentrationen der Substanzen bestimmt.

[0207] Das System zur Substanzmessung ist in Fig. 68 wie folgt illustriert: Das System zur Messung von Substanzen auf und/oder innerhalb der Haut einer Person, in einem Aspekt ein Serviceroboter 17, umfasst einen Detektor 195 mit einem Auswertungslaser 5205 und einem weiteren Laser 5210, wobei der Auswertungslaser ab Eintritt in ein Medium 5215 wie bspw. eine Kristalloberfläche abgelenkt wird und der weitere Laser 5210 eine Substanz unter Variation der Wellenlänge anregt, wobei der Bereich der angeregten Substanz an der Stelle mit dem Medium 5215 wie bspw. dem Kristall in Eingriff steht, an der der Auswertungslaser 5205 abgelenkt wird, weiter umfassend ein Laser-Variations-Modul 5225 zur Merkmalsextraktion und Merkmalsklassifizierung der Wellenlängenvariation des weiteren Lasers 5210 und ein Laserablenkungs-Auswertungs-Modul 5220 zur Auswertung der Ablenkung des Auswertungslasers. Das System verfügt bspw. über einen Sensor zur berührungslosen Erfassung einer Person, ein Bewegungsauswertungsmodul (120) zur Auswertung von erfassten Bewegungen der Person im Zeitablauf und/oder ein Fingerpositionierungs-Erkennungs-Modul 5230 zur automatisierten Erkennung der Positionierung eines Fingers auf dem Medium 5215 und Durchführung der Messung nach Auflegen des Fingers auf dem Medium. In einem Aspekt umfasst das System zur Messung von Substanzen auf und/oder innerhalb der Haut einer Person, bspw. ein Serviceroboter 17, einen Detektor 195 mit einem Medium 5215 bestehend aus einem Kristall mit kubischer, hexagonaler oder tetragonaler Gitterstruktur, einem Brechungsindex von 1-4 und einer Spektralweite, die im Intervall zwischen 100nm-20.000nm liegt. Das System kann weiter umfassen einen Auswertungslaser 5205 und einen weiteren Laser 5210, wobei der Auswertungslaser 5205 ab der Kristalloberfläche abgelenkt wird und der weitere Laser 5210 eine Substanz unter Variation der Wellenlänge anregt, wobei der Bereich der angeregten Substanz an der Stelle mit dem Medium 5215 in Eingriff steht, an der der Auswertungslaser 5210 abgelenkt wird. Das System kann weiter umfassen ein Laser-Variations-Modul 5225 zur Merkmalsextraktion und Merkmalsklassifizierung der Wellenlängenvariation des weiteren Lasers 5210 und Laserablenkungs- Auswertungs-Modul 5220 zur Auswertung der Ablenkung des Auswertungslasers 5205. Der Auswertungslaser wird mittels eines Sensors auf Basis des Fotoeffekts 5250 ausgewertet. Das System kann weiterhin eine Schnittstelle zur Übertragung von Daten in ein Patientenadministrationssystem 160 umfassen. Der Detektor 195 kann auf einem Aktor 4920 positioniert sein und das System über ein Modul mit Regeln verfügen, um den Detektor 195 auf der Haut einer Person zu positionieren, bspw. unter Abgleich der Positionen von Aktor 4920 und der Position, auf der der Aktor positioniert werden soll, und Ansteuerung des Aktors derart, dass sich die Distanz zwischen Aktor 4920 und der Position, auf der der Aktor 4920 positioniert werden soll, reduziert bis mindestens nahe Null. Weiterhin kann das System einen Sensor zur berührungslosen Erfassung einer Person wie bspw. einer 2D oder 3D-Kamera 185, einen LID AR 1, einen Radar und/oder einem Ultraschall sensor 194 aufweisen. Das System kann, in einem Aspekt, ein Körperregions-Detektions-Modul 4810 und ein Körperregion-Tracking-Modul 4815 zum Tracking der Messregion aufweisen. Das System zur Messung von Substanzen auf und/oder innerhalb der Haut einer Person ist, in einem Aspekt, mit einer Kamera 185 und einer Kippeinheit (5130) zur horizontalen und/oder vertikalen Ausrichtung der Kamera 185 ausgestattet, mit einem Körperregions-Detektions- Modul (4810) und ein Körperregion-Tracking-Modul (4815) zur Identifikation und zum Tracken von einer Person im Zeitverlauf (in einem Aspekt identisch mit dem Personenidentifizierungsmodul 111 und den Trackingmodulen 112 und 113), mit mindestens einer Lichtquelle 5270, um die zu erfassende Haut der Person zu beleuchten, wobei das System über eine Wellenlängenvariations-Einheit 5275 zur Variation der Wellenlänge des von der mindestens einen Lichtquelle emittierten Lichts verfügt, und eine Wellenlängenvariations-Auswertungs-Einheit 5280 zur Auswertung der Variation der Wellenlänge der erfassten Signale. Bei der mindestens eine Lichtquelle 5270 kann es sich um einen Laser (in einem Aspekt identisch mit dem Lasern 5205 und/oder 5210) und/oder um mehrere LEDs mit unterschiedlichen Spektren handelt, die entsprechend angesteuert werden können. Die Wellenlänge des emittierten Lichts beträgt zwischen 550 und 1600 nm liegt, bspw. 900 und 1200 nm. Die Kamera 185 kann bspw. über einen Fotodetektor aus Indiumgalliumarsenid oder Bleisulfit verfügen. In einem Aspekt verfügt das System über eine weitere Kamera 185 zur Detektion von Licht im Spektrum 400-800 nm. Das System kann bspw. über ein Stoffklassifikationsmodul-Modul 5295 zur Merkmalsextraktion und Merkmalsklassifizierung erfasster Daten und Vergleich der klassifizierten Daten mit einer Substanzklassifikation, d.h. es erfolgt bspw. eine Auswertung mindestens des detektierten Lichts durch Vergleich ausgewerteter Merkmale mit hinterlegten Merkmalen. In einem Aspekt verfügt das System über ein Personen erkennungsmodul 110, Personenidentifizierungsmodul 111, ein Trackingmodul (112, 113),

Feuchtigkeitserkennung und Roboternavigation

[0208] Im Umfeld, in dem der Serviceroboter 17 sich bewegt, kann es Vorkommen, dass die Böden, auf denen sich der Serviceroboter 17 und eine vom Serviceroboter 17 getrackte Person bewegen, feucht sind, bspw. bedingt durch Reinigungsarbeiten oder das Verschütten von Flüssigkeiten. Mit Blick auf Personen, die durch den Serviceroboter 17 zum Training angeleitet werden, können solche feuchten Oberflächen eine Gefahr darstellen, die mit einer erhöhten Sturzgefahr einhergeht. Um das Verletzungsrisiko der Person zu reduzieren, verfügt der Serviceroboter 17 in einem Aspekt über eine entsprechende Sensorik, um Feuchtigkeit auf dem Boden zu erkennen. Im Stand der Technik sind verschiedene Sensortechniken beschrieben, die hierbei Einsatz finden können:

[0209] Yamada et al 2001, „Discrimination of the Road Condition toward Understanding of Vehicle Driving Environments“, IEEE Transactions on Intelligent Transportation Systems, vol 2 (1), March 2001, 26-31 (DOI: 10.1109/6979.911083) beschreiben ein Verfahren zur Detektion von Feuchtigkeit auf dem Boden mittels Polarisation des einfallenden Lichts. Dabei nutzen sie den Brewster-Winkel (53,1°) als Neigungswinkel, um in der horizontalen Polarisationsebene die Reflexion auf 0 zu setzen, während die vertikale Polarisation eine starke Reflexion zeigt. Dabei wird auf Basis des Verhältnisses der gemessenen Intensitäten der horizontalen und vertikalen Polarisierung ermittelt, inwieweit sich auf der gemessenen Oberfläche Feuchtigkeit befindet.

[0210] Roserund Mossmann, „Classification ofWeather Situations on Single-Colour Images“, 2008 IEEE Intelligent Vehicles Sysmposium, 2-6 June 2008 (DOI:

10.1109/IVS.2008.4621205) dagegen schlagen einen Ansatz vor, der ohne Polarisationsfilter auskommt und auf Bildparametern wie Kontrast, Helligkeit, Schärfe, Farbtöne und Sättigung basiert, die als Merkmale aus den Bildern extrahiert werden. Die Helligkeit wird dabei durch das in der Bildverarbeitung etablierte Koschmieder-Modell berücksichtigt, wobei die Helligkeit vornehmlich von der Dämpfung und Streuung des Lichts abhängig ist. Der Kontrast wiederum wird über die Differenz aus lokalen Extrema der Helligkeit ermittelt, wobei hierbei die hellsten und dunkelsten Pixel in der beobachteten Region miteinander verglichen werden. Bzgl. der Schärfe basiert der Ansatz auf dem in der Bildverarbeitung etablierten Tenengrad-Kriterium. Farbtöne und Sättigung werden über definierte Pixel gruppen ermittelt. Für jede erfasste Region wird pro Merkmal ein Histogramm mit 10 Bereichen generiert und daraus ein Vektor abgeleitet, der die Ergebnisse der Merkmale enthält. Diese Vektoren können mittels Verfahrens des maschinellen Lemens/der künstlichen Intelligenz klassifiziert werden, darunter k-NN, neuronale Netze, Entscheidungsbäume, oder Support Vector Machines. Dabei liegen zunächst vorgelabelte Daten vor zum Trainieren der Algorithmen, und die dabei ermittelten Klassifikationen erlauben es, künftige Aufnahmen des Fußbodens dahingehend zu bewerten, inwieweit die Böden feucht sind.

[0211] Dagegen analysiert US Patentanmeldung Nr. 2015/0363651 Al die durch eine Kamera aufgenommene Textur der Oberfläche, um sie auf Nässe zu überprüfen, und vergleicht dabei zwei zu unterschiedlichen Zeitpunkten aufgenommene Bilder und nimmt eine Merkmalsextraktion vor. Zu den Merkmalen zählen räumliche Nähe von Pixeln innerhalb einer Region (d.h. es wird nach wiederkehrenden Mustern gesucht), Kantendetektion und deren räumliche Orientierung, die Ähnlichkeit von Graustufen zwischen den Bildern, das etablierte Laws‘ Textur-Energie-Maß, Autokorrelations- und Leistungsdichte-Modelle, sowie Textursegmentierungen (sowohl regionsbasiert als auch grenzbasiert, d.h. Kanten, die zwischen Pixel mit verschiedenen Texturen liegen).

[0212] Dagegen nutzt McGunnicle 2010, „Detecting Wet Surfaces using near-Infrared Lighting, Journal of the Optical Society of America A, vol 27 (5), 1137-1144 (DOI: 10.1364/JOSAA.27.001137) Infrarotdioden mit einem Spektrum um ca. 960 nm und zeichnet das von diesen Dioden emittierten Lichts mittels einer RGB (CCD)-Kamera auf, um das Lichtspektrum entsprechend auszuwerten. Dabei kann McGunnicle zeigen, dass feuchte Oberflächen ein charakteristisches Spektrum emittieren, wodurch sich Feuchtigkeit auf der Oberfläche detektieren lässt. [0213] Ein weiterer Ansatz nutzt statt Licht im sichtbaren oder unsichtbaren Bereich Radarwellen, insbesondere Ultraweitband-Radarwellen, die zur Stoffanalyse eingesetzt werden. Die reflektierten Signale lassen sich wie im Stand der Technik beschrieben auswerten (d.h. klassifizieren), wobei bei der Messung von Feuchtigkeit auf Oberflächen charakteristische Merkmale erkannt werden, so dass die Art der Feuchtigkeit detektiert wird.

[0214] In allen Fällen sind die Sensoren am Serviceroboter 17 derart angeordnet, dass die Sensoren mindestens die Oberfläche vor oder unter dem Serviceroboter 17 erfassen, in einem Aspekt auch seitlich oder rückwärtsgerichtet.

[0215] In einem Aspekt sind die Algorithmen zur Feuchteermittlung im Speicher 10 des Serviceroboters 17 hinterlegt, bspw. als Werte in einer Datenbank, die es erlauben, das erfasste Lichtspektrum im Infrarotbereich spektral oder aber die vom Serviceroboter 17 emittierten und von den Oberflächen reflektierten Radarwellen auszuwerten. In einem alternativen oder ergänzenden Aspekt verfügt der Serviceroboter 17 über ein selbstlernendes System 3100 (siehe Fig. 31), um feuchte von trockenen Böden zu unterscheiden. Dieses selbstlernende System ist bspw. insbesondere für die optischen Verfahren hilfreich, die die Textur und/oder Reflexionen der Oberfläche ermitteln. Hierzu fährt der Serviceroboter 17 die Oberflächen ab 3110, über die der Serviceroboter 17 sich üblicherweise bewegt, während diese Oberflächen sich im trockenen Zustand befinden. Dabei zeichnet der Serviceroboter 17 mittels mindestens eines integrierten Sensors die Oberflächen auf 3120, und nimmt eine Merkmalsextraktion vor 3130, bspw. nach den Ansätzen von Roger und Mossmann oder nach der Lehre der US Patentanmeldung Nr. 2015/0363651 Al. Dies erfolgt vorzugsweise zu unterschiedlichen Tageszeiten, um unterschiedliche Lichtverhältnisse berücksichtigen zu können (Tageslicht, künstliche Beleuchtung und/oder Kombinationen daraus). Über eine Eingabevorrichtung, die in einem Aspekt über eine Schnittstelle 188 (wie z.B. WLAN) mit dem Serviceroboter 17 verbunden ist, wird den aufgezeichneten Messwerten ein Wert zugewiesen, der die aufgezeichneten Oberflächen als trocken charakterisiert (Labelling 3140). Dieser Wert wird, zusammen mit den aufgezeichneten Messwerten, im Schritt 3145 im Speicher 10 abgelegt. In einem weiteren Schritt 3150 fährt der Serviceroboter 17 mindestens anteilig die zuvor abgefahrenen Flächen erneut ab, wobei diese zuvor abgefahrenen Flächen jedoch feucht sind. Dazu wird ebenfalls über eine Eingabevorrichtung, die in einem Aspekt über eine Schnittstelle 188 (wie z.B. WLAN) mit dem Serviceroboter 17 verbunden ist, den aufgezeichneten Messwerten ein Wert zugewiesen, der die aufgezeichneten Oberflächen als feucht charakterisiert (Labelling 3140). Die Abfolge, ob zunächst trockene oder feuchte Flächen abgefahren werden (oder diese Abfolge sich gar abwechseln), ist für die Wirksamkeit des Verfahrens unerheblich. Mittels Verfahrens des maschinellen Lemens/der künstlichen Intelligenz wird anschließend eine Merkmalsklassifizierung 3160 der durch die Sensoren aufgezeichneten Merkmale vorgenommen, wie bspw. in Roger und Mossmann dargestellt. Im Ergebnis werden Oberflächen als feucht oder trocken im Schritt 3170 detektiert. Die Ergebnisse der Merkmalsklassifizierung, d.h. ob die Oberflächen feucht oder trocken sind, werden im Speicher des Serviceroboters 17 im Schritt 3180 abgelegt.

[0216] Bei künftigen Fahrten des Serviceroboters 17 kann der Serviceroboter 17 auf die abgespeicherten Klassifikationen (bspw. für Radarreflexionen, Infrarot-Spektralabsorptionen, Lichtreflexionen bzw. Texturen via Kameraufnahmen) zurückgreifen und mittels dieser abgespeicherten Klassifikationen durch seine Sensoren erfassten Messwerte auswerten, ob die erfassten Oberflächen feucht sind.

[0217] Fig. 32 stellt die Navigation des Serviceroboters 17 unter Detektion von Feuchtigkeit auf Oberflächen 3200 dar. Navigiert der Serviceroboter 17 unter Begleitung einer Person 3210, bspw. eines Patienten beim Training, so zeichnet der Serviceroboter 17 die Oberflächenbeschaffenheit der Böden auf 3120, über die der Serviceroboter 17 sich bewegt. Es findet eine Merkmalsextraktion 3130, eine Merkmalsklassifizierung 3160 und damit einhergehend eine Feuchtigkeitsdetektion 3170 statt. Dazu kann der Serviceroboter 17, in einem Aspekt und je nach Art der genutzten Sensoren bzw. der implementierten Auswertungsalgorithmen, in einem optionalen Schritt durch eine Drehbewegung 3220, bspw. um eine vertikale Achse des Serviceroboters 17, die Breite der Feuchtigkeit bzw. des trockenen Bereichs 3230 erfassen. Diese Ausführung kann, in einem Aspekt, im Bewegungsplaner 104 hinterlegt sein. Je nach Art und Ausführung des Sensors kann anstelle einer Drehbewegung des Serviceroboters 17 eine Kippeinheit 5130 eingesetzt werden bzw. der Erfassungswinkel des Sensors ist ausreichend weit, um auch ohne Bewegung die Fläche in Fahrtrichtung zu erfassen. Die Breite wird hier bspw. orthogonal zur Fahrtrichtung ermittelt. Die Breite des trockenen (alternativ des feuchten) Bereichs wird mit in einem Speicher hinterlegten Wert verglichen 3240. In einem alternativen Aspekt wird die Breite des feuchten Bereichs bspw. in Relation zur Breite des Raums ermittelt, in dem sich der Serviceroboter 17 bewegt. Liegt die erfasste Breite des trockenen Bereichs unter der in dem Speicher hinterlegten Breite, fährt der Serviceroboter 17 nicht auf die feuchte Fläche, sondern stoppt und/oder wendet im Schritt 3250, wie im Bewegungsplaner 104 hinterlegt ist. In einem optionalen Aspekt erfolgt eine Ausgabe über die Ausgabeeinheit (Display 2, Lautsprecher 192, ggf. auch Projektionsvorrichtung 920/Warnleuchten), die auf die als feucht identifizierte Oberfläche hinweist. In einem optionalen Aspekt sendet der Serviceroboter 17 über eine Schnittstelle 188 (wie z.B. WLAN) eine Nachricht an einen Server und/oder ein Terminal im Schritt 3260. Ist dagegen der detektierte trockene Bereich breiter als der Schwellwert, navigiert der Serviceroboter 17 durch den trockenen Bereich im Schritt 3270, wie im Bewegungsplaner 104 hinterlegt ist. Dabei hält der Serviceroboter 17 einen im Bewegungsplaner 104 hinterlegten Mindestabstand zur als feucht detektierten Oberfläche ein 3280. In einem optionalen Aspekt kann der Serviceroboter 17 über eine Ausgabeeinheit (Display 2, Lautsprecher 192, ggf. auch Projektionsvorrichtung 920/Warnleuchten) die begleitete Person auf die feuchte Oberfläche hinweisen 3290.

[0218] Die Klassifizierung der Feuchtigkeit umfasst in einem Aspekt auch den Grad der Feuchtigkeit. So kann sich bspw. selbst auf als trocken wahrgenommenen Oberflächen ein sehr dünner Feuchtigkeitsfilm befinden, der jedoch so gut wie keine Auswirkungen auf die Reibung hat, die ein Gegenstand auf der Oberfläche erfahren würde.

[0219] Zusammengefasst lässt sich die Erfassung und Bewertung von Feuchtigkeit auf Oberflächen wie folgt zusammenfassen: Erfassung einer Oberfläche wie bspw. dem Boden, Klassifizierung der Oberflächenbeschaffenheit zur Detektion von Feuchtigkeit auf der Oberfläche, Segmentierung der erfassten Oberfläche in feuchte und nicht-feuchte Bereiche, Ermittlung der Breite der erfassten Bereiche, Bewertung der Breite der erfassten Bereiche durch Vergleich mit mindestens einem hinterlegten Wert.

[0220] Ein alternativer Ablauf kann wie folgt zusammengefasst werden, wie in Fig. 81 illustriert: Erfassung einer Oberfläche 6005, Oberflächenklassifizierung zur Feuchtigkeitsdetektion 6010, Oberflächensegmentierung in feuchte und nicht-feuchte Bereiche 6015, Hinterlegung feuchter Bereiche in einer Karte 6020, Ermittlung von Fläche mit Mindestdimensionen 6025 und darauf basierend eine Ausgabe über eine Ausgabeeinheit 6030, Übermittlung einer Nachricht 6035 und/oder Modifikation eines Werts im Speicher 10 (Schritt 6040). Alternativ und/oder ergänzend kann eine Modifikation einer Pfadplanung und/oder Bewegungsplanung 6045 erfolgen. Fig. 82 illustriert ebenfalls einen Teil des Ablaufs. Der Serviceroboter 17 bewegt sich in einem Gang 6071 entlang eines initial geplanten Pfads 6072 (siehe Fig. 82a), wobei sich auf dem Boden mehrere Segmente mit Feuchtigkeit befinden 6070, die vom Serviceroboter erfasst werden. Der Serviceroboter 17 plant im Pfadplanungsmodul 103 einen neuen Pfad 6073, der auf Basis der Feuchtigkeit als Hindernis errechnet wird. Der Serviceroboter 17 vergleicht die Breite 6074 zwischen als Hindernis hinterlegten, als feucht ermittelten Flächensegmenten, die sich bspw. aus einer im Kartenmodul (107) hinterlegten Karte ergibt, hält bspw. Sicherheitsabstände zu diesen als feucht erfassten Flächensegmenten ein und folgt dem neu errechneten Pfad (siehe Fig. 81 c). Wie in Fig 81 d) ersichtlich ist, ist ein als feucht erfasstes Flächensegment jedoch so breit, dass der Serviceroboter nicht um dieses herumnavigieren kann, weil die Breite zwischen dem als feucht klassifizierten Bereich und den Wänden des Gangs geringer ist als die Breite des Serviceroboters 17, weshalb der Serviceroboter 17 vor diesem stoppt.

[0221] Ein System zur Feuchtigkeitsdetektion ist wie in Fig. 69 illustriert wie folgt beschrieben: Es umfasst einen Sensor zur berührungslosen Erfassung einer Oberfläche (z.B. Kamera 185 oder ein Radarsensor 194), ein Segmentierungsmodul 5705 zur Segmentierung der erfassten Oberfläche, ein Feuchtigkeitsermittlungsmodul 5305 zur Klassifizierung der Segmente hinsichtlich Feuchtigkeit auf der Oberfläche und ein

Feuchtigkeitsbewertungsmodul 5310 zur Bewertung der Dimensionen der klassifizierten Segmente der Oberfläche. Weiterhin kann es ein Kartenmodul 107 umfassen, dass Hindernisse im Elmfeld des Systems enthält und die hinsichtlich Feuchtigkeit klassifizierten Segmente. In einem Aspekt umfasst das System einen Bewegungsplaner 104 und/oder ein Pfadplanungsmodul 103, bspw. eine Ausgabeeinheit (2 oder 192) und im Speicher 10 hinterlegte Ausgaben zum Hinweisen auf die als feucht detektierte Fläche. Beim System kann es sich um einen Serviceroboter 17 handeln, z.B. in Begleitung einer Person.

[0222] Das System zur Detektion der Position von Feuchtigkeit auf einer Oberfläche (bspw. ein Serviceroboter 17, in einem Aspekt in Begleitung einer Person) umfasst eine Einheit zur

Ermittlung (bspw. eine Kamera 185) und ein Feuchtigkeitsermittlungsmodul 5305 zur

Klassifizierung der Segmente einer erfassten und segmentierten Oberfläche hinsichtlich

Feuchtigkeit auf der Oberfläche und ein Feuchtigkeitsbewertungsmodul 5310 zur Bewertung der Dimensionen der klassifizierten Segmente der Oberfläche. Dabei werden bspw. klassifizierten Flächen derart ausgewertet, dass die Breite der Feuchtigkeit in etwa senkrecht zur Bewegungsrichtung des Systems bewertet wird und trockene und/oder feuchte Areale in ihrer Breite ermittelt. Das System kann bspw. über einen Bewegungsplaner 104 mit Regeln verfügen, um bei Ermittlung eines trockenen Bereichs, dessen Breite einen im Speicher 10 hinterlegten Wert überschreitet, sich durch diesen Bereich zu bewegen. Der Bewegungsplaner 104 kann bspw. über Regeln zur Ermittlung eines Mindestabstands zum feuchten Bereich verfügen, bspw. durch Einträgen der als feucht klassifizierten Bereiche in eine Karte und Abgleich der eigenen Position mit der Karte. Das System verfügt über eine Ausgabeeinheit (2 oder 192) und im Speicher 10 hinterlegte Regeln zum Hinweisen auf die als feucht detektierte Fläche und/oder Warnungen. Der Bewegungsplaner 104 kann bspw. hinterlegte Regeln aufweisen, die das System anweisen, seine Bewegung in einer vorgegebenen Zielfahrtrichtung abzubrechen, wenn die ermittelte Breite des feuchten Bereichs einen Schwellwert überschreitet oder die Breite des ermittelten trockenen Bereichs einen Schwellwert unterschreitet, ähnlich wie Regeln aus dem Stand der Technik, bei denen sich ein mobiles System auf ein Hindernis zubewegt. Zudem kann das System über eine Einheit zum Senden einer Nachricht an einen Server und/oder Terminal 13 verfügen.

Klassifizierungsverfahren gestürzter Personen

[0223] Der Serviceroboter 17 verfügt in einem Aspekt über eine Sturzerkennung, d.h. der Serviceroboter 17 ist derart konfiguriert, dass der Serviceroboter 17 Stürze von Personen direkt oder indirekt detektieren kann. Diese Auswertung von Sturzereignissen 3300 ist in Fig. 33 dargestellt. Indirekt bedeutet, dass der Serviceroboter 17 auf externe Sensorik zurückgreift, direkt bedeutet eine Auswertung mittels eigener Sensorik.

[0224] In einem Aspekt ist eine Person mit einer Sensoreinheit zur Sturzdetektion ausgestattet, d.h. der Serviceroboter 17 ist über eine Schnittstelle 188 (wie z.B. WLAN) mit einem externen Sturzsensor verbunden, der sich an der zu überwachenden Person befindet

3310. Diese Sensoreinheit beinhaltet mindestens eine Steuereinheit, eine Stromquelle, ggf. einen Speicher, eine Schnittstelle 188 (wie z.B. WLAN), und mindestens einen Inertialsensor zur Erfassung der Bewegungen der Person 3315, bspw. einen Beschleunigungssensor. In einem Aspekt werden die Signale des Inertialsensors innerhalb der Sensoreinheit im Schritt

3325 ausgewertet, in einem alternativen Aspekt werden die Signale im Schritt 3320 an den

Serviceroboter 17 übertragen, so dass eine Auswertung der Signale im Serviceroboter 17 realisiert wird 3330. Die erfassten Messwerte werden im Schritt 3335 dahingehend klassifiziert, ob die Person gestürzt ist. Diese Klassifizierung kann bspw. durch Messen einer

Beschleunigung erfolgen, die über einem definierten Schwellwert liegt. Basierend auf einer

Sturzdetektion erfolgt im Schritt 3345 dann über eine Schnittstelle 188 (wie z.B. WLAN) eine

Benachrichtigung, d.h. es wird bspw. ein Alarmsystem benachrichtigt und/oder ein Alarm (bspw. einen Alarmton) ausgelöst, etc. Sofern die Klassifizierung der erfassten Bewegungen innerhalb der Sensoreinheit erfolgt, wird die Benachrichtigung und/oder Alarmierung durch die Sensoreinheit (über eine Schnittstelle 188 (wie z.B. WLAN)) vorgenommen. Sofern der Serviceroboter 17 die Klassifizierung der Bewegungen durchführt, löst dieser die Benachrichtigung aus und/oder initiiert den Alarm.

[0225] In einem Aspekt ist die Sensoreinheit derart ausgestaltet, dass die Sensoreinheit zwecks Detektion der Schwere des Sturzes die Bewegungen der Person detektiert, dazu Messwerte erhebt und direkt innerhalb der Sensoreinheit und/oder über den Serviceroboter 17 eine Klassifizierung der Messwerte im Schritt 3340 erfolgt. Konkret bedeutet dies, dass hierbei erfasst wird, inwieweit die Person, die mit dem Beschleunigungssensor ausgestattet ist, sich weiterhin bewegt. Dazu können Beschleunigungs- und/oder Orientierungsdaten der Sensoreinheit ausgewertet werden. Im Speicher der Sensoreinheit und/oder des Serviceroboters 17 sind dazu Regeln hinterlegt, die, basierend auf den gemessenen Bewegungsdaten, unterschiedliche Benachrichtigungen auslösen. Bspw. kann, wenn nach einem detektieren Sturz die Sensoreinheit Bewegungsinformationen ermittelt, die über definierten Schwellwerten liegen und/oder welche derart klassifiziert werden, dass die gestürzte Person wieder aufsteht, die Benachrichtigung und/oder der Alarm modifiziert werden, bspw. derart, dass die Priorität der Benachrichtigung reduziert wird. Dagegen kann für den Fall, die Sensoreinheit detektiert nach einem Sturzereignis keine weitere Bewegung und/oder Lageänderung der gestürzten Person, die Benachrichtigung und/oder der Alarm modifiziert werden, bspw. die Priorität der Benachrichtigung erhöht werden. In einem Aspekt erfolgt die Benachrichtigung bzw. der Alarm erst nach Analyse des Bewegungsverhaltens der Person nach dem Sturz, d.h. ggf. erst mehrere Sekunden nach dem eigentlichen Sturz, wodurch sich ggf. die mit dem Sturzereignis assoziierten Benachrichtigungen reduzieren.

[0226] In einem Aspekt ist der Serviceroboter 17 mit einer drahtlosen Sensoreinheit ausgestattet, um Sturzereignisse einer Person im Schritt 3350 zu ermitteln. Bei dieser Sensoreinheit kann es sich um eine Kamera 185, bspw. eine 3D-Kamera, einen Radarsensor und/oder einen Ultraschall sensor 194 handeln bzw. um Kombinationen aus mindestens zwei Sensoren. Dabei wird die Sensoreinheit bspw. dazu genutzt, eine Person zu identifizieren und/oder die Person im Zeitablauf im Schritt 3355 zu tracken, was bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 umgesetzt wird. So kann bspw. der Serviceroboter 17 mit einer Kinect oder Astra Orbbec ausgestattet sein, d.h. einer RGB-D-Kamera 185, welche mittels im Stand der Technik beschriebenen Verfahren in der Lage ist (bspw. mittels Kamera-SDK, NUITrack, OpenPose, etc.), ein Skelettmodell detektierter Personen im Schritt 3360 zu erstellen, in welchem Körpergelenke als Gelenkpunkte und die die Gelenkpunkte verbindenden Körperteile dargestellt werden, bspw. als Richtungsvektoren. Im Rahmen einer Merkmalsextraktion 3365 werden hierbei verschiedene Orientierungen der Richtungsvektoren wie auch Distanzen von Gelenkpunkten zur detektieren Oberfläche ermittelt, auf der sich die detektierten Personen bewegt. Im Rahmen einer Merkmalsklassifizierung 3370 wertet der Serviceroboter 17 aus, ob die detektierte Person steht bzw. geht, sitzt, oder ggf. gestürzt ist. Dabei können die Regeln der Merkmalsklassifizierung in einem Aspekt fest vorgegeben sein, in einem alternativen und/oder ergänzenden Aspekt können die Regeln durch den Serviceroboter 17 selbst gelernt werden. Bei diesem Erlernen werden Aufnahmen von Personen, die gestürzt sind, wie auch Aufnahmen von Personen, die nicht gestürzt sind, ausgewertet, wobei durch ein Labelling festgelegt worden ist, um welchen Fall es sich hierbei handelt. Darauf basierend kann der Serviceroboter 17 mittels Verfahrens des maschinellen Lernens/der künstlichen Intelligenz Klassifikationen vornehmen, die es erlauben, künftige Aufnahmen von Personen dahingehend zu klassifizieren, ob diese gestürzt sind oder nicht.

[0227] Eine Sturzdetektion erfolgt hierbei bspw. auf Basis der Extraktion der folgenden Merkmale im Schritt 3367, wobei die Körperteile mit Blick auf den Sturz ausgewertet, d.h. klassifiziert werden: Distanzen und Distanzänderungen hin zum Fußboden bzw. aus den Distanzen oder Distanzänderungen abgeleitete Beschleunigungen (bspw. über definierte Mindestzeiträume) von Gelenkpunkten in eine Richtung, deren vertikale Richtungskomponente größer ist als eine horizontale Richtungskomponente, wobei die vertikale Richtungskomponente vorzugweise in Richtung Erdmittelpunkt zeigt. Beispielsweise kann eine detektierte Distanz des Hüftgelenkpunkts zum Boden von weniger als 20 cm als ein Sturzereignis klassifiziert werden, eine Distanzänderung von bspw. größer 70 cm hin zu weniger als 20 cm, oder eine Beschleunigung des Hüftgelenkpunkts in Richtung Boden ebenfalls, wobei diese Beschleunigung z.B. eine definierte Zeitdauer unterschreitet (bspw. 2 Sek). Alternativ und/oder ergänzend kann auch die Orientierung von mindestens einem Richtungsvektor (als Verbindung zweier Gelenkpunkte) im Raum bzw. die Änderung des Richtungsvektors im Raum als ein Sturzereignis klassifiziert werden. Dazu zählt bspw. eine Orientierung der Wirbelsäule und/oder der Beine, die im Wesentlichen horizontal ist, als Sturzereignis, insbesondere nach einem erfolgten Orientierungswechsel (bspw. aus der im Wesentlichen Vertikalen in die im Wesentlichen Horizontale), der optional innerhalb eines definierten Zeitraums erfolgt. In einem alternativen und/oder ergänzenden Aspekt wird durch die 3D-Kamera die Höhe der Person ermittelt. Unterschreitet die Höhe der Person eine definierte Höhe, wird damit ein Sturzereignis detektiert. Alternativ und/oder ergänzend zur Höhe der Person kann auch die Fläche ermittelt werden, die die Person auf dem Boden einnimmt. Dazu kann, in einem Aspekt, die Fläche durch eine vertikale Projektion der getrackten Person auf den Boden ermittelt werden.

[0228] Nach klassifiziertem Sturzereignis triggert der Serviceroboter 17 eine Benachrichtigung und/oder einen Alarm im Schritt 3345, bspw. über eine Schnittstelle 188 (wie z.B. WLAN), als akustischer Alarm über einen Lautsprecher 192, usw.

[0229] Für den Fall, der Serviceroboter 17 detektiert Personen mittels Radar und/oder Ultraschall 194, werden dazu vornehmlich die äußeren Dimensionen der Person erfasst, inklusive ihrer Höhe. Wird dabei eine Höhenreduktion detektiert, ggf. eine Beschleunigung der Höhenreduktion, so wird dies als Sturzereignis klassifiziert, ggf. in Verbindung der Unterschreitung von Schwellwerten. Alternativ und/oder ergänzend kann der Serviceroboter 17 auch die Fläche der Person klassifizieren, die diese Person (in einem Beispiel vertikal projiziert) auf dem Boden einnimmt.

[0230] In einem Aspekt erfasst der Serviceroboter 17 auch die Position des Kopfs der Person im Schritt 3369. Diese Position wird mit Blick auf den Boden und/oder (die Position) detektierter Hindernisse getrackt. Dies heißt bspw. dass durch die Sensoreinheit (Kamera 185, Radar und/oder Ultraschall sensor 194) detektierte Wände erfasst werden. Alternativ und/oder ergänzend kann die Position der Wände auch mittels des LIDARs 1 ermittelt werden. Der Serviceroboter 17 vergleicht die horizontale Position des Kopfs der Person mit der (horizontalen) Position von Wänden und/oder anderen Hindernissen im Raum.

[0231] In einem alternativen und/oder ergänzenden Aspekt wird dabei auch die vertikale Position berücksichtigt. So kann bspw. die Kamera 185 auch Distanzen des getrackten Kopfs zu Objekten im dreidimensionalen Raum wie Tischen auswerten. Der (zweidimensionaler, im Wesentlichen horizontal ausgerichteter) LID AR 1 würde bspw. die Tischbeine erkennen, aber nicht notwendigerweise die Position einer Tischplatte im Raum, welche die Person im Falle eines Sturzes mit dem Kopf berühren könnte. Die kamerabasierte Auswertung dagegen erlaubt die dreidimensionale Erfassung von dem Kopf und anderen Hindernissen im Raum und die Ermittlung des Abstands zwischen diesen anderen Hindernissen und dem Kopf, welche im Rahmen der Klassifizierung im Schritt 3374 ausgewertet wird. Wird durch den Serviceroboter 17 das Unterschreiten eines Abstandswerts zwischen dem Kopf und einem der anderen Hindernisse detektiert, wird ein Wert im Speicher des Serviceroboters 17 modifiziert und ggf. eine separate Benachrichtigung bzw. einen separaten Alarm ausgelöst.

[0232] Der Serviceroboter 17 trackt ferner die Person nach ihrem Sturz und erfasst, inwieweit diese sich wieder aufrichtet oder aufzurichten versucht, d.h. es erfolgt eine Post-Sturz- Bewegungserfassung und -klassifizierung im Schritt 3340. Inwieweit bedeutet bspw., dass Distanzen hin zum Boden, Beschleunigungen in vertikaler, zum Boden gegenläufige Richtungen, die Orientierung der Körperteil- bzw. Gliedmaßen- Vektoren, die Höhe und/oder die (projizierte) Fläche der Person ausgewertet werden. In einem Aspekt wird auch der Grad der Positionsänderungen von Gelenkpunkten ausgewertet. Es findet eine Klassifizierung dahingehend statt, wieweit die Person sich bewegt oder gar aufzustehen versucht. Damit werden in einem Speicher des Serviceroboters 17 Werte angepasst und, in einem Aspekt, der Grad der Benachrichtigung über die Schnittstelle 188 (wie z.B. WLAN) /den Alarm modifiziert. Praktisch bedeutet dies, dass je nach Schwere des Sturzes unterschiedliche Alarme und/oder Benachrichtigungen erfolgen können. Es sind auch Kombinationen aus Klassifizierung des Sturzes mittels an der Person getragenem Sensor und Sensordatenauswertung innerhalb des Serviceroboters 17 mittels Kamera 185, Radar- und/oder Ultraschall 194 möglich. Zusammengefasst stellt sich der Ablauf der Bewertung eines Sturzereignisses wie folgt dar: Erfassung und Tracking der Bewegungen einer Person, Detektion eines Sturzereignisses mittels einer Merkmalsextraktion und Klassifizierung der Orientierung von Gliedmaßen und/oder dem Rumpf der Person, Detektion und Klassifikation der Bewegungen der Person nach erfolgtem Sturz und Bewertung der Schwere des Sturzereignisses.

[0233] In einem Aspekt ist der Serviceroboter 17 auch in der Lage, mittels seiner Sensorik Vitalparameter der gestürzten Person im Schritt 3380 zu erfassen. Dazu kann bspw. ein integrierter Radarsensor wie ein Ultra weitband-Radar dienen, wie dies an anderer Stelle erläutert wurde. Hierbei können, in einem Aspekt, mittels Radar und/oder kamerabasierten Verfahren Körperteile der Person detektiert werden, die nicht durch Kleidung bedeckt sind, und auf diesen Arealen bspw. mittels Radar eine Messung des Pulses der Person vorgenommen werden. Diese Information kann bei der Klassifizierung der Benachrichtigung und/oder des Alarms berücksichtigt werden, in einem Aspekt können die Vitalparameter wie bspw. der Puls auch mit der Benachrichtigung übermittelt werden.

[0234] Das System zur Sturzklassifikation ist in Fig. 70 näher illustriert. Demnach umfasst das System zur Detektion des Sturzes einer Person, bspw. ein Serviceroboter 17, einen Speicher 10, mindestens einem Sensor zur berührungslosen Erfassung der Bewegungen der Person im Zeitverlauf, ein Personenidentifizierungsmodul 111 und ein Personentracking- Modul 112 oder 113, ein Sturzdetektions-Modul 5405 zur Extraktion von Merkmalen aus den Sensordaten und Klassifizierung der extrahierten Merkmale als Sturzereignis, einem Sturzereignis-Bewertungs-Modul 5410 zur Klassifizierung der Schwere des Sturzereignisses. Das System kann ferner eine Schnittstelle 188 zu einem Server und/oder Terminal 13 zwecks Übermittlung von Nachrichten verfügen. Das Sturzdetektions-Modul 5405 kann z.B. über ein Skelett-Erstellungs-Modul 5635 zur Erstellung eines Skelettmodells einer Person verfügen. Das Sturzdetektions-Modul 5405 kann Klassifikationen zur Ermittlung von Distanzen oder Distanzänderungen von aus dem Skelettmodell stammenden Gelenkpunkten zum Boden; Beschleunigungen von Gelenkpunkten in vertikaler Richtung; die Orientierung von Richtungsvektoren, die sich aus der Verbindung von mindestens zwei Gelenkpunkten ergeben; die Orientierungsänderung der Richtungsvektoren; die Höhe und/oder Höhenänderung der Höhe der Person bspw. über das Personengröße-Auswertungs-Modul 5655, welches die Höhe der Person bspw. durch Vektorsubtraktion zweier Richtungsvektoren ermittelt, die von einem gemeinsamen Ursprung zu mindestens einem Fuß und mindestens dem Kopf der Person reichen; die Fläche, die eine in vertikale Richtung projizierte Person auf dem Boden einnimmt, und/oder die Position des Kopfes der Person relativ gesehen zum Boden und/oder relativ gesehen zu detektierten Hindernissen umfassen. Das System kann ferner eine Vitalparameter-Erfassungs-Einheit 5415 zur Erfassung von Vitalparametem der Person (z.B. eine Kamera 185, einen LID AR 1, einen Radar- und/oder einen Ultraschallsensor 194) und ein Vitalparameter- Auswertungs-Modul (5420) zur Auswertung erfasster von Vitalparametern der Person umfassen. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Bewegungsauswertungsmodul 120 und/oder skelettmodell- basiertes-Merkmalsextraktions-Modul 5640.

Sturzprävention

[0235] In einem Aspekt erfasst der Serviceroboter 17 während der Durchführung eines Tests und/oder einer Übung Vitalparameter der Person, wie im Schritt 3400 in Fig. 34 dargestellt. Dazu identifiziert und trackt der Serviceroboter 17 die Person, bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 in Verbindung mit einer Kamera 185 oder einem LID AR 1. Dazu finden eine Personenidentifizierung und ein Personentracking im Schritt 3355 statt, wozu das Personenidentifizierungsmodul 111 genutzt wird. Das System befindet sich (optional) vor der Person (Schritt 3420) und bewegt sich (optional) vor der Person her im Schritt 3430. Es findet eine Identifizierung und ein Tracking der Körperregion der Person im Schritt 3440 statt, mit der die Übung und/oder der Test durchgeführt wird, um durch Messung an bzw. auf dieser Körperregion Vitalparameter im Schritt 3450 zu erfassen. Als Körperregion kommen bspw. das Gesicht der Person, die Hände, der Brustbereich usw. infrage. Das Vorgehen zur Detektion einer solchen Körperregion wurde jeweils an anderer Stelle in diesem Dokument und/oder im Stand der Technik beschrieben. Beispielhaft für die gemessenen Vitalparameter seien die Pulsrate, Pulsratenvariabilität, der systolische und/oder diastolische Blutdruck genannt, oder aber die Atmung der Person (wie z.B. die Atemfrequenz). Wie diese beispielhaft genannten Vitalparameter durch den Serviceroboter 17 bspw. ermittelt werden können, wurde an anderer Stelle in diesem Dokument beschrieben. Es sind jedoch auch andere Verfahren möglich, um die Ermittlung der Vitalparameter vorzunehmen. Die Erfassung der Vitalparameter erfolgt mit mindestens einem Sensor wie die Kamera 185 und/oder der Radarsensor (bspw. einem Mikrowellen-Pulsradar, einem entfernungskontrollierten Radar, einem Doppler-Radar, einem Continuos Wave-Radar, einem Ultraweitbandradar) und/oder Kombinationen daraus, welche die genannten Körperregionen der Person und die Vitalparameter erfasst, vorzugsweise im Zeitverlauf.

[0236] In einem Aspekt ermittelt der hierbei eingesetzte Sensor Bewegungen auf und/oder unter der Haut und/oder der Bekleidung der Person. In einem alternativen und/oder ergänzenden Aspekt werden die Bewegungen der Hautoberfläche und/oder der Bekleidung der Person relativ zur Bewegung der Person ausgewertet, mit der sich die Person zum Serviceroboter 17 bewegt, d.h. es erfolgt eine Korrektur der erfassten Signale der Körperregion um die Bewegung der Person 3460. Dazu erfasst der Serviceroboter 17 neben der Körperregion, die zwecks Ermittlung der Vitalparameter ausgewertet wird, mindestens eine weitere Körperregion und ermittelt den Abstand dieser weiteren Körperregion zum Serviceroboter 17. Dabei wird die Erfassung der Bewegungen der zwecks Auswertung der Vitalparameter ausgewerteten Körperregion und der zwecks Ermittlung der Relativbewegung der Person erfassten Körperregion synchron zueinander. Die Erfassung der Körperregion zwecks Ermittlung der Relativbewegung kann bspw. Mittels des LIDARs 1 erfolgen, mittels der Kamera 185, bspw. der RGB-D-Kamera 185, Ultraschall- und/oder Radarsensoren 194.

[0237] Die Messung, die der Serviceroboter 17 vornimmt, kann eine kontinuierliche oder diskontinuierliche Messung sein, d.h. bspw. in Intervallen von 10 Sekunden. Die gemessenen Vitalparameter werden im Speicher des Serviceroboters 17 im Schritt 3470 abgelegt und können über eine Schnittstelle 188 (wie z.B. WLAN) an andere Systeme übertragen werden. Der Serviceroboter 17 vergleicht die ermittelten Vitalparameter mit in einem Speicher hinterlegten Schwellwerten im Schritt 3480. Diese im Speicher hinterlegten Werte können fest hinterlegt sein und/oder sich dynamisch aus Vergangenheitswerten der erfassten Vitalparameter ergeben, bspw. als Durchschnittswerte zuvor aufgezeichneter Werte, die über ein Zeitintervall ausgewertet werden. Wird ein Über- oder Unterschreiten der erfassten Vitalparametem von den Schwellwerten im Schritt 3490 erkannt, modifiziert der Serviceroboter 17 bspw. einen Wert in einem Speicher. Diese Modifizierung kann mindestens eines der folgenden Ereignisse triggern: Es wird eine Ausgabeeinheit (Display 2,

Lautsprecher 192, Projektionsvorrichtung 920, usw.) im Schritt 3492 getriggert, d.h. bspw. eine Sprachausgabe initiiert. So kann der Serviceroboter 17 hierbei, in einem Aspekt, die Person auffordern, ihre Geschwindigkeit zu reduzieren. In einem alternativen und/oder ergänzenden Aspekt kann der Serviceroboter 17 die Person auffordern, sich zu setzen. Ergänzend oder unabhängig davon kann der Serviceroboter 17 eine definierte Position ansteuern 3498. Dabei kann es sich um mindestens eine Sitzgelegenheit handeln, der Koordinaten in der Karte des Serviceroboters 17 zugeordnet sind. Der Serviceroboter 17 kann anschließend auf diese Sitzgelegenheit zusteuern. Bei der Sitzgelegenheit kann es sich um einen Stuhl handeln. Den Stuhl kann der Serviceroboter 17 über seine implementierte Sensorik direkt in seinem Umfeld identifizieren (wie an anderer Stelle in diesem Dokument beschrieben wurde), der Serviceroboter 17 kann alternativ und/oder ergänzend auch auf einer Karte des Serviceroboters 17 im Kartenmodul 107 abgespeichert sein. Der Serviceroboter 17 kann bei Detektion der Abweichungen der Vitalparameter eine Benachrichtigung im Schritt 3494 triggern, d.h. bspw. über eine Schnittstelle 188 (wie z.B. WLAN) eine Benachrichtigung versenden und/oder einen Alarm auslösen. Weiterhin kann er, in einem Aspekt, seine Geschwindigkeit im Schritt 3496 reduzieren.

[0238] In einem Anwendungsbeispiel führt der Serviceroboter 17 mit einer Person eine Gangübung durch, bspw. ein Gangtraining an Unterarmstützen. Dabei bewegt sich der Serviceroboter 17 vor der Person her, während diese dem Serviceroboter 17 folgt. Der Serviceroboter 17 erfasst dabei mittels mindestens einem Sensor die Person und führt eine Merkmalsextraktion, eine Merkmalsklassifizierung sowie einer Gangablaufklassifizierung durch, um den Gangablauf der Person auszuwerten. Dabei erfasst die auf den Serviceroboter 17 montierte Kamera 185 das Gesicht der Person und ermittelt den systolischen und diastolischen Blutdruck im Zeitverlauf, welcher jeweils in einem Blutdruck-Speicher in dem Serviceroboter 17 abgelegt wird. Die ermittelten Messwerte des Blutdrucks werden im Zeitverlauf ausgewertet, optional gespeichert und mit in dem Blutdruck-Speicher hinterlegten Werten verglichen. Alternativ und/oder ergänzend erfolgt ein Vergleich der Messwerte mit solchen, die vor einem definierten Zeitraum t ermittelt wurden, bspw. t=10 Sekunden. Fällt der systolische Blutdruck um mindestens 20 mm Hg und/oder der diastolische Blutdruck um mehr als 10 mm Hg, was bspw. auf erhöhte Sturzgefahr hindeuten kann, so wird im Speicher des Serviceroboters 17 das Blutdruck-Wert modifiziert. Als Folge dessen erfolgt durch den Serviceroboter 17 eine Sprachausgabe, dass die Person ihre Gehgeschwindigkeit reduzieren soll. Durch die reduzierte Geschwindigkeit verringert sich für den Fall, dass die Person einen Schwächeanfall erleidet und dabei stürzt, das Verletzungsrisiko. Der Serviceroboter 17 reduziert seine Geschwindigkeit und sendet, über eine Schnittstelle 188 (wie z.B. WLAN) wie WLAN eine Benachrichtigung an einen Server, der wiederum Personal im Umfeld des Serviceroboters 17 alarmiert und zur Unterstützung ruft. Der Serviceroboter 17 versucht optional, innerhalb seines Umfelds, d.h. innerhalb eines definierten Abstands zu seiner Position, einen Stuhl zu detektieren. Sofern der Serviceroboter 17 einen Stuhl detektiert, navigiert der Serviceroboter 17 langsam zu diesem Stuhl und fordert über eine Ausgabe die Person auf, sich zu setzen.

[0239] In einem ähnlichen Beispiel erfasst der Serviceroboter 17 beim Absolvieren einer Gangübung durch Auswerten der Bewegungen des Brustkorbs und/oder des Bauchbereichs der Person deren Atemfrequenz im Zeitablauf, was mittels eines Ultraweitband-Radarsensors geschieht, der auf dem Serviceroboter 17 montiert ist. Die erfassten Messwerte werden ebenfalls in einem Speicher abgelegt und mit in einem Speicher abgelegten Messwerten verglichen. Alternativ und/oder ergänzend erfolgt ein Vergleich der Messwerte mit solchen, die vor einem definierten Zeitraum t ermittelt wurden, bspw. t=10 Sekunden. Verändert sich die Atemfrequenz um einen Wert, der über einem Schwellwert liegt, erfolgen die Schritte, die im vorigen Abschnitt bereits für Messwertabweichungen des Blutdrucks beschrieben wurden. [0240] Das System zur Erfassung von Vitalparametem kann nach Fig. 71 wie folgt beschrieben werden: Das System zur Erfassung von Vitalparametern einer Person, bspw. ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und mindestens einem Sensor zur berührungslosen Erfassung der Bewegungen der Person im Zeitablauf (wie bspw. eine Kamera 185, einen LID AR 1, einen Ultraschall- und/oder Radarsensor 194, bspw. ein Personenidentifizierungsmodul 111 und ein Personentracking-Modul (112, 113) zum Erfassen und Tracken der Person, ein Vitalparameter-Auswertungs-Modul 5420. Es umfasst weiterhin ein Körperregions-Detektions-Modul 4810 und ein Körperregion-Tracking-Modul 4815 zum Tracking der Erfassungsregion der Vitalparameter und eine Vitalparameter-Erfassungs- Einheit 5415 zur Erfassung von Vitalparametem der Person, bspw. im Zeitverlauf, berührungslos und/oder berührungsbasiert. Das Vitalparameter-Auswertungs-Modul 5420 kann bspw. einen Vergleich der erfassten Vitalparametem mit mindestens einem hinterlegten Schwellwert vornehmen und basierend auf dem Vergleich eine Benachrichtigung eines Systems über eine Schnittstelle 188, eine Ausgabe über eine Ausgabeeinheit (2 oder 192), eine Geschwindigkeitsänderung des Systems (bspw. eine Geschwindigkeitsreduzierung) und/oder eine Ansteuerung einer Zielposition des Systems initiieren. Letztere werden bspw. durch ein Navigationsmodul (110) umgesetzt bspw. durch Anpassung einer Pfadplanung zu einer Sitzgelegenheit wie einen Stuhl, der sich bspw. innerhalb eines definierten Mindestabstands vom System befindet. Der im Vitalparameter-Auswertungs-Modul 5420 genutzte Schwellwert kann aus zuvor erfassten Vitalparametem dynamisch ermittelt werden, bspw. basierend auf einer Mittelwertbildung erfasster Vitalparameter über ein definiertes Zeitintervall. Das Vitalparameter-Auswertungs-Modul 5420 kann weiterhin die Erfassung von Körperbewegungen der Person und eine Auswertung der erfassten Vitalparameter unter Abgleich der erfassten Körperbewegungen vornehmen. Bei den erfassten Vitalparametem kann es sich um die Pulsrate, Pulsratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz handeln. In einem Aspekt kann das System über eine Schnittstelle 188 Daten eines an einer Person befestigten Vitalparameter-Sensor 5425 erfassen und im Vitalparameter- Auswertungs-Modul 5420 auswerten. Ein Applikationsmodul 125 verfügt über Regeln zur Durchführung mindestens einer Übung, bspw. die in diesem Dokument als Beispiele hinterlegten Übungen. In einem Aspekt kann mittels der erfassten und ausgewerteten Vitalparameter eine Ermittlung des Sturzrisikos erfolgen, bspw. des akuten Sturzrisikos, bei dem ein Sturz innerhalb eines nur mehrere Minuten langen Zeitintervalls zu erwarten ist. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112, 113), Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635 und/oder skelettmodell- basiertes-Merkmalsextraktions-Modul 5640.

Erkennung eines erhöhten Sturzrisikos einer Person

[0241] Ältere Personen weisen häufig eine erhöhte Sturzgefahr auf. Im Stand der Technik finden sich verschiedene Studien, die eine ganze Reihe von Faktoren identifiziert haben, die einen signifikanten Einfluss auf das Sturzrisiko aufweisen. So zeigen bspw. Espy et al (2010) „Independent Influence of Gait Speed and Step Length on Stability and Fall Risk“, Gait Posture, Juli 2010, Bd. 32 (3), Seiten 278-282, (DOI: 10.1016/j.gaitpost.2010.06.013) in einer experimentellen Arbeit, dass langsames Gegen zu einem erhöhten Sturzrisiko führt, dass jedoch durch kürzere Schrittlängen reduziert werden kann. Senden et al., „Accelerometry- based Gait Analysis, an additional objective approach to screen subjects at risk for falling, Gait Posture, Juni 2012, Bd. 36(2), Seiten 296-300, (DOI: 10.1016/j.gaitpost.2012.03.015) zeigen u.a. mittels Beschleunigungssensoren, dass sowohl lange Schritte als auch schnelles Gehen mit einer erhöhten Sturzgefahr (ermittelt nach dem standardisierten Tinetti-Test) einhergehen wie auch die gemittelte Quadratwurzel der vertikalen Beschleunigung des Körpers. Vorangegangen Stürze wurden durch eine geringere Symmetrie im Gangablauf vorhergesagt, welche durch den Beschleunigungssensor ermittelt wurde. Van Schooten et al. (2015), „Ambulatory Fall-Risk Assessment: Amount and Quality of Daily-Life Gait Predict Falls in Older Adults, Journals of Gerontology: Series A, Bd 70(5), Mai 2015, Seiten 608-615 (DOI: 10.1093/gerona/glu225) nutzen ebenfalls Beschleunigungssensoren und zeigen, dass eine höhere Varianz in der Doppelschrittlänge/Gangzyklus in Gangrichtung und eine geringere Amplitude beim Gang in vertikaler Richtung mit einem erhöhten Sturzrisiko assoziiert ist. Kasser et al (2011), „A Prospective Evaluation of Balance, Gait, and Strength to Predict Falling in Women with Multiple Sclerosis, Archives of Physical Medecine and Rehabilitation, Bd 92(11), Seiten 1840-1846, November 2011 (veröffentlicht am 16. August 2011) (DOI: 10.1016/j.apmr.2011.06.004) berichtet ebenfalls von erhöhter Asymmetrie im Gangablauf als signifikanten Prediktor des Sturzrisikos.

[0242] In einem Aspekt ist der Serviceroboter 17 derart konfiguriert, dass der Serviceroboter 17 der Gangablauf einer Person auf deren Sturzrisiko hin auswertet, wie in Fig. 35 erläutert ist. Die Person meldet sich in einem (optionalen) Aspekt am Serviceroboter 17 an 3510, was mittels einer Eingabeeinheit, einem RFID-Transponder, einem Barcode, etc. geschehen kann. Der Serviceroboter 17 führt anschließend eine Personenidentifizierung mittels seines Personenidentifizierungsmoduls durch und trackt anschließend die Person 3355, bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking- Moduls 113. Für dieses Tracking kommt ein Sensor zum Einsatz, der eine berührungslose Erfassung der Person ermöglicht, bspw. eine Kamera 185, ein Ultraschall sensor und/oder ein Radarsensor 194. Der Serviceroboter 17 fordert die Person, deren Sturzrisiko bewertet werden soll, über eine Ausgabe 3520 einer Ausgabeeinheit auf, dem Serviceroboter 17 zu folgen. Dieser Serviceroboter 17 befindet sich (optional) vor der Person im Schritt 3420, bewegt sich vor der Person her (optional) im Schritt 3525 und erfasst (optional) deren Geschwindigkeit im Schritt 3530. Dies geschieht in einem Aspekt über eine Ermittlung der Geschwindigkeit des Serviceroboters 17 bei synchroner Erfassung des Abstands der identifizierten Person, wodurch die Relativgeschwindigkeit der Person zum Serviceroboter 17 und über die Geschwindigkeit des Serviceroboters 17 selbst die Geschwindigkeit der Person ermittelt wird. Die Geschwindigkeit des Serviceroboters 17 selbst wird über dessen Odometrieeinheit 181 ermittelt und/oder über das Tracken von in der hinterlegten Karte des Serviceroboters 17 hinterlegten Hindernissen und der Relativbewegung des Serviceroboters zu diesen Hindernissen.

[0243] Der Serviceroboter 17 führt eine Merkmalsextraktion im Schritt 3365 durch, um Merkmale aus dem Skelettmodell im Schritt 3360 zu extrahieren, wie bspw. die Position von Gelenkpunkten 3541, Richtungsvektoren, welche Gelenkpunkte miteinander verbinden 3542, das Lot durch eine Person, usw. Alternativ und/oder ergänzend können auch Merkmale aus Inertialsensoren, die an mindestens einer Gliedmaße der Person befestigt sind, etc. extrahiert werden, wie die Momentanbeschleunigung 3543, die Richtung einer Beschleunigung 3544, usw. An die Merkmalsextraktion 3365 schließt sich eine Merkmalsklassifizierung 3370 an, bei der mehrere Merkmale in Kombination bewertet werden. Ein Beispiel sei hier die Geschwindigkeit der Person genannt, die alternativ und/oder ergänzend zu der oben beschriebenen Methode als Merkmal aus den erfassten Daten des Serviceroboters 17 ermittelt werden kann, wobei die einzelnen klassifizierten Merkmale bspw. die Schrittlänge 3551 und/oder Doppelschrittlänge 3552 der Person sein können, die der Serviceroboter 17 über die Zeit erfasst und die Geschwindigkeit über die Schrittlänge pro erfasster Zeiteinheit ermittelt, wobei in einem Aspekt mehrere Schritte ausgewertet werden. Dabei wird die Schrittlänge im Rahmen der Merkmalsextraktion 3365 in einem Aspekt über die Position der Fußgelenkpunkte im Skelettmodell extrahiert, wobei das Skelettmodell im Schritt 3360 durch das Auswerten von Kameraaufzeichnungen der Person erstellt wird. Im Fall der Auswertung von Daten des Inertialsensors, der z.B. am Fuß oder Knöchel angebracht ist, werden die Zeitpunkte und die Zeiten zwischen diesen Zeitpunkten erfasst/extrahiert, in denen eine Kreisbewegung durch den Sensor angefangen wird zu ermitteln, deren Radius in Richtung Boden zeigt, d.h. es werden hierzu die Richtungsvektoren der Beschleunigung 3544 ausgewertet. Es wird die Momentanbeschleunigung im Schritt 3543, bevorzugt in der Sagittal ebene, ermittelt bzw. extrahiert, und über die Momentangeschwindigkeiten im Schritt 3543 und die Zeitdauer zwischen den genannten Zeitpunkten die zurückgelegte Strecke im Rahmen der Merkmalsklassifizierung ermittelt, welche dann die Schrittlänge im Schritt 3551 darstellt. Dabei handelt es sich einzeln betrachtet jeweils um extrahierte Merkmale, die in dieser Kombination klassifiziert werden. In einem alternativen und/oder ergänzenden Aspekt wird das Fußgelenk mittels eines Radarsensors und/oder Ultraschall sensors 194 erfasst. Alternativ und/oder ergänzend wird das Fußgelenkpunkt über die Position des Kniegelenkpunkts, eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert, und der Höhe des Kniegelenkpunkts über dem Boden im Fall des Durchgangs des Richtungsvektors durch das Lot ermittelt, wobei die Höhe des Kniegelenkpunkts über dem Boden im Fall des Durchgangs des Richtungsvektors durch das Lot die Entfernung angibt, in der sich das Fußgelenkpunkt vom Kniegelenkpunkt aus gesehen befindet. Die genannte Doppelschrittlänge 3552 wird über die Distanzen zwischen den erfassten Fußgelenkpunkten ermittelt, wobei in einem Aspekt die Einzelschrittlängen 3551 sukzessive addiert werden.

[0244] In einem alternativen und/oder ergänzenden Aspekt wertet der Serviceroboter 17 pro Doppelschritt die jeweilige Länge und/oder Zeitdauer für die Einzelschritte innerhalb eines Doppel Schritts aus und setzt die Länge bzw. die Zeitdauer im Schritt 3553 zueinander in Beziehung. Der Serviceroboter 17 addiert die erfassten Werte von mehr als einem Doppel schritt, um über mehr als einen Doppelschritt einen Durchschnittswert zu ermitteln. In einem Aspekt wertet der Serviceroboter 17 Flexion und/oder Extension 3554, d.h. die Winkel des Oberschenkels im Vergleich zum Lot, aus.

[0245] Der Serviceroboter 17 wertet dann die erfasste Geschwindigkeit der Person, die erfasste Schrittlänge und die Doppelschrittlänge aus sowie die Kadenz. In einem alternativen und/oder ergänzenden Aspekt wird die Standdauer im Schritt 3555 von mindestens einem Fuß, bspw. beider Füße und bspw. jeweils über mehrere Schritte, ebenfalls ausgewertet. Alternativ und/oder ergänzend kann auch die Spurweite im Schritt 3556 ausgewertet werden, wobei die Distanz zwischen den Fußgelenken ausgewertet wird. Weiterhin erfasst der Serviceroboter 17 weitere Gelenkpunkte aus dem Skelettmodell der Person, wie bspw. den Kopf, die Schultergelenkpunkte, die Becken/Hüftgelenkpunkte, etc. und erfasst deren Position im Raum, bspw. dreidimensional, und wertet diese Parameter im Zeitverlauf aus. Diese Auswertung umfasst in einem Aspekt die Höhe dieser Parameter über dem Boden, aber auch deren Bewegung in der Sagittalebene (sowohl vertikal als auch horizontal). In einem Aspekt wird dazu auch die Beschleunigung von mindestens einem der genannten Punkte aus dem Skelettmodell ausgewertet 3557.

[0246] Der Serviceroboter 17 speichert die erfassen Werte im Schritt 3570 ab, klassifiziert über die klassifizierten Merkmale den Gangablauf im Schritt 3580 und vergleicht ihn mit einer in seinem (oder in einem über eine Schnittstelle 188 (wie z.B. WLAN) verfügbaren) Speicher hinterlegten Gangablaufklassifikation im Schritt 3585. Dazu wird mindestens eines der genannten klassifizierten Merkmale, bevorzugt mehrere, (gemeinsam) ausgewertet und mit solchen aus dem Speicher verglichen. Auf Basis des Vergleichs der Serviceroboter 17 ermittelt der Serviceroboter 17 einen Score, der das Sturzrisiko im Schritt 3590 wiedergibt, bspw. eine Wahrscheinlichkeit, dass die erfasste Person binnen eines definierten Zeitraums stürzt. In einem Aspekt beinhaltet die Klassifikation Werte für eine ermittelte Geschwindigkeit, Kadenz (Schritte pro Minute) und Schrittlänge in Abhängigkeit von Personenparametem wie der Personengröße. Personen werden bspw. mit einem erhöhten Sturzrisiko assoziiert, wenn sie bei Durchschnittsgröße eine Schrittgeschwindigkeit von ca. lm/s, eine Kadenz von weniger als 103 Schritten/min und eine Schrittlänge von unter 60 cm aufweisen. Alternativ und/oder ergänzend werden erfasste Beschleunigungen im dreidimensionalen Raum ausgewertet und mittels diskreter Fouriertransformation die Harmonischen gebildet. Dann wird das Verhältnis der aufsummierten Amplituden der geraden Harmonischen durch die aufsummierten Amplituden der ungeraden Harmonischen gebildet. Werte aus der Vertikalbeschleunigung, die unter 2,4 liegen, Wert der Beschleunigung in Gehrichtung, die in der Sagittalebene liegen und einen Wertz unter 3 aufweisen, und Werte der seitlichen Beschleunigung in der Frontalebene, die unter 1,8 liegen, deuten auf ein erhöhtes Sturzrisiko hin. Die entsprechenden Auswertungen werden im Gangmerkmalsklassifizierungs-Modul 5610 ausgewertet. Dabei werden bspw. auch mehrere Parameter wie Beschleunigungen, Schrittlänge, Kadenz usw. zugleich ausgewertet. [0247] Zusammengefasst kann bspw. das System zur Ermittlung eines Scores, der das Sturzrisiko einer Person beschreibt, wie bspw. ein Serviceroboter 17, wie in Fig. 72 illustriert beschrieben werden. Das System zur Ermittlung eines Scores, der das Sturzrisiko einer Person beschreibt, umfasst einen Rechner 9, einen Speicher 10 und einem Sensor zur Erfassung der Bewegungen einer Person im Zeitablauf (inklusive eines Gangablaufs) wie bspw. eine Kamera 185, einen LID AR 1, einen Ultraschall- und/oder Radarsensor 194, ein Bewegungsablaufextraktionsmodul 121 und ein Bewegungsablaufbewertungsmodul 122, in einem Aspekt konfiguriert zur Ermittlung eines Sturzrisiko-Scores innerhalb eines Sturzrisiko-Ermittlungsmodul 5430, bspw. unter Auswertung von Beschleunigungen in horizontaler und/oder vertikaler Ebene, Schrittweite, Geschwindigkeit und/oder daraus abgeleiteten Größen, usw.. Das Bewegungsablaufextraktionsmodul 121 kann ein Gangmerkmalsextraktions-Modul 5605 zur Merkmalsextraktion eines Gangablaufs, das Bewegungsablaufbewertungsmodul 122 ein Gangmerkmalsklassifizierungs-Modul 5610 zur Merkmalsklassifizierung eines Gangablaufs auf Basis der extrahierten Merkmale (z.B. der Gelenkpunkte eines Skelettmodells der erfassten Person, Richtungsvektoren zwischen den Gelenkpunkten des Skelettmodells, Beschleunigungen der Gelenkpunkte oder der Richtungsvektoren, die Position der Gelenkpunkten zueinander im Raum und/oder aus Richtungsvektoren abgeleitete Winkel) und ein Gangablaufklassifizierungs-Modul 5615 für eine Gangablaufklassifizierung (umfassend bspw. die Schrittlänge, die Länge des Doppel Schritts, die Schrittgeschwindigkeit, das Verhältnis der Schrittlängen im Doppel schritt, die Flexion und/oder Extension, die Standdauer, die Spurweite, und/oder den Verlauf (Position) und/oder die Distanz von Gelenkpunkten zueinander und/oder Beschleunigung von Gelenkpunkten), wobei bspw. die Klassifikation einen Vergleich erfasster Gangabläufe mit im Speicher hinterlegte Gangabläufen umfasst sowie eine die Ermittlung des Sturzrisiko- Scores. Das Gangablaufklassifizierungs-Modul 5615 kann ein Personen-Geschwindigkeits- Modul 5625 zur Ermittlung der Geschwindigkeit der Person umfassen, wobei die Ermittlung der Geschwindigkeit der Person über die Anzahl und Schrittweite der zurückgelegten Schritte der Person je Zeiteinheit, relativ zur Geschwindigkeit einer Erfassung- und Auswertungseinheit bzw. des Systems, unter Einbeziehung einer Odometrieeinheit 181, unter Einbeziehung von in einer Karte erfassten Hindernissen und/oder relativ zur Position von in einer Karte erfassten Hindernissen erfolgt. Daneben umfasst das System ein Personenidentifizierungsmodul 111 und ein Personentracking-Modul (112 oder 113) und Komponenten (z.B. 2, 186) zur Anmeldung der Person am System verfügt, wobei bspw. visuelle Merkmale der Person gespeichert und im Rahmen des Personenreidentifiziemngsmoduls (114) genutzt werden. Über eine Schnittstelle 188 kann das System Sensordaten eines Inertialsensors 5620 erhalten und diese Sensordaten im Bewegungsablaufextraktionsmodul 121 auswerten. Der Sensor kann bspw. an der Person, bspw. an den unteren Gliedmaßen, oder aber an einer von einer Person genutzten Gehhilfe wie einer Achsel- oder Unterarmstütze angebracht sein und Bewegungen der Gehhilfe erfassen.

[0248] In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635 und/oder skelettmodell- basiertes-Merkmalsextraktions-Modul 5640. Vom Ablauf her stellt sich die Ermittlung eines Sturzrisiko-Scores, der in einem Aspekt das latente (und nicht das akute) Sturzrisiko beschreibt), wie folgt dar: Erfassung des Gangablaufs einer Person (bspw. durch den genannten Sensor zur berührungslosen Erfassung der Person, Extraktion von Merkmalen des erfassten Gangablaufs, Klassifikation der extrahierten Merkmale des Gangablaufs, Vergleich von mindestens zwei der klassifizierten Merkmale des Gangablaufs mit einer in einem Speicher hinterlegten Gangablaufklassifikationen und Ermittlung eines Sturzrisiko-Scores.

Durch den Serviceroboter ausgeführter Mobilitätstest (Tinettitest)

[0249] Der Serviceroboter 17 ist in einem Aspekt derart konfiguriert, dass der Serviceroboter 17 verschiedene Körperpositionen und/oder Bewegungen einer Person auswerten kann, im Sitzen, im Stehen, im Gehen, wie in den Fig. 36-52 dargestellt ist, um eine ganzheitliche Sicht auf die Mobilität einer Person zu erhalten. Eine Reihe der Verfahrensschritte findet sich in den meisten Schritten wieder, daher wurden diese exemplarisch in Fig. 36 zusammengefasst. Dabei kann sich im Schritt 3525 der Serviceroboter 17 beim Gehen in einem Aspekt vor der Person, in einem alternativen Aspekt sich hinter der Person herbewegen. Dazu kann, wie an anderer Stelle in diesem Dokument beschrieben, eine Anmeldung im Schritt 3510 der Person am Serviceroboter 17 erfolgen, sowie im Schritt 3355 eine Personenidentifizierung und ein Personentracking durch den Serviceroboter 17, bspw. mittels des visuellen Personentracking- Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 in Verbindung mit einem LID AR 1 und/oder einer Kamera 185. In einem weiteren Aspekt kann der Serviceroboter 17 über eine Ausgabeeinheit die Person zu bestimmten Handlungen im Schritt 3521 auffordern, bspw. aufzustehen, zu laufen, usw., wobei die Ausgaben über das Display 2, die Sprachausgabe, etc. erfolgen können. Dieser Schritt 3521 ist optional bzw. abhängig von der jeweiligen Auswertung. Die Auswertung erfolgt in einem Aspekt bevorzugt im Zeitablauf, wofür definierte Zeitintervalle genutzt werden. Dazu nutzt der Serviceroboter 17 in einem Aspekt Informationen aus dem Skelettmodell, welches durch die Aufnahme der Person durch den mindestens einen 3D-Sensor und/oder die Kamera 185 im Schritt 3360 erstellt wird und mittels SDKs aus dem Stand der Technik umgesetzt werden kann. Es findet eine Merkmalsextraktion im Schritt 3365 statt, die bspw. Gelenkpunkte im Schritt 3541 und Richtungsvektoren zwischen Gelenkpunkten im Schritt 3542 umfasst. Anschließend findet eine Merkmalsklassifizierung im Schritt 3370 statt, die im Detail insbesondere von der Aufgabenstellung der Auswertung abhängt. Die Ergebnisse der Merkmalsklassifikation im Schritt 3370 werden (optional) gespeichert und zusammenhängend klassifiziert, was wiederum aufgabenstellungsabhängig ist, weshalb dieser Verfahrensschritt als weiterführende Klassifizierung im Schritt 3700 in Fig. 36 bezeichnet wird. Hierbei kann, in einem Aspekt, ein Schwellwertvergleich erfolgen. Anschließend wird pro Aufgabenstellung ein Score ermittelt. Erfasste Daten wie Daten, die durch vollständige oder anteilige Auswertung und/oder Klassifizierung entstehen, können (auch zwischenzeitlich) abgespeichert werden.

[0250] In einem Aspekt kann bei der Merkmalsklassifizierung im Schritt 3370 eine Vielzahl von Gelenkpunkten aus der Merkmalsklassifikation in Schritt 3365 simultan ausgewertet werden, ohne dass jeweils eine explizite Festlegung von Winkeln, die sich aus den Verbindungen der Gelenkpunkte ergeben, erfolgt. Vielmehr kann die Lage im dreidimensionalen Raum (hilfsweise eine Lageschätzung für den dreidimensionalen Raum basierend auf zweidimensionalen Daten) vorgenommen werden, die auf Klassifikatoren beruht, bei denen Körperposen aufgezeichnet wurden, die als korrekt oder inkorrekt gekennzeichnete Posen beschreiben und daraufhin die Klassifikatoren ermittelt wurden. Alternativ können Körperposen vorgegeben werden, die einen korrekten Ablauf beschreiben und für die die Positionen und der Verlauf der Gelenkpunkte im Zeitverlauf ausgewertet wird. Hierbei kann jeweils der Verlauf von Gelenkpunkten bspw. auf Basis einer Demonstration einer Körperpose ausgewertet werden und darauf basierend ein Klassifikator erstellt werden, der dann mit weiteren erfassten, als korrekt vorgegebenen Körperposen und den daraus abgeleiteten Verläufen der Gelenkpunkte im Raum verglichen wird, wobei danach erneut ein Klassifikator erstellt wird, der auf Basis aller vorliegenden Gelenkpunktverlaufsdaten berücksichtigt. Hierzu kann bspw. der Dagger-Algorithmus in Python eingesetzt werden. Auf diesem Weg wird bspw. durch ein neuronales Netzwerk ein Klassifikator erstellt, der eine korrekte Bewegung erkennt und demzufolge auch Bewegungen, die nicht korrekt ablaufen. Körperposen, die dabei ausgewertet und klassifiziert werden, sind (nicht abschließend) die in den nachfolgenden Absätzen genannten, darunter die Sitzbalance, das Aufstehen, der Versuch aufzustehen, die Stehbalance in verschiedenen Kontexten, der Gangbeginn, Gangsymmetrie, Schrittkontinuität, Wegabweichung, Rumpfstabilität, Drehung um 360°, das Sich-Setzen bzw. Absetzen, der Einsatz von Unterarmstützen, usw.

Sitzbalance

[0251] Im Rahmen der Auswertung erfasst der Serviceroboter 17 die Person und wertet aus, inwieweit eine sitzende Person sich zur Seite lehnt, auf einem Stuhl rutscht oder sicher bzw. stabil sitzt. Hierbei werden Merkmale des Skelettmodells extrahiert, bspw. die Gelenkpunkte der Knie, des Beckens, der Schulter, des Kopfs, usw. und es werden Richtungsvektoren zwischen den einzelnen Gelenkpunkten genutzt, um die Orientierung der Körperteile/Gliedmaßen der Person zu erfassen und auszuwerten. So wird in einem Aspekt der Richtungsvektor zwischen mindestens einem Schulter- und mindestens einem Hüftgelenkpunkt ausgewertet (bevorzugt jeweils auf einer Körperhälfte; und/oder parallel zur Wirbelsäule) und dessen Abweichung zur Vertikalen/Lot 3601 in Fig. 37.

[0252] In einem weiteren Aspekt wird die Orientierung der Person auswertet, d.h. in diesem Fall, es wird mindestens ein Richtungsvektor zwischen den Schulterpunkten, den Hüftpunkten, bspw. auch den Knien, etc. im Schritt 3603 erfasst. Bevorzugt wird dabei mehr als ein Richtungsvektor erfasst. Dieser Richtungsvektor wird bspw. dafür genutzt, die Frontalebene der Person im Schritt 3602 zu bestimmen, welche parallel zu diesem Richtungsvektor verläuft. In einem weiteren Aspekt wird die Position der Hüfte im Raum erfasst und Abweichungen im Zeitverlauf in der Transversal ebene im Schritt 3604 ausgewertet. Darüber wird ermittelt, inwieweit die Person bspw. auf ihrem Platz hin- und her rutscht.

[0253] Im Rahmen der Sitzbalance-Klassifizierung im Schritt 3710 wird die Abweichung und/oder Neigung des Richtungsvektors zwischen mindestens einem Schulter- und mindestens einem Hüftgelenkpunkt von der Vertikalen/Lot in der Frontalebene im Schritt 3711 ausgewertet. Weiterhin wird die Veränderung (Amplitude, Frequenz, etc.) der Position der Schultergelenkpunkte in der Transversalebene im Schritt 3712 ermittelt. Es erfolgt ein Schwellwertvergleich im Schritt 3713 über diese beiden Schritte 3711 und 3712 und/oder ein Vergleich mit Mustern wie bspw. Bewegungsmustern. Ist mindestens einer der ermittelten Werte größer als ein Schwellwert (wie bspw. 1,3m), wird das Messergebnis als eine niedrige Sitzbalance im Schritt 3714 klassifiziert, andernfalls als eine hohe Sitzbalance im Schritt 3715. Dafür wird jeweils ein Score im Schritt 3716 vergeben, der in einem Sitzwert-Speicher abgelegt wird.

Auf stehen

[0254] In einem Aspekt wertet der Serviceroboter 17 aus, inwieweit die Person in der Lage ist aufzustehen (siehe auch Fig. 38). Im Rahmen der Merkmalsextraktion identifiziert der Serviceroboter 17 Objekte und/oder Hindernisse im Schritt 3545, wie dies im Stand der Technik beschrieben ist. Exemplarisch extrahiert der Serviceroboter 17 hier die Punktwolke nahe der getrackten Handgelenkpunkte und führt eine Segmentierung der Punktwolke durch, die es erlaubt, die Hände von den Objekten zu differenzieren. Diese Segmentierung geschieht bevorzugt in Echtzeit (mit bspw. 30 fps). In einem Aspekt kann die erfasste Punktwolke auch mit in einem Speicher hinterlegten Punktwolken verglichen werden, denen bspw. Objekte zugeordnet sind, um so eine Assoziation zwischen sensorisch erfassten Objekten und deren semantischer Bedeutung herzustellen, die es wiederum ermöglicht, bestimmte Objekte als relevanter als andere einzustufen, so bspw. einen Stuhl mit Armlehne oder eine Gehhilfe im Vergleich zu bspw. einer Vase.

[0255] Im Rahmen der Merkmalsklassifizierung findet eine Ermittlung des Stehens im Schritt 3610 statt. Dazu wird eine Distanzmessung zwischen Kopf und Boden im Schritt 3611 vorgenommen, bspw. auf Basis der Position des Kopfgelenkpunkts und mindestens eines Fußgelenkpunkts. Diese Werte werden im Schritt 3614 ggf. mit in einem Speicher hinterlegten Werten verglichen und/oder mit einem Schwellwert und/oder Muster. Ist die ermittelte Höhe hierbei bspw. größer als der Schwellwert (bspw. 1,4m), wird die Person als stehend im Schritt 3616 klassifiziert, andernfalls als sitzend im Schritt 3617. Alternativ und/oder ergänzend zur Höhe der Person wird auch die Orientierung der Richtungsvektoren zwischen dem mindestens einen Fuß- und mindestens einem Kniegelenkpunkt, dem mindestens einen Knie- und mindestens einen Hüftgelenkpunkt und mindestens einen Hüft- und mindestens einen Schultergelenkpunkt im Schritt 3612 ausgewertet, wobei im Fall, dass diese drei Richtungsvektoren im Wesentlichen parallel zueinander sind, wie bspw. ein Schwellwertvergleich 3615 und/oder Mustervergleich zeigen kann, wobei der Schwellwert bspw. auf Basis der Abweichung von der Parallelen errechnet wird. Alternativ und/oder ergänzend wird die Orientierung eines Richtungsvektors zwischen mindestens einem Knie- und mindestens einem Hüftgelenkpunkt dahingehend ausgewertet, inwieweit dieser Richtungsvektor im Wesentlichen senkrecht ist. Ist diese Abweichung von der Parallelen und/oder von der Senkrechen kleiner als der Schwellwert klassifiziert, erfasst der Serviceroboter 17 diese Merkmale als Stand im Schritt 3616, andernfalls als Sitzen 3 im Schritt 617.

[0256] Des Weiteren erfolgt im Schritt 3620 die Detektion, ob eine Hand ein Hilfsmittel nutzt, wobei ein Hilfsmittel hierbei breit verstanden wird als eine Gehhilfe, eine Armlehne eines Stuhls, eine Wand, etc., d.h. alles, was eine Person nutzen kann, um sich beim Aufstehen hochzuhelfen. Es erfolgt eine Abstandsermittlung im Schritt 3621 zwischen mindestens einem Handgelenk und mindestens einem der extrahierten Objekte. Sofern die Abstände der mindestens einen Hand von dem oder den Objekten bzw. Hindernissen einen Schwellwert 3622 (bspw. 8 cm) unterschreiten, wird dies als Hilfsmittelbenutzung im Schritt 3623 klassifiziert, andernfalls als keine Hilfsmittelbenutzung im Schritt 3624. In einem Aspekt wird dabei ein Mindestabstand zum Körper der betrachteten Person vorausgesetzt, d.h. zu den Gelenkpunkten und/oder Richtungsvektoren, die die Gelenkpunkte miteinander verbinden.

[0257] Im Rahmen der Aufstehklassifizierung 3720 klassifiziert der Serviceroboter 17 wie folgt: befindet sich die Person nach einer definierten Zeit sich im Stand 3721 oder erfolgt eine Eingabe von einer Person 3722, insbesondere eine Eingabe, dass die Person nicht in der Lage ist (alleine) aufzustehen, wird die Situation als eine Situation im Schritt 3723 klassifiziert, in der die Person Hilfe braucht. Erfolgt der Stand binnen einer definierten Zeit im Schritt 3724 und nutzt die Person Hilfsmittel im Schritt 3623, wird die Person als eine Person im Schritt 3725 klassifiziert, die Hilfsmittel benötigt, um aufzustehen 3725. Der dritte Fall, der hier klassifiziert wird, ist der Fall, dass die Person keine Hilfsmittel im Schritt 3624 benötigt und innerhalb eines definierten Zeitraums den Stand im Schritt 3724 erreicht, womit die Person ohne Hilfsmittel im Schritt 3726 aufstehen kann. Basierend auf den Schritten wird 3723, 3725 und 3726 wird eine Aufsteh-Score 3727 ermittelt.

Versuche aufzustehen

[0258] In einer Variante der vorangegangenen Erfassung des Aufstehens werden alternativ und/oder ergänzend Aufstehversuche ermittelt (Fig. 39). Innerhalb der

Merkmalsklassifizierung wird daher, ergänzend zur Merkmalsklassifizierung in Fig. 38, der

Richtungsvektor Knie-Hüfte auf seine waagerechte Position hin ausgewertet, d.h. inwieweit der Serviceroboter 17 parallel zur Transversal ebene ist. [0259] Im Rahmen der Aufstehversuchs-Merkmalsklassifizierung 3730 laufen folgende Schritte ab: Wird auf Basis der Informationen aus der Aufstehversuchs- Merkmalsklassifizierung 3370 kein Stand binnen einer definierten Zeit im Schritt 3731 detektiert oder erfolgt durch die Person eine Eingabe im Schritt 3732 und (im Vergleich zu den Schritten 3731 und 3732) wird kein Hilfsmittel im Schritt 3624 detektiert, so wird die Person im Schritt 3733 derart klassifiziert, dass ohne Hilfe kein Aufstehen möglich ist. Werden keine Hilfsmittel im Schritt 3624 detektiert und sind die lokalen Maxima ungleich dem globalen Maximum sowie ist die Anzahl der lokalen Maxima größer 1, werden mehrere Auf Stehversuche im Schritt 3735 detektiert. Hierzu wird der Verlauf der Gelenkpunkte, die den Stand definieren, im Zeitablauf ausgewertet und/oder der Winkel oder die Winkeländerung des Richtungsvektors zwischen der Hüfte und den Knien mit Bezug zur Waagerechten (alternativ: Senkrechten), wobei die Waagerechte über die Transversalebene beschrieben wird. Wird hierbei bspw. 2x detektiert, dass der Winkel sich von ca. 0° (Transversal ebene) etwa zu ca. 30° ändert (Änderung in eine Drehrichtung), es aber anschließend Änderungen in eine andere Drehrichtung gibt (bspw. wieder 30°), und dann erst eine Winkeländerung »30° detektiert wird, bspw. 90°, werden drei Auf Stehversuche detektiert (von denen der letzte erfolgreich war). Werden dagegen keine Hilfsmittel im Schritt 3624 detektiert erfolgt der Stand 3616, wird die Situation im Schritt 3736 als eine Situation klassifiziert, in der die Person keine Hilfsmittel benötigt. Insgesamt wird auf Basis der Schritte 3733, 3735 und 3736 ein Aufstehversuchs-Score 3737 vergeben.

Stehbalance

[0260] In einem alternativen und/oder ergänzenden Aspekt wertet der Serviceroboter 17 die Stehbalance einer Person aus, wie Fig. 40 aufzeigt. Ergänzend zu vorangegangenen Auswertungen findet in der Merkmalsklassifizierung 3370 eine Balanceermittlung 3630 statt. Dazu wird die Amplitude, Orientierung und/oder Frequenz der Positionsänderung mindestens einem der Schultergelenkpunkte, mindestens einem der Hüftgelenkpunkte oder mindestens einem der Fußgelenkpunkte in der Transversalebene 3631 im Zeitverlauf (bspw. 5 Sekunden lang) ausgewertet und es findet ein Schwellwertvergleich im Schritt 3632 statt und/oder ein Vergleich mit Mustern wie bspw. Bewegungsmustern. In diesem Kontext kann, mit Blick auf die Fußgelenkpunkte, in einem Aspekt auch die Schrittlänge und/oder Existenz von Schritten ausgewertet werden. Sind Amplitude, Orientierung und/oder Frequenz der Positionsänderung geringer als der Schwellwert 3632 (wie bspw. eine seitliche Schwankung von 10 cm) und/oder entsprechen sie nicht einem Muster, wird von Stabilität 3635 ausgegangen, andernfalls von Instabilität 3636. Alternativ und/oder ergänzend können die Abweichung (Amplitude, Orientierung und/oder Frequenz mindestens eines Richtungsvektors (Fuß, Knie oder Hüfte zu mindestens einem darüber liegenden Gelenkpunkt) aus dem Lot und/oder in der Sagittal- und/oder der Frontal ebene in den Schritten 3633 3631 im Zeitverlauf (bspw. 5 Sekunden lang) ausgewertet werden. Zu den darüber liegenden Gelenkpunkten gehört bspw. neben mindestens einem Schultergelenkpunkt auch ein Kopfgelenk. Auf Basis eines Schwellwertvergleichs im Schritt 3634 werden Abweichungen, die unter dem Schwellwert liegen und/oder einem Muster, als stabil 3635 bezeichnet, andernfalls als instabil 3636. Die Stehbalance-Klassifizierung im Schritt 3740 klassifiziert die Person mit einem unsicheren Stand 3741, wenn die Person steht 3616 und dabei instabil 3636 ist. Die Person wird der Klasse „Sicherer Stand mit Hilfsmitteln“ zugeordnet, wenn die Person steht 3616, Hilfsmittel 3623 nutzt und in der Balance stabil 3635 ist. Von einem sicheren Stand ohne Hilfsmittel 3743 wird ausgegangen, wenn die Person steht 3616, keine Hilfsmittel nutzt 3624, und stabil 3635 steht. Basierend auf dieser Einstufung wird ein Stehbalance- Score 3744 vergeben.

Stehbalance bei Füßen dicht beieinander

[0261] Alternativ und/oder ergänzend zu einer vorangegangenen Auswertung der Stehbalance (siehe Fig. 41) wird, bevorzugt nach einer Ausgabe 3521 durch den Serviceroboter 17, die die Person auffordert, die Füße im Stand enger aneinanderzustellen, im Rahmen der Merkmalsklassifizierung 3370 der Fußabstand 3640 ermittelt. Hierzu werden aus der Position der extrahierten Gelenkpunkte 3541 die Fußgelenkpunkte und/oder die Kniegelenkpunkte genutzt, in einem Aspekt ebenfalls die Orientierung der Richtungsvektoren 3542 zwischen Hüftgelenkpunkt und Kniegelenkpunkt und/oder Knie- und Fußgelenkpunkt. Auf Basis dieser Daten wird der Abstand der Fußgelenkpunkte 3641 ermittelt, in einem Aspekt innerhalb der Frontalebene. Es wird anschließend mittels eines Schwellwertvergleichs 3642 und/oder Mustervergleich klassifiziert, ob die Füße weit 3643 oder eng (d.h. geringer Abstand 3643) beieinanderstehen, wobei als Schwellwert bspw. 12 cm angesetzt werden kann (von Gelenkmitte zu Gelenkmitte).

[0262] In der sich daran anschließenden Stehbalance-Fußabstand-Klassifizierung 3745 wird der Stand in drei Klassen klassifiziert: In der ersten Klasse (unsicherer Stand 3746) werden die Personen eingruppiert, die stehen 3616, und in der Balance instabil 3636 sind. In der zweiten Klasse werden die stehende Personen 3616, die stabil stehen 3635, mit Hilfsmitteln 3623 oder weitem Fußabstand 3644 eingestuft. Der dritten Klasse werden die Personen zugeordnet, die stehen 3616, dabei in der Balance stabil 3635 sind, und das ohne Hilfsmittel 3624 und mit geringem Fußabstand 3643. Diese Einstufung mündet in einem Stehbalance- Fußabstand- Score 3749.

[0263] In einem Aspekt können die Fußgelenkpunkte ggf. nicht direkt aus den Daten des SDKs gewonnen werden, welches das Skelettmodell extrahiert, sondern alternativ über den Kniegelenkpunkt. Dabei werden die Position des Kniegelenkpunkts, der Richtungsvektor, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert, und die Höhe des Kniegelenkpunkts über dem Boden im Fall des Durchgangs des Richtungsvektors (zwischen einem Hüft- und Kniegelenkpunkt oder einem Kniegelenkpunkt und dem Boden) durch das Lot ermittelt, wobei die Höhe des Kniegelenkpunkts über dem Boden im Fall des Durchgangs des Richtungsvektors durch das Lot die Entfernung angibt, in der sich das Fußgelenkpunkt vom Kniegelenkpunkt aus gesehen befindet.

Stehbalance und Stoß

[0264] Alternativ und/oder ergänzend zu einer zuvor beschriebenen Auswertung der

Stehbalance erfasst der Serviceroboter 17 die Person, welche mindestens einen Stoß auf den

Rücken erhält (siehe Fig. 42). Im Rahmen einer Stoßerfassung 3650 wird die Bewegung der

Hüfte nach vorne im Schritt 3651 ausgewertet, d.h. innerhalb der Sagittal ebene. Alternativ und/oder ergänzend wird eine Eingabe am Serviceroboter 17 oder eine Ausgabe im Schritt

3652 ausgewertet. Die Bewegungen (wie eine Beschleunigung) der Hüfte werden einem

Schwellwertvergleich im Schritt 3653 und/oder einem Mustervergleich unterzogen. Wird der

Schwellwert nicht überschritten bzw. das Muster nicht detektiert, wird kein Stoß im Schritt

3654 detektiert, andernfalls ein Stoß im Schritt 3655. Alternativ und/oder ergänzend kann bspw. auch eine Eingabe in den Serviceroboter 17 erfolgen, dass der Patient nachfolgend gestoßen wird, und/oder es kann eine Ausgabe erfolgen, die bspw. ein Stoßkommando darstellt, in dessen Folge die Person gestoßen wird, so dass die Konsequenzen des Stoßes auf die Balance der erfassten Person ausgewertet werden können. Die Stehbalance beim Stoß wird anschließend durch die Stehbalance-Stoß-Klassifizierung 3750 ausgewertet. Dabei werden mindestens zwei Klassen unterschieden: a) Die Stehbalance ist sicher/stabil 3753, was sich durch den Stand 3616, die Stabilität der Balance 3635, keine Hilfsmittel 3624 und einen geringen Fußabstand 3643 nach erfolgtem Stoß 3655 auszeichnet b) die Person weist einen

Stand bei Ausweichbewegungen 3752 auf, d.h. sie macht Ausweichschritte oder stützt sich, steht aber. Hierzu weist die Person einen Stand auf 3616, nutzt Hilfsmittel 3623, ist instabil

3636 (was sich durch Ausweichbewegungen verdeutlicht), weist einen geringen Fußabstand 3643 auf, und es erfolgte zuvor ein Stoß 3655. Diese Einstufung mündet in einem Stehbalance- Stoß- Score 3754.

Stehbalance und geschlossene Augen

[0265] Alternativ und/oder ergänzend zu einer zuvor beschriebenen Auswertung der Stehbalance wird die Stehbalance bei geschlossenen Augen erfasst und ausgewertet. Hierzu kann in einem Aspekt der Serviceroboter 17 das Gesicht der Person erfassen, deren Augen, und durch Änderungen der Farbe, des Farbkontrasts, etc., welche durch eine RGB-Kamera erfasst werden, zwischen geschlossenen und offenen Augen unterscheiden. Alternativ und/oder ergänzend erfolgt eine Ausgabe des Serviceroboters 17, bspw. akustisch, die die Person auffordert, die Augen zu schließen. Die Erfassung der Bewegungen erfolgt jeweils nach Detektion der geschlossenen Augen und/oder der Ausgabe. Dabei wird die Stehbalance analog zu Fig.42 ermittelt, nur dass hierbei kein Stoß ausgewertet wird, und im Ergebnis werden ein stabiler oder instabiler Stand klassifiziert, der in einen Stehbalance-Augen- Score mündet.

Gangbeginn

[0266] Alternativ und/oder ergänzend zu einer zuvor beschriebenen Auswertung erfasst der Serviceroboter 17, bevorzugt nach einer Ausgabe, die eine Aufforderung zum Gehen beinhaltet, das Gangverhalten der getrackten Person und ermittelt die Zeitdauer bis zum Gangbeginn, wie in Fig. 43 dargestellt. Im Rahmen der Merkmalsklassifizierung 3370 findet eine Gangermittlung 3660 statt. Dabei wird, in einem Aspekt, die Positionsänderung der Schultergelenkpunkte/ Hüftgelenkpunkte, Fußgelenkpunkte in Transversalebene ermittelt und/oder die Abstände der Fußgelenkpunkte 3661, jeweils im Zeitablauf. Es findet ein Schwellwertvergleich im Schritt 3662 und/oder Mustervergleich statt, und bei Überschreiten des Schwellwerts (bspw. 10 cm) wird von einem Gehen und/oder Gehversuchen ausgegangen 3666, andernfalls nicht 3665. Alternativ und/oder ergänzend kann der Kurvenverlauf von Gelenkpunkten in der Sagittalebene 3663 ausgewertet werden, wobei Schwellwerte und/oder Kurvenvergleiche 3664 bzw. Mustervergleiche herangezogen werden können. Darauf basierend wird die Bewegung in ein Gehen und/oder Gehversuche 3666 oder kein Gehen 3665 klassifiziert. Gehversuche werden in einem Aspekt darüber detektiert, dass die Bewegung in der Sagittal- oder Transversalebene relativ langsam und/oder diskontinuierlich erfolgt, wobei relativ langsam impliziert, dass ein Schwellwert unterschritten wird. Im Rahmen der Gangbeginn-Klassifizierung 3755 wird die Zeitdauer zwischen Aufforderung und Gehbewegung 3756 ausgewertet. Liegt diese Gehbewegung bspw. über einem Schwellwert (wie 2 Sekunden) und/oder werden verschiedene Gehversuche im Schritt 3666 detektiert, wird dies als Zögem/verschiedene Versuche im Schritt 3757 klassifiziert. Findet diese Gehbewegung innerhalb eines Zeitintervalls statt, dass unter dem Schwellwert liegt, wird dies als kein Zögern im Schritt 3758 klassifiziert. Das Ergebnis wird mit einem Gehbeginn-Score 3759 bewertet.

Schrittposition

[0267] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen wertet der Serviceroboter 17 die Gehbewegung einer Person (wie bspw. im vorigen Abschnitt beschrieben) aus, wie auch in Fig. 44 näher dargestellt, um die Schrittlängen des linken und/oder des rechten Beins zu bestimmen.

[0268] Der Serviceroboter 17 erfasst im Rahmen Merkmalsklassifizierung 3370 den Abstand der Fußgelenkpunkte zueinander im Zeitablauf, wobei die dabei auftretenden Maxima in der Sagittalebene der Schrittlänge 3672 entsprechen. Hierbei bewertet der Serviceroboter 17 wechselseitig die Position der Fußgelenkpunkte zueinander in der Sagittalebene. In einem Aspekt wird in der nachfolgend stattfindenden Schrittpositions-Klassifizierung 3760 die Fußlänge berücksichtigt, wozu die Fußlänge im Schritt 3675 ermittelt wird. In einem Aspekt wird diese über die Höhe bzw. Größe der Person interpoliert, wobei in einem Speicher für unterschiedliche Größen einer Person unterschiedliche Fußlängen hinterlegt sind, d.h. es werden hierfür Referenzwerte aus dem Speicher im Schritt 3676 herangezogen.

[0269] Die hierbei ermittelten Werte werden im Rahmen der Schrittpositions-Klassifizierung 3760 weiter klassifiziert. Dazu wird in einem Aspekt die Schrittlänge zur Fußlänge in Bezug im Schritt 3761 gesetzt. Alternativ und/oder ergänzend wird die Position der jeweiligen Fußgelenkpunkte in der Sagittalebene beim Durchlaufen der Standphase bewertet, und es wird im Schritt 3762 verglichen, in welcher Position die Fußgelenkpunkte sich zueinander befinden 3762, wobei die Positionsdaten aus dem Schritt 3661 stammen.

[0270] Es wird anschließend bewertet, ob das jeweils betrachtete Bein vor den Fuß des anderen Beins gesetzt wird 3763 oder nicht 3764. Es wird vor den Fuß des anderen Beins gesetzt, wenn der Vergleich von Schrittlänge und Fußlänge im Schritt 3761 ergibt, dass die

Schrittlänge kürzer ist als die Fußlänge und/oder wenn die Fußgelenkpunktposition des betrachteten Beins in Gangrichtung in der Sagittalebene nicht vor den Fuß des anderen Beins gesetzt wird, wie die Position der Fußgelenkpunkte beim Durchlaufen der Standphase 3762 ergibt. Auf Basis dieser Klassifizierung wird ein Schrittpositions-Score 3765 vergeben. Eine derartige Auswertung kann, in einem Aspekt, separat für jedes Bein erfolgen.

[0271] Stand 3616 ist hierbei (und auch bei den weiteren (bspw. nachfolgenden) Auswertungen, bei denen es ums Gehen geht, so zu verstehen, dass die Person sich im Wesentlichen in einer aufrechten Position befindet, in der die Person sich auf einer Stelle befindet (de facto steht) oder eben auch gehen kann. Andernfalls könnten die beschrieben Verfahren Fortbewegungen der Person erfassen, die allgemein hin nicht als Gehen bezeichnet werden würden.

[0272] In einem Aspekt folgt der Serviceroboter 17 der Person während des Gangs oder fährt vor der Person her 3525, wobei der Serviceroboter 17 in einem Aspekt seine Geschwindigkeit an die Geschwindigkeit der Person anpasst 3530, wobei eine eventuell diskontinuierliche Geschwindigkeit der Person in eine kontinuierliche Geschwindigkeit des Serviceroboters 17 umgesetzt wird, bspw. durch Bildung eines Mittelwerts über die Geschwindigkeit der Person bzw. die Geschwindigkeit des Serviceroboters 17 über ein Zeitintervall gesteuert wird, das mit der Geschwindigkeit der Person im Zeitintervall angepasst wird.

Schritthöhe

[0273] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen erfasst der Serviceroboter 17, wie in Fig. 45 dargelegt, die Gehbewegung einer Person und klassifiziert die extrahierten Merkmale, so dass eine Fußhöhenermittlung 3680 (über dem Boden) erfolgt. Dazu wird, in einem Aspekt, die Amplitudenhöhe der Fußgelenkpunkte und/oder Kniegelenkpunkte zzgl. Richtungsvektoren im Zeitverlauf im Schritt 3681 und bspw. in der Sagittalebene ausgewertet, wobei mit Blick auf die Kniegelenkpunkte diese für die Ableitung der Fußgelenkpunkte genutzt werden wie bereits oben beschrieben. Alternativ und/oder ergänzend wird der Kurvenverlauf der Fußgelenkpunkte und/oder Kniegelenkpunkte zzgl. Richtungsvektoren im Schritt 3682 ausgewertet. Dabei werden insbesondere die Anstiege/ Abfälle der Amplituden aus, die als Proxy für die Schritthöhe dienen, ausgewertet, und es erfolgt ein Abgleich mit Schwellwerten und/ oder Referenzdaten im Schritt 3683. Hier wird in einem Aspekt die Sinusförmigkeit der Bewegungen erfasst, die mit einer höheren Wahrscheinlichkeit impliziert, dass das Bein weitestgehend vom Boden abgehoben wird, wobei eine Bewegung, die eher einer Trapezbewegung entspricht, mit einer höheren Wahrscheinlichkeit für eine Schleifbewegung spricht, bei der der Fuß nicht richtig vom Boden abgehoben wird. Im Rahmen der Schritthöhenklassifizierung 3770 werden die erfassten Schritthöhen über einen Schwellwertvergleich 3771 und/oder Mustervergleich ausgewertet. Wird der Schwellwert der Schritthöhen (bspw. 1 cm) unterschritten bzw. eine Unähnlichkeit mit einem Muster festgestellt, wird der Fuß als nicht vollständig vom Boden abgehoben im Schritt 3372 klassifiziert, andernfalls als vollständig vom Boden abgehoben im Schritt 3373. Mit Blick auf die ausgewerteten Kurvenverläufe kann, in einem Aspekt, auch direkt daraus auf einen abgehobenen oder nicht abgehobenen Fuß geschlossen werden. Die Ergebnisse der Klassifizierung fließen in den Schritthöhen- Score 3774 ein. Eine derartige Auswertung kann, in einem Aspekt, separat für jedes Bein erfolgen.

Gangsymmetrie

[0274] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen wertet der Serviceroboter 17 beim Erfassen des Gangs, wie bspw. in den vorangegangenen Abschnitten beschrieben wurde, die Symmetrie des Gangablaufs aus (siehe auch Fig. 46), was im Rahmen einer Gangsymmetrie-Klassifizierung 3775 erfolgt. Diese Gangsymmetrie-Klassifizierung 3775 nutzt insbesondere Daten aus der Schrittlängenermittlung 3760, d.h. die Schrittlängen 3762 und wertet diese in einem Aspekt aus, wenn die Person steht 3616 bzw. geht 3666. Im Rahmen dieser Gangsymmetrie-Klassifizierung wird das Schrittlängenverhältnis im Vergleich zu einem Schwellwert 3776 und/oder Bewegungsmuster im Zeitablauf ausgewertet. Dabei wird, in einem Aspekt, die Symmetrie der Schrittlängen pro Doppelschritt ausgewertet, wobei ein Doppelschritt über die Addition eines Schritts des linken und des rechten Beins (oder umgekehrt) erfolgt. Das Schrittlängenverhältnis kann, in einem Aspekt, als Verhältnis der Einzelschrittlängen zueinander gebildet werden, oder, in einem anderen Aspekt, als Verhältnis einer Einzelschrittlänge zur Doppelschrittlänge. Liegt das jeweilige Verhältnis unter einem Schwellwert bzw. weist ein Vergleich mit Mustern bspw. eine hohe Musterähnlichkeit auf, wird der Gangablauf als symmetrisch 3777 klassifiziert, andernfalls als unsymmetrisch 3778. So wird bspw. ein Schrittlängenverhältnis von 1:1,1 oder geringer (oder 60:66 cm beim Bezug zum Einzelschritt bzw. 60: 126 cm beim Bezug zum Doppel schritt) als symmetrisch klassifiziert, größere Verhältnisse als unsymmetrisch. Die Klassifizierungen werden anschließend in einen Gangsymmetrie-Score 3779 konvertiert.

Schrittkontinuität

[0275] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen wertet der Serviceroboter 17 beim Erfassen des Gangs, wie bspw. in den vorangegangenen Abschnitten beschrieben wurde, die Schrittkontinuität aus (siehe Fig. 47). Im Rahmen der Schrittlängenermittlung 3670 kann in einem Aspekt auch die Positionsermittlung der Fußgelenkpunkte in der Standphase 3673 erfolgen.

[0276] Im Rahmen der Schrittkontinuitäts-Klassifizierung 3780 wird, in einem Aspekt, beim Stand 3616 bzw. Gehen 3666 der Kurvenverlauf der Gelenkpunkte in der Sagittal ebene 3663 mit Blick auf die Symmetrie der Kurvenverläufe 3781 ausgewertet. Dabei wird eine hohe Symmetrie als kontinuierlicher Gangablauf 3784 klassifiziert, andernfalls als diskontinuierlicher Gangablauf 3785. Alternativ und/oder ergänzend werden die Schrittlängen 3672 bei gleichzeitiger Erfassung/Extraktion der Punkte ausgewertet, bei denen die Füße den Boden berühren, d.h. es erfolgt die Positionsermittlung der Fußgelenkpunkte in der Standphase 3673. Detektiert der Serviceroboter 17 bspw., dass zu den Zeitpunkten, bei denen linker und rechter Fuß (oder umgekehrt) den Boden berühren, der Abstand der Fußgelenkpunkte einen Schwellwert (bspw. 20 cm) unterschreitet bzw. in einem Mustervergleich eine Mindestähnlichkeit nicht aufweist, wie im Rahmen des Prozessschritts „Abstände Fußgelenke in Standphase im Vergleich zu Schwellwert“ 3782 ermittelt wird, wird diese Schrittkontinuität ebenfalls als diskontinuierlicher Gangablauf 3785 klassifiziert. Dies ist bspw. der Fall, wenn die Person stets einen Fuß vorsetzt und den zweiten Fuß nachzieht, so dass beide Füße im Standmoment in etwa parallel stehen. Alternativ und/oder ergänzend kann ein solcher Fall durch den Serviceroboter 17 auch dann detektiert werden, wenn beide Beine über einen definierten zeitlichen Schwellwert hinaus sich parallel (in der Sagittal ebene) befinden 3783. Die Klassifizierungen werden anschließend in einen Schrittkontinuitäts-Score 3786 konvertiert.

Wegabweichung

[0277] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen wertet der Serviceroboter 17 beim Erfassen des Gangs, wie bspw. in den vorangegangenen Abschnitten beschrieben wurde, die Abweichungen des Gangs von einer Linie aus, wie in Fig. 48 dargestellt, wobei die Linie virtuell oder real ist. Über die Ausgabe 3521 wird die Person aufgefordert, sich entlang einer Linie zu bewegen, die mindestens 2m lang ist, bevorzugt 3m. In einem Aspekt wird dabei auf eine Linienermittlung 3690 zurückgegriffen. Dabei kann in einem Aspekt eine Projektion einer Linie und/oder mindestens eine Markierung auf den Boden 3691 detektiert werden, in einem alternativen und/oder ergänzenden Aspekt werden mindestens eine Markierung und/oder eine Linie auf dem Boden im Schritt 3692 erfasst. In einem alternativen und/oder ergänzenden Aspekt wird die Markierung und/oder Linie durch den Serviceroboter 17 auf den Boden projiziert. Ein Beispiel, wie eine solche Projektion erfolgen kann, findet sich weiter oben in diesem Dokument. Die Linie kann auch virtuell sein und bspw. aus der direkten Verbindung der Person zu einer Markierung bestehen und/oder aus der Linie, bei der die Sagittalebene der Person den Boden schneidet, wobei die Linie zu Beginn der Auswertung ermittelt wird und/oder nach der Ausgabe 3521 der Aufforderung, die Distanz zurückzulegen.

[0278] Weiterhin findet eine Distanzermittlung statt 3910, um zu überprüfen, ob die Person die Distanz entlang der Linie zurückgelegt hat. In einem in Fig. 48 nicht näher dargestellten Aspekt kann es zu Ausgaben des Serviceroboters 17 kommen, um ggf. die Person anzuleiten, mehr Schritte zu gehen, um die Zieldistanz (bspw. 3m) zu erreichen, oder stehenzubleiben, wenn die Zieldistanz erreicht wurde. Die Distanzermittlung kann auf verschiedenen Wegen erfolgen. In einem Aspekt erfasst der Serviceroboter 17 die Distanz, die der Serviceroboter 17 zurücklegt 3911, bspw. mittels der Odometriedaten 3912 und/oder mittels Positionsdaten 3913, wobei die Distanz im letzteren Fall durch die Differenz aus mindestens zwei Positionen ermittelt wird. Hierbei kann, in einem Aspekt, auch die Distanz zu identifizierten Hindernissen und/oder Objekten ausgewertet werden. Um auf Basis dieser Daten die zurückgelegte Distanz der Person auszuwerten, wird die Distanz zur Person im Schritt 3914 im Zeitverlauf ausgewertet und darüber deren zurückgelegte Distanz errechnet. Alternativ und/oder ergänzend kann die Distanzermittlung durch Addition der Schrittlängen im Schritt 3915 erfolgen, welche im Schritt 3672 erfasst wurden. In einem alternativen und/oder ergänzenden Aspekt kann die Position auch mittels Auswertung der Positionen der Person im Raum im Schritt 3916 erfolgen (siehe auch Schritt 3695 nachfolgend), d.h. insbesondere durch die Auswertung der Distanz zwischen den bei Positionsänderungen sich verändernden Koordinaten.

[0279] Weiterhin wird die Position der Person im Schritt 3920 ausgewertet, indem die Position des Kopfgelenkpunkts bspw. in der Transversalebene und/oder die Mitte vom Richtungsvektor zwischen den Schultergelenkpunkten oder den Hüftgelenkpunkten und/oder die Mitte zwischen dem Richtungsvektor zwischen den Kniegelenkpunkten (bspw. in die Frontalebene projiziert), dem Richtungsvektor zwischen den Fußgelenkpunkten (bspw. in die Frontalebene projiziert) und/oder einem Richtungsvektor zwischen mindestens zwei gleichartigen Armgelenkpunkten (bspw. in die Frontalebene projiziert) ausgewertet wird. [0280] In einem weiteren Aspekt erfolgt eine Auswertung dahingehend, ob die Person Hilfsmittel einsetzt, wie weiter oben bereits in Schritt 3620 beschrieben wurde.

[0281] Der Serviceroboter 17 ermittelt die Distanz der Körpermitte zur Linie im Zeitablauf 3791 und/oder den Abstand der Fußgelenkpunkte zur Linie innerhalb der Frontalebene im Zeitverlauf 3792. Es findet dann eine Abweichungsberechnung inkl. Schwellwert 3793 bzw. ein Mustervergleich statt, d.h. für die ermittelten Abstände wird das Maximum der Abweichung, die Kleinsten Quadrate der einzelnen Abweichungen pro Schritt, etc. errechnet, wobei auch andere, im Stand der Technik beschriebene Ansätze zur Abstandsauswertung genutzt werden können.

[0282] Anschließend findet eine Klassifizierung wie folgt statt: Das Ergebnis wird als deutliche Abweichung im Schritt 3793 klassifiziert, wenn die Person steht 3616, geht 3666, und der Wert der Linienabweichung in der Abweichungsberechnung inkl. Schwellwert 3793 über einem Schwellwert liegt bzw. in einem Mustervergleich eine Mindestmusterähnlichkeit aufweist. Das Ergebnis wird als leichte Abweichung und/oder Hilfsmitteleinsatz 3794 klassifiziert, wenn die Person steht 3616, geht 3666, und der Wert der Linienabweichung in der Abweichungsberechnung inkl. Schwellwert 3793 und/oder Mustervergleich in einem Intervall liegt, dessen oberer Wert der Schwellwert für die Klassifizierung nach 3793 darstellt. Weiterhin wird alternativ und/oder ergänzend zu der Abweichung von der Linie ein Hilfsmitteleinsatz im Schritt 3620 detektiert. Das Ergebnis wird als keine Abweichung ohne Hilfsmitteleinsatz 3795 klassifiziert, wenn die die Person steht 3616, geht 3666, und der Wert der Linienabweichung in der Abweichungsberechnung inkl. Schwellwert 3793 unter einem Schwellwert liegt (bzw. bei einem Mustervergleich eine Musterähnlichkeit nicht erreicht wird) und kein Hilfsmittel einsatz im Schritt 3620 detektiert wird. In Folgeschritt wird, basierend auf dieser Klassifizierung, der Wegabweichungs-Score im Schritt 3796 errechnet.

Rumpfstabilität

[0283] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen wertet der Serviceroboter 17 während des Gangs die Rumpfstabilität aus, was analog oder ähnlich wie die Stehbalance-Ermittlung passiert, mit dem Unterschied, dass die Person auch geht (vgl.

Fig. 49). Im Rahmen der Rumpfstabilitäts-Geh-Klassifizierung wird das Ergebnis der Merkmalsklassifizierungen 3370 der verschiedenen Aspekte wie folgt ausgewertet. [0284] Die Person wird als schwankend oder Hilfsmittel-einsetzend im Schritt 3951 klassifiziert, wenn die Person steht 3616, geht 3666, Hilfsmittel 3623 nutzt und instabil 3636 ist. Die Person wird als nicht schwankend, aber gebeugt oder balancierend im Schritt 3952 eingestuft, wenn die Person steht 3616, geht 3666 und entweder (als Teilaspekt der Balanceermittlung) nach vorne geneigt ist (bspw. ausgewertet über die Richtungsvektoren in 3633) oder die Armgelenkpunkte sich in einer Distanz vom Körper befinden, die über einem Schwellwert liegt bzw. die bspw. in einem Mustervergleich eine Musterunähnlichkeit aufweist (bspw. ausgewertet über die periodischen Bewegungen der Armgelenkpunkte in der Transversalebene in 3631). Die Person wird als rumpfstabil 3953 klassifiziert, wenn die Person steht 3616, geht 3666, keine Hilfsmittel 3624 vorweist und stabil 3635 ist. In Folgeschritt wird, basierend auf dieser Klassifizierung, der Wegabweichungs-Score 3954 errechnet.

[0285] Im Falle der Balanceermittlung 3630 können, in einem Aspekt, auch die Amplitude und/oder Frequenz der periodischen oder aperiodischen Bewegungen, die im Wesentlichen parallel zur Frontalebene detektiert werden, einem Schwellwertvergleich und/oder Mustervergleich unterzogen werden.

Schrittbreite

[0286] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen wertet der Serviceroboter 17 beim Erfassen des Gangs, wie bspw. in den vorangegangenen Abschnitten beschrieben wurde, die Spurbreite/Schrittbreite aus (siehe Fig. 50). Dazu wird innerhalb der Merkmalsklassifizierung 3370 die Spurweite ausgewertet 3695, was bspw. als Abstandsmessung der Fußgelenkpunkte im Zeitverlauf in der Frontalebene 3696 implementiert ist. Im Rahmen der Spurweitenklassifizierung 3955 wird über die Spurweitedaten ein Schwellwertvergleich 3956 und/oder Mustervergleich durchgeführt. Es wird auch berücksichtigt, ob die Person steht 3616 und geht 3666. Liegt die Spurweite unter dem Schwellwert (z.B. 18 cm) bzw. weist diese eine definierte Mindestunähnlichkeit in einem Mustervergleich auf, wird die Spurweite als schmal 3958 klassifiziert, andernfalls als breit 3957. Das Ergebnis wird in einen Spurweiten-Score 3959 transformiert. Die Spurweite kann, in einem Aspekt, um die Breite des Hüftgelenkpunkts korrigiert werden, welches über die Länge des Richtungsvektors zwischen den Hüftgelenkpunkten approximiert wird. Drehung um 360'

[0287] Alternativ und/oder ergänzend zu den vorangegangenen Auswertungen wertet der Serviceroboter 17 beim Erfassen des Gangs, wie bspw. in den vorangegangenen Abschnitten beschrieben wurde, die Drehbewegung der erfassten Person aus (siehe Fig. 51), vorzugsweise eine Drehbewegung um 360°. Innerhalb der Merkmalsklassifizierung 3370 wird die Schrittlänge 3930 ermittelt, an dieser Stelle jedoch anders als im Schritt 3670, weil nicht die Distanz in der Sagittalebene ausgewertet wird, sondern die absolute Distanz, da durch die Drehbewegung der Person eine Schrittstellung auch schräg erfolgen kann. Weiterhin wird, bspw. mit Daten aus dem Schritt 3661, ausgewertet, ob und wieweit sich die Person dreht, d.h. es findet eine Drehungsdetektion im Schritt 3925 statt. Dabei wird, in einem Aspekt, die Rotation in der Transversalebene vom Richtungsvektor zwischen den Schultergelenkpunkten, den Hüftgelenkpunkten und/oder den Knie- oder Armgelenkpunkten bzw. dem Kopf im Schritt 3926 ausgewertet. Hierbei werden die Drehwinkel erfasst, addiert und die addierten Werte werden dahingehend ausgewertet, ob die Addition den Wert von 360° erreicht hat (Drehwinkeladdition bis Schwellwert 360° im Schritt 3927 bzw. Mustervergleich). In einem Aspekt erfolgt das nach einer Ausgabe im Schritt 3521 durch den Serviceroboter 17.

[0288] Im Fall der Drehung um 360° (als Ergebnis vom Schritt 3925), einer detektierten Gehbewegung im Schritt 3666 und des Stands im Schritt 3616 wird eine Auswertung der zuvor erfassten Schrittlängen vorgenommen, bei der die Distanzen zwischen den Schritten im Schritt 3961 verglichen werden. Hierbei wird die Symmetrie der Doppel schritte 3962 ausgewertet, d.h. es werden die Doppelschrittlängen, das Verhältnis der Einzelschrittlängen untereinander und/oder im Vergleich zum Doppelschritt ausgewertet. Alternativ und/oder ergänzend kann auch die Schrittfrequenz 3963 ausgewertet werden, insbesondere mit Blick auf ihre Periodizität, d.h. den Anstieg und Fall der Kurven und darüber die Amplitudensymmetrie. Periodizität und/oder die Symmetrie der Doppelschritte wird über einen Schwellwertvergleich im Schritt 3964 und/oder einem Mustervergleich ausgewertet, wobei eine hohe Symmetrie zu als kontinuierlich klassifizierten Schritten 3965 führt, andernfalls zu diskontinuierlichen Schritten 3966. Die Ergebnisse werden in einen Dreh- Schritt-Score 3967 konvertiert.

[0289] Alternativ und/oder ergänzend wird ebenfalls ein Dreh-Stabilitäts-Score 3970 erfasst. Dazu wird eine in 3925 detektierte Drehbewegung hinsichtlich der Balance im Schritt 3630 ausgewertet. Im Ergebnis werden solche Drehbewegungen, bei denen die Balance stabil 3635 ist, bei denen die Person steht 3616 und geht 3666, als stabile Drehbewegung 3968 klassifiziert. Dagegen werden Bewegungen, bei denen die Person steht 3616 und geht 3666, aber in der Balance instabil ist im Schritt 3636, als instabile Drehbewegung 3969 klassifiziert. Die Ergebnisse erden in den Dreh-Stabilitäts-Score 3970 überführt.

Absitzen

[0290] Der Serviceroboter 17 erfasst das Sich-Setzen der Person infolge einer Ausgabe 3521 über mindestens eine Ausgabevorrichtung des Serviceroboters 17 und nutzt dabei zumindest anteilig Merkmalsklassifizierungen wie bereits oben beschrieben (vgl. Fig. 52). Dabei wertet der Serviceroboter 17 in der Sich-Setzen-Klassifizierung 3980 den Übergang vom Stand 3616 zum Sitzen 3617, wobei dieser Schritt mit 3981 beschrieben wird. Dabei wird insbesondere die Geschwindigkeit des Übergangs 3982 ausgewertet. Weiterhin ermittelt der Serviceroboter 17 die Kontinuität des Übergangs 3983, bspw. durch sequentiellen Vergleich der Momentangeschwindigkeiten während des Sich-Setzens und/oder durch Vergleich mit in einem Speicher hinterlegten Werten. Basierend auf diesen beiden Schritten 3982 und 3983 erfolgt eine Schwellwertauswertung 3984 und/oder ein Mustervergleich. Weiterhin werden Ergebnisse der Klassifizierung 3620 genutzt, die auswerten, ob die Hand ein Hilfsmittel nutzt, wozu auch ein Sich-Abstützen zählt. Die Ergebnisse werden dann wie folgt klassifiziert:

[0291] Überschreitet die Geschwindigkeit des Sich-Setzens einen Schwellwert 3984, so wird das Sich-Setzen als ein unsicheres Sich-Setzen 3987 klassifiziert. Überschreitet der Wert der Diskontinuität des Verlaufs des Sich-Setzens einen Schwellwert 3984 und/oder wird ein Hilfsmittel 3623 genutzt, wird die Bewegung als ein beschwerliches Sich-Setzen 3985 klassifiziert. Wird kein Hilfsmittel im Schritt 3624 detektiert und unterschreitet die Geschwindigkeit des Sich-Setzens einen Schwellwert im Schritt 3984 und/oder unterschreitet der Wert der Diskontinuität des Verlaufs des Sich-Setzens einen Schwellwert im Schritt 3984, wird das Sich-Setzen als sicher im Schritt 3986 klassifiziert. Die Ergebnisse dieser Auswertung werden in einen Sich-Setzen-Score 3988 konvertiert.

Alternative Auswertung der Bewegungen der Person

[0292] In einem alternativen und/oder ergänzenden Aspekt erstellt der Serviceroboter 17 zwei- oder dreidimensionale Aufnahmen von der Person und vergleicht diese Aufnahmen mit in einem Speicher hinterlegten Aufnahmen von Personen, die ebenfalls die Körperhaltungen einnehmen bzw. Bewegungen vornehmen und die danach klassifiziert wurden, inwieweit die aufgenommenen Personen sich bspw. zur Seite lehnt, rutscht oder sicher bzw. stabil sitzt; inwieweit diese Person aufsteht und dabei Hilfsmittel nutzt, versucht aufzustehen, die Stehbalance zu halten, Schritte zurücklegt, Gangsymmetrie aufweist, Rumpfstabilität vorweist, sich um 360° dreht, etc. Diese Klassifikation kann durch im Stand der Technik beschriebene Klassifikationsverfahren vorgenommen werden, bspw. Verfahren des maschinellen Lemens/der künstlichen Intelligenz. Auf Basis dieses Vergleichs klassifiziert der Serviceroboter 17 die aufgezeichneten Aufnahmen der Person. Der Score wird jeweils analog den einzelnen Übungen zugewiesen, wie dies oben beschrieben wurde.

[0293] In einem Aspekt kann der Serviceroboter 17 die aufgezeichneten Daten über eine Schnittstelle 188 (wie z.B. WLAN) auch an andere Systeme übertragen, in welchen die Daten dann ausgewertet werden, bspw. derart, wie für die Auswertung innerhalb des Serviceroboters 17 beschrieben wurde.

[0294] Die verschiedenen Aspekte der Mobilitätsauswertung werden nachfolgend anhand mehrerer Abbildungen beschrieben. Fig. 73 illustriert ein System zur Ermittlung der Balance einer Person, wobei es sich beim System um einen Serviceroboter handeln kann. Das System zur Ermittlung der Balance einer Person umfasst einen Sensor zur berührungslosen Erfassung einer Person im Zeitverlauf, ein Skelett-Erstellungs-Modul 5635 zur Erstellung eines Skelettmodell der Person, ein skelettmodell-basiertes Merkmalsextraktion-Modul 5640 zur Merkmalsextraktion auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person, ein Transversal-Gelenkpunkte-Auswertungs-Modul 5645 zur Auswertung von Positionsänderungen der Gelenkpunkte innerhalb der Transversalebene mit Blick auf die Amplitude, Orientierung und/oder Frequenz der Positionsänderung und zum Abgleich erfasster Werte mit im Speicher 10 hinterlegten Schwellwerten und/oder Mustern. Alternativ und/oder ergänzend umfasst das System zur Ermittlung der Balance einer Person einen Sensor zur berührungslosen Erfassung einer Person im Zeitverlauf, ein Skelett- Erstellungs-Modul 5635 zur Erstellung eines Skelettmodell der Person, ein skelettmodell- basiertes Merkmalsextraktion-Modul 5640 zur Merkmalsextraktion auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person, ein Lot-Gelenkpunkte-Auswertungs-Modul 5650 zur Ermittlung der Abweichung eines Richtungsvektors vom Lot der Person, wobei der Richtungsvektor gebildet wird als Verbindung von mindestens einem Gelenkpunkt von Fuß, Knie oder Hüfte mit mindestens einem vertikal darüberliegenden Gelenkpunkt einer aufrechtstehenden Person. Das System umfasst bspw. ein Lot-Gelenkpunkte-Auswertungs-Modul 5650 zur Ermittlung der Abweichung eines Richtungsvektors vom Lot der Person mit einem im Speicher 10 hinterlegten Schwellwert und/oder Muster, ein Spurweiten-Schrittweiten-Modul 5675 zur Ermittlung der Spurweite und/oder Schrittweite einer Person über den Abstand der Fußgelenkpunkte in der Frontalebene im Zeitverlauf, wenn die Spurweite einen Schwellwert unterschritten hat, ein Personengröße-Auswertungs-Modul 5655 zur Auswertung der Größe der Person, wobei die Größe bspw. über die Distanz zwischen Boden und/oder mindestens einem Fußgelenkpunkt und mindestens einem Punkt im Kopfbereich ermittelt wird, bspw. durch Vektorsubtraktion zweier Richtungsvektoren ermittelt wird, die von einem gemeinsamen Ursprung zu mindestens einem Fuß und mindestens dem Kopf der Person reichen. Unter einem gemeinsamen Ursprung wird bspw. ein Sensor wie eine 3D-Kamera verstanden, von der aus Tiefeninformationen erfasst werden. Das System umfasst ein Handabstands- Auswertungs-Modul 5660 zur Ermittlung des Abstands zwischen dem mindestens einem erfassten Handgelenkpunkt der Person und mindestens einem erfassten Objekt im Umfeld der Person und Modifikation eines Werts im Speicher (10) bei Unterschreiten eines Abstands-Schwellwerts. Das System umfasst ein sagittalebenenbasiertes Gelenkpunktverlauf-Auswertungs-Modul 5665 zur Auswertung des Verlaufs der Gelenkpunkte innerhalb der Sagittalebene und zum Vergleich der ermittelten Werte mit im Speicher 10 hinterlegten Werten. Beim Sensor zur berührungslosen Erfassung der Person kann es sich um eine Kamera 185, einen LID AR 1, einen Ultraschall- und/oder Radarsensor 194 handeln. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111 und/oder Bewegungsauswertungsmodul 120.

Beispiele

Beispiel 1: Delirprävention und Delirüberwachung

[0295] Der Serviceroboter 17 kann dafür eingesetzt werden, die Aufenthaltsdauer von Patienten in Kliniken zu verringern, wenn die Patienten sich im fortgeschrittenen Alter befinden und einer Operation bedürfen, die im Regelfälle unter Vollnarkose durchgeführt wird. Hierbei ist das Risiko groß, durch die Narkose an Demenz zu erkranken. Risikopatienten sind hierbei solche, die bereits vorher an kognitiven Beeinträchtigungen leiden. Der Serviceroboter 17 kann nun dafür eingesetzt werden, die kognitiven Fähigkeiten der Patienten mindestens einmalig, bspw. über den Zeitverlauf automatisiert zu monitoren, um medizinischem Personal Diagnosen zur Verfügung zu stellen, die eine verbesserte und zielgerichtete Prophylaxe und Behandlung der Patienten zu ermöglichen.

[0296] Fig. 17 zeigt den Ablauf auf, wie sich der Serviceroboter 17 hierzu automatisiert in Richtung Patient bewegt. In einem Krankenhausmanagement-System (KIS) werden Patientendaten hinterlegt, dass für einen bestimmten Patienten eine Operation erfolgen soll, darunter die Art und den Termin der OP 1705. Das Patientenmanagement-System, welches über eine Schnittstelle 188 (wie z.B. WLAN) auf das Krankenhausmanagement-System (KIS) zugreift, kann aus dem KIS die Rauminformationen erhalten, wo sich der Patient befindet. Ergänzend dazu können weitere Informationen an das Patientenadministrationsmodul 160 im Schritt 1710 übertragen werden, darunter die Art der OP, den Termin, krankheitsbezogene Informationen, etc. In einem Aspekt greift der Serviceroboter 17 auf das Patientenadministrationsmodul 160 zu, erhält die Rauminformationen im Schritt 1715 und gleicht im Schritt 1720 die Rauminformationen mit in seinem Navigationsmodul 101 hinterlegten Informationen ab, um sich anschließend in Richtung des Zimmers des Patienten im Schritt 1725 zu bewegen. In einem weiteren Aspekt findet der Informationsabgleich zwischen Patientenadministrationsmodul 160 und Navigationsmodul in der Cloud 170 im Schritt 1730 statt, und im Schritt 1735 synchronisiert das Navigationsmodul in der Cloud 170 mit dem Navigationsmodul 101 des Serviceroboters 17. Daraufhin bewegt sich der Serviceroboter 17 in Richtung Zimmer des Patienten 1725.

[0297] Befindet sich der Serviceroboter 17 vor der Zimmertür zum Patienten 1805, muss der Serviceroboter 17 diese passieren, damit der Patient am Serviceroboter 17 den Test durchführen kann. Der Serviceroboter 17 ist ferner so konfiguriert, dass der Serviceroboter 17 durch seine Sensorik in der Lage ist, eine Tür zu erkennen, wie dies bspw. weiter vorne bzw. Fig. 8 beschrieben ist 1810. Ist die Tür offen, navigiert der Serviceroboter 17 im Schritt 1815 direkt in das Zimmer des Patienten. Ist die Tür geschlossen 1820, nutzt der Serviceroboter 17 ein integriertes Kommunikationsmodul 1825, welches über eine Schnittstelle 188 (wie z.B. WLAN) (Schritt 1835) mit dem Rufsystem der Klinik 1840 verbunden ist.

[0298] Auf Basis seiner aktuellen Position sendet der Serviceroboter 17 darüber ein Signal, welches dem medizinischen Personal Rückschlüsse auf seine Position erlaubt und den Hinweis, bitte die Tür zum Zimmer des Patienten zu öffnen. Dazu verfügt der Serviceroboter 17, in einem Aspekt, in seinem Speicher über eine Datenbank mit Zuordnung Standortdaten zu Raumnummern 1830, die ein Teil der Datenbank mit Raumdaten 109 als Bestandteil des Navigationsmoduls 101 sein kann, welche bspw. mit einem Krankenhausinformationssystem über eine Schnittstelle verbunden sein kann. Diese Datenbank kann jedoch auch in einer Cloud 18 verfügbar sein. Wird die Zimmertür durch Krankenhaus-Personal im Schritt 1845 geöffnet, bewegt sich der Serviceroboter 17 in das Zimmer des Patienten, um mit dem Patienten im Schritt 1850 den Test durchzuführen. Sofern die Tür zum Zimmer des Patienten über einen elektrischen Antrieb 7 verfügt, ist der Serviceroboter 17 so konfiguriert, dass der Serviceroboter 17 über eine Schnittstelle 188 (wie z.B. WLAN) (Schritt 1835) direkt Zugriff auf die Türsteuerung 1855 hat und dieser einen Code zum Öffnen der Tür im Schritt 1860 sendet.

[0299] In einem alternativen oder ergänzenden Aspekt beobachtet der Serviceroboter 17 vor der Tür durch seinen mindestens einen Sensor 3 das Umfeld 1865 und, sofern der Serviceroboter 17 Personen erkennt, trackt der Serviceroboter 17 diese erkannten Personen im Schritt 1870, und, in einem Aspekt, prognostiziert die Bewegungen der erkannten Personen im optionalen Schritt 1875 und, sofern die Personen sich in seine Richtung orientieren 1880, richtet sich so aus, dass sein Display 2 in Richtung der Personen orientiert ist (Schritt 1890). Das Tracking erfolgt bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. In einem alternativen oder ergänzenden Aspekt wartet der Serviceroboter 17, bis sich Personen in einem Mindestabstand zu dem Serviceroboter 17 befinden 1885, bevor der Serviceroboter 17 das Display 2 in Richtung der Personen ausrichtet 1885. Gleichzeitig signalisiert der Serviceroboter 17 optisch und/oder akustisch seinen Wunsch, dass die Person die Tür zum Patientenzimmer im Schritt 1892 öffnet. Die angesprochene Person öffnet im Schritt 1894 die Tür. Hierbei ist der Serviceroboter 17, wie bereits weiter vorne bzw. Fig. 8 beschrieben, in der Lage, den Öffnungsvorgang der Tür zu erfassen 1896. Sobald die Tür geöffnet ist, navigiert der Serviceroboter 17 in das Zimmer des Patienten, um den Test im Schritt 1850 durchzuführen. Sofern sich zwischen Serviceroboter 17 und Patient keine Tür befindet, wie das teilweise auf Intensivstationen der Fall ist, entfallen diese Schritte.

[0300] Der Serviceroboter 17 führt, wie in Fig. 19 dargestellt, einen Test im Schritt 1905 durch, insbesondere den Mini -Mental-Test, und ermittelt darüber einen Score im Schritt 1910, der im Falle des Mini -Mental-Tests den Grad der kognitiven Beeinträchtigung des Patienten wiedergibt. Alternativ und/oder ergänzend können andere, in diesem Dokument dargelegte Testverfahren genutzt werden. Diese Daten werden via einer Schnittstelle 188 (z.B. WLAN) (Schritt 1915) an das Patientenadministrationsmodul 1920 übertragen und dort dem medizinischen Personal zur Verfügung gestellt, das darauf via einem Display 2 zugreifen kann (Schritt 1925). Die Daten werden ggf. auch über eine Schnittstelle 188 (z.B. WLAN) in das KIS übertragen 1930.

[0301] Das Patientenadministrationsmodul 160 ist in der Lage, aus dem KIS weitere Daten zur Krankenhistorie des Patienten zu erhalten, darunter bspw. auch Medikamente, die der Patient einnimmt. Basierend auf diesen Informationen ermittelt das Patientenadministrationsmodul 160 einen Risikowert, der angibt, mit welcher Wahrscheinlichkeit der Patient mit einem Fortschreiten der Demenz durch die geplante Operation rechnen kann 1935. Dieser Risikowert kann wiederum dem medizinischen Personal über ein Display 2 zur Verfügung gestellt werden und/oder ins KIS übertragen werden. Auf Basis solcher Informationen kann das medizinische Personal geeignete Präventionsmaßnahmen einleiten, um eine mögliche postoperative Demenz zu verhindern oder zumindest die Wahrscheinlichkeit dafür zu reduzieren.

[0302] Der Serviceroboter 17 bzw. das Patientenadministrationsmodul 160 sind ferner so konfiguriert, dass der Serviceroboter 17 nach absolvierter Operation 1955 (die Information daraus stammt aus dem KIS) sich, wie bereits oben beschrieben 1950, wieder zum Patienten bewegt und mit diesem erneut einen Test durchführt 1960, insbesondere einen geriatrischen Test, wie den Mini-Mental-Test. Hat sich der Score des Mini-Mental-Tests nach der Operation gegenüber dem Test von vor der Operation verschlechtert, und liegt diese Verschlechterung über einem bestimmten Schwellwert (ist der Patient bspw. mehr als 3% schlechter als vorher) (also voriger Testscore > (letzter Testscore * Schwellwertquotient)

1965, wird diese Prozedur nach einigen Tagen im Schritt 1970 wiederholt, um den Genesungsfortschritt des Patienten zu erfassen, auszuwerten und zu dokumentieren.

Beispiel 2: Erfahrungswertbasierte Prognose postoperativer Demenz

[0303] In Fig. 20 ist dargestellt, wie Daten vom Serviceroboter 17 für Therapievorschläge aufbereitet werden. Das Regelwerk 150 ist mit dem Patientenadministrationsmodul 160 in der Cloud 18 verbunden, dass derart konfiguriert ist, dass die Patienteninformationen in anonymisierter Form an das Regelwerk 150 im Schritt 2025 übertragen werden können. Hierzu kann das Patientenadministrationsmodul 160 zuvor aus dem Krankenhausinformationssystem 2015 weitere relevante Daten über eine Schnittstelle 188 (z.B. WLAN) erhalten, darunter Art der Operation, Art der Narkose, Komorbiditäten, eingenommene Medikamente, Maßnahmen zur Delirprävention, postoperative Maßnahmen zur Linderung des Delirs bzw. dessen Behandlung, usw. sowie die Ergebnisse der Übungen, die mittels des Serviceroboters 17 im Schritt 2020 durchgeführt worden sind. Letztere können alternativ und/oder ergänzend auch aus dem Patientenadministrationsmodul 160 stammen. Diese Daten, welche jeweils als Zeitreihe vorliegen, werden im Patientenadministrationsmodul 160 anonymisiert, verschlüsselt, an das Regelwerk 150 übertragen und dort abgespeichert 2030.

[0304] Im nächsten Schritt werden im Schritt 2035 etablierte Verfahren des maschinellen Lernens und neuronale Netze eingesetzt, um basierend auf den prä-operativ vorliegenden Informationen, wie den Ergebnissen des vom Serviceroboter 17 durchgeführten Mini -Mental- Tests, patientenspezifischen Daten wie dem Alter, den Komorbiditäten, der Art der Narkose, der Operation, den eingenommenen Medikamenten usw. eine Prognose zu erstellen, inwieweit beim Patienten ein postoperatives Delir zu erwarten ist 2040. Determinanten des Delirs sind wiederum der Grad der kognitiven Beeinträchtigung zeitnah nach der Operation, wann der Serviceroboter 17 üblicherweise den ersten Test vornimmt, womit die Parameter, die im Rahmen eines CAM-ICO-Tests erhoben werden, der Delirium Detection Score, die Behavioral Pain Scale, dem Critical Care Point Observation Tool, der Richmont Agitation Sedation Scale, der Motor Activity Assessment Scale, in einen unterschiedlichen Ausprägungen und/oder vom Serviceroboter wie weiter oben beschriebene und erhobene Daten (bspw. siehe Abschnitt Delirerkennung), bspw. der in Beispiel 11, 12 oder 17 erhobene Daten usw. Eine weitere Determinante ist die Verbesserungen im Grad des Delirs, die über eine festgelegte Zeit auftritt, über die der Serviceroboter 17 die kognitiven Fähigkeiten ermittelt 2045. Eine andere, alternative oder ergänzende Determinante ist die Zeit, die benötigt wird, um ein bestimmtes Niveau an kognitiven Fähigkeiten (erneut) zu erreichen 2050. Diese Daten können in Form eines Trainingsdatensatzes genutzt werden.

[0305] In einem ergänzenden und/oder alternativen Schritt wird der Effekt von Interventionen auf die im vorigen Absatz beschriebenen Determinanten mittels etablierter Verfahren des maschinellen Lernens und/oder neuronaler Netze geschätzt. Zu diesen Interventionen gehört die Nutzung von schonenden Anästhesien, von begleitenden Maßnahmen wie der Zur verfügungstellung einer Bezugsperson, der medikamentösen Einstellung usw. 2055 [0306] Basierend auf den Schätzungen der maschinellen Lemverfahren werden Gewichte ermittelt 2060, die vom Regelwerk 150 an das Patientenadministrationsmodul 160 im Schritt 2065 übertragen werden und dazu genutzt werden, dem medizinischen Personal Empfehlungen zu unterbreiten, wie nach bestimmten, vom Serviceroboter 17 ermittelten Testergebnissen bei der Erstellung von Therapieplänen für den jeweiligen Patienten im Schritt 2070 vorgegangen werden sollte. Diese Empfehlungen können präoperativ, postoperativ und/oder über den Zeitablauf vom Patientenadministrationsmodul 160 dem medizinischen Personal zur Verfügung gestellt werden. Die Aktualisierungen dieser Empfehlungen basieren optional auf Eingaben im KIS, auf die das Patientenadministrationsmodul 160 Zugriff hat, auf Eingaben im Patientenadministrationsmodul 160 als auch auf Ergebnissen des Mini -Mental- Tests, auf Basis des Tests zum Delirium Detection Score mit bspw. einer Schweißdetektion, der Confusion Assessment Method mit bspw. der Auswertung kognitiver Fähigkeiten im Zusammenhang mit der Detektion akustischer Signalfolgen, Bilderkennung oder Fingererkennung und/oder der Schmerzstatus-Bestimmung auf Basis einer Auswertung von Emotionen,, Bewegungen der oberen Extremitäten, etwaigen Hustenaktivitäten und/oder akustischen Schmerzartikulationen, die der Serviceroboter 17 mit bzw. beim Patienten, wie beschrieben, absolviert bzw. durchführt.

[0307] Zusammengefasst lässt sich der Sachverhalt derart darstellen, dass es sich um ein System zur Prognose postoperativer Demenz bzw. Delir handelt, bestehend aus einem Rechner, einem Speicherund mindestens einer Schnittstelle 188 (z.B. WLAN), über welche das System im Datenaustausch mit einer mobilen Datenerfassungseinheit steht, welche über mindestens eine Kamera 185 verfügt, in einem Aspekt auch über ein Spektrometer 196. Bei der mobilen Erfassungseinheit, welche Daten maschinell erfasst und auswertet, handelt es sich bspw. um einen Serviceroboter 17. Zugleich kann, in einem Aspekt, das System als solches auch im Serviceroboter 17 abgebildet werden.

[0308] Das System verfügt über eine Schnittstelle 188 (z.B. WLAN), über die es Daten zum Gesundheitszustand einer Person, zu Behandlungen, Medikamentenstatus, Maßnahmen zur Delirprävention, Maßnahmen der postoperativen Delirbehandlung und/oder Auswertungen von Messungen erhält, die die mobile Datenerfassungseinheit wie bspw. der Serviceroboter 17 durchgeführt hat. Dabei wertet das System die den Personen zugeordneten Daten im Zeitablauf aus. In einem ersten Schritt werden Vergangenheitsdaten ausgewertet, die prä- und postoperative Krankheits- und Behandlungsverläufe von Patienten abbilden. Hierbei werden Prognosen erstellt, d.h. insbesondere die Wahrscheinlichkeit des Auftretens von postoperativen Daten prognostiziert wie bspw. die Auftretenswahrscheinlichkeit postoperativer Demenz, deren Verlauf, etc. prognostiziert, wofür z.B. Verfahren des maschinellen Lernens genutzt werden. Die Prognosen berücksichtigen ebenfalls medizinische Interventionen wie das Einleiten bestimmter Behandlungen prä- und postoperativ und es wird deren Einfluss auf den postoperativen Krankheitsverlauf der Personen prognostiziert. Auf Basis dieser Auswertungen mit historischen Daten werden Regeln ermittelt und abspeichert, d.h. insbesondere Gewichte (bzw. Regressionskoeffizienten, sofern Regressionsmodelle genutzt werden). Diese können dann in einem zweiten Schritt auf Basis von über die Schnittstelle 188 (z.B. WLAN) erhaltener Daten, darunter auch Daten, die von der mobilen Datenerfassungseinheit erhoben und, in einem Aspekt, prozessiert worden sind, für Prognosen genutzt werden. Bei diesen Daten handelt es sich vornehmlich um neu erfasste Daten von Patienten, bei denen zum Erhebungszeitpunkt der künftige Krankheitsverlauf noch unklar ist bzw. der noch nicht abschließend erfasst worden ist. Dieser zweite Schritt kann in einem separaten System erfolgen, welches die Regeln bzw. Gewichte vom genannten System erhält. Zusammengefasst stellt sich der Ablauf der erfahrungswert-basierten Prognose postoperativer Demenz/Delir wie folgt dar: Erfassung von Personen im Zeitablauf, Ermittlung von Gesundheitszustandsdaten der Personen auf Basis der Erfassung der Person im Zeitablauf, Erhalt von präoperativen Daten der Personen, Erhalt von Interventionsdaten zu der Personen, Ermittlung des Einflusses der präoperativen Daten und der Interventionsdaten auf die Gesundheitszustandsdaten der Personen durch Berechnung einer Gewichtsschätzung für Parameter der präoperativen Daten und der Interventionsdaten sowie bspw. Prognose des Gesundheitszustands einer erfassten Person auf Basis der Gewichtsschätzung und neu erhobener präoperativer Daten und Interventionsdaten einer Person.

Beispiel 3: Schweißdetektion bei Patienten

[0309] Abweichend von der Detektion und Auswertung von Schweiß auf der Haut von Patienten, die sich in einem Bett befinden, kann der Serviceroboter 17 eine derartige Auswertung auch bei Patienten durchführen, die sich nicht im Bett befinden. Dazu ist der Serviceroboter 17 in der Lage, auf Basis der Skeletterkennung über Frameworks aus dem Stand der Technik die Haltungen/Posen eines Patienten zu identifizieren. Mittels der RGB- Kamera kann der Serviceroboter 17 Aufnahmen von der Oberfläche des Patienten anfertigen und diese dahingehend auswerten, ob der Patient bekleidet ist. Dazu greift der Patient auf Klassifikationsalgorithmen zurück, die darauf ausgelegt sind, Haut an ihrer Farbe zu erkennen. Hierbei kann, in einem Aspekt, eine Kreuzvalidierung stattfinden, und zwar derart, dass die Zielregion auf der Haut, auf der die Messung stattfinden soll, farblich und/oder von ihrer Textur her mit der des Gesichts der Person verglichen wird, welches über Frameworks aus dem Stand der Technik erkannt werden kann, bspw. mittels Ansätzen wie Histogram-of- Gradients, die in Frameworks wie OpenCV oder Scikit-image implementiert sind. In einem Aspekt kann hierbei ein Filter eingesetzt werden, der farbliche Korrekturen insofern vornimmt, als dass erfasste Farben im Gesicht dunkler sein können als auf der Stelle auf der Haut, auf der die Messung erfolgen soll. Regionen des Gesichts, die für die Ermittlung des Vergleichswerts infrage kommen, sind die Wangen oder die Stirn (die Identifizierung letzterer Region wurde bereits an anderer Stelle beschrieben). Ein solcher Korrekturfaktor kann, in einem Aspekt, auch jahreszeitabhängig sein. Sofern der hierbei stattfindende Abgleich einen Ähnlichkeitswert ergibt, der über einem definierten Schwellwert liegt, wird die erfasste Stelle zur Messung als Haut erkannt. Ein alternativer und/oder ergänzender Filter kann ebenfalls eingesetzt werden, welcher hautuntypische Farbtöne (bestimmte Rottöne, Blau, Grün, Gelb) usw. ausschließt.

[0310] Der Serviceroboter 17 erfasst eine Zielregion der Haut für die Messung, ermittelt, ob es sich hierbei um Haut handelt, und falls dies nicht der Fall ist, erfasst der Serviceroboter 17 weitere Zielregionen und/oder bittet den Patienten via der Sprachsyntheseeinheit 133, eine entsprechende Region freizumachen. Dazu trackt der Serviceroboter 17 die entsprechende Region, bspw. den Arm des Patienten, und z.B. nachdem dieser sich weniger bewegt als durch einen Schwellwert definiert, startet die Auswertung der Stelle erneut, um zu identifizieren, ob dort die Haut freiliegt oder ggf. noch durch Bekleidung verdeckt ist. Sofern der Serviceroboter 17 diese verdeckte Haut detektiert hat, führt der Serviceroboter 17 die an anderer Stelle beschriebenen Messungen aus.

Beispiel 4: Triggern von Elementen der Verkörperung auf Basis von kardiovaskulären Indikatoren

[0311] Der Serviceroboter 17 errechnet die Pulsrate bzw. Pulsfrequenz einer Person, mit der der Serviceroboter 17 interagiert, indem der Serviceroboter 17 die Pulsrate und Pulsfrequenz mit dem beschriebenen System durch Aufzeichnung und Auswertung des Gesichts und der darin sich widerspiegelnden kardiovaskulären Bewegungen der Gesichtsoberfläche und/oder des Kopfs und/oder vaskulärer Blutströme unter der Haut ermittelt. Die ermittelte Pulsfrequenz wird genutzt, um im Falle, dass der Serviceroboter 17 über Elemente der Verkörperung verfügt, d.h. solche Elemente, die eine Person zumindest anteilig nachbilden wie bspw. einen stilisierten Kopf darstellen oder Teile davon wie stilisierte Augen, Mund etc., durch Imitation der Frequenz unbewusst mit der Person zu interagieren. Diese Interaktion kann bedeuten, bspw. das Blinzeln stilisierter Augen an die Pulsfrequenz anzupassen. Alternativ und/oder ergänzend kann für den Fall, dass der Serviceroboter 17 über einen stilisierten und beweglichen Brustkorb verfügt, auch dessen Bewegungsfrequenz an die Pulsfrequenz angepasst werden. In einem alternativen und/oder ergänzenden Aspekt kann der Serviceroboter 17, wenn die Person über eine überdurchschnittlich hohe Pulsfrequenz verfügt, die bspw. auch hohe Nervosität hindeutet (alternativ andere, ermittelte Parameter auf hohe Nervosität hindeuten), durch Wahl einer Bewegungsfrequenz von bspw. den stilisierten Augen, Brustkorb oder weiterer Elemente, die kleiner ist als die beim Patienten identifizierte Frequenz, versuchen, den Patienten zu beruhigen. Der Serviceroboter 17 ermittelt dabei die Pulsfrequenz des Patienten im Zeitablauf und reduziert ggf. solange seine Bewegungsfrequenz, bis der Patient ebenfalls eine übliche Pulsfrequenz vorweist. Dabei kann die Differenz zwischen der erfassten der Pulsfrequenz und der Bewegungsfrequenz des Serviceroboters 17 in etwa konstant bleiben. Stilisiert heißt bspw., dass es sich mit Blick auf Augen um in Hardware implementierte Augen handeln kann, bspw. Kugeln mit aufgedruckten Kreisen und Halbkugeln, die mechanisch die aufgedruckten Kreise auf den Kugeln verdecken können. Die Augen können auch auf einem Display dargestellt werden, bspw. in Form von Kreisen, usw. Mit Blick auf einen Mund kann dieser bspw. wie bei einem Smilie über einen Strich definiert sein, der unterschiedliche Orientierungen und/oder Krümmungen einnehmen kann.

[0312] Alternativ und/oder ergänzend kann der Serviceroboter 17 mittels der Kamera 185 den Brustkorb einer Person identifizieren und auch tracken, was bspw. mittels eines Frameworks wie OpenPose, OpenCV, etc. erfolgen kann, bspw. mittels des visuellen Personentracking- Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Kamera 185 und die beiden Personentracking-Module 112 und 113, ggf. aber auch andere Sensoren wie der LID AR 1, werden auch als Personenerfassungs- und Trackingeinheit 4605 bezeichnet. Mit dieser Personenerfassungs- und Trackingeinheit 4605 kann der Serviceroboter 17 Bewegungen einer Person im Zeitablauf erfassen, die bspw. eine Atmung wiedergeben. Diese Erfassung umfasst im Fall, dass der Patient sich in etwa frontal vor dem Serviceroboter befinden sollte, sowohl Bewegungen in horizontaler Richtung als auch in der Tiefe. Diese Bewegungen können bspw. mittels eines Bandpassfilters mit einem Fenster von 0,005 bis 0,125 Hz, mindestens 0,05 bis 0,08 Hz, und subsequenter schneller Fouriertransformation ermittelt werden. Darüber lässt sich die Atemfrequenz ermitteln, die anstelle der Pulsfrequenz für das Spiegeln der Patientenbewegungen und ggf. das Beruhigung des Patienten genutzt werden kann.

[0313] Die Erfassung der Pulsrate bzw. Pulsfrequenz und/oder Atmung bzw. Atemfrequenz erfolgt mittels einer Bewegungsfrequenzermittlungseinheit 4606, die bspw. aus der Kamera 185 und an anderer Stelle in diesem Dokument beschriebenen computerimplementierten Verfahren zur Ermittlung der Pulsrate bzw. Pulsfrequenz und/oder Atmung bzw. Atemfrequenz, wobei aber auch andere Bewegungen der Person denkbar sind. Die Parameter für Puls und/oder Atem werden konkret durch eine Puls- Atem -Auswertungseinheit 4615 erfasst und ausgewertet. Insbesondere die Atmung wird über eine

Bewegungssignalerfassungs- und Verarbeitungseinheit 4620 erfasst und ausgewertet, welche Hintergrundsignale des Körpers von denen der Bekleidung unterscheidet. Hierzu sind an anderer Stelle in diesem Dokument mit Blick auf die Signalverarbeitung Details genannt. Die genannten stilisierten Gesichter oder Gesichtselemente, Köpfe, Rümpfe oder Brustkörbe, werden auch als stilisierte Verkörperungselemente 4625 bezeichnet. Diese werden durch eine Bewegungseinheit 4607 mit einer bestimmten Frequenz bewegt. Dies kann, je nach Art des stilisierten Verkörperungselements, unterschiedliche erfolgen. Augenbewegungen auf einem Display können bspw. rein softwarebasiert implementiert, während physische Verkörperungselemente bspw. Stellmotoren bedürfen, die bspw. Augenlider bewegen oder einen stilisierten Brustkorb bewegen. In einem Aspekt verfügt das System weiterhin über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112, 113) und/oder Bewegungsauswertungsmodul 120. Ein Überblick über die Komponenten des Systems ist in Fig. 60 dargelegt.

[0314] Die Synchronisation von Bewegungen einer Person mit einem Serviceroboter 17 wird durch folgende Aspekte ASBPS1 bis ASBPS19 charakterisiert:

ASBPS1. System zur Synchronisation der Bewegungen einer Person und eines Systems, umfassend eine Personenerfassungs- und Trackingeinheit (4605), einer Bewegungsfrequenzermittlungseinheit (4606) zur Ermittlung der Frequenz der Bewegungen der Person, und einer Bewegungseinheit (4607) zur Bewegung stilisierter Verkörperungselemente (4625) des Systems mit einer Frequenz, die innerhalb einer definierten Bandbreite um die ermittelte Frequenz der Bewegungen der Person liegt.

ASBPS2. System nach ASBPS1, weiter umfassend eine Puls- Atem -Auswertungseinheit (4615) zur Messung der Pulsfrequenz und/oder der Atemfrequenz der Person. ASBPS3. System nach ASBPS1, weiter umfassend eine Bewegungssignal erfassungs- und

Verarbeitungseinheit (4620) zur Erfassung und Auswertung erfassten Bewegungen der Person mittels eines Bandpassfilters und zur subsequenten Prozessierung der bandpassgefilterten Signale mittels einer schnellen Fouriertransformation.

ASBPS4. System nach ASBPS1, wobei die stilisierten Verkörperungselemente (4625) in Hard- und/oder Software implementiert sind.

ASBPS5. System nach ASBPS4, wobei in Software implementierte, stilisierte Verkörperungselemente (4625) die Anzeige mindestens eines stilisierten Gesichts oder Gesichtselementes auf einem Display 2 umfasst.

ASBPS6. System nach ASBPS5, wobei in Hardware implementierte, stilisierte Verkörperungselemente (4625) mindestens ein stilisiertes Gesicht, Gesichtselement oder einen Rumpf oder Brustkorb umfasst.

ASBPS7. System nach ASBPS5, wobei die Bewegung stilisierter Verkörperungselemente (4625) die Bewegung eines stilisierten Gesichts, Gesichtselements, Rumpfs oder Brustkorb durch die Bewegungseinheit (4607) umfasst. ASBPS8. System nach ASBPS4, wobei die stilistischen Verkörperungselemente zu einer Imitation der Atmungsbewegung durch die Bewegungseinheit (4607) angeregt werden.

ASBPS9. System nach ASBPS1, wobei das System zur Beruhigung der Person eingesetzt wird.

ASBPS10. Computer-implementiertes Verfahren zur Synchronisation der Bewegungen einer Person und eines Systems, umfassend

• Erfassung und Tracking der Bewegungen einer Person;

• Ermittlung der Frequenz der Bewegungen der Person;

• Bewegung von stilisierter Verkörperungselemente (4625) des Systems mit einer Frequenz, die innerhalb einer definierten Bandbreite von der ermittelten Frequenz der erfassten Bewegungen der Person liegt. ASBPS11. Computer-implementiertes Verfahren nach ASBPS10, wobei die erfassten Bewegungen der Person bandpassgefiltert und fouriertransformiert werden.

ASBPS12. Computer-implementiertes Verfahren nach ASBPS10, wobei die Bewegung stilisierter Verkörperungselemente (4625) die Bewegung eines stilisierten Gesichts, Gesichtselements, Rumpfs oder Brustkorbs umfasst und/oder eine Atmung imitiert.

ASBPS13. Computer-implementiertes Verfahren nach ASBPS10, wobei die Bewegung der stilisierten Verkörperungselemente (4625) von der Bewegungseinheit (4607) niedriger gehalten als die erfasste Frequenz der Bewegungen der Person.

ASBPS14. Computer-implementiertes Verfahren nach ASBPS10, wobei die Frequenzdifferenz zwischen den Bewegungen der stilisierten Verkörperungselemente (4625) und der Person im Zeitverlauf von der Bewegungseinheit (4607) in etwa konstant gehalten wird.

ASBPS15. Computer-implementiertes Verfahren nach ASBPS10, wobei es sich bei den erfassten Bewegungen der Person um die Pulsfrequenz und/oder die Atemfrequenz handelt. ASBPS16. Computer-implementiertes Verfahren nach ASBPS10, wobei die Bewegungen der stilisierten Verkörperungselemente (4625) von der Bewegungseinheit (4607) auf eine Frequenz eingestellt werden, die niedriger ist als die Frequenz der erfassten Bewegungen der Person.

ASBPS17. Computer-implementiertes Verfahren nach ASBPS10, wobei die Bewegungen der stilisierten Verkörperungselemente (4625) von der Bewegungseinheit (4607) so gesteuert werden, dass sie im Zeitablauf langsamer werden.

ASBPS18. Computer-implementiertes Verfahren nach ASBPS10, wobei die Frequenzdifferenz zwischen den stilisierten Verkörperungselementen (4625) und der Person von der Bewegungseinheit (4607) im Zeitverlauf in etwa konstant gehalten wird. ASBPS19. Computer-implementiertes Verfahren nach ASBPS10, wobei die von der

Bewegungseinheit (4607) initiierte Bandbreite der Frequenz von der ermittelten Frequenz der Person sich in einem Intervall von 50% nach unten und/oder oben oder in einem Intervall von weniger als 15% nach unten und/oder oben bewegt.

Beispiel 5: Verfahren, Vorrichtung und/oder System zur Durchführung eines Get up and Go-Tests [0315] Ermittlung eines Score in Zusammenhang mit dem Aufstehen und Setzen auf einem Stuhl wird hier durch folgende Aspekte ASASS1 bis ASASS20 charakterisiert:

ASASS 1. Computer-implementiertes Verfahren zur Erfassung und Auswertung des

Zurücklegens einer Distanz durch eine Person, umfassend · Ausgabe einer Anweisung über eine Ausgabeeinheit;

• Erfassung und Tracking einer Person im Zeitablauf über die Distanz, wobei die Person eine Distanz von 3m Länge zwischen einer Start- und einer Wendeposition und insgesamt eine Wegstrecke von 6m Länge zurücklegt, umfassend einen Stuhl an der Startposition. ASASS2. Computer-implementiertes Verfahren nach ASASS1, wobei die Ermittlung der durch die Person zurückgelegten Distanz durch

• Erstellung eines Skelettmodells;

• Merkmalsextraktion von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten des Skelettmodells; · Merkmalsklassifizierung der Gelenkpunkte zur Ermittlung von Distanzen zwischen

Fußgelenkpunkten in der Sagittal ebene, wenn diese Minima über dem Boden erreichen, wobei die Distanzen zwischen den Fußgelenkpunkten in der Sagittalebene die Schrittlänge darstellen; weiter umfassend die Addition der Schrittlängen zur Ermittlung der zurücklegten Wegstrecke der Person.

ASASS3. Computer-implementiertes Verfahren nach ASASS1, wobei die Ermittlung der durch die Person zurückgelegten Wegstrecke durch Tracking von Bewegungen der Person zwischen der Start- und der Wendeposition.

ASASS4. Computer-implementiertes Verfahren nach ASASS1, umfassend eine Erfassung einer Drehbewegung der Person und Vergleich mit Mustern.

ASASS5. Computer-implementiertes Verfahren nach ASASS4, wobei die Drehbewegung der Person an der Wendeposition erfasst wird.

ASASS6. Computer-implementiertes Verfahren nach ASASS1, wobei eine Erfassung der Drehbewegung der Person erfolgt und die Position der Drehbewegung die Wendeposition definiert. ASASS7. Computer-implementiertes Verfahren nach ASASS4-6, wobei die Erfassung der Drehbewegung durch

• Erstellung eines Skelettmodells;

• Merkmalsextraktion von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten des Skelettmodells;

• Merkmalsklassifizierung der Gelenkpunkte zur Ermittlung einer Rotation von symmetrisch vorhandenen Gelenkpunkten um das durch die Person laufende Lot und/oder

• Merkmalsklassifizierung der Gelenkpunkte zur Ermittlung einer Winkeländerung von mehr als 160° von symmetrisch vorhandenen Gelenkpunkten zur Linie, die die Start- und Wendeposition verbindet.

ASASS8. Computer-implementiertes Verfahren nach ASASS1, wobei die Wendeposition durch eine erfasste Markierung auf dem Boden ermittelt wird.

ASASS9. Computer-implementiertes Verfahren nach ASASS1, weiter umfassend eine Ermittlung eines Aufstehens der Person von einem und/oder ein Sich-Setzen der Person auf einen Stuhl.

ASASS10. Computer-implementiertes Verfahren nach ASASS9, wobei die Ermittlung des Aufstehens der Person von einem und/oder ein Sich-Setzen der Person auf einen Stuhl über die Auswertung der Neigung des Oberkörpers im Zeitverlauf erfolgt.

ASASS11. Computer-implementiertes Verfahren nach ASASS10, wobei Auswertung der Neigung des Oberkörpers im Zeitverlauf über die

• Erstellung eines Skelettmodells;

• Merkmalsklassifizierung der Gelenkpunkte zur Ermittlung der Orientierung eines Richtungsvektors zwischen einem Hüftgelenkpunkt und einem Schultergelenkpunkt und/oder Kopfgelenkpunkt und einem Vergleich der Orientierung mit einem Schwellwert und/oder Muster und/oder

• Merkmalsklassifizierung der Gelenkpunkte zur Ermittlung der Winkeländerung zwischen Richtungsvektoren, die von einem Kniegelenkpunkt in Richtung Hüfte und/oder Fußgelenkpunkt orientiert sind und einem Vergleich der Winkeländerung mit einem Schwellwert und/oder Muster. ASASS12. Computer-implementiertes Verfahren nach ASASS10, wobei die Ermittlung des Aufstehens der Person von einem und/oder ein Sich-Setzen der Person auf einen Stuhl über Auswertung der Höhe der Person und/oder einer Höhenänderung der Person im Vergleich zu einem Schwellwert und/oder Muster erfolgt. ASASS13. Computer-implementiertes Verfahren nach ASASS10, wobei die Ermittlung des Aufstehens der Person von einem und/oder ein Sich-Setzen der Person auf einen Stuhl über die Erfassung, das Tracking und die Auswertung der Bewegungen des Kopfs der Person im Zeitablauf und eine erkannte, zumindest teilweise kreisförmige Bewegung des Kopfes innerhalb der Sagittalebene erfolgt. ASASS14. Computer-implementiertes Verfahren nach ASASS1, weiter umfassend die

Erfassung und Auswertung der Zeit zwischen dem Aufstehen der Person von einem und/oder ein Sich-Setzen der Person auf einen Stuhl oder die Ermittlung der Zeit für das Zurücklegen der Wegstrecke.

ASAS15. Computer-implementiertes Verfahren nach ASASS14, weiter umfassend die Erstellung eines Scores für die ermittelte Zeit.

ASASS16. Computer-implementiertes Verfahren nach ASASS1, weiter umfassend die Durchführung eines Tests auf die Hörfähigkeit, Sehfähigkeit und/oder die geistigen Fähigkeiten der Person.

ASASS17. Vorrichtung zur Durchführung eines Verfahrens nach ASASS1 - ASASS16. ASASS18. System umfassend einen Rechner (9), einen Speicher (10) und mindestens einen Sensor zur berührungslosen Erfassung der Bewegung einer Person, mit einem Stuhldetektionsmodul (4540), einer Ausgabevorrichtung wie einen Lautsprecher (192) und/oder ein Display (2) zur Übermittlung von Instruktionen, ein Zeitdauer-Wegstrecken- Modul (4510) zur Ermittlung der Zeitdauer zum Zurücklegen der Wegstrecke und/oder ein Geschwindigkeits-Wegstreckenmodul (4515) zur Ermittlung die Geschwindigkeit der erfassten Person auf einer Wegstrecke sowie ein Zeitdauer-Wegstrecken-Bewertungsmodul (4520) zur Bewertung der Zeit zum Zurücklegen der Wegstrecke.

ASASS19. System nach ASASS18, weiter umfassend eine Hörtesteinheit (4525), eine Sehtesteinheit (4530) und/oder eine Test-auf-geistige-Fähigkeiten -Einheit (4535). ASASS20. System nach ASASS18, weiter umfassend eine Projektionsvorrichtung (920) zur Projektion einer Wendeposition auf den Boden. Beispiel 6: Verfahren, Vorrichtung und System zur Auswertung einer Mini-Mental Test Faltübung

[0316] Die Ermittlung eines Score in Auswertung einer Faltübung wird hier durch folgende Aspekte AMMTF1 bis AMMTF25 charakterisiert:

AMMTF1. Computer-implementiertes Verfahren zum Erfassen und Auswerten eines Faltvorgangs, umfassend

• Erfassung, Identifizierung und Tracking mindestens einer Hand einer Person;

• Erfassung, Identifizierung und Tracking eines Blatts;

• Gemeinsame Klassifizierung von Dimensionen, Formen und/oder Bewegungen des erfassten Blatts und Elementen einer Hand als Faltvorgang.

AMMTF2. Computer-implementiertes Verfahren nach AMMTFG1, umfassend eine Faltung des Blatts in etwa in der Mitte.

AMMTF3. Computer-implementiertes Verfahren nach AMMTFG1, wobei das Tracking der mindestens einen Hand der Person die Erstellung eines Skelettmodells von der mindestens einen Hand der Person umfasst.

AMMTF4. Computer-implementiertes Verfahren nach AMMTFG1, umfassend eine Identifizierung des Blatts über einen fehlertoleranten Segmentierungsalgorithmus.

AMMTF5. Computer-implementiertes Verfahren nach AMMTFG4, weiter umfassend eine Blattklassifikation und/oder Klassifikation eines Faltvorgangs basierend auf Vergleich mit zweidimensionalen oder dreidimensionalen Mustern.

AMMTF6. Computer-implementiertes Verfahren nach AMMTFG1, wobei die Klassifizierung des Faltvorgangs eine Berührung von mindestens einem Daumen und mindestens einem weiteren Finger an den Fingerspitzen bzw. Fingerkuppen als Handbewegungen umfasst.

AMMTF7. Computer-implementiertes Verfahren nach AMMTFG1, wobei die Klassifizierung des Faltvorgangs eine Detektion einer Formänderung eines Blatts, das mit mindestens einem Element einer Hand in Eingriff steht, umfasst.

AMMTF8. Computer-implementiertes Verfahren nach AMMTFG1, umfassend Identifizierung und Tracken mindestens eine Ecke und/oder Kante eines Blatts. AMMTF9. Computer-implementiertes Verfahren nach AMMTFG8, weiter umfassend eine Distanzermittlung zwischen mindestens zwei Ecken und/oder Kanten des Blatts im Zeitverlauf.

AMMTF10. Computer-implementiertes Verfahren nach AMMTFG9, weiter umfassend eine Klassifizierung des Faltvorgang durch Vergleich ermittelter Distanzen mit einem Schwellwert und/oder Muster und eine Detektion eines Faltvorgangs, wenn die ermittelte Distanz unter dem Schwellwert liegt und/oder eine Mindestmusterähnlichkeit detektiert wird.

AMMTF11. Computer-implementiertes Verfahren nach AMMTFG1, wobei die Klassifizierung des Faltvorgangs eine Detektion einer Krümmung des Blatts umfasst, die über einem Schwellwert liegt und/oder die eine Mindestmusterähnlichkeit aufweist.

AMMTF12. Computer-implementiertes Verfahren nach AMMTFG1, wobei die Klassifizierung des Faltvorgangs eine Abstandsreduktion zwischen mindestens zwei Blatträndern umfasst.

AMMTF13. Computer-implementiertes Verfahren nach AMMTFG1, wobei die Klassifizierung des Faltvorgangs eine in etwa parallele Ausrichtung der Enden eines Blattrands und/oder einen Abstand der Enden eines Blattrands, der kleiner ist als 20mm, umfasst.

AMMTF14. Computer-implementiertes Verfahren nach AMMTFG1, wobei die Klassifizierung des Faltvorgangs eine Größenreduktion des erfassten und getrackten Blatts im Zeitablauf um mehr als 40% umfasst.

AMMTF15. Computer-implementiertes Verfahren nach AMMTFG1, weiter umfassend Ausgabe auf einem Display 2 und/oder eine Sprachausgabe zum Falten und Ablegen eines Blatts oder Falten und Fallenlassen eines Blatts.

AMMTF16. Computer-implementiertes Verfahren nach AMMTFG15, weiter umfassend die Erfassung des Blatts im Zeitverlauf und die Anpassung eines Werts in einem Speicher nach Detektion eines Faltvorgangs und Ablegen und/oder Fallenlassen des Blatts.

AMMTF17. Vorrichtung zur Durchführung eines Verfahrens nach AMMTFG1-AMMTFG16.

AMMTF18. System umfassend einen Rechner (9), einen Speicher (10) und einen Sensor zur berührungslosen Erfassung der Bewegung einer Person, umfassend im Speicher (10) ein

Blattdetektionsmodul (4705) zur Detektion eines Blatts sowie ein

Faltbewegungsermittlungsmodul (4710) zur Ermittlung einer Faltbewegung eines Blatts. AMMTF19. System nach AMMTFG18, wobei das System ein Skelett-Erstellungs-Modul (5635) zur Erstellung eines Skelettmodells der Person oder Teile der Person aufweist.

AMMTF20. System nach AMMTFG18, wobei das Faltbewegungsermittlungsmodul (4710) über ein Blatt-Abstands-Ecken-Kanten-Modul (4720) zur Detektion des Abstands von Kanten und/oder Ecken eines Blatts, ein Blattformänderungs-Modul (4725), ein Blattkrümmungs- Modul (4730), ein Blattdimensions-Modul (4740) und/oder ein Blattrand-Orientierungs- Modul (4745) aufweist.

AMMTF21. System nach AMMTFG18, umfassend weiterhin ein Fingerkuppen- Ab Stands- Modul (4750) zur Detektion des Abstands von Fingerkuppen von mindestens einer Hand.

AMMTF22. System nach AMMTFG18, wobei das Blattdetektionsmodul (4705) ein Blattsegmentierungsmodul (4755) und/oder ein Blattklassifikations-Modul (4760) beinhaltet.

AMMTF23. System nach AMMTFG18, umfassend eine Ausgabevorrichtung wie einen Lautsprecher (192) und/oder ein Display (2) zur Übermittlung von Instruktionen.

AMMTF24. System nach AMMTFG18, umfassend eine Schnittstelle (188) zu einem Terminal (13).

AMMTF25. System nach AMMTFG18, wobei der mindestens eine Sensor zur berührungslosen Erfassung der Bewegung einer Person eine 2D und/oder 3D-Kamera (185), ein LID AR (1), ein Radar- und/oder Ultraschall sensor (194) ist.

Beispiel 7: Manipulationserkennung

[0317] Die Manipulationserkennung wird hier durch folgende Aspekte AMI bis AM18 charakterisiert:

AMI. Computer-implementiertes Verfahren zur Ermittlung einer Manipulationswahrscheinlichkeit an einem Roboter, umfassend

• Erfassung und Tracking mindestens einer Person im Elmfeld des Roboters und

• Ermittlung einer Wahrscheinlichkeit für eine Manipulation des Roboters durch diese Person.

AM2. Computer-implementiertes Verfahren nach AMI, weiter umfassend

• Ermittlung der Position von der mindestens einen Person im Elmfeld des Roboters und

• Ermittlung der Distanz der mindestens einen Person zum Roboter. AM3. Computer-implementiertes Verfahren nach AM2, weiter umfassend eine Ermittlung einer erhöhten Manipulationswahrscheinlichkeit bei Ermittlung einer Unterschreitung eines Di stanz- Sch well werts der mindestens einen Person zum Roboter.

AM4. Computer-implementiertes Verfahren nach AMI, umfassend eine Skelettmodellerstellung der erfassten und getrackten Person und eine Extraktion und Klassifikation von Gelenkpunkten.

AM5. Computer-implementiertes Verfahren nach AM4, weiter umfassend eine Ermittlung der Orientierung der Person relativ zum Roboter.

AM6. Computer-implementiertes Verfahren nach AM5, weiter umfassend die Ermittlung einer Orientierung der Person relativ zum Roboter durch eine Ermittlung des Winkels zwischen der Frontal ebene der Person und der senkrecht auf den Bedienelementen 186 des Roboters stehenden Achse, jeweils in eine horizontale Ebene projiziert, und ein Vergleich des ermittelten Winkels mit einem Schwellwert, wobei Unterschreiten des Schwellwerts eine Detektion einer erhöhten Manipulationswahrscheinlichkeit umfasst.

AM7. Computer-implementiertes Verfahren nach AMI, weiter umfassend

• Registrierung der Person am Roboter und

• Erfassung und Speicherung von Identifikationsmerkmalen der Person.

AM8. Computer-implementiertes Verfahren nach AM7, weiter umfassend

• Erfassung und Tracking der Person;

• Erfassung von Identifikationsmerkmalen der Person;

• Vergleich der erfassten Identifikationsmerkmale mit den nach AM7 abgespeicherten Identifikationsmerkmalen der Person und Vergleich mit einem Schwellwert;

• Detektion einer erhöhten Manipulationswahrscheinlichkeit, sofern der Schwellwert unterschritten wird und Detektion einer niedrigeren Manipulationswahrscheinlichkeit, sofern der Schwellwert überschritten wird.

AM9. Computer-implementiertes Verfahren nach AM3, AM6 und/oder AM8, umfassend eine Multiplikation der Manipulationswahrscheinlichkeiten zur Ermittlung eines Manipulationsscores.

AM10. Computer-implementiertes Verfahren nach AM9, umfassend die Durchführungen von Auswertungen durch den Roboter mit der Person und das Abspeichem des Manipulationsscores zusammen mit den Auswertungsergebnissen. AMI 1. Vorrichtung zur Durchführung eines Verfahrens nach AM1-AM10.

AM12. System umfassend einen Rechner (9), einen Speicher (10) und einen Sensor zur berührungslosen Erfassung der Bewegung mindestens einer Person, umfassend ein Manipulationsversuchs-Detektionsmodul (4770) zur Detektion eines Manipulationsversuchs durch mindestens eine Person.

AM13. System nach AMI 2, weiter umfassend ein Personenidentifizierungsmodul (111).

AM14. System nach AMI 2, weiter umfassend ein Person-Roboter-Abstandsermittlungs- Modul (4775) zur Abstandsermittlung der mindestens einen Person zum Roboter.

AM15. System nach AMI 4, wobei das Person-Roboter-Abstandsermittlungs-Modul (4775) über ein Größe-Armlänge-Orientierungs-Modul (4780) zur Schätzung der Größe, Armlänge und/oder Orientierung der mindestens einen Person zum Roboter verfügt.

AM16. System nach AM13, weiter umfassend ein Eingabe-Registrierungs-Vergleichsmodul (4785) zum Abgleich, ob eine am System registrierte Person vom System erfasst wird oder über die Bedienelemente (186) Eingaben am System vornimmt.

AMI 8. System nach AM 12, wobei es sich beim mindestens einen Sensor zur berührungslosen Erfassung der Bewegung der mindestens einen Person um eine 2D und/oder 3D-Kamera (185), einen LID AR (1), einen Radar- und/oder Ultraschall sensor (194) handelt.

Beispiel 8: Manipulationserkennung 2

[0318] Die Manipulationserkennung wird hier durch folgende Aspekte AMM1 bis AMM17 charakterisiert:

AMM1. Computer-implementiertes Verfahren zur Ermittlung einer Manipulationswahrscheinlichkeit an einem Roboter, umfassend

• Erfassung und Tracking mindestens einer Person im Elmfeld des Roboters durch einen berührungslosen Sensor;

• Ermittlung der Position der Person im Elmfeld des Roboters;

• Aufzeichnung und Auswertung von Audiosignalen;

• Positionsermittlung der Quelle der Audiosignale;

• Vergleich der ermittelten Position der Person und der Position der Quelle der Audiosignale und Vergleich der Positionsdifferenz mit einem Schwellwert und • Ermittlung einer Wahrscheinlichkeit für eine Manipulation des Roboters auf Basis des Vergleichs der Positionsdifferenz mit dem Schwellwert.

AMM2. Computer-implementiertes Verfahren nach AMM1, wobei die Positionsermittlung der Quelle der Audiosignale über eine Erfassung der Richtung der Audiosignale durch mindestens ein Mikrofon und Triangulation der ermittelten Richtungen erfolgt.

AMM3. Computer-implementiertes Verfahren nach AMM1, wobei die Positionsermittlung der Quelle der Audiosignale umfasst

• Erfassung der Richtung des Audiosignals durch ein Mikrofon;

• Ermittlung der Position mindestens einer Person durch den berührungslosen Sensor;

• Triangulation der Richtung des Audiosignals und der ermittelten Position der Person.

AMM4. Computer-implementiertes Verfahren nach AMM1, weiter umfassend

• Auswertung des Gesichts der Person;

• Erfassung der Lippenbewegungen im Zeitablauf;

• zeitlicher Vergleich erfasster Audiosignale mit den erfassten Lippenbewegungen in Relation zu einem Schwellwert und

• in Abhängigkeit des Schwellwerts Zuordnung der erfassten Audiosignale zur erfassten Person.

AMM5. Computer-implementiertes Verfahren nach AMI, weiter umfassend

• Registrierung der Person am Roboter und

• Erfassung und Speicherung von Identifikationsmerkmalen der Person, wobei Identifikationsmerkmale Frequenz, Intensität, und/oder Spektrum der Audiosignale von der Person umfassen.

AMM6. Computer-implementiertes Verfahren nach AM5, weiter umfassend

• Erfassung und Tracking der Person;

• Erfassung von Identifikationsmerkmalen der Person;

• Vergleich der erfassten Identifikationsmerkmale mit den nach AM5 abgespeicherten Identifikationsmerkmalen der Person und Vergleich mit einem Schwellwert;

• Registrierung von Eingaben der Person an den Bedienelemente (186) und

• Zuordnung, ob eine registrierte Person Eingaben an den Bedienelementen (186) vornimmt. AMM7. Computer-implementiertes Verfahren nach AM5, weiter umfassend eine Ermittlung einer erhöhten Wahrscheinlichkeit für eine Manipulation des Roboters, wenn eine nicht registrierte Person Eingaben an den Bedienelementen (186) des Roboters vornimmt.

AMM8. Computer-implementiertes Verfahren nach AMM1, weiter umfassend

• Ermittlung von Wörtern und/oder Wortsequenzen in den erfassten Audiosignalen;

• Zuordnung der ermittelten Wörter und/oder Wortsequenzen zu erfassten Personen;

• Ermittlung einer Wahrscheinlichkeit für eine Manipulation des Roboters durch einen Vergleich der ermittelten Wörter und/oder Wortsequenzen und Bewertung in Relation zu einem Schwellwert.

AMM9. Computer-implementiertes Verfahren nach AMM1, umfassend

• Ermittlung von Worten oder Wortsequenzen, die von der Person über ein Bedienelement (186) eingegeben werden;

• Zuordnung der ermittelten Wörter und/oder Wortsequenzen aus den erfassten Audiosignalen zu erfassten Personen;

• Erfassung von Identifikationsmerkmalen der Person;

• Ermittlung einer erhöhten Wahrscheinlichkeit für eine Manipulation des Roboters, wenn ein Vergleich der über die Bedienelemente (186) eingegebenen Wortsequenzen mit aus den erfassten Audiosignalen ermittelten Wortsequenzen eine Übereinstimmung ergibt, die über einem Schwellwert liegt und zugleich eine Übereinstimmung beim Vergleich erfasster Identifikationsmerkmale der Person mit bei der Registrierung erfassten und abgespeicherten Identifikationsmerkmalen vorliegt, die über einem Schwellwert liegt.

AMM10. Computer-implementiertes Verfahren nach AMM1, wobei die Positionsermittlung der Quelle der Audiosignale über eine Re-Positionierung des Mikrofons und die Erfassung der Audiosignale von zwei Mikrofonpositionen mit nachfolgender Triangulation erfolgt.

AMM1 1. Computer-implementiertes Verfahren nach AMM1, umfassend die Ermittlung eines Manipulationsscores durch Multiplikation ermittelter Manipulationswahrscheinlichkeiten.

AMM12. Vorrichtung zur Durchführung eines Verfahrens nach AMMl-AMMl 1.

AMM13. System zur Manipulationsauswertung auf Basis von Audiosignalen, umfassend einen Rechner (9), einen Speicher (10), Bedienelemente (186), einen Sensor zur berührungslosen Erfassung der Bewegung einer Person, ein Manipulationsversuchs- Detektionsmodul (4770), mindestens ein Mikrofon (193), ein Personen-Positions- Ermittlungs-Modul (4415) zur Ermittlung der Position einer Person, ein Audioquellen- Positionsermittlungs-Modul (4420) zur Bestimmung der räumlichen Herkunft eines Audiosignals, ein Audiosignal-Vergleichs-Modul zum Vergleich zweier Audiosignale (4425) und ein Audiosignal-Personen-Modul (4430) zur Zuordnung von Audiosignalen zu einer Person.

AMM14. System nach AMM13, umfassend ein Sprachauswertungsmodul (132).

AMM15. System nach AMM13, umfassend ein Eingabe-Registrierungs-Vergleichsmodul (4785) zum Abgleich, ob eine vom System identifizierte Person Eingaben am System vornimmt.

AMM16. System nach AMM13, wobei der Sensor zur berührungslosen Erfassung der Bewegung einer Person eine 2D und/oder 3D-Kamera (185), ein LID AR (1), ein Radar- und/oder Ultraschall sensor (194) ist.

AMM17. System nach AMM13, umfassend ein Audiosequenz-Eingabe-Modul (4435) zum Vergleich einer Audiosequenz mit einer Sequenz taktil eingegebener Buchstabenfolgen.

Beispiel 9: Spektrometrie

[0319] Die Spektroskopie wird hier durch folgende Aspekte ASP1 bis ASP20 charakterisiert:

ASP1. Computer-implementiertes Verfahren zur spektrometri sehen Analyse mindestens einer Körperregion einer Person, umfassend

• Erfassung, Tracking und Erzeugung einer Abbildung einer Person;

• Segmentierung der erzeugten Abbildung der Person in Körperregionen;

• Bestimmung der Körperregionen über eine Klassifizierung;

• Ausrichtung eines Spektrometers (196) auf eine hinterlegte Körperregion.

ASP2. Computer-implementiertes Verfahren nach ASP1, wobei es sich bei der Körperregionen um die Stirn der Person, die Handoberfläche und/oder den Oberkörper handelt.

ASP3. Computer-implementiertes Verfahren nach ASP1, weiter umfassend

• Ermittlung von Bewegungen einer bestimmten Körperregion im Zeitverlauf; • Vergleich der ermittelten Bewegungen der Körperregion mit einem Schwellwert und/oder Muster;

• Durchführung einer Messung mit dem Spektrometer (196) auf der bestimmten Körperregion in Abhängigkeit vom Schwellwertvergleich und/oder Mustervergleich.

ASP4. Computer-implementiertes Verfahren nach ASP3, weiter umfassend

• Überwachung der Bewegungen der Körperregion während der Messung und Durchführung von Schwellwertvergleichen und/oder Mustervergleichen;

• Unterbrechung der Messung in Abhängigkeit der Schwellwertvergleiche und/oder Mustervergl ei che .

ASP5. Computer-implementiertes Verfahren nach ASP1, umfassend

• Klassifizierung gemessener Spektren durch Vergleich mit Referenzspektren und

• quantitative und/oder qualitative Bestimmung mindestens einer gemessenen Substanz auf Basis der Klassifikation.

ASP6. Computer-implementiertes Verfahren nach ASP5, umfassend

• Vergleich ermittelter Substanzen in Quantität und/oder Qualität mit hinterlegten Daten und

• Erstellung einer Diagnose eines Krankheitsbilds.

ASP7. Computer-implementiertes Verfahren nach ASP1, umfassend die Auswertung der Umgebungstemperatur.

ASP8. Computer-implementiertes Verfahren nach ASP5, umfassend die quantitative Auswertung einer Perspiration der Person.

ASP9. Computer-implementiertes Verfahren nach ASP1, umfassend die Ermittlung eines Delirium Detection Score.

ASP10. Computer-implementiertes Verfahren nach ASP1, umfassend die Ermittlung kognitiver Fähigkeiten der Person.

ASP11. Vorrichtung zur Durchführung eines Verfahrens nach ASP1-ASP10.

ASP12. System umfassend einen Rechner (9), einen Speicher (10) und einen Sensor zur berührungslosen Erfassung einer Person, umfassend ferner ein Spektrometer (196), ein visuelles-Personentracking-Modul (112), eine Körperregions-Detektions-Modul (4810) zur Detektion von Körperregionen, eine Spektrometer-Ausrichtungseinheit (4805) zur Ausrichtung des Spektrometers (196) auf eine Körperregion einer Person, und mit Zugriff auf eine Referenzspektren-Datenbank (4825) mit Referenzspektren zum Abgleich gemessener Spektren zwecks Ermittlung gemessener Substanzen.

ASP13. System nach ASP12, umfassend ein Spektrometer-Messmodul (4820) zur Überwachung eines Messvorgangs des Spektrometers (196).

ASP14. System nach ASP12, wobei das visuelle Personentracking-Modul (112) ein Körperregion-Tracking-Modul (4815) beinhaltet.

ASP15. System nach ASP12, umfassend Zugriff auf eine Krankheitsbilder-Datenbank (4830) mit hinterlegten Krankheitsbildern. ASP16. System nach ASP12, umfassend ein Perspirations-Modul (4835) zur quantitativen Ermittlung der Perspiration einer Person.

ASP17. System nach ASP12, umfassend ein Delirium-Detection-Score-Ermittlungs-Modul (4840) zur Ermittlung eines Delirium Detection Score.

ASP18. System nach ASP12, umfassend ein Kognitive-Fähigkeiten-Bewertungs-Modul (4845) zur Bewertung kognitiver Fähigkeiten der Person.

ASP19. System nach ASP12, umfassend ein Thermometer (4850).

ASP20. System nach ASP12, wobei der mindestens eine Sensor zur berührungslosen Erfassung der Bewegung einer Person eine 2D und/oder 3D-Kamera (185), eine LID AR (1), eine Radar- und/oder Ultraschall sensor (194) ist.

Beispiel 10: Aufmerksamkeitsanalyse

[0320] Die Aufmerksamkeitsanalyse wird hier durch folgende Aspekte AAA1 bis AAA18 charakterisiert:

AAA1. Computer-implementiertes Verfahren zum Abgleich von erfassten Signalen eines taktilen Sensors (4905) mit einer Folge ausgegebener Tonsignale, umfassend

• Ausgabe einer Folge von gepulsten Tonsignalen;

• Erfassung von Signalen durch einen taktilen Sensor (4905);

• Vergleich der ausgegebenen Folge von Tonsignalen mit den durch den taktilen Sensor (4905) erfassten Signalen. AAA2. Computer-implementiertes Verfahren nach AAA1, mit einer Pulsfrequenz der gepulsten Signale zwischen ca. 0,3 und 3 Hz.

AAA3. Computer-implementiertes Verfahren nach AAA1, mit einer Verzögerung bzw. Phasenverschiebung zwischen den ausgegebenen, gepulsten Tonsignalen und den durch den taktilen Sensor (4905) erfassten Signalen.

AAA4. Computer-implementiertes Verfahren nach AAA3, wobei die Verzögerung bzw. Phasenverschiebung ca. eine halbe Pulslänge beträgt.

AAA5. Computer-implementiertes Verfahren nach AAA3, wobei das erfasste Signal des taktilen Sensors (4905) der gepulsten Tonsequenz nachläuft. AAA6. Computer-implementiertes Verfahren nach AAA1, umfassend die Zuordnung eines Werts zu jedem ausgegebenen Tonsignal.

AAA7. Computer-implementiertes Verfahren nach AAA6, weiter umfassend eine Anpassung eines Werts bei Detektion eines Signals nach einem definierten Wert.

AAA8. Computer-implementiertes Verfahren nach AAA7, wobei die Anpassung des Werts eine Inkrementierung des Werts darstellt.

AAA9. Computer-implementiertes Verfahren nach AAA7, weiter umfassend die Erstellung einer Diagnose auf Basis des angepassten Werts.

AAA10. Computer-implementiertes Verfahren nach AAA9, wobei die Diagnose eine Einschätzung kognitiver Fähigkeiten darstellt. AAA1 1. Computer-implementiertes Verfahren nach AAA1, umfassend die Erfassung einer Person und die Detektion und Positionsbestimmung einer Hand der Person.

AAA12. Computer-implementiertes Verfahren nach AAA11, umfassend die Positionierung des taktilen Sensors (4905) in einer Distanz zur Hand, die unter einem Schwellwert liegt.

AAA13. Vorrichtung zur Durchführung eines Verfahrens nach AAA1-AAA12. AAA14. System umfassend einen Rechner (9), einen Speicher (10), eine Ausgabeeinheit für akustische Signale (192), einen taktilen Sensor (4905) sowie eine taktile Sensor- Auswertungseinheit (4910) zur Auswertung von Signalen des taktilen Sensors (4905) und ein taktile-Sensor-Ausgabe-Vergleichsmodul (4915) zur Durchführung eines Vergleichs, ob die erfassten Signale nach einer Ausgabe akustischer Signale auftreten. AAA15. System nach AAA14, umfassend einen Aktor (4920), auf dem der taktile Sensor (4905) positioniert ist.

AAA16. System nach AAA14, umfassend eine Aktor-Positionierungseinheit (4925) zur Positionierung des taktilen Sensors (4905) innerhalb einer definierten Distanz zur Hand.

AAA17. System nach AAA14, umfassend eine Kamera (185), ein Personenidentifizierungsmodul (111) und ein Handidentifizierungsmodul (4930).

AAA18. System nach AAA14, umfassend ein Kognitive-Fähigkeiten-Bewertungs-Modul (4845) zur Bewertung kognitiver Fähigkeiten der Person.

Beispiel 11: Kognitive Analyse

[0321] Die kognitive Analyse wird hier durch folgende Aspekte AKA1 bis AKA16 charakterisiert:

AKAT Computer-implementiertes Verfahren zum Abgleich von auf Basis von Videosignalen ermittelten Fingerposen einer Person mit optisch und/oder akustisch ausgegebenen Zahlen werten, umfassend

• Optische und/oder akustische Ausgabe von Zahlenwerten;

• Erfassung und Tracking von Fingern einer Person;

• Ermittlung von Fingerposen;

• Bewertung der Fingerposen und

• Vergleich der bewerteten Fingerposen mit den optisch und/oder akustisch ausgegebenen Zahlenwerten.

AKA2. Computer-implementiertes Verfahren nach AKA1, wobei die Fingerposen Zahlenwerte darstellen.

AKA3. Computer-implementiertes Verfahren nach AKA2, wobei ein Zahlenwert mehrere Fingerposen darstellen kann.

AKA4. Computer-implementiertes Verfahren nach AKA1, wobei die optische Ausgabe von Zahlenwerten eine Ausgabe von Fingerposen durch einen Aktor (4920) darstellt.

AKA5. Computer-implementiertes Verfahren nach AKA1, weiter umfassend eine Erfassung und ein Tracking des Kopfs der Person und eine Ermittlung des Sichtbereichs der Person. AKA6. Computer-implementiertes Verfahren nach AKA5, weiter umfassend eine Positionierung des Aktors (4920) und/oder eines Displays (2) im Sichtbereich der Person.

AKA7. Computer-implementiertes Verfahren nach AKA1, weiter umfassend eine Ermittlung kognitiver Fähigkeiten der Person durch Bewertung des Vergleichs der bewerteten Fingerposen mit den optisch und/oder akustisch ausgegebenen Zahlenwerten.

AKA8. Vorrichtung zur Durchführung eines Verfahrens nach AKA1-AKA7.

AKA9. System umfassend einen Rechner (9), einen Speicher (10), eine Ausgabeeinheit und ein Zahlenwert-Ausgabe-Modul (4940) zur Ausgabe von Zahlenwerten, eine Personenerfassungs- und Trackingeinheit (4605) mit einer Kamera (185) und einem Personenerkennungsmodul (110).

AKA10. System nach AKA9, wobei es sich bei der Ausgabeeinheit um einen Tongenerator wie einen Lautsprecher (192), ein Display (2) oder einen Aktor (4920) handelt.

AKA1 1. System nach AKA10, wobei es sich beim Aktor (4920) um einen Roboterarm handelt. AKA12. System nach AKA10, wobei der Aktor (4920) über eine Roboterhand (4950) verfügt.

AKA13. System nach AKA9, weiter umfassend ein Handposen-Detektions-Modul (4960) zur Detektion und von Handposen der Person.

AKA14. System nach AKA12, wobei das System eine Fingerposen-Generierungsmodul (4955) zur Generierung von Fingerposen der Roboterhand (4950) umfasst.

AKA15. System nach AKA9, wobei das System mit einem Patientenadministrationsmodul (160) verbunden ist.

AKA16. System nach AKA9, weiter umfassend ein Kognitive-Fähigkeiten-Bewertungs- Modul (4845) zur Bewertung kognitiver Fähigkeiten der erfassten Person.

Beispiel 12: Schmerzstatus-Bestimmung

[0322] Die Schmerzstatus-Bestimmung wird hier durch folgende Aspekte ASB1 bis ASB23 charakterisiert: ASB1. Computer-implementiertes Verfahren zur Ermittlung des Schmerzstatus einer Person, umfassend

• Erfassung der Person,

• Gesichtserkennung der Person,

• Selektion von Kandidatenregionen innerhalb des Gesichts;

• Merkmalsextraktion der Oberflächenkrümmungen der Kandidatenregionen;

• Klassifizierung der Oberflächenkrümmungen der Kandidatenregionen einzeln und/oder zusammenhängend, wobei die Klassifizierung einen Schmerzstatus beschreibt.

ASB2. Computer-implementiertes Verfahren nach ASB1, wobei die einzelne und/oder zusammenhängende Klassifizierung der Oberflächenkrümmung der Kandidatenregionen eine Ermittlung von Emotionen darstellt.

ASB3. Computer-implementiertes Verfahren nach ASB2, weiter umfassend die Zuweisung von Skalenwerten zu den Emotionen und die Emotionsbewertung auf einer Skala.

ASB4. Computer-implementiertes Verfahren nach ASB2, weiter umfassend die Auswertung der Emotionen im Zeitablauf.

ASB5. Computer-implementiertes Verfahren nach ASB1, weiter umfassend

• Erfassung eines Betts und Erstellung von Abbildungen des Betts;

• Klassifizierung der Abbildungen des Betts durch Vergleich mit Mustern zur Detektion einer zu erfassenden Person.

ASB6. Computer-implementiertes Verfahren zur Ermittlung des Schmerzstatus einer Person, umfassend

• Erfassung und Tracking der oberen Extremitäten einer Person im Zeitablauf;

• Auswertung der Winkel zwischen Rumpf und Oberarm, Oberarm und Unterarm und/oder Fingergliedern und Handknochen, wobei die Auswertung der Winkel einen Schmerzstatus beschreibt.

ASB7. Computer-implementiertes Verfahren nach ASB6, weiter umfassend die Auswertung der

• Intensität der Winkeländerungen;

• Geschwindigkeit der Winkeländerungen und/oder

• Anzahl der Winkeländerungen pro Zeiteinheit. ASB8. Computer-implementiertes Verfahren nach ASB7, weiter umfassend die Zuweisung von Skalenwerten zur Auswertung der Winkeländerungen.

ASB9. Computer-implementiertes Verfahren zur Ermittlung des Schmerzstatus einer Person, umfassend

• Aufzeichnung akustischer Signale;

• Auswertung der akustischen Signale durch eine Schmerzklassifikation zur Ermittlung, ob die aufgezeichneten akustischen Signale eine Schmerzvokalisierung repräsentieren;

• Bewertung der als Schmerzvokalisierung klassifizierten akustischen Signale durch eine Schmerzintensitätsklassifikation, wobei

• die Schmerzintensitätsklassifikation die Zuweisung von Skalenwerten zu den aufgezeichneten akustischen Signalen umfasst und die Skalenwerte einen Schmerzstatus repräsentieren.

ASB10. Computer-implementiertes Verfahren nach ASB9, umfassend

• Positionsbestimmung der Quelle akustischer Signale;

• Positionsbestimmung der Person, deren Schmerzstatus ermittelt wird;

• Abgleich der ermittelten Position durch Vergleich mit einem Schwellwert;

• Abspeichem eines Werts in Abhängigkeit vom Schwellwertvergleich in Bezug auf den ermittelten Schmerzstatus.

ASB1E Computer-implementiertes Verfahren zur Ermittlung des Schmerzstatus einer Person, umfassend

• Erfassung der Person,

• Gesichts- und Halserkennung der Person,

• Auswertung des Gesichts- und Halsbereichs der Person nach Mustern, die eine Vorrichtung zur künstlichen Beatmung beschreiben;

• Abspeichern eines Werts bei Detektion eines Musters, das eine Vorrichtung zur künstlichen Beatmung beschreibt, wobei die Vorrichtung zur künstlichen Beatmung einen Schmerzstatus beschreibt.

ASB12. Computer-implementiertes Verfahren nach ASB1, ASB6, ASB9 oder ASB11, wobei mindestens zwei der Verfahren parallel oder sequentiell durchgeführt werden. ASB 13. Computer-implementiertes Verfahren nach ASB1, ASB6, ASB9 oder ASB11, weiter umfassend die Auswertung der ermittelten Skalenwerte oder abgespeicherten Werte innerhalb einer Delirdetektion.

ASB14. Vorrichtung zur Durchführung eines Verfahrens nach ASB1-ASB13. ASB 15. System zur Ermittlung des Schmerzstatus einer Person, umfassend einen Rechner (9), einen Speicher (10), einen Sensor zur berührungslosen Erfassung der Person und ein Schmerzstatus-Berechnungsmodul (5040).

ASB 16. System nach ASB 15, umfassend ein Gesichtserkennungs-Modul (5005) zur Erkennung des Gesichts der Person, ein Gesichts-Kandidatenregion-Modul (5010) zur Selektion von Kandidatenregionen innerhalb des Gesichts, ein Emotions-Klassifikations- Modul (5015) zur Klassifizierung der Oberflächenkrümmungen der Kandidatenregionen des Gesichts in Emotionen, und ein Emotions-Bewertungs-Modul (5020) zur Ermittlung eines Skalenwerts für die Emotion.

ASB17. System nach ASB15, umfassend ein Betterkennungs-Modul (5025) zur Erkennung eines Betts.

ASB18. System nach ASB15, umfassend ein Personenerkennungsmodul (110), ein visuelles Personentracking-Modul (112), ein obere-Extremitäten-Auswertungs-Modul (5035) zur Detektion und Tracking der oberen Extremitäten der Person und Auswertung der Winkel der oberen Extremitäten. ASB19. System nach ASB15, umfassend ein Mikrofon (193) zur Aufzeichnung akustischer Signale, Schmerzvokalisations-Modul (5055) zur Klassifizierung der Intensität und Frequenz der akustischen Signale und Ermittlung eines eine Schmerzvokalisierung repräsentierenden Skalenwerts.

ASB20. System nach ASB 19, umfassend weiterhin ein Audioquellen-Positionsermittlungs- Modul (4420) zur Auswertung der Position der Quelle akustischer Signale und ein

Audiosignal -Personen -Modul (4430) zur Zuordnung von Audiosignalen zu einer Person.

ASB21. System nach ASB 15, umfassend ein Beatmungsvorrichtungs-Erkennungsmodul (5065) zur Erkennung einer Vorrichtung zur künstlichen Beatmung.

ASB22. System nach ASB 15, umfassend ein Schmerzempfindungs- Auswertungsmodul (5085) zur Auswertung von an einer Person befestigten Sensoren. ASB23. System nach ASB 15, wobei es sich beim Sensor zur berührungslosen Erfassung der Person um eine 2D und/oder 3D-Kamera (185), einen LID AR (1), einen Radar- und/oder Ultraschall sensor (194) handelt.

Beispiel 13: Blutdruck

[0323] Die Ermittlung des Blutdrucks wird hier durch folgende Aspekte ABI bis AB16 charakterisiert:

ABI. Computer-implementiertes Verfahren zur Ermittlung kardiovaskulärer Parameter einer Person, umfassend

• Erfassung und Tracking des Gesichts einer Person;

• Selektion von Kandidatenregionen innerhalb des Gesichts;

• Erfassung und Auswertung von Bewegungen innerhalb der Kandidatenregionen des Gesichts, die auf kardiovaskuläre Aktivitäten zurückzuführen sind.

AB2. Computer-implementiertes Verfahren nach ABI, wobei die Bewegungen den Blutfluss in Adern umfassen.

AB3. Computer-implementiertes Verfahren nach ABI, wobei die Bewegungen die Bewegungen der Gesichtsoberfläche und/oder des Kopfs umfassen.

AB4. Computer-implementiertes Verfahren nach ABI, mit einer zwei- und/oder dreidimensionalen Erfassung der Bewegungen.

AB5. Computer-implementiertes Verfahren nach ABI, mit einer einzelnen und/oder zusammenhängenden Auswertung der Kandidatenregionen.

AB6. Computer-implementiertes Verfahren nach ABI, weiter umfassend

• Ausleuchtung des Gesichts und

• frontale Erfassung des Gesichts.

AB7. Computer-implementiertes Verfahren nach ABI, wobei die Auswertung der Bewegungen die Klassifizierung der Bewegungen zur Ermittlung des systolischen oder diastolischen Blutdrucks beinhaltet.

AB8. Computer-implementiertes Verfahren nach ABI, weiter umfassend

• Ermittlung der Orientierung des Gesichts im Raum • Minimierung des Erfassungswinkel des Gesichts, der sich aus einer Achse ergibt, die senkrecht auf einem Sensor zur Erfassung des Gesichts steht, und einer Achse, die sich senkrecht auf der Sagittalebene des Gesichts befindet.

AB9. Vorrichtung zur Durchführung eines Verfahrens nach AB1-AB8.

AB 10. System zur Ermittlung kardiovaskulärer Parameter einer Person, umfassend einen Rechner (9), einen Speicher (10) und eine Kamera (185), weiter umfassend ein Körperregions-Detektions-Modul (4810) zur Detektion von Körperregionen, ein Körperregion-Tracking-Modul (4815), und ein kardiovaskuläre-Bewegungen-Modul (5110) zur Erfassung von Bewegungen, die auf kardiovaskuläre Aktivitäten zurückzuführen sind.

ABI 1. System nach AB 10, weiter umfassend ein Gesichtserkennungs-Modul (5005) und ein Gesichts-Kandidatenregion-Modul (5010).

AB12. System nach AB10, wobei die Kamera (185) mindestens den grünen Farbkanal mit 8 Bit zur Verfügung stellt.

AB 13. System nach AB 10, weiter umfassend eine Leuchte (5120) zur Ausleuchtung des Gesichts während der Aufzeichnung durch die Kamera (185).

AB14. System nach AB13, wobei die Leuchte oberhalb und/oder unterhalb von der Kamera (185) positioniert ist.

AB 15. System nach AB 10, umfassend ein Blutdruck-Ermittlungs-Modul (5125) zur Ermittlung des systolischen oder diastolischen Blutdrucks.

AB16. System nach AB10, umfassend weiterhin eine Kippeinheit (5130), um den Erfassungswinkel der Kamera (185) im Vergleich zur Sagittalebene zu minimieren und/oder einen Bewegungsplaner (104), um die Kamera (185) relativ zum erfassten Gesicht zu repositionieren.

Beispiel 14: Substanzmessung

[0324] Die Messung von Substanzen unter der Haut wie bspw. Glucose wird hier durch folgende Aspekte AG1 bis AG20 charakterisiert:

AG1. System zur Messung von Substanzen auf und/oder innerhalb der Haut einer Person, umfassend einen Detektor (195) mit einem Auswertungslaser (5205) und einem weiteren Laser (5210), wobei der Auswertungslaser (5205) ab Eintritt in ein Medium (5215) wie bspw. eine Kristalloberfläche abgelenkt wird und der weitere Laser (5210) eine Substanz unter Variation der Wellenlänge anregt, wobei der Bereich der angeregten Substanz an der Stelle mit dem Medium (5215) in Eingriff steht, an der der Auswertungslaser (5205) abgelenkt wird, weiter umfassend ein Laser-Variations-Modul (5225) zur Merkmalsextraktion und Merkmalsklassifizierung der Wellenlängenvariation des weiteren Lasers und ein Laserablenkungs-Auswertungs-Modul (5220) zur Auswertung der Ablenkung des Auswertungslasers.

AG2. System zur Messung von Substanzen auf und/oder innerhalb der Haut einer Person, umfassend einen Detektor (195) mit einem Medium (5215) bestehend aus einem Kristall mit kubischer, hexagonaler oder tetragonaler Gitterstruktur, einem Brechungsindex von 1-4 und einer Spektralweite, die im Intervall zwischen 100nm-20.000nm liegt.

AG3. System nach AG1 und AG2, umfassend weiterhin ein Sensor zur berührungslosen Erfassung einer Person, ein Bewegungsauswertungsmodul (120) zur Auswertung von erfassten Bewegungen der Person und ein Fingerpositionierungs-Erkennungs-Modul (5230) zur automatisierten Erkennung der Positionierung eines Fingers auf dem Medium (5215) und Start der Messung.

AG4. System nach AG 1 und AG2, weiter umfassend einen Auswertungslaser (5205) und einen weiteren Laser (5210), wobei der Auswertungslaser (5205) ab der Kristalloberfläche abgelenkt wird und der weitere Laser (5210) eine Substanz unter Variation der Wellenlänge anregt, wobei der Bereich der angeregten Substanz an der Stelle mit dem Medium (5215) in Eingriff steht, an der der Auswertungslaser (5210) abgelenkt wird.

AG5. System nach AG1 und AG2, weiter umfassend ein Laser-Variations-Modul (5225) zur Merkmalsextraktion und Merkmalsklassifizierung der Wellenlängenvariation des weiteren Lasers (5210) und Laserablenkungs-Auswertungs-Modul (5220) zur Auswertung der Ablenkung des Auswertungslasers (5205).

AG6. System nach AG1 und AG2, wobei der Auswertungslaser (5205) mittels eines Sensors auf Basis des Fotoeffekts (5250) ausgewertet wird.

AG7. System nach AG1 und AG2, weiter umfassend eine Schnittstelle zur Übertragung von Daten in ein Patientenadministrationssystem (160). AG8. System nach AG1 oder AG2, wobei der Detektor (195) auf einem Aktor (4920) positioniert ist.

AG9. System nach AG1 oder AG2, umfassend weiterhin einen Sensor zur berührungslosen Erfassung einer Person wie bspw. einer 2D oder 3D-Kamera (185), einen LID AR (1), einen Radar und/oder einem Ultraschall sensor (194).

AGIO. System nach AG9, umfassend weiterhin ein Körperregions-Detektions-Modul (4810) und ein Körperregion-Tracking-Modul (4815) zum Tracking der Messregion.

AG11. System zur Messung von Substanzen auf und/oder innerhalb der Haut einer Person, mit einer Kamera (185) und einer Kippeinheit (5130) zur Ausrichtung der Kamera (185), mit einem Körperregions-Detektions-Modul (4810) und ein Körperregion-Tracking-Modul (4815), mit mindestens einer Lichtquelle (5270) zur Beleuchtung der zu erfassenden Haut der Person, mit einer Wellenlängenvariations-Einheit (5275) zur Variation der Wellenlänge des von der mindestens einen Lichtquelle emittierten Lichts , und einer Wellenlängenvariations- Auswertungs-Einheit (5280) zur Auswertung der Variation der Wellenlänge der erfassten Signale.

AG12. System nach AG11, wobei es sich bei der mindestens einen Lichtquelle (5270) um einen Laser und/oder um mehrere LEDs mit unterschiedlichen Spektren handelt, die entsprechend angesteuert werden können.

AG13. System nach AG11, wobei die Wellenlänge des emittierten Lichts zwischen 550 und 1600 nm liegt.

AG14. System nach AG11, wobei die Wellenlänge des emittierten Lichts zwischen 900 und 1200 nm liegt.

AG15. System nach AG11, wobei die Kamera (185) über einen Fotodetektor aus Indiumgalliumarsenid oder Bleisulfit verfügt.

AG16. System nach AG11, umfassend eine weitere Kamera (185) zur Detektion von Licht im Spektrum 400-800 nm.

AG17. System nach AG1, AG2 und AG11, wobei das System über ein Stoffklassifikationsmodul-Modul (5295) zur Merkmalsextraktion und

Merkmalsklassifizierung erfasster Lichtsignale und Vergleich der klassifizierten Lichtsignale in einem Speicher abgelegten Substanzdaten. AG18. Computer-implementiertes Verfahren zur Messung von Substanzen auf und/oder innerhalb der Haut einer Person, umfassend

• Ausrichtung einer Kamera (185) auf die Hautoberfläche einer Person;

• Erfassung und Tracking der Oberfläche der Person im Zeitverlauf;

• Anstrahlen der Person mit einer Lichtquelle (5270);

• Variation der Wellenlänge des durch die mindestens eine Lichtquelle (5270) emittierten Lichts;

• Detektion des auf der Hautoberfläche und/oder in der Haut reflektierten Lichts;

• Auswertung mindestens des detektierten Lichts durch Vergleich ausgewerteter Merkmale mit hinterlegten Merkmalen.

AG19. Computer-implementiertes Verfahren nach AG18, weiter umfassend die Ermittlung der Konzentration von Substanzen, die sich auf der Hautoberfläche und/oder innerhalb der Haut befinden.

AG20. Vorrichtung zur Durchführung eines Verfahrens nach AG19-AG20.

Beispiel 15: erfahrungswertbasierte Prognose postoperativer Demenz und/oder Delir

[0325] Die erfahrungsweitbasierte Prognose postoperativer Demenz und/oder Delir wird hier durch folgende Aspekte AEPPD1 bis AEPPD8 charakterisiert:

AEPPD1. Computer-implementiertes Verfahren zur Prognose postoperativer Demenz und/oder Delir, umfassend

• Erfassung von Personen im Zeitablauf;

• Ermittlung von Gesundheitszustandsdaten der Personen auf Basis der Erfassung der Personen im Zeitablauf;

• Erhalt von präoperativen Daten der Personen;

• Erhalt von Interventionsdaten zu den Personen;

• Ermittlung des Einflusses der präoperativen Daten und der Interventionsdaten auf die Gesundheitszustandsdaten der Personen durch Berechnung einer Gewichts Schätzung für Parameter der präoperativen Daten und der Interventionsdaten.

AEPPD2. Computer-implementiertes Verfahren nach AEPPD1, weiter umfassend eine Prognose des Gesundheitszustands einer erfassten Person auf Basis der Gewichts Schätzung und neu erhobener präoperativer Daten und Interventionsdaten der Person. AEPPD3. Computer-implementiertes Verfahren nach AEPPD2, wobei die Erfassung der Person anteilig automatisiert erfolgt.

AEPPD4. Computer-implementiertes Verfahren nach AEPPD2, wobei die Erfassung der Person durch einen Serviceroboter (17) erfolgt.

AEPPD5. Computer-implementiertes Verfahren nach AEPPD1, wobei für die Gewichtsschätzung Verfahren des maschinellen Lernens genutzt werden.

AEPPD6. Computer-implementiertes Verfahren nach AEPPD2, wobei Prognose des Gesundheitszustands eine Prognose des Auftretens von postoperativer Demenz/Delir ist.

AEPPD7. Computer-implementiertes Verfahren nach AEPPD1, umfassend Übertragung der Gewichtsschätzung auf einen Serviceroboter (17).

AEPPD8. Vorrichtung zur Durchführung eines Verfahrens nach AEPPD1-AEPPD7.

Beispiel 16: Detektion von Feuchtigkeit auf Oberflächen

[0326] Die Bewertung von Feuchtigkeit auf Oberflächen wird hier durch folgende Aspekte ADFOl bis ADF018 charakterisiert:

ADFOl. Computer-implementiertes Verfahren zur Bewertung der Position von Feuchtigkeit auf einer Oberfläche, umfassend

• Erfassung einer Oberfläche;

• Klassifizierung der Oberflächenbeschaffenheit zur Detektion von Feuchtigkeit auf der erfassten Oberfläche;

• Segmentierung der erfassten Oberfläche in feuchte und nicht-feuchte Bereiche;

• Ermittlung der Breite der erfassten Bereiche;

• Bewertung der Breite der erfassten Bereiche durch Vergleich mit mindestens einem hinterlegten Wert.

ADF02. Computer-implementiertes Verfahren nach ADFOl, wobei die Ermittlung der Breite senkrecht zur Bewegungsrichtung eines Systems erfolgt.

ADF03. Computer-implementiertes Verfahren nach ADF02, umfassend eine Bewegung des Systems durch einen als trocken bewerteten Bereich, sofern dessen ermittelte Breite einen Schwellwert überschreitet. ADF04. Computer-implementiertes Verfahren nach ADFOl, umfassend eine Ausgabe über eine Ausgabeeinheit, auf die als feucht bewertete Fläche hinweisend.

ADF05. Computer-implementiertes Verfahren nach ADF02, umfassend einen Abbruch der Bewegung des Systems, wenn die ermittelte Breite des als feucht bewerteten Bereichs einen Schwellwert überschreitet und/oder die Breite des als trocken bewerteten Bereichs einen Schwellwert unterschreitet.

ADF06. Computer-implementiertes Verfahren nach ADF02, umfassend bei Ermittlung einer Breite für einen als feucht bewerteten Bereichs, die einen Schwellwert überschreitet, die Modifikation eines Werts in einem Speicher und/oder die Übermittlung einer Nachricht.

ADF07. Computer-implementiertes Verfahren nach ADFOl, umfassend bei Ermittlung einer Breite für einen als trocken bewerteten Bereichs, die einen Schwellwert unterschreitet, die Modifikation eines Werts in einem Speicher und/oder die Übermittlung einer Nachricht.

ADF08. Computer-implementiertes Verfahren zur Bewertung der Position von Feuchtigkeit auf einer Oberfläche, umfassend

• Erfassung einer Oberfläche;

• Klassifizierung der Oberflächenbeschaffenheit zur Detektion von Feuchtigkeit auf der Oberfläche;

• Hinterlegung der feuchten Bereiche als Hindernisse in einer Karte.

ADF09. Computer-implementiertes Verfahren nach ADF08, wobei die Karte unterschiedliche Arten von Hindernissen umfasst.

ADFO10. Computer-implementiertes Verfahren nach ADF08, umfassend

• Ermittlung einer als feucht klassifizierten Oberfläche, die Mindestdimensionen vorweist;

• Ausgabe über eine Ausgabeeinheit und/oder

• Übermittlung einer Nachricht und/oder

• Modifikation eines Werts im Speicher (10)

ADFOl 1. Computer-implementiertes Verfahren nach ADFOl oder ADF08, umfassend eine Modifikation einer Pfadplanung bei Detektion einer als feucht erfassten Oberfläche, deren Breite über einem Schwellwert liegt. ADF012. Vorrichtung zur Durchführung eines Verfahrens nach ADFOl-ADFOl 1.

ADF013. System zur Bewertung von Feuchtigkeit auf einer Oberfläche, umfassend einen Sensor zur berührungslosen Erfassung einer Oberfläche, ein Segmentierungsmodul (5705) zur Segmentierung der erfassten Oberfläche, ein Feuchtigkeitsermittlungsmodul (5305) zur Klassifizierung der Segmente hinsichtlich Feuchtigkeit auf der Oberfläche und ein Feuchtigkeitsbewertungsmodul (5310) zur Bewertung der Dimensionen der klassifizierten Segmente der Oberfläche.

ADF014. System nach ADF013, weiter umfassend ein Kartenmodul (107), dass Hindernisse im Elmfeld des Systems enthält und die hinsichtlich Feuchtigkeit klassifizierten Segmente.

ADF015. System nach ADF013, weiter umfassend einen Bewegungsplaner (104) und/oder ein Pfadplanungsmodul (103).

ADF016. System nach ADF013, weiter umfassend eine Ausgabeeinheit (2 oder 192) und im Speicher (10) hinterlegte Ausgaben zum Hinweisen auf die als feucht detektierte Fläche.

ADF017. System nach ADF013, wobei der Sensor zur berührungslosen Erfassung einer Oberfläche eine Kamera (185) oder ein Radarsensor (194) ist.

ADF018. System nach ADF013, wobei es sich beim System um einen Serviceroboter (17) handelt.

Beispiel 17: Verfahren zur Sturzdetektion

[0327] Die Sturzerkennung wird hier durch folgende Aspekte ASE1 bis ASE17 charakterisiert:

ASE1. Computer-implementiertes Verfahren zur Detektion des Sturzes einer Person, umfassend

• Erfassung und Tracking der Bewegungen der Person;

• Detektion eines Sturzereignisses mittels einer Merkmalsextraktion und Klassifizierung der Orientierung von Gliedmaßen, des Rumpfs und/oder der Höhe der Person;

• Detektion und Klassifikation der Bewegungen der Person nach erfolgtem Sturz und

• Bewertung der Schwere des Sturzereignisses. ASE2. Computer-implementiertes Verfahren nach ASE1, umfassend weiter eine Übermittlung einer Benachrichtigung über eine Schnittstelle (188) nach erfolgter Bewertung der Schwere des Sturzereignisses.

ASE3. Computer-implementiertes Verfahren nach ASE1, umfassend weiter die Erfassung mindestens eines Vitalparameters der Person.

ASE4. Computer-implementiertes Verfahren nach ASE1, wobei die Merkmalsextraktion die Auswertung von Gelenkpunkten eines Skelettmodell der Person umfasst.

ASE5. Computer-implementiertes Verfahren nach ASE1, wobei die Detektion eines Sturzereignisses durch Ermittlung von Distanzen oder Distanzänderungen extrahierter Gelenkpunkte des Skelettmodells hin zum Boden erfolgt.

ASE6. Computer-implementiertes Verfahren nach ASE1, wobei die Detektion eines Sturzereignisses durch Ermittlung der Orientierung und/oder Orientierungsänderung von Richtungsvektoren zwischen Gelenkpunkten des Skelettmodells erfolgt.

ASE7. Computer-implementiertes Verfahren nach ASE1, wobei die Detektion eines Sturzereignisses durch Ermittlung von Beschleunigungen von Gelenkpunkten in vertikaler Richtung erfolgt.

ASE8. Computer-implementiertes Verfahren nach ASE1, wobei die Detektion eines Sturzereignisses durch Ermittlung der Höhe und/oder Höhenänderung der Person erfolgt.

ASE9. Computer-implementiertes Verfahren nach ASE1, wobei Detektion eines Sturzereignisses durch Ermittlung der Fläche, die eine in vertikale Richtung projizierte Person auf dem Boden einnimmt, erfolgt.

ASE10. Computer-implementiertes Verfahren nach ASE1, weiter umfassend die Ermittlung der Position des Kopfes der Person und/oder Hindernissen im Elmfeld der Person.

ASE11. Computer-implementiertes Verfahren nach ASE10, wobei die Auswertung der Position des Kopfs der Person relativ gesehen zum Boden und/oder detektierten Hindernissen erfolgt.

ASE12. Vorrichtung zur Durchführung eines Verfahrens nach ASE1-ASE11.

ASE13. System zur Detektion des Sturzes einer Person, mit einem Speicher (10), mindestens einem Sensor zur Erfassung der Bewegungen der Person im Zeitverlauf, einem Personenidentifizierungsmodul (111), einem Personentracking-Modul (112 oder 113), einem Sturzdetektions-Modul (5405) zur Extraktion von Merkmalen aus den Sensordaten und Klassifizierung der extrahierten Merkmale als Sturzereignis sowie einem Sturzereignis- Bewertungs-Modul (5410) zur Klassifizierung der Schwere des Sturzereignisses.

ASE14. System nach ASE13, umfassend eine Schnittstelle (188) zu einem Server und/oder Terminal (13) zwecks Übermittlung von Nachrichten.

ASE15. System nach ASE13, umfassend eine Vitalparameter-Erfassungs-Einheit (5415) zur Erfassung von Vitalparametern der Person und ein Vitalparameter-Auswertungs-Modul (5420) zur Auswertung erfasster von Vitalparametern der Person.

ASE16. System nach ASE13, wobei das Sturzdetektions-Modul (5405) ein Skelett- Erstellungs-Modul (5635) zur Erstellung eines Skelettmodells einer Person aufweist.

ASE17. System nach ASE13 und ASE15, wobei es sich beim Sensor zur Erfassung der Bewegungen der Person und/oder der Vitalparameter-Erfassungs-Einheit (5415) um eine Kamera (185), einen LID AR (1), einen Radar- und/oder einem Ultraschall sensor (194) und/oder einen Inertialsensor (5620) handelt.

Beispiel 18: Verfahren zur berührungslosen Erfassung von Vitalparametern einer Person

[0328] Die berührungslose Erfassung von Vitalparametern wird hier durch folgende Aspekte AB EVI bis ABEV20 charakterisiert:

AB EVI. Computer-implementiertes Verfahren zur Erfassung von Vitalparametern einer Person, umfassend

• Erfassung und Tracking der Person;

• Erfassung und Tracking einer Körperregion der Person, auf bzw. über die die Vitalparameter erhoben werden;

• Erfassung der Vitalparameter und

• Vergleich der erfassten Vitalparametern mit mindestens einem hinterlegten Schwellwert und

• Auslösen eines Ereignisses bei Über- oder Unterschreiten des Schwellwert.

ABEV2. Computer-implementiertes Verfahren nach ABEV1, wobei das Ereignis eine Geschwindigkeitsreduktion umfasst. ABEV3. Computer-implementiertes Verfahren nach ABEV1, wobei das Ereignis das Ansteuem einer Zielposition umfasst.

ABEV4. Computer-implementiertes Verfahren nach ABEV3, wobei es sich bei der Zielposition um eine Sitzgelegenheit handelt. ABEV5. Computer-implementiertes Verfahren nach ABEV1, wobei der mindestens eine Schwellwert aus zuvor erfassten Vitalparametern dynamisch ermittelt wird.

ABEV6. Computer-implementiertes Verfahren nach ABEV5, wobei der dynamisch ermittelte Schwellwert basierend auf einer Mittelwertbildung erfasster Vitalparameter über ein definiertes Zeitintervall erfolgt. ABEV7. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter berührungslos erfolgt.

ABEV8. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter durch einen an der Person befestigten Vitalparameter-Sensor (5425) erfolgt.

ABEV9. Computer-implementiertes Verfahren nach AB EVI, weiter umfassend die Erfassung von Körperbewegungen der Person und eine Auswertung der erfassten Vitalparameter unter Abgleich der erfassten Körperbewegungen.

ABEV10. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung von Vitalparametern in Abhängigkeit der erfassten Bewegungen der Person erfolgt.

ABEV11. Computer-implementiertes Verfahren nach ABEV1, wobei die erfassten Vitalparameter die Pulsrate, Pulsratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz umfassen.

ABEV12. Computer-implementiertes Verfahren nach ABEV1, weiter umfassend die Ermittlung des Sturzrisikos aus den erfassten Vitalparametern.

ABEV13. Computer-implementiertes Verfahren nach ABEV12, wobei es sich beim Sturzrisiko um ein akutes Sturzrisiko handelt.

ABEV14. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter während der Durchführung eines Tests und/oder eine Übung mit der Person erfolgt.

ABEV15. Vorrichtung zur Durchführung eines Verfahrens nach ABEV1-ABEV14. AB EVI 5. System zur Erfassung von Vitalparametern einer Person, mit einem Rechner (9), einem Speicher (10) und mindestens einem Sensor zur berührungslosen Erfassung der Bewegungen der Person im Zeitablauf, und ein Vitalparameter-Auswertungs-Modul (5420).

ABEV17. System nach ABEV15, weiter umfassend ein Körperregions-Detektions-Modul (4810) und ein Körperregion-Tracking-Modul (4815) zum Tracking der Erfassungsregion der Vitalparameter und eine Vitalparameter-Erfassungs-Einheit (5415) zur Erfassung von Vitalparametern der Person.

AB EVI 7. System nach ABEV15, wobei es sich beim Sensor zur Erfassung der Bewegungen der Person um eine Kamera (185), einen LID AR (1), einen Ultraschall- und/oder Radarsensor (194) handelt.

AB EVI 8. System nach ABEV15, wobei das Vitalparameter-Auswertungs-Modul (5420) eine Benachrichtigung eines Systems über eine Schnittstelle (188), eine Ausgabe über eine Ausgabeeinheit (2 oder 192), eine Geschwindigkeitsänderung des Systems und/oder eine Ansteuerung einer Zielposition des Systems initiiert.

ABEV20. System nach ABEV15, umfassend ein Applikationsmodul (125) mit Regeln zur Durchführung mindestens einer Übung.

ABEV20. System nach ABEV15, umfassend eine Schnittstelle (188) und einen an einer Person befestigten Vitalparameter-Sensor (5425).

Beispiel 19: Verfahren zur Ermittlung eines Scores, der das Sturzrisiko einer Person beschreibt

[0329] Die Ermittlung eines Sturzrisiko-Scores wird hier durch folgende Aspekte AESS1 bis AESS25 charakterisiert:

AESS1. Computer-implementiertes Verfahren zur Ermittlung eines Scores, der das Sturzrisiko einer Person beschreibt, umfassend

• Erfassung des Gangablaufs einer Person;

• Extraktion von Merkmalen des erfassten Gangablaufs;

• Klassifikation der extrahierten Merkmale des Gangablaufs;

• Vergleich von mindestens zwei der klassifizierten Merkmale des Gangablaufs mit einer in einem Speicher hinterlegten Gangablaufklassifikationen und

• Ermittlung eines Sturzrisiko-Scores. AESS2. Computer-implementiertes Verfahren nach AESS1, weiter umfassend die Ermittlung der Geschwindigkeit der Person.

AESS3. Computer-implementiertes Verfahren nach AESS2, wobei die Ermittlung der Geschwindigkeit der Person über die Anzahl und Schrittweite der zurückgelegten Schritte der Person j e Zeiteinheit erfolgt.

AESS4. Computer-implementiertes Verfahren nach AESS2, wobei die Ermittlung der Geschwindigkeit der Person relativ zur Geschwindigkeit einer Erfassung- und Auswertungseinheit erfolgt, die den Gangablauf der Person erfasst und auswertet.

AESS5. Computer-implementiertes Verfahren nach AESS4, wobei die Geschwindigkeit der Erfassung- und Auswertungseinheit unter Einbeziehung einer Odometrieeinheit (181) in der Erfassung- und Auswertungseinheit erfolgt.

AESS6. Computer-implementiertes Verfahren nach AESS4, wobei die Geschwindigkeit der Erfassung- und Auswertungseinheit unter Einbeziehung von in einer Karte erfassten Hindernissen erfolgt. AESS7. Computer-implementiertes Verfahren nach AESS2, wobei die Geschwindigkeit der Person relativ zur Position von in einer Karte erfassten Hindernissen erfolgt.

AESS8. Computer-implementiertes Verfahren nach AESS1, wobei die Geschwindigkeit der Person, die Schrittlänge, die Kadenz und/oder die Beschleunigung in der horizontalen und/oder vertikalen Ebene gemeinsam ausgewertet werden. AESS9. Computer-implementiertes Verfahren nach AESS1, wobei es sich bei den extrahierten Merkmalen des Gangablaufs um Gelenkpunkte eines Skelettmodells der erfassten Person, Richtungsvektoren zwischen den Gelenkpunkten des Skelettmodells, Beschleunigungen der Gelenkpunkte oder der Richtungsvektoren, die Position der Gelenkpunkten zueinander im Raum und/oder aus Richtungsvektoren abgeleitete Winkel und bei den klassifizierten Merkmalen des Gangablaufs um die Schrittlänge, die Länge des

Doppel Schritts, die Schrittgeschwindigkeit, das Verhältnis der Schrittlängen im Doppel schritt, die Flexion und/oder Extension, die Standdauer, die Spurweite, und/oder den Verlauf (Position) und/oder die Distanz von Gelenkpunkten zueinander und/oder Beschleunigung von Gelenkpunkten handelt. AESS10. Computer-implementiertes Verfahren nach AESS1, umfassend weiterhin • Anmeldung der Person an der Erfassung- und Auswertungseinheit, die den Gangablauf der Person erfasst und auswertet;

• Identifizierung der Person mittels eines optischen Sensors;

• Abspeichern von Identifizierungsmerkmalen der Person und

• Tracking der Person im Zeitverlauf.

AESS11. Computer-implementiertes Verfahren nach AESS9, umfassend die Ermittlung der Position eines Fußgelenkpunkts der erfassten Person über

• die Position des korrespondierenden Knie- oder Hüftgelenkpunkts;

• eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert, und

• der Höhe des Kniegelenkpunkts und/oder Hüftgelenkpunkts über dem Boden im Fall des Durchgangs des Richtungsvektors durch das Lot.

AESS12. Computer-implementiertes Verfahren nach AESS1, wobei die Extraktion von Merkmalen des Gangablaufs die Einbeziehung von Daten eines Inertialsensors umfasst.

AESS13. Vorrichtung zur Durchführung eines Verfahrens nach AESS1-AESS12.

AESS14. System zur Ermittlung eines Scores, der das Sturzrisiko einer Person beschreibt, mit einem Rechner (9), einem Speicher (10) und einem Sensor zur Erfassung der Bewegungen einer Person im Zeitablauf, ein Bewegungsablaufextraktionsmodul (121) und einem Bewegungsablaufbewertungsmodul (122), welches ein Sturzrisiko-Ermittlungsmodul (5430) zur Ermittlung eines Sturzrisiko-Scores beinhaltet.

AESS15. System nach AESS14, umfassend ein Personenidentifizierungsmodul (111) und ein Personentracking-Modul (112 oder 113) und Komponenten (z.B. 2, 186) zur Anmeldung der Person am System verfügt.

AESS16. System nach AESS14, wobei das System über eine Schnittstelle (188) Sensordaten eines Inertialsensors (5620) erhält und diese Sensordaten im Bewegungsablaufextraktionsmodul (121) ausgewertet werden.

AESS17. System nach AESS14, wobei das Bewegungsablaufbewertungsmodul (122) ein Personen-Geschwindigkeits-Modul (5625) zur Ermittlung der Geschwindigkeit der Person umfasst. AESS18. System nach AESS14, wobei es sich beim Sensor zur Erfassung der Bewegungen einer Person im Zeitablauf um eine Kamera (185), einen LID AR (1), einen Ultraschall und/oder Radarsensor (194) handelt.

Beispiel 20: Balanceermittlung einer Person

[0330] Die Balance-Ermittlung einer Person wird hier durch folgende Aspekte ABEP1 bis ABEP21 charakterisiert:

ABEP1. Computer-implementiertes Verfahren zur Ermittlung der Balance einer Person, umfassend

• berührungslose Erfassung der Person im Zeitverlauf;

• Erstellung eines Skelettmodells der erfassten Person;

• Merkmalsextraktion der Gelenkpunkte des Skelettmodells und/oder der zwischen den Gelenkpunkten existierenden Richtungsvektoren;

• Auswertung der Amplitude, Orientierung und/oder Frequenz der Positionsänderung der Gelenkpunkte innerhalb der Transversalebene.

ABEP2. Computer-implementiertes Verfahren nach ABEP1, weiter umfassend

• Vergleich der Auswertung mit einem Schwellwert und/oder Muster und

• Ermittlung einer Balance auf Basis der Schwellwertabweichung und/oder Musterab wei chung .

ABEP3. Computer-implementiertes Verfahren zur Ermittlung der Balance einer Person, umfassend

• berührungslose Erfassung der Person im Zeitverlauf;

• Erstellung eines Skelettmodells der erfassten Person;

• Ermittlung einer Abweichung eines Richtungsvektors, gebildet als Verbindung von mindestens einem Gelenkpunkt von Fuß, Knie oder Hüfte mit mindestens einem vertikal darüberliegenden Gelenkpunkt einer aufrechtstehenden Person, vom Lot der Person.

ABEP4. Computer-implementiertes Verfahren nach ABEP3, weiter umfassend

• Vergleich der ermittelten Abweichung mit einem Schwellwert und/oder Muster und • Ermittlung einer Balance auf Basis der Schwellwertabweichung und/oder Musterab wei chung .

ABEP5. Computer-implementiertes Verfahren nach ABEP1 oder ABEP2, umfassend ferner die Ermittlung der Spurweite der erfassten Person über den Abstand der Fußgelenke in der Frontalebene im Zeitverlauf.

ABEP6. Computer-implementiertes Verfahren nach ABEP5, wobei die Balance ermittelt wird, wenn die Spurweite den Schwellwert unterschritten hat.

ABEP7. Computer-implementiertes Verfahren nach ABEP1 oder ABEP2, umfassend ferner

• Auswertung der Größe der Person durch o Bildung der Differenz zwischen dem Boden oder mindestens einem Fußgelenk einerseits und mindestens einem Gelenkpunkt im Kopfbereich andererseits oder o Vektor Subtraktion zweier Richtungsvektoren, die von einem gemeinsamen Ursprung zu mindestens einem Fuß und mindestens dem Kopf der Person reichen

• und Ableitung aus der Größe der Person und/oder Distanz, ob die Person sitzt oder steht.

ABEP8. Computer-implementiertes Verfahren nach ABEP1 oder ABEP2, umfassend die Auswertung der Orientierung mindestens eines Richtungsvektors zwischen mindestens einem Knie- und mindestens einem Hüftgelenk-Punkt hinsichtlich der Abweichung vom Lot.

ABEP9. Computer-implementiertes Verfahren nach ABEP1 oder ABEP2, umfassend

• Erfassung von Objekten im Umfeld der Person;

• Erfassung der Position der Person und/oder der Position mindestens eines Handgelenkpunkts der Person;

• Ermittlung des Abstands zwischen dem mindestens einen Handgelenkpunkt und mindestens einem Objekt im Umfeld der Person

• Modifikation eines Werts im Speicher (10) bei Unterschreiten eines Abstands- Schwellwerts.

ABEP10. Computer-implementiertes Verfahren nach ABEP1 oder ABEP2, umfassend die Auswertung des Verlaufs der Gelenkpunkte innerhalb der Sagittalebene und ein Vergleich des Verlaufs mit im Speicher (10) hinterlegten Werten. ABEP11. Computer-implementiertes Verfahren nach ABEP1 oder ABEP2, wobei die Balance-Ermittlung eine stehende, sitzende oder gehende Person umfasst.

ABEP12. Vorrichtung zur Durchführung des Verfahrens nach ABEP1-ABEP11.

ABEP13. System zur Ermittlung der Balance einer Person, mit einem Sensor zur berührungslosen Erfassung einer Person im Zeitverlauf, einem Skelett-Erstellungs-Modul (5635) zur Erstellung eines Skelettmodell der Person, einem skelettmodell-basiertes Merkmalsextraktion-Modul (5640) zur Merkmalsextraktion auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person, einem Transversal- Gelenkpunkte-Auswertungs-Modul (5645) zur Auswertung von Positionsänderungen der Gelenkpunkte innerhalb der Transversalebene mit Blick auf die Amplitude, Orientierung und/oder Frequenz der Positionsänderung und zum Abgleich erfasster Werte mit im Speicher (10) hinterlegten Schwellwerten und/oder Mustern.

ABEP14. System zur Ermittlung der Balance einer Person, mit einem Sensor zur berührungslosen Erfassung einer Person im Zeitverlauf, einem Skelett-Erstellungs-Modul (5635) zur Erstellung eines Skelettmodell der Person, einem skelettmodell-basiertes Merkmalsextraktion-Modul (5640) zur Merkmalsextraktion auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person, einem Lot- Gelenkpunkte-Auswertungs-Modul (5650) zur Ermittlung der Abweichung eines Richtungsvektors vom Lot der Person, wobei der Richtungsvektor gebildet wird als Verbindung von mindestens einem Gelenkpunkt von Fuß, Knie oder Hüfte mit mindestens einem vertikal darüberliegenden Gelenkpunkt einer aufrechtstehenden Person.

ABEP15. System nach ABEP13 oder ABEP14, umfassend ein Lot-Gel enkpunkte- Auswertungs-Modul (5650) zur Ermittlung der Abweichung eines Richtungsvektors vom Lot der Person mit einem im Speicher (10) hinterlegten Schwellwerts und/oder Musters.

ABEP16. System nach ABEP13 oder ABEP14, umfassend ein Spurweiten-Schrittweiten- Modul (5675) zur Ermittlung der Spurweite und/oder Schrittweite einer Person über den Abstand der Fußgelenkpunkte in der Frontalebene im Zeitverlauf, wenn die Spurweite einen Schwellwert unterschritten hat.

ABEP17. System nach ABEP13 oder ABEP14, umfassend ein Personengröße-Auswertungs- Modul (5655) zur Auswertung der Größe der Person.

ABEP18. System nach ABEP17, wobei die Größe • über die Distanz zwischen einem Boden oder mindestens einem Fußgelenkpunkt einerseits und mindestens einem Gelenkpunkt im Kopfbereich andererseits oder

• durch Vektorsubtraktion zweier Richtungsvektoren, die von einem gemeinsamen Ursprung zu mindestens einem Fuß und mindestens dem Kopf der Person reichen ermittelt wird.

ABEP19. System nach ABEP13 oder ABEP14, umfassend ein Handabstands- Auswertungs- Modul (5660) zur Auswertung des Abstands zwischen einem Handgelenkpunkt und weiteren Objekten im Umfeld der Person umfassend ferner Regeln für einen Schwellwertvergleich des ermittelten Abstands mit im Speicher hinterlegten Abstands-Schwellwerten.

ABEP20. System nach ABEP13 oder ABEP14, umfassend ein sagittalebenenbasiertes Gelenkpunktverlauf-Auswertungs-Modul (5665) zur Auswertung des Verlaufs der Gelenkpunkte innerhalb der Sagittalebene und zum Vergleich der ermittelten Werte mit im Speicher (10) hinterlegten Werten.

ABEP21. System nach ABEP13 oder ABEP14, wobei es sich beim Sensor zur berührungslosen Erfassung der Person um eine Kamera (185), einen LID AR (1), einen Ultraschall- und/oder Radarsensor (194) handelt.

Beispiel 21: Ermittlung der Position eines Fußgelenks

[0331] Die Ermittlung eines Fußgelenks kann, anstelle auf die Werte aus einem Skelettmodell zuzugreifen, auf Basis einer Schätzung vorgenommen, wie folgt gestaltet ist: Es wird bspw. die Höhe eines Kniegelenkpunkts über dem Boden ermittelt, z.B. wenn der Vektor, der einen Kniegelenkpunkt und einen Hüftgelenkpunkt verbindend, sich im Lot befindet. Alternativ und/oder ergänzend kann die Distanz zwischen Boden und Hüftgelenkpunkt ermittelt werden, wenn sich Unter- und Oberschenkel in etwa im Lot befinden. Es kann die Distanz zwischen Kniegelenkpunkt und Hüftgelenkpunkt ermittelt und von der Distanz zwischen Hüftgelenkpunkt und Boden abgezogen werden, um darüber die Distanz zwischen Kniegelenkpunkt und Boden zu erhalten. Weiterhin wird eine Ermittlung eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert, vorgenommen durch Segmentierung der Punktwolke des Unterschenkels und/oder eine Auswertung von Mustern im zweidimensionalen Raum und Ermittlung der Orientierung des Richtungsvektors durch eine Mittelzentrierung einer Achse durch die Punktwolke oder die Muster, bspw. mittels des RANSAC -Frameworks. Hierbei kann, in einem Aspekt, eine zusätzliche Bayes-Schätzung erfolgen, welche den Winkel des Oberschenkels berücksichtigt, der bspw. als Verbindung des Hüftgelenkpunkts mit dem Kniegelenkpunkt als einen Schenkel und dem Lot, alternativ dem anderen Oberschenkel oder der Orientierung des Rumpfs (bspw. mit Gelenkpunkten entlang der Wirbelsäule) erfolgt. Im Speicher 10 können wiederum Wahrscheinlichkeiten hinterlegt sein, die die Orientierung des Unterschenkels, der durch die Punktwolke und/oder Muster repräsentiert wird bzw. durch den daraus abgeleiteten Richtungsvektor, in Abhängigkeit der Orientierung des Oberschenkels beschreiben und bspw. mittels einer Grundwahrheit ermittelt wurden. Über die Position des Kniegelenkpunkts und der Richtung des Unterschenkels wird dann der Fußgelenkpunkt ermittelt, indem die zuvor ermittelte Höhe des Kniegelenkpunkts über dem Boden die Länge des Richtungsvektors definiert, der am Kniegelenkpunkt ansetzt, und der Endpunkt des Richtungsvektors den Fußgelenkpunkt darstellt.

[0332] Das System zur Ermittlung der Position eines Fußgelenkpunks einer erfassten Person wird in Fig. 74 illustriert. Das System, bspw. ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und mindestens einen Sensor zur Erfassung von Bewegungen einer Person im Zeitablauf wie bspw. einen Inertialsensor 5620, eine Kamera 185, ein LID AR 1, ein Ultraschall- und/oder Radarsensor 194. Es umfasst ferner bspw. ein Skelett-Erstellungs- Modul 5635 zur Erstellung eines Skelettmodell der Person, ein skelettmodell-basiertes Merkmalsextraktion-Modul 5640 zur Merkmalsextraktion auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person und ein Fußgelenkpunkt-Klassifizierungs-Modul 5670, zur Merkmalsklassifizierung eines Fußgelenkpunkts, das die Position eines Fußgelenkpunkts ermittelt über die Orientierung eines den Unterschenkel abbildenden Richtungsvektors, der an der Position des korrespondierenden Kniegelenkpunkts beginnt und eine Länge aufweist, die auf Basis der Höhe mindestens des korrespondierenden Kniegelenkpunkts oder Hüftgelenkpunkts über dem Boden gebildet wurde. Das System kann, in einem Aspekt, ein Spurweiten-Schrittweiten- Modul 5675 zur Ermittlung der Spurweite und/oder Schrittweite einer Person, umfassen und/oder ein Fußgelenkpunkt-Gehhilfenpositions-Modul (5677) zur Ermittlung der Position von mindestens einem Fußgelenkpunkt relativ zur Position vom Endpunkt mindestens einer Unterarmstütze oder Achselstütze, wenn die Unterarmstütze oder Achselstütze den Boden berührt. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110 und/oder ein Bewegungsauswertungsmodul 120. Der Ablauf selbst kann wie folgt nach Fig.

83 a) dargestellt werden: Erfassung einer Person im Zeitablauf (Schritt 6105), Erstellung mindestens eines Teils eines Skelettmodells der erfassten Person (Schritt 6110), Ermittlung der Position eines Kniegelenkpunkts für das Bein, für das der Fußgelenkpunkt ermittelt werden soll (Schritt 6115), Ermittlung eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert (Schritt 6120), Ermittlung der Höhe des Kniegelenkpunkts über dem Boden im Fall des Durchgangs des Kniegelenkpunkts durch das Lot (Schritt 6125), Ermittlung der Position des Fußgelenkpunkts durch Bildung eines Richtungsvektors vom ermittelten Kniegelenkpunkt aus, wobei der zu bildende Richtungsvektor die gleiche Orientierung aufweist wie der ermittelte Richtungsvektor, wobei der zu bildende Richtungsvektor eine Länge aufweist, die der Höhe des Kniegelenks über dem Boden im Fall des Durchgangs des Kniegelenkpunkts durch das Lot entspricht (Schritt 6130). Alternativ und/oder ergänzend kann der Ablauf nach Fig. 83 b) auch wie folgt ausgestaltet sein: Erfassung einer Person im Zeitablauf (Schritt 6105), Erstellung mindestens eines Teils eines Skelettmodells der erfassten Person (Schritt 6110), Ermittlung der Position eines Kniegelenkpunkts für das Bein, für das der Fußgelenkpunkt ermittelt werden soll (Schritt 6115), Ermittlung der Position eines Hüftgelenkpunkts für das Bein, für das der Fußgelenkpunkt ermittelt werden soll (Schritt 6140), Ermittlung eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert (Schritt 6120), Ermittlung der Höhe des Hüftgelenkpunkts über dem Boden als Minuend (Schritt 6145), Ermittlung der Länge des Richtungsvektors, der den Hüftgelenkpunkt und den Kniegelenkpunkt verbindet, als Subtrahend (Schritt 6150)), Bildung der Differenz aus Minuend und Subtrahend (Schritt 6155), Ermittlung der Position des Fußgelenkpunkts (Schritt 6160) durch Bildung eines Richtungsvektors vom ermittelten Kniegelenkpunkt, der die gleiche Orientierung aufweist wie der ermittelte Richtungsvektor und der sich vom Kniegelenkpunkt aus parallel zum Unterschenkel orientiert, wobei der zu bildende Richtungsvektor eine Länge aufweist, die der ermittelten Differenz entspricht.

[0333] Die Ermittlung der Position eines Fußgelenks wird hier durch folgende Aspekte AEPF1 bis AEPF11 charakterisiert:

AEPF1. Computer-implementiertes Verfahren zur Ermittlung der Position eines Fußgelenkpunkts eines Skelettmodells einer erfassten Person, umfassend

• Erfassung einer Person im Zeitablauf;

• Erstellung mindestens eines Teils eines Skelettmodells der erfassten Person;

• Ermittlung der Position eines Kniegelenkpunkts für das Bein, für das der Fußgelenkpunkt ermittelt werden soll; • Ermittlung eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert;

• Ermittlung der Höhe des Kniegelenkpunkts über dem Boden im Fall des Durchgangs des Kniegelenkpunkts durch das Lot;

• Ermittlung der Position des Fußgelenkpunkts durch Bildung eines Richtungsvektors vom ermittelten Kniegelenkpunkt aus, wobei der zu bildende Richtungsvektor die gleiche Orientierung aufweist wie der ermittelte Richtungsvektor, wobei der zu bildende Richtungsvektor eine Länge aufweist, die der Höhe des Kniegelenkpunkts über dem Boden im Fall des Durchgangs des Kniegelenkpunkts durch das Lot entspricht.

AEPF2. Computer-implementiertes Verfahren zur Ermittlung der Position eines Fußgelenkpunkts eines Skelettmodells einer erfassten Person, umfassend

• Erfassung einer Person im Zeitablauf;

• Ermittlung der Position eines Kniegelenkpunkts für das Bein, für das der Fußgelenkpunkt ermittelt werden soll;

• Ermittlung der Position eines Hüftgelenkpunkts für das Bein, für das der Fußgelenkpunkt ermittelt werden soll;

• Ermittlung eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert;

• Ermittlung der Höhe des Hüftgelenkpunkts über dem Boden als Minuend;

• Ermittlung der Länge des Richtungsvektors, der den Hüftgelenkpunkt und den Kniegelenkpunkt verbindet, als Subtrahend;

• Bildung der Differenz aus Minuend und Subtrahend;

• Ermittlung der Position des Fußgelenkpunkts durch Bildung eines Richtungsvektors vom ermittelten Kniegelenkpunkt, der die gleiche Orientierung aufweist wie der ermittelte Richtungsvektor und der sich vom Kniegelenkpunkt aus parallel zum Unterschenkel orientiert, wobei der zu bildende Richtungsvektor eine Länge aufweist, die der ermittelten Differenz entspricht.

AEPF3. Computer-implementiertes Verfahren nach AEPF1 und AEPF2, wobei die Position des Fußgelenkpunkts dafür genutzt wird, die Spurweite und/oder Schrittweite einer Person zu ermitteln. AEPF4. Computer-implementiertes Verfahren nach AEPF1 und AEFP2, wobei die Position des ermittelten Fußgelenkpunkts relativ zur Position mindestens eines Endpunkts einer Unterarmstütze ausgewertet wird.

AEPF5. Computer-implementiertes Verfahren nach AEPF1 und AEFP2, wobei die Position der Fußgelenkpunkte im Vergleich zur Fußlänge ausgewertet wird, wobei die Fußlänge auf Basis einer Höhenschätzung der Person und zur Höhe korrespondierenden Fußlängen ermittelt wird.

AEPF6. Computer-implementiertes Verfahren nach AEPF9, wobei Höhe der Person durch

• Vektor Subtraktion zweier Richtungsvektoren ermittelt wird, die von einem gemeinsamen Ursprung zu mindestens einem Fuß und mindestens dem Kopf der Person reichen oder

• über die Distanz zwischen einem Boden oder mindestens einem Fußgelenkpunkt einerseits und mindestens einem Gelenkpunkt im Kopfbereich andererseits

AEPF7. Computer-implementiertes Verfahren nach AEPF1 und AEFP2, wobei die Ermittlung eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert, erfolgt durch

• Segmentierung der Punktwolke des Unterschenkels und/oder eine Auswertung von Mustern im zweidimensionalen Raum

• Ermittlung der Orientierung des Richtungsvektors durch eine Mittelzentrierung einer Achse durch die Punktwolke oder die Muster.

AEPF8. Vorrichtung zur Durchführung eines Verfahrens nach AEPF1-AEPF7.

AEPF9. System zur Ermittlung der Position eines Fußgelenkpunks einer erfassten Person, umfassend einen Rechner (9), einen Speicher (10) und mindestens einen Sensor zur Erfassung von Bewegungen einer Person im Zeitablauf, umfassend ein Skelett-Erstellungs-Modul (5635) zur Erstellung eines Skelettmodell der Person, ein skelettmodell-basiertes Merkmalsextraktion-Modul (5640) zur Merkmalsextraktion auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person, ein Fußgel enkpunkt- Klassifizierungs-Modul (5670) zur Merkmalsklassifizierung eines Fußgelenkpunkts, das die Position eines Fußgelenkpunkts ermittelt über die Orientierung eines den Unterschenkel abbildenden Richtungsvektors, der an der Position des korrespondierenden Kniegelenkpunkts beginnt und eine Länge aufweist, die auf Basis der Auswertung der Höhe mindestens des korrespondierenden Kniegelenkpunkts oder Hüftgelenkpunkts über dem Boden gebildet wurde.

AEPF9. System nach AEPF17, umfassend ein Spurweiten-Schrittweiten-Modul (5675) zur Ermittlung der Spurweite und/oder Schrittweite einer Person.

AEPF10. System nach AEPF17, umfassend ein Fußgelenkpunkt-Gehhilfenpositions-Modul (5677) zur Ermittlung der Position von mindestens einem Fußgelenkpunkt relativ zur Position vom Endpunkt mindestens einer Unterarmstütze oder Achselstütze, wenn die Unterarmstütze oder Achselstütze den Boden berührt.

AEPF11. System nach AEPF17, wobei es sich beim Sensor zur Erfassung der Bewegungen der Person im Zeitablauf um einen Inertialsensor (5620), eine Kamera (185), ein LID AR (1), ein Ultraschall- und/oder Radarsensor (194) handeln.

Beispiel 22: Klassifizierung der Drehbewegung einer Person

[0334] Das System zur Klassifizierung einer Drehbewegung wird anhand von Fig. 75 illustriert. Das System zur Klassifizierung der Drehbewegung einer Person, bspw. ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und mindestens einem Sensor zur Erfassung der Bewegungen der Person im Zeitablauf, ein skelettmodell-basiertes Merkmalsextraktion-Modul 5640 zur Merkmalsextraktion auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person und ein Drehbewegungs-Merkmalsklassifikation-Modul 5680 zur Merkmalsklassifikation einer Drehbewegung, wobei, in einem Aspekt, die Drehbewegung über die Winkeländerung mindestens eines in die Transversalebene projizierten Richtungsvektors zwischen zwei Gelenkpunkten im Zeitverlauf ermittelt wird, in einem alternativen und/oder ergänzenden Aspekt die Drehbewegung über die Winkeländerung mindestens eines Richtungsvektors ermittelt wird, der die Schultergelenkpunkte, Hüftgelenkpunkte, Kniegelenkpunkte, Fußgelenkpunkte, Armgelenkpunkte und/oder detektierte Gelenkpunkte des Kopfs jeweils untereinander verbindet. Das Drehbewegungs-Merkmalsklassifikation-Modul (5680) kann weiterhin über ein Winkelauswertungs-Modul (5682) zum Aufsummieren von erfassten Winkeln und/oder Winkeländerungen verfügen. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Bewegungsauswertungsmodul 120 und/oder Skelett- Erstellungs-Modul 5635. [0335] Das System kann ferner ein Fußgelenkpunkt-Distanz-Ermittlungs-Modul 5685 zur Ermittlung der absoluten Distanz der Fußgelenkpunkte umfassen, ein Personengröße- Auswertungs-Modul 5655 zur Auswertung der Größe der Person, ein Hüft-Knie- Orientierungs-Modul 5690 bspw. zur Auswertung der Orientierung mindestens eines Richtungsvektors zwischen mindestens einem Knie- und mindestens einem Hüftgelenkpunkt hinsichtlich der Abweichung vom Lot und/oder ein Transversal-Gelenkpunkte- Auswertungs- Modul 5645 bspw. zur Auswertung von Positionsänderungen der Gelenkpunkte innerhalb der Transversalebene, das bspw. eine Auswertung der Amplitude, Orientierung und/oder Frequenz der Positionsänderung der Gelenkpunkte innerhalb der Transversalebene vornimmt und/oder eine Ermittlung einer Abweichung eines Richtungsvektors, gebildet als Verbindung von mindestens einem Gelenkpunkt von Fuß, Knie oder Hüfte mit mindestens einem vertikal darüberliegenden Gelenkpunkt einer aufrechtstehenden Person zum Lot der Person und Vergleich mit einem im Speicher 10 hinterlegten Schwellwert vomimmt. Das System kann ferner über ein Drehbewegung — Größe-Balance-Schrittlänge-Klassifizierungs-Modul 5695 zur Klassifizierung der Drehbewegung, der Größe der Person, deren Balance und/oder Schrittlänge verfügen. Beim Sensor zur Erfassung der Bewegungen einer Person im Zeitablauf kann es sich um eine Kamera 185, ein LID AR 1, ein Radar-, ein Ultraschall sensor 194 und/oder mindestens ein Inertialsensor 5620 handeln. Das Verfahren zur Drehbewegungsermittlung ist bspw. in Fig. 84 illustriert mit den folgenden Schritten: Erfassung der Person im Zeitverlauf 6105, Erstellung eines Skelettmodell der erfassten Person 6110, Merkmalsextraktion der Gelenkpunkte 6170 aus dem Skelettmodell und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person, Merkmalsklassifizierung umfassend die Ermittlung einer Drehbewegung 6175 eines Richtungsvektors im Zeitverlauf, in einem Aspekt weiterhin Ermittlung von Drehwinkel 6180 bspw. aus der mindestens einen Drehbewegung eines Richtungsvektors, Aufsummierung der Winkel und/oder Winkeländerungen 6185 und Vergleich der Summe der aufsummierten Drehwinkel mit einem Schwellwert und/oder Muster 6190.

[0336] Die Klassifizierung der Drehbewegung einer Person wird hier durch folgende Aspekte AKDP1 bis AKDP22 charakterisiert:

AKDP1. Computer-implementiertes Verfahren zur Klassifizierung der Drehbewegung einer Person, umfassend

• Erfassung der Person im Zeitverlauf;

• Erstellung eines Skelettmodell der erfassten Person; • Merkmalsextraktion der Gelenkpunkte aus dem Skelettmodell und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person;

• Merkmalsklassifizierung umfassend die Ermittlung einer Drehbewegung eines Richtungsvektors im Zeitverlauf.

AKDP2. Computer-implementiertes Verfahren nach AKDP1, umfassend weiterhin

• Ermittlung von Drehwinkel aus der mindestens einen Drehbewegung eines Richtungsvektors;

• Aufsummierung der Winkel und/oder Winkeländerungen und

• Vergleich der Summe mit einem Schwellwert und/oder Muster.

AKDP3. Computer-implementiertes Verfahren nach AKDP1, wobei die Drehbewegung über eine Winkeländerung mindestens eines in die Transversalebene projizierten Richtungsvektors zwischen zwei Gelenkpunkten im Zeitverlauf ermittelt wird.

AKDP4. Computer-implementiertes Verfahren nach AKDP1, wobei die Drehbewegung über die Winkeländerung mindestens eines Richtungsvektors ermittelt wird, der die Schultergelenkpunkte, Hüftgelenkpunkte, Kniegelenkpunkte, Fußgelenkpunkte, Armgelenkpunkte jeweils untereinander verbindet.

AKDP5. Computer-implementiertes Verfahren nach AKDP1, weiter umfassend die Ermittlung der Distanz der Fußgelenkpunkte.

AKDP6. Computer-implementiertes Verfahren nach AKDP1, weiter umfassend die Ermittlung der Höhe der Person.

AKDP7. Computer-implementiertes Verfahren nach AKDP6, wobei die Höhe der Person über

• die Distanz zwischen einem Boden oder mindestens einem Fußgelenk einerseits und mindestens einem Gelenkpunkt im Kopfbereich andererseits und/oder

• durch Vektorsubtraktion zweier Richtungsvektoren, die von einem gemeinsamen Ursprung zu mindestens einem Fuß und mindestens dem Kopf der Person reichen, ermittelt wird.

AKDP8. Computer-implementiertes Verfahren nach AKDP1, wobei die Auswertung der Orientierung mindestens eines Richtungsvektors zwischen mindestens einem Knie- und mindestens einem Hüftgelenkpunkt hinsichtlich der Abweichung vom Lot.

AKDP9. Computer-implementiertes Verfahren nach AKDP1, wobei die Auswertung der Balance der Person. AKDPIO. Computer-implementiertes Verfahren nach AKDP9, wobei die Balance durch eine Auswertung der Amplitude, Orientierung und/oder Frequenz der Positionsänderung der Gelenkpunkte innerhalb der Transversalebene und Vergleich mit im Speicher (10) hinterlegten Schwellwerten und/oder Mustern ermittelt wird.

AKDP1 1. Computer-implementiertes Verfahren nach AKDP9, wobei die Balance auf Basis einer Ermittlung der Abweichung eines Richtungsvektors vom Lot der Person ermittelt wird.

AKDP12. Computer-implementiertes Verfahren nach AKDP11, wobei der Richtungsvektor gebildet wird als Verbindung von mindestens einem Gelenkpunkt von einem Fußgelenkpunkt, Kniegelenkpunkt oder Hüftgelenkpunkt mit mindestens einem vertikal darüberliegenden Gelenkpunkt einer aufrechtstehenden Person.

AKDP13. Computer-implementiertes Verfahren nach AKDP1, wobei die Klassifizierung der Drehbewegung die Höhe der Person, deren Balance und/oder Schrittlänge umfasst.

AKDP14. Vorrichtung zur Durchführung eines Verfahrens nach AKDP1-AKDP13.

AKDP15. System zur Klassifizierung der Drehbewegung einer Person, mit einem Rechner (9), einem Speicher (10) und mindestens einem Sensor zur Erfassung der Bewegungen einer Person im Zeitablauf, einem skelettmodell-basiertes Merkmalsextraktion-Modul zur Merkmalsextraktion (5640) auf Basis von Gelenkpunkten und/oder Richtungsvektoren zwischen den Gelenkpunkten der Person und/oder Richtungsvektoren zwischen mindestens zwei Gelenkpunkten, und einem Drehbewegungs-Merkmalsklassifikation-Modul (5680) zur Merkmalsklassifikation einer Drehbewegung.

AKDP16. System nach AKDP15, wobei das Drehbewegungs-Merkmalsklassifikation-Modul (5680) ein Winkelauswertungs-Modul (5682) bspw. zum Aufsummieren von erfassten Winkeln und/oder Winkel änderungen aufweist.

AKDP17. System nach AKDP15, weiter umfassend ein Fußgel enkpunkt-Distanz- Ermittlungs-Modul (5685) zur Ermittlung der Distanz der Fußgelenkpunkte.

AKDP18. System nach AKDP15, weiter umfassend ein Personengröße-Auswertungs-Modul (5655) zur Auswertung der Größe der Person.

AKDP19. System nach AKDP15, weiter umfassend ein Hüft-Knie-Orientierungs-Modul (5690) zur Auswertung der Orientierung mindestens eines Richtungsvektors zwischen mindestens einem Knie- und mindestens einem Hüftgelenkpunkt hinsichtlich der Abweichung vom Lot. AKDP20. System nach AKDP15, umfassend ein Transversal-Gelenkpunkte- Auswertungs- Modul (5645) zur Auswertung von Positionsänderungen der Gelenkpunkte innerhalb der Transversalebene.

AKDP21. System nach AKDP15, wobei das System über ein Drehbewegung — Größe- Balance-Schrittlänge-Klassifizierungs-Modul (5695) zur Klassifizierung der Drehbewegung, der Größe der Person, deren Balance und/oder Schrittlänge verfügt.

AKDP22. System nach AKDP15, wobei der Sensor zur Erfassung der Bewegungen einer Person im Zeitablauf eine Kamera (185), ein LID AR (1), ein Radar-, ein Ultraschall sensor (194) und/oder mindestens ein Inertialsensor (5620) ist.

Beispiel 23: Klassifizierung des Gangs einer Person

[0337] Das System zur Gang-Klassifizierung ist wie in Fig. 76 illustriert aufgebaut: Das System zur Klassifizierung des Gangs einer Person, bspw. ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und mindestens einem Sensor zur Erfassung einer Person Zeitablauf (z.B. eine Kamera 185, ein LID AR 1, ein Radar-, ein Ultraschall sensor 194 oder einen Inertialsensor 5620) und ein Positions-Ermittlungs-Linien-Modul zur Ermittlung der Position der Person im Zeitablauf relativ gesehen zu einer geraden Linie 5696. Die Linie kann einerseits bspw. durch den mindestens einen Sensor zur Erfassung einer Person erfasst werden, andererseits kann sie bspw. durch Auswertung der Bewegungsrichtung der Person Bewegungsrichtungs-Modul 5698 ermittelt werden, womit keine Markierungen auf dem Boden notwendig sind. Das Positions-Ermittlungs-Linien-Modul 5696 zur Ermittlung der Position der Person im Zeitablauf relativ gesehen zur geraden Linie kann bspw. die Distanz der Person zur geraden Linie als Distanz des in die Transversalebene projizierten Schwerpunkts oder Kopfs der Person, als Distanz der durch eine Skelettmodellerstellung (bspw. durch das Skelett-Erstellungs-Modul 5635) ermittelten Fußgelenkpunkte der Person zur geraden Linie und/oder als Maximum oder als Durchschnittswert der zurückgelegten Strecke zur geraden Linie ermittelt und in Bezug zu einem Distanz-Schwellwert bestimmen. Die Wegstrecke selbst wird über ein Wegstreckenmodul (5696) ermittelt, bspw. durch Bestimmung der Schrittlängen der Person und Addition dieser Schrittlängen, wobei die Schrittlänge durch Abstandsermittlung zwischen zwei Fußgelenkpunkten innerhalb der Sagittalebene ermittelt wird; durch Auswertung der Positionsänderung der Person innerhalb eines Koordinatensystems und Abstandsermittlung zwischen zwei Punkten innerhalb des Koordinatensystems und/oder durch Auswertung von Odometriedaten, die vom Odometrie 181 des Serviceroboters 17 ermittelt werden und die die Position des Serviceroboters 17 wiedergeben. Alternativ kann diese auch durch Navigationsfunktionen ermittelt werden, die neben der Odometrie auch die Positionsermittlung über Abgleich der erfassten Umfeld des Serviceroboters 17 mit einer in einer Karte hinterlegten Umwelt betreffen. Über die Positionserfassung der Person relativ zum Serviceroboter 17, für den die zurücklegte Wegstrecke über die Navigationsfunktionen ermittelbar ist, kann demnach auch die Position der Person ermittelt werden. Das System verfügt, in einem Aspekt, über ein Handabstands- Auswertungs-Modul 5660 zur Auswertung des Abstands zwischen einem Handgelenkpunkt und weiteren Objekten im Umfeld der Person, um zu detektieren, ob sich die Person an Objekten festhält, was ihren Gang beeinflusst. Dies kann durch Anpassung eines Werts im Speicher vermerkt werden. Damit wird dann der Gang der Person auf Basis der Abweichung von der geraden Linie und der Distanz der Handgelenkpunkte zu detektierten Objekten/ Hindernissen klassifiziert. Das System kann, in einem Aspekt, über eine Projektionsvorrichtung 197 für die Projektion einer geraden Linie auf den Boden verfügen. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635 und/oder skelettmodell- basiertes-Merkmalsextraktions-Modul 5640.

[0338] Der Ablauf stellt sich wie in den nach Fig. 85 illustrierten Schritten dar: Erfassung einer Person im Zeitablauf 6105, bspw. durch den Sensor zur Erfassung einer Person. In einem Aspekt erfolgt Erfassung einer geraden imaginären oder geraden Linie auf dem Boden 6205, Erfassung der Position der Person im Zeitablauf relativ gesehen zur geraden Linie 6210, wobei die Person der Linie im Wesentlichen folgt, und eine Auswertung der Distanz der Person zur Linie über eine definierte Strecke 6230 (mit den Schritten 6210 und 6230 im Positions-Ermittlungs-Linien-Modul 5696), gefolgt von einer Ermittlung der Wegstrecke 6235 der von der Person zurücklegten Entfernung (durch das Wegstreckenmodul 5696) und die Ermittlung eines Skalenwerts 6240 als Wert einer Gang(ablauf)klassifizierung. Alternativ und/oder ergänzend dazu kann nach Erfassung einer Person im Zeitablauf 6105 eine Erfassung der Position der Person im Zeitablauf 6215, Ermittlung eines Pfads, der sich aus der im Zeitablauf erfassten Position der Person ergibt 6220 (im Bewegungsrichtungs-Modul 5698, bspw. durch Interpolation der Aufsetzpunkte von Fußgelenkpunkten eines Skelettmodells), ein Vergleich des Pfads mit einer geraden Linie 6225, die in etwa parallel zum Pfad der Person verläuft, und die Auswertung der Distanz der Person zur Linie über eine definierte Strecke 6230 (mit den Schritten 6225 und 6230 im Positions-Ermittlungs-Linien- Modul 5696), gefolgt von einer Ermittlung der Wegstrecke 6235 der von der Person zurücklegten Entfernung und die Ermittlung eines Skalenwerts 6240 als Wert einer Gang(ablauf)klassifizierung erfolgen. Ein alternativer Ablauf stellt sich wie folgt dar: Erfassung einer Person 6105, Erfassung der Positionen der Person im Zeitablauf 6215, Ermittlung eines Pfads, der sich aus der im Zeitablauf erfassten Positionen der Person ergibt 6222 (z.B. durch Interpolation der Positionsdaten der Person bzw. Aufsetzpunkte von Fußgelenkpunkten eines Skelettmodells), Auswertung der Positionen der Person relativ zum Pfad über eine definierte Strecke 6232, Ermittlung einer Wegstrecke 6235 und Ermittlung eines Skalenwerts 6240. Die Schritte 6220 und 6222 können sich durch die Art der Interpolation unterscheiden, wobei 6222 vor allem durch eine lineare Interpolation erfolgt, während für den Schritt 6220 neben einer linearen Interpolation auch nichtlineare Interpolationsverfahren infrage kommen.

[0339] Die Klassifizierung des Gangs einer Person wird hier durch folgende Aspekte AKGP1 bis AGDP24 charakterisiert:

AGDP1. Computer-implementiertes Verfahren zur Klassifizierung des Gangs einer Person, umfassend

• Erfassung einer Person;

• Erfassung einer geraden imaginären oder geraden realen Linie auf dem Boden;

• Erfassung der Positionen der Person im Zeitablauf relativ gesehen zur geraden Linie, wobei die Person der Linie im Wesentlichen folgt, und

• Auswertung der Distanz der Person zur geraden Linie über eine definierte Strecke. AGDP2. Computer-implementiertes Verfahren zur Klassifizierung des Gangs einer Person, umfassend

• Erfassung einer Person;

• Erfassung der Positionen der Person im Zeitablauf;

• Ermittlung eines Pfads, der sich aus der im Zeitablauf erfassten Positionen der Person ergibt;

• Vergleich des Pfads mit einer geraden Linie;

• Auswertung der Positionen der Person zur geraden Linie über eine definierte Strecke. AGDP3. Computer-implementiertes Verfahren zur Klassifizierung des Gangs einer Person, umfassend

• Erfassung einer Person;

• Erfassung der Positionen der Person im Zeitablauf; • Ermittlung eines Pfads, der sich aus der im Zeitablauf erfassten Positionen der Person ergibt;

• Auswertung der Positionen der Person relativ zum Pfad über eine definierte Strecke.

AGDP4. Computer-implementiertes Verfahren nach AGDP1-3, weiter umfassend die Ermittlung eines Skalenwerts auf Basis der Auswertung.

AGDP5. Computer-implementiertes Verfahren nach AGDP1-3, wobei sich die gerade Linie aus der Startposition einer Person und der Bewegung einer Person ergibt.

AGDP6. Computer-implementiertes Verfahren nach AGDP1, wobei die gerade Linie mit dem Boden in Eingriff steht. AGDP7. Computer-implementiertes Verfahren nach AGDP1, wobei die gerade Linie auf den Boden projiziert wird.

AGDP8. Computer-implementiertes Verfahren nach AGDP1-3, umfassend die Ermittlung der Wegstrecke, die die Person entlang der geraden Linie zurücklegt, durch Bestimmung der Schrittlängen der Person und Addition dieser Schrittlängen, wobei die Schrittlänge durch Abstandsermittlung zwischen zwei Fußgelenkpunkten innerhalb der Sagittalebene ermittelt wird.

AGDP9. Computer-implementiertes Verfahren nach AGDP1-3, umfassend die Ermittlung der Wegstrecke, die die Person entlang der geraden Linie zurücklegt, durch Auswertung der Positionsänderung der Person innerhalb eines Koordinatensystems und Abstandsermittlung zwischen zwei Punkten innerhalb des Koordinatensystems.

AGDP10. Computer-implementiertes Verfahren nach AGDP1-3, umfassend die Ermittlung der Wegstrecke, die die Person entlang der geraden Linie zurücklegt, durch Auswertung von Odometriedaten.

AGDP1 1. Computer-implementiertes Verfahren nach AGDP1-3, wobei die Position der Person relativ gesehen zu einem System erfasst und ausgewertet wird, dessen Position im Zeitverlauf über Navigationsfunktionen ermittelt wird.

AGDP12. Computer-implementiertes Verfahren nach AGDP1-3, umfassend die Ermittlung der Distanz der Person zur geraden Linie als Distanz des in die Transversalebene projizierten Schwerpunkts oder Kopfs der Person. AGDP13. Computer-implementiertes Verfahren nach AGDP1-3, umfassend die Ermittlung der Distanz der Person zur geraden Linie als Distanz der durch eine Skelettmodellerstellung ermittelten Fußgelenkpunkte der Person zur geraden Linie.

AGDP14. Computer-implementiertes Verfahren nach AGDP1-3, wobei Distanz der Person zur geraden Linie als Maximum oder als Durchschnittswert über die zurückgelegte Strecke ermittelt.

AGDP15. Computer-implementiertes Verfahren nach AGDP1-3, umfassend die Ermittlung der Distanz mindestens eines Handgelenkpunkts der Person zu detektierten Objekten und/oder Hindernissen. AGDP16. Computer-implementiertes Verfahren nach AGDP15, wobei der Gang der Person auf Basis der Abweichung von der geraden Linie und der Distanz der Handgelenkpunkte zu detektierten Objekten/Hindernissen klassifiziert wird.

AGDP17. Vorrichtung zur Durchführung eines Verfahrens nach AGDP1-AGDP16.

AGDP18. System zur Klassifizierung des Gangs einer Person, mit einem Rechner (9), einem Speicher (10) und mindestens einem Sensor zur Erfassung einer Person im Zeitablauf und einem Positions-Ermittlungs-Linien-Modul (5696) zur Ermittlung der Position der Person im Zeitablauf relativ gesehen zu einer Linie.

AGDP19. System nach AGDP18, wobei mindestens einem Sensor zur Erfassung einer Person im Zeitablauf auch einer Linie auf dem Boden detektiert. AGDP20. System nach AGDP18, umfassend eine Projektionsvorrichtung (197) für die Projektion einer Linie auf den Boden.

AGDP21. System nach AGDP18, umfassend ein Wegstreckenmodul (5697) zur Ermittlung der von der Person zurückgelegten Distanz.

AGDP22. System nach AGDP18, umfassend ein Handabstands- Auswertungs-Modul (5660) zur Auswertung des Abstands zwischen einem Handgelenkpunkt und weiteren Objekten im Umfeld der Person.

AGDP23. System nach AGDP18, wobei es sich beim Sensor zur Erfassung einer Person um eine Kamera (185), ein LID AR (1), ein Radar-, ein Ultraschall sensor (194) oder einen Inertialsensor (5620) handelt. AGDP24. System nach AGDP18, umfassend ein Bewegungsrichtungs-Modul (5698) zur Ermittlung der Bewegungsrichtung einer Person.

Beispiel 24: Modifikation der Signale eines optischen Sensors

[0340] Bei der Erfassung von Bewegungen einer Person im Rahmen der Auswertung eines Skelettmodells sorgt in einem Aspekt die Kleidung dafür, dass die erfassten Bewegungen ggf. ungenau sind, weil ein Teil der Bewegungen des Körpers der Person, und insbesondere die Bewegungsenergie, von der Kleidung absorbiert und ebenfalls in Bewegungen umgesetzt wird, die nicht synchron zur Bewegung der Person sein müssen. Damit sinkt die Erfassungsqualität der Bewegungen. Aus diesem Grund werden, wie nachfolgend beschrieben, Korrekturberechnungen umgesetzt, um die Effekte der Bewegung der Bekleidung auf die Erfassung der Bewegungen der Gelenkpunkte zu reduzieren und damit das Signal-Rauschverhältnis zu verbessern.

[0341] Wie in Fig. 53 dargestellt, wird im Schritt 4010 die Person erfasst, bspw. durch die Kamera 185 eines Serviceroboters oder aber durch eine andere stationäre oder mobile Kamera. Es wird auf Basis der erfassten Daten ein Skelettmodell 4015 erstellt, bspw. mittels Kamera-SDK, OpenPose, etc. Die Matrix des Bildes wird in Interessensregionen/Segmente segmentiert 4020, und zwar, in einem Aspekt, in den Bereichen, in denen die Gelenkpunkte detektiert werden. Hierbei umfasst eine Interessensregion/Segment bspw. eine in etwa kreisförmige Fläche (in einer 2D-Betrachtung), die sich um die Gelenkpunkte erstreckt. Pro Interessensregion/Segment wird das Leistungsdichtespektrum pro Pixel errechnet 4025 (bspw. mittels schneller Fouriertransformation) und über alle Pixel (Element einer Bildmatrix) der Interessensregion/des Segments aggregiert 4030. Mittels bspw. quadratischer Interpolation wird das Maximum der Leistungsdichte pro Interessensregion/Segment ermittelt 4035. Es erfolgt eine Transformation der Maxima in den Zeitbereich 4040, wo jede Interessensregion/Segment dann eine korrigierte Position und/oder Bewegung des Gelenkpunkts darstellt. Es können, in einem weiteren Schritt, die Gelenkpunkte und/oder Richtungsvektoren zwischen den Gelenkpunkten extrahiert werden 4045.

[0342] Das System zur Modifikation der Signale eines optischen Sensors bzw. zur Auswertung von Sensordaten einer Person, bspw. unter Reduktion des Signal- Rauschverhältnisses, ist in Fig. 77 wie folgt illustriert: Das System umfasset einen Rechner 9, einen Speicher 10, ein Bildmatrix-Segmentierungsmodul 5705 zur Segmentierung der Bildmatrix in Interessensregionen, und ein Leistungsdichte-Modul 5710 zur Leistungsdichteermittlung und Leistungsdichteverarbeitung. In einem Aspekt umfasst das System weiterhin ein Skelett-Erstellungs-Modul 5635 zur Erstellung eines Skelettmodell der Person, ein Gelenkpunkt-Selektionsmodul 5720 zur Selektion von Gelenkpunkten des Skelettmodells (bspw. als Bestandteil des Bildmatrix-Segmentierungsmoduls 5705, und ein Skelettmodell-Korrektur-Modul 5715 zur Ermittlung neuer Positionen identifizierter Skelettpunkte. In einem Aspekt verfügt das System darüber hinaus über ein Bewegungsauswertungsmodul 120 mit einem Bewegungsablauf extraktionsmodul (121), umfassend ein Gangmerkmalsextraktions-Modul 5605 sowie weitere Module zur Klassifizierung der extrahierten Merkmale von Bewegungen. Beim System kann es sich um einen Serviceroboter (17) handeln. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110 und/oder skelettmodell-basiertes-Merkmalsextraktions-Modul 5640.

[0343] Die Modifikation der Signale eines optischen Sensors wird hier durch folgende Aspekte AMSSI bis AMSS18 charakterisiert:

AMSSI . Computer-implementiertes Verfahren zur Erfassung einer Person und/oder eines Objekts, umfassend

• Auflösung des Objekts und/oder der Person als Bildmatrix;

• Segmentierung der Bildmatrix in Interessensregionen;

• Ermittlung des Leistungsdichtespektrums für jedes Element der Bildmatrix innerhalb einer Interessensregion;

• Aggregation der Leistungsdichtespektren über alle Elemente der Interessensregion, und

• Ermittlung des Maximums der Leistungsdichte über eine Interpolation.

AMSS2. Computer-implementiertes Verfahren nach AMSSI, wobei die Segmentierung der Bildmatrix auf Basis eines Skelettmodells erfolgt und die Segmente die Regionen um die Gelenkpunkte umfassen.

AMSS3. Computer-implementiertes Verfahren zur Modifikation der Position von Gelenkpunkten eines Skelettmodells, umfassend

• Erfassung einer Person im Zeitverlauf;

• Auflösung der Person als Bildmatrix; • Segmentierung der Bildmatrix in Interessensregionen;

• Ermittlung des Maximums der Leistungsdichte über eine Interpolation.

AMSS4. Computer-implementiertes Verfahren zur Verbesserung des Signal- Rauschverhältnisses bei der Erstellung eines Skelettmodells einer Person, umfassend

• Erfassung einer Person im Zeitverlauf;

• Ermittlung eines Skelettmodells von der Person;

• Segmentierung von Elementen des Skelettmodells, wobei für jeden Pixel eines Segments das Leistungsdichtespektrum ermittelt wird;

• Aggregation der Leistungsdichtespektren pro Segment;

• Ermittlung des Maximums der Leistungsdichte;

• Transformation der Maxima in den Zeitbereich und

• Weiterverarbeitung der erhaltenen Werte im Rahmen einer orts- und/oder zeitverlaufsabhängigen Klassifizierung.

AMSS5. Computer-implementiertes Verfahren nach AMSSI, AMSS3 oder AMSS4, wobei die Leistungsdichtespektren mittels schneller Fouriertransformation aggregiert werden.

AMSS6. Computer-implementiertes Verfahren nach AMSSI, AMSS3 oder AMSS4, wobei die Interpolation eine quadratische Interpolation ist.

AMSS7. Computer-implementiertes Verfahren nach AMSSI oder AMSS3, weiter umfassend eine Transformation der Maxima in den Zeitbereich.

AMSS8. Computer-implementiertes Verfahren nach AMSS4 oder AMSS7, wobei die Transformation der Maxima in den Zeitbereich mittels inverser schneller Fouriertransformation erfolgt.

AMSS9. Computer-implementiertes Verfahren nach AMSSI, AMSS3 oder AMSS4, umfassend eine Erfassung und Auswertung von Bewegungsparametern und/oder Bewegungsmustern einer Person.

AMSS10. Computer-implementiertes Verfahren nach AMSSI, AMSS3 oder AMSS4, wobei es sich bei den Bewegungsparameter und/oder Bewegungsmustem einer Person um Gangparameter der Person handelt, die orts- und zeitaufgelöst erfasst und ausgewertet werden.

AMSSI 1. Computer-implementiertes Verfahren nach AMSSI, AMSS3 oder AMSS4, weiter umfassend die Ermittlung neuer Gelenkpunktpositionen für ein Skelettmodell einer erfassten Person.

AMSS12. Computer-implementiertes Verfahren nach AMSSI 1, wobei es sich um korrigierte Positionen der Gelenkpunkte handelt.

AMSS13. Computer-implementiertes Verfahren nach AMSSI, AMSS3 oder AMSS4, wobei es sich bei der Person um eine bekleidete Person bzw. beim erfassten Bereich einer Person um einen bekleideten Bereich handelt.

AMSS14. Computer-implementiertes Verfahren nach AMSSI und AMSS3, wobei die Interessensregionen Gelenkpunkte der Person darstellen, die auf einer Skelettmodellerstellung basieren.

AMSS15. Vorrichtung zur Durchführung eines Verfahrens nach AMSS1-AMSS14.

AMSS16. System zur Auswertung von Sensordaten einer Person, umfassend einen Rechner (9), einen Speicher (10), ein Bildmatrix-Segmentierungsmodul (5705) zur Segmentierung der Bildmatrix in Interessensregionen, und ein Leistungsdichte-Modul (5710) zur Leistungsdichteermittlung und Leistungsdichteverarbeitung.

AMSS17. System nach AMSS16, weiter umfassend ein Skelett-Erstellungs-Modul (5635) zur Erstellung eines Skelettmodell der Person, ein Gelenkpunkt-Selektionsmodul (5720) zur Selektion von Gelenkpunkten des Skelettmodells, und ein Skelettmodell-Korrektur-Modul (5715) zur Ermittlung neuer Positionen identifizierter Skelettpunkte.

AMSS18. System nach AMSS16, weiter umfassend ein Bewegungsauswertungsmodul (120) mit einem Bewegungsablauf extraktionsmodul (121), umfassend ein Gangmerkmalsextraktions-Modul (5605).

Beispiel 25: Bildkorrektur

[0344] Der Serviceroboter 17 verfügt in einem Aspekt über einen Mechanismus zur Bildkorrektur (vgl. Fig. 54), der für die Navigation auf unebenen Flächen ausgelegt ist, wobei der Serviceroboter 17 über einen Sensor Gegenstände und/oder Personen erfassen kann 4110. Der Serviceroboter 17 kann, in einem Aspekt, sich auch außerhalb von Gebäuden bewegen. Hierbei können, in einem Aspekt, die Oberflächen, über die der Serviceroboter 17 sich bewegt, uneben sein und zu einem „Ruckein“ führen, welches den Erfassungsbereich der Kamera 185 bewegt und dafür sorgen kann, dass eine von der Kamera 185 erfasste Person und/oder Gegenstand, die oder der auf ebenem Untergrund komplett erfasst wird, zumindest temporär nicht vollständig erfasst werden kann. Aus diesem Grunde verfügt der Serviceroboter über eine Detektion der Bewegungen des Sensors 4115.

[0345] In einem Aspekt wird das Ruckein durch den Serviceroboter 17 erfasst. Dazu kann in einem Aspekt ein Inertialsensor 4116 zur Erfassung der Bewegungen des Sensors genutzt werden, in einem alternativen und/oder ergänzenden Aspekt wird direkt das Bild einer Kamera 185 ausgewertet hinsichtlich von im Bild vorhandenen Artefakte, Objekten,

Personen, Markierungen, Gelenkpunkte eines Skelettmodells etc. und deren Abstand zum Rand des erfassten Bildbereichs, wobei dabei einzelne Elemente eines Bilds getrackt werden können. Der Serviceroboter erfasst hier die Änderungsgeschwindigkeit dieser Bildelemente im Verhältnis zum Bildrand 4117, d.h. ändert sich die Distanz dieser Artefakte, Objekten, Personen, Markierungen, Gelenkpunkte eines Skelettmodells etc. mit einer Geschwindigkeit, die unter einem Schwellwert liegt, wird dies als Ruckein klassifiziert. Alternativ und/oder ergänzend wird die Distanz dieser zum Bildrand ausgewertet. Alternativ und/oder ergänzend für den Fall, dass eine Person erfasst wird, für die ein Skelettmodell erstellt wird, wird detektiert, ob das Skelettmodell vollständig ermittelt wird. Es findet in anschließend eine Vergrößerung des Bildausschnitts statt 4020, was in einem Aspekt über eine Erweiterung des Abstands des Sensors hin zum Gegenstand und/oder der Person erfolgt 4021. Alternativ und/oder ergänzend wird dazu eine Zoom-Funktion genutzt und/oder der Erfassungswinkel des Sensors erweitert 4022, bspw. durch eine Abstandsvergrößerung zur erfassten Person. Darüber wird sichergestellt, dass der Gegenstand und/oder die Person sich trotz Ruckein noch im Bildausschnitt befindet und getrackt werden kann. In einem alternativen und/oder ergänzenden Aspekt findet eine Interpolation der Bewegungen des Skelettmodells statt, wie das in den vorangegangenen Beispielen aufgezeigt wurde (siehe die Ermittlung des Leistungsdichtespektrums).

[0346] Das System zur Anpassung eines Bildausschnitts ist in Fig. 78 illustriert: Das System wird beschrieben als System zur optischen Erfassung einer Person mittels eines Sensors, mit einem Rechner 9, einem Speicher 10 und einem Bildausschnitt- Anpassungs-Modul 5740 zur Vergrößerung des Bildausschnitts, bspw. in Abhängigkeit von Bewegungen des Sensors. Das System kann weiterhin ein Personentracking-Modul (112 oder 113) umfassen. Um zu ermitteln, ob es einer Anpassung des Bildausschnitts auf Basis einer Bewegung bedarf, kann das System mehrere alternative und/oder ergänzende Module nutzen: a) ein Bildausschnitt- Änderungsgeschwindigkeit-Modul 5745 zur Auswertung der Änderungsgeschwindigkeit der Position der Person im Bildausschnitt; b) ein Bildausschnitt-Abstands-Modul 5750 für die Auswertung des Abstand der Person zum Rand des Bilds beinhaltet; c) einen Inertialsensor 5620 und d) ein Skelett-Erstellungs-Modul 5635 zur Erstellung eines Skelettmodell der Person sowie ein Gelenkpunkt-Bildausschnitt-Modul (5760) zur Ermittlung der Anzahl von Gelenkpunkten im Bildausschnitt, deren Variation zur Ermittlung von Bewegungen dient. Das System umfasst bspw. eine Bildausschnitt-Vergrößerungs-Einheit 5755 zur Vergrößerung des Bildausschnitts über eine Vergrößerung des Abstands des Systems zur erfassten Person. Zur Bildausschnitt-Vergrößerungs-Einheit 5755 gehört bspw. ein Bewegungsplaner 104 und eine Motorsteuerung 192 und/oder eine Zoom-Funktion. Beim Sensor handelt es sich bspw. um eine Kamera 185 oder einen LID AR 1. Das System kann z.B. ein Gangmerkmalsextraktions- Modul 5605 zur Merkmalsextraktion eines Gangablaufs, ein Gangmerkmalsklassifizierungs- Modul 5610 zur Merkmalsklassifizierung eines Gangablaufs, und/oder ein Gangablaufklassifizierungs-Modul 5615 für eine Gangablaufklassifizierung umfassen. In einem Aspekt handelt es sich beim System um einen Serviceroboter 17. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Bewegungsauswertungsmodul 120, Skelett-Erstellungs-Modul 5635 und/oder skelettmodell-basiertes-Merkmalsextraktions- Modul 5640. Zusammengefasst stellt sich der Ablauf so dar, dass das System eine Erfassung und Tracking einer Person innerhalb eines Bildausschnitts, eine Detektion mindestens einer Bewegung und eine Vergrößerung des Bildausschnitts vornimmt, bspw. durch eine Vergrößerung des Abstands zur erfassten Person, über eine Geschwindigkeitsreduktion und/oder durch eine Vergrößerung des Erfassungswinkels mittels einer Zoom-Funktion, entweder per Objektiv mit Blick auf den realen Bildausschnitt und/oder softwarebasiert im Rahmen der Auswertung dessen, was als Bildausschnitt fungiert, wobei in letzterem Fall der in Software verarbeitete Bildausschnitt kleiner ist das der durch den Sensor erfasste Bildausschnitt.

[0347] Die Bildkorrektur wird hier durch folgende Aspekte ABK1 bis ABK23 charakterisiert:

ABK1. Computer-implementiertes Verfahren zur Bewegungskorrektur bei einer Objekterfassung, umfassend • Erfassung und Tracking einer Person innerhalb eines Bildausschnits;

• Detektion mindestens einer Bewegung;

• Vergrößerung des Bildausschnitts.

ABK2. Computer-implementiertes Verfahren nach ABK1, wobei die Detektion von mindestens einer Bewegung die Änderungsgeschwindigkeit der Position der Person und/oder Teile der Person im Bildausschnitt umfasst.

ABK3. Computer-implementiertes Verfahren nach ABK1, wobei die Detektion von mindestens einer Bewegung die Auswertung des Abstands der Person und/oder Teile der Person im Bildausschnitt zum Rand des Bildausschnitts umfasst. ABK4. Computer-implementiertes Verfahren nach ABK1, wobei die Detektion von mindestens einer Bewegung durch einen Inertial sensor (5620) erfolgt.

ABK5. Computer-implementiertes Verfahren nach ABK1, weiter umfassend die Erstellung eines Skelettmodells der Person und eine orts- und zeitabhängige Auswertung extrahierter Gelenkpunkte nach der Erfassung der Person. ABK6. Computer-implementiertes Verfahren nach ABK5, wobei die Detektion von mindestens einer Bewegung durch die Änderung der Anzahl detektierter Gelenkpunkte innerhalb eines Skelettmodells, die sich im Bildausschnitt befinden, detektiert wird.

ABK7. Computer-implementiertes Verfahren nach ABK1, wobei die Vergrößerung des Bildausschnitts eine Vergrößerung des Abstands zur erfassten Person umfasst. ABK8. Computer-implementiertes Verfahren nach ABK7, wobei die Vergrößerung des Bildausschnitts über eine Geschwindigkeitsreduktion erfolgt.

ABK9. Computer-implementiertes Verfahren nach ABK1, wobei die Vergrößerung des Bildausschnitts durch eine Vergrößerung des Erfassungswinkels mittels einer Zoom-Funktion erfolgt. ABK10. Computer-implementiertes Verfahren nach ABK1, wobei die detekti er enden Bewegungen von Einebenheiten des Bodens herrühren.

ABKP. Computer-implementiertes Verfahren nach ABK1, wobei die detekti er enden Bewegungen von Bewegungen des Sensors herrühren.

ABK12. Vorrichtung zur Durchführung eines Verfahrens nach ABK1-ABKP. ABK13. zur Bewegungskorrektur bei einer Objekterfassung, mit Rechner (9), einem Speicher (10) und einem Sensor zur Erfassung eines Objekts und/oder einer Person im Zeitablauf sowie einem Bildausschnitt- Anpassungs-Modul (5740) zur Anpassung eines das Objekt und/oder die Person enthaltenen Bildausschnitts. ABK14. System nach ABK13, weiter umfassend ein Personentracking-Modul (112 oder 113). ABK15. System nach ABK13, weiter umfassend ein Bildausschnitt-

Änderungsgeschwindigkeit-Modul (5745) zur Auswertung der Änderungsgeschwindigkeit der Position der Person und/oder des Objekts im Bildausschnitt.

ABK16. System nach ABK13, weiter umfassend ein Bildausschnitt-Abstands-Modul (5750) zur Auswertung des Abstands der Person und/oder des Objekts zum Rand des Bildausschnitts.

ABK17. System nach ABK13, umfassend einen Inertialsensor (5620) zur Auswertung von Bewegungen des Sensors zur Erfassung eines Objekts und/oder einer Person.

ABK18. System nach ABK13, umfassend ein Skelett-Erstellungs-Modul (5635) zur Erstellung eines Skelettmodell der Person und ein Gelenkpunkt-Bildausschnitt-Modul (5760) bspw. zur Ermittlung der Anzahl von Gelenkpunkten im Bildausschnitt.

ABK19. System nach ABK13, umfassend eine Bildausschnitt-Vergrößerungs-Einheit (5755) zur Vergrößerung des Bildausschnitts über eine Vergrößerung des Abstands des Systems zur erfassten Person und/oder Objekt.

ABK20. System nach ABK19, wobei zur Bildausschnitt-Vergrößerungs-Einheit (5755) ein Bewegungsplaner (104) und eine Motorsteuerung (192) gehören.

ABK21. System nach ABK19, wobei die Bildausschnitt-Vergrößerungs-Einheit (5755) eine Zoom-Funktion umfasst.

ABK22. System nach ABK13, weiter umfassend ein Gangmerkmalsextraktions-Modul (5605) zur Merkmalsextraktion eines Gangablaufs, ein Gangmerkmalsklassifizierungs-Modul (5610) zur Merkmalsklassifizierung eines Gangablaufs, und/oder ein Gangablaufklassifizierungs- Modul (5615) für eine Gangablaufklassifizierung.

ABK23. System nach ABK13, wobei es sich beim Sensor um eine Kamera (185) oder einen LID AR (1) handelt. Beispiel 26: Navigation des Serviceroboters zwecks Realisierung seitlicher Aufnahmen einer Person

[0348] Der Serviceroboter 17 identifiziert und trackt Personen im Zeitablauf. Dabei trackt der Serviceroboter 17 die Person nicht nur in etwa parallel zum Pfad, den die Person zurücklegt, sondern auch in einem Winkel von größer 30°, bevorzugt größer 45°, in einem Aspekt ca. 90° zu diesem Pfad. Hierfür sind im Serviceroboter Regeln hinterlegt, wie in Fig. 55 dargestellt: Der Serviceroboter weist mit einer Ausgabe 4210 über die Ausgabeeinheit Person an, im Wesentlichen geradeaus zu gehen und/oder einen bestimmten Pfad zurückzulegen. Der Serviceroboter 17 prognostiziert z.B. den Pfad 4215, den die Person zurücklegen soll, bspw. mittels eines Pfadplanungsmoduls 103, positioniert sich außerhalb des prognostizierten Pfads der Person 4220, ggf. mit einem Mindestabstand zum prognostizierten Pfad 4223, und positioniert sich derart, dass der Serviceroboter 17 die Person mit einem Winkel von größer 30°, bevorzugt größer 45°, in einem Aspekt ca. 90° zum prognostizierten Pfad tracken kann 4225. Alternativ und/oder ergänzend zur Pfadprognose erfolgt eine Ermittlung der Laufrichtung der Person 4216, eine Positionierung in Laufrichtung gesehen vor der Person 4221, wobei in einem Aspekt ein Mindestabstand 4223 zur Person eingehalten wird (in Laufrichtung und/oder senkrecht zur Laufrichtung), und die Positionierung erfolgt derart, dass sein mindestens ein Sensor zum Erfassen der Person die Person mit einem Winkel von größer 30°, bevorzugt größer 45°, in einem Aspekt ca. 90° zur getrackten Laufrichtung der Person erfasst. Dies kann bspw. bei starrem Sensor eine Drehung des Serviceroboters 4226 von größer 30°, bevorzugt größer 45°, in einem Aspekt ca. 90° hin zu diesem Pfad bedeuten, und/oder der Serviceroboter richtet mindestens einen ggf. beweglichen Sensor in einem Winkel von größer 30°, bevorzugt größer 45°, in einem Aspekt ca. 90° 4227 zu diesem Pfad und/oder der Laufrichtung der Person aus. In einem Aspekt kann anstelle der Laufrichtung und/oder des Pfads der Person auch ein Hindernis wie bspw. einem Objekt wie eine Wand, Linie auf dem Boden, usw. als Referenz für den Winkel der Ausrichtung dienen. In einem Aspekt wird der Positionierungswinkel mit Blick auf die Person aus einer Analyse des Skelettmodells und/oder des Gangablaufs der Person abgeleitet. In einem alternativen und/oder ergänzenden Aspekt dreht sich der Serviceroboter 17 (oder der mindestens eine Sensor, der die Person erfasst) im Wesentlichen auf der Stelle. Es erfolgt ein Tracking der Person 4230. In einem alternativen und/oder ergänzenden Aspekt fährt der Serviceroboter eine definierte Zeit und/oder eine definierte Wegstrecke neben der Person her und erfasst diese dabei im Wesentlichen von der Seite. Anschließend navigiert der Serviceroboter 17 wieder in den Pfad der Person 4235, in einem Aspekt vor der Person, in einem alternativen Aspekt hinter der Person, so dass ein Tracking wieder im Wesentlichen parallel zum Pfad der Person erfolgt. Alternativ und/oder ergänzend positioniert sich der Serviceroboter 17 parallel zur Laufrichtung der Person 4240, vor oder nach ihr und nimmt in etwa die gleiche Geschwindigkeit ein wie die Person. Alternativ und/oder ergänzend kann der Serviceroboter 17 auch über eine Ausgabe 4245 der Ausgabeeinheit die Person anweisen, ihren Pfad zu ändern.

[0349] Das System zur Navigation des Serviceroboters zwecks Realisierung seitlicher Aufnahmen einer Person wird wie in Fig. 79 illustriert zusammengefasst: Das System zur Positionierung einer Erfassungs- und/oder Auswertungseinheit in einem Winkel von größer 30° zur Laufrichtung einer Person (bspw. ein Serviceroboter 17) umfasst einen Rechner 9, einen Speicher 10 und mindestens einen Sensor zur Erfassung einer Person im Zeitablauf, ferner ein Personentracking-Modul (112 oder 113) und ein Positionierungs-Modul 5570 zur Initiierung und Überwachung der Positionierung. In einem Aspekt verfügt das System über eine Ausgabeeinheit wie ein Display 2 und/oder einen Lautsprecher 192. Das System weist ferner einen Bewegungsplaner 104 auf bspw. zur Erstellung einer Prognose des von der Person zurückzulegenden Pfads, zur Bewegung der Erfassungs- und Auswertungseinheit neben der Person, zum Einhalten eines in etwa konstanten Abstands zur Person, zum Einnehmen eines definierten Winkels und/oder zur Rotation der Erfassungs- und Auswertungseinheit. Das System umfasst, in einem Aspekt, eine Kippeinheit 5130, die die Ausrichtung des Sensors bei fixer Orientierung der Erfassungs- und Auswertungseinheit ermöglicht sowie ferner bspw. eine Kamera 185 und/oder einen LID AR 1. Das System kann z.B. ein Bewegungsablaufextraktionsmodul 121 zur Merkmalsextraktion eines Bewegungsablaufs der Person und ein Bewegungsablaufbewertungsmodul 120, wobei das Bewegungsablaufextraktionsmodul 121 bspw. ein skelettmodell-basiertes Merkmalsextraktion-Modul 5640 ist und das Bewegungsablaufbewertungsmodul 122 ein Gangmerkmalsklassifizierungs-Modul 5610 zur Merkmalsklassifizierung des Gangablaufs der Person, und/oder ein Gangablaufklassifizierungs-Modul 5615 für eine

Gangablaufklassifizierung der Person enthalten kann. Das Bewegungsablaufextraktionsmodul 121 kann aber auch einen anderen, in diesem Dokument beschriebenen Bewegungsablauf betreffen als gangbezogene Bewegungen, genauso das Bewegungsablaufbewertungsmodul 122. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Bewegungsauswertungsmodul 120 und/oder Skelett-Erstellungs-Modul 5635. Der Ablauf lässt sich wie folgt zusammenfassen: Erfassung und Tracken der Person durch zumindest einen Sensor, Ermittlung der Laufrichtung der Person, und Repositionierung der Erfassungs und/oder Auswertungseinheit, wobei die Repositionierung der Erfassungs- und/oder Auswertungseinheit bspw. im Wesentlichen eine seitliche Erfassung der Person oder eine Erfassung der Person in der Sagittalebene ermöglicht. In einem Aspekt erfolgt eine Ausgabe einer Anweisung an die Person, im Wesentlichen geradeaus zu gehen. Der Ablauf umfasst ferner eine Prognose über einen von der Person zurückzulegenden Pfad basierend auf der Laufrichtung der Person, wobei bspw. die Re-Positionierung der Erfassungs- und/oder Auswertungseinheit zu dem Pfad in dem Erfassungswinkel erfolgt oder in dem Erfassungswinkel zu einer Wand erfolgt. Der Erfassungswinkel ergibt sich bspw. aus einer mittelzentrischen Achse des Sensors einerseits und eine Wand, der Laufrichtung und/oder dem prognostizierten Pfad andererseits jeweils auf eine horizontale Ebene projiziert. In einem weiteren Schritt kann eine laufende Neuberechnung des Erfassungswinkels; und die Positionierung der Erfassungs- und/oder Auswertungseinheit erfolgen, damit der Erfassungswinkel in etwa konstant gehalten wird. Weiterhin kann bspw. eine laufende Berechnung des Abstands zwischen der Erfassungs- und/oder Auswertungseinheit und der Person stattfinden und eine Positionierung der Erfassungs- und/oder Auswertungseinheit, damit ein Mindestwert für den Abstand zwischen der Erfassungs- und/oder Auswertungseinheit und der Person eingehalten wird. Ergänzend kann die Repositionierung der Erfassungs- und/oder Auswertungseinheit nach einer definierten Zeit und/oder Wegstrecke, damit der Erfassungswinkels danach im Wesentlichen kleiner als 30° ist, erfolgen, wie weiter auch die Repositionierung der Erfassungs- und/oder Auswertungseinheit nach einer definierten Zeit und/oder Wegstrecke, damit der Erfassungswinkels danach im Wesentlichen kleiner als 30° ist. Ergänzend kann z.B. im Laufe der Erfassung und Tracking der Person eine Ausgabe über einen Hinweis über die Bewegungsrichtung der Person und/oder der der Erfassungs- und/oder Auswertungseinheit erfolgen und/oder eine Auswertung des Bewegungsablaufs unter Berücksichtigung der Laufrichtung der Person. In einem Aspekt erfolgt im Rahmen der Auswertung des Bewegungsablaufs die Erfassung von den Bodenaufsetzpunkten von Gehhilfen, die zusammen mit der Stellung von Füßen der erfassten Person ausgewertet werden, wozu bspw. das bereits an anderer Stelle beschriebene Fußgelenkpunkt-Klassifizierungs-Modul 5670, Fußgelenkpunkt-Gehhilfenpositions-Modul 5677 und/oder Fußgelenkpunkt-Distanz -Ermittlungs-Modul 5685 genutzt werden können.

[0350] Die Navigation des Serviceroboters zwecks Realisierung seitlicher Aufnahmen einer Person wird hier durch folgende Aspekte NSRSA1 - NSRSA18 charakterisiert: NSRSA1. Computer-implementiertes Verfahren zur Positionierung einer Erfassungs und/oder Auswertungseinheit in einem Erfassungswinkel von größer 30° zur Laufrichtung einer Person, umfassend

• Erfassung und Tracken der Person durch zumindest einen Sensor,

• Ermittlung der Laufrichtung der Person, und

• Repositionierung der Erfassungs- und/oder Auswertungseinheit.

NSRSA2. Computer-implementiertes Verfahren nach NSRSA1, umfassend eine Ausgabe einer Anweisung an die Person, im Wesentlichen geradeaus zu gehen.

NSRSA3. Computer-implementiertes Verfahren nach NSRSA1, wobei die Repositionierung der Erfassungs- und/oder Auswertungseinheit im Wesentlichen eine seitliche Erfassung der Person oder eine Erfassung der Person in der Sagittalebene ermöglicht.

NSRSA4. Computer-implementiertes Verfahren nach NSRSA1, umfassend eine Prognose über einen von der Person zurückzulegenden Pfad basierend auf der Laufrichtung der Person.

NSRSA5. Computer-implementiertes Verfahren nach NSRSA4, wobei die Re-Positionierung der Erfassungs- und/oder Auswertungseinheit zu dem Pfad in dem Erfassungswinkel erfolgt.

NSA6. Computer-implementiertes Verfahren nachNSRSA4, wobei die Re-Positionierung der Erfassungs- und/oder Auswertungseinheit in dem Erfassungswinkel zu einem Objekt erfolgt.

NSRSA7. Computer-implementiertes Verfahren nach NSRSA4, wobei sich der Erfassungswinkel aus einer mittelzentrischen Achse des Sensors einerseits und einem Objekt, der Laufrichtung und/oder dem prognostizierten Pfad andererseits jeweils auf eine horizontale Ebene projiziert ergibt.

NSRSA8. Computer-implementiertes Verfahren nach NSRSA1, weiter umfassend eine laufende Neuberechnung des Erfassungswinkels; und die Positionierung der Erfassungs- und/oder Auswertungseinheit, damit der Erfassungswinkel in etwa konstant gehalten wird.

NSRSA9. Computer-implementiertes Verfahren nach NSRSA1, weiter umfassend

• eine laufende Berechnung des Abstands zwischen der Erfassungs- und/oder Auswertungseinheit und der Person; und

• Positionierung der Erfassungs- und/oder Auswertungseinheit, damit ein Mindestwert für den Abstand zwischen der Erfassungs- und/oder Auswertungseinheit und der Person eingehalten wird. NSRSA10. Computer-implementiertes Verfahren nach NSRSA1, weiter umfassend die Repositionierung der Erfassungs- und/oder Auswertungseinheit nach einer definierten Zeit und/oder Wegstrecke, damit der Erfassungswinkels danach im Wesentlichen kleiner als 30° ist.

NSRSA1 1. Computer-implementiertes Verfahren nach NSRSA1, weiter umfassend die Repositionierung der Erfassungs- und/oder Auswertungseinheit nach einer definierten Zeit und/oder Wegstrecke, damit der Erfassungswinkels danach im Wesentlichen kleiner als 30° ist.

NSRSA12. Computer-implementiertes Verfahren nach NSRSA1, weiter umfassend im Laufe der Erfassung und Tracking der Person eine Ausgabe über einen Hinweis über die Bewegungsrichtung der Person und/oder der der Erfassungs- und/oder Auswertungseinheit.

NSRSA13. Computer-implementiertes Verfahren nach NSRSA1, weiter umfassend eine Auswertung des Bewegungsablaufs unter Berücksichtigung der Laufrichtung der Person.

NSRSA14. Vorrichtung zur Durchführung des computer-implementiertes Verfahren nach NSRSA1-13.

NSRSA15. System zur Positionierung einer Erfassungs- und/oder Auswertungseinheit in einem Winkel von größer 30° zur Laufrichtung einer Person, umfassend einen Rechner (9), einen Speicher (10) und mindestens einen Sensor zur Erfassung der Person im Zeitablauf, ein Trackingmodul (112, 113) zur Tracking der Person und ein Positionierungs-Modul (5570) zur Initiierung und Überwachung der Positionierung.

NSRSA16. System nach NSRSA15, weiter umfassend einen Bewegungsplaner (104) zur Erstellung einer Prognose des von der Person zurückzulegenden Pfads, zur Bewegung des der Erfassungs- und/oder Auswertungseinheit neben der Person, zum Einhalten eines in etwa konstanten Abstands zwischen der Erfassungs- und/oder Auswertungseinheit und der Person, zum Einnehmen eines definierten Erfassungswinkels und/oder zur Rotation der Erfassungs und/oder Auswertungseinheit.

NSRSA17. System nach NSRSA15, umfassend eine Kippeinheit (5130), die die Ausrichtung des Sensors bei fixer Orientierung der Erfassungs- und/oder Auswertungseinheit ermöglicht.

NSRS18. System nach NSRSA15, umfassend ein Bewegungsablaufextraktionsmodul (121) zur Merkmalsextraktion eines Bewegungsablaufs der Person und ein Bewegungsablaufbewertungsmodul (122). Beispiel 27: Prognose von Bewegungsabläufen

[0351] In einem Aspekt kommuniziert der Serviceroboter 17 mit einem System, dass bspw. dem folgenden Ablauf folgt: In einem Speicher 10, bspw. im Serviceroboter 17 und/oder in der Cloud 18, mit der der Serviceroboter 17 über eine Schnittstelle 188 verbunden ist, sind ein Übungsplan und Patientendaten hinterlegt (Schritt 4305). Das System, bspw. der Serviceroboter 17, gibt auf Basis des Übungsplans Anweisungen aus (Schritt 4310), die im Speicher 10 hinterlegt sind, wobei diese bspw. über ein Display 2 und/oder einen Lautsprecher 192 ausgegeben werden können. Es erfolgt weiterhin eine Erfassung von einer Person wie bspw. einem Patienten (Schritt 4315) im Zeitverlauf, bspw. mittels des visuellen oder laserbasierten Personen-Trackingmoduls 112, 113. Dazu wird eine 2D und/oder 3D- Kamera 185 wie eine RGB-D-Kamera eingesetzt. Es findet weiterhin eine Gelenkpunktextraktion 4320 statt, die aus einem Skelettmodell stammen. Dies kann z.B. über das SDK für eine Microsoft Kinect erfolgen oder OpenPose.

[0352] In einem optionalen Aspekt wird ein Fußpunkt nicht über das SDK ermittelt, sondern durch eine separate Schätzung, die im Schritt 4325 beschrieben ist. Dazu wird ein Ansatz wie in Beispiel 21 gewählt.

[0353] Es wird im Schritt 4330 eine Ermittlung der Bodenaufsetzposition von Gehhilfen wie Unterarmgehstützen oder Achselstützen vorgenommen. Dies geschieht durch einen Segmentierungsalgorithmus wie bspw. RANSAC und einen Mustervergleich, wobei die Muster aus 2D und/oder 3D-Daten stammen können und die Form der Gehhilfe beschreiben. Dabei werden die Koordinaten im zweidimensionalen oder dreidimensionalen Raum ausgewertet.

[0354] Es findet als nächstes eine Bewegungsablaufklassifizierung durch maschinelles Lernen durch gleichzeitige Auswertung von mehr als zwei Gelenkpunkten und mindestens eine Bodenaufsatzposition mindestens einer Gehhilfe statt (Schritt 4335). Dabei werden die Gelenkpunkte und der Bodenaufsatzpunkt im Verhältnis zueinander ausgewertet. Dies umfasst mindestens einen Fußgelenkpunkt. Der hierbei eingesetzte Klassifikator ist, in einem Aspekt, mittels eines neuronalen Netzwerks auf Basis von überwachtem Lernen erstellt worden, wobei erfasste Körperpositionen der Person bewertet wurden. In einem Aspekt kann bei der Erstellung eines Klassifikators ein Filter genutzt werden, um die Informationen, die für die Klassifizierung genutzt werden, zu reduzieren. In einem nächsten Schritt erfolgt bspw. eine Reduktion der extrahierten Merkmale, z.B. eine Dimensionsreduktion. Dabei können einerseits Maxima, andererseits Durchschnittswerte der extrahierten Merkmale verarbeitet werden. Im weiteren Verlauf können bspw. Kostenfunktionen eingesetzt werden. Als Software Werkzeug kann bspw. PyTorch zum Einsatz kommen.

[0355] In einem Aspekt werden Körperposen des Gangablaufs mit Gehhilfen wie Unterarm oder Achselstützen aufgezeichnet, die einen korrekten Gangablauf beschreiben und für die die Positionen und der Verlauf von mindestens zwei Gelenkpunkten und mindestens einem Endpunkt einer Unterarm- oder Achselstütze im Zeitverlauf erfasst und zusammenhängend ausgewertet werden. Hierbei kann jeweils der Verlauf von Gelenkpunkten und/oder Auf setzpunkten der Unterarm- oder Achselstützen bspw. auf Basis einer Demonstration einer Körperpose ausgewertet und darauf basierend ein Klassifikator erstellt werden, der dann mit weiteren erfassten, als korrekt vorgegebenen Körperposen und den daraus abgeleiteten Verläufen der Gelenkpunkte und Aufsetzpunkte der Unterarm- oder Achselstützen im Raum verglichen wird, wobei danach erneut ein Klassifikator erstellt wird, der auf Basis aller vorliegenden Gelenkpunkt- und Achsel-/Unterarmstützpositions-Verlaufsdaten berücksichtigt. Auf diesem Weg wird der mindestens eine Klassifikator verfeinert. Hierzu kann bspw. der DAgger-Algorithmus in Python eingesetzt werden. Auf diesem Weg wird bspw. durch ein neuronales Netzwerk ein Klassifikator erstellt, der eine korrekte Bewegung erkennt und demzufolge auch Bewegungen, die nicht korrekt ablaufen. Fig. 80 illustriert dieses Verfahren, bei dem zunächst eine Merkmalsextraktion aus einer genormten Körperpose erfolgt, bspw. einem Gangablauf 3375. In einem nächsten Schritt wird eine Vielzahl von Gelenkpunkten 3376 und die Bodenaufsetzpunkte einer Gehhilfe wie den Unterarm- oder Achselstützen 3377 erfasst und diese zusammenhängend klassifiziert, wodurch ein Klassifikator 3378 generiert wird. Dieses Verfahren kann iterativ durchlaufen werden mit einer Vielzahl an Körperposen, welche genormt sind bzw. welche einem korrekten Ablauf entsprechen.

[0356] Im nächsten Schritt 4440 erfolgt eine Bewegungsablaufkorrektur basierend auf im Speicher 10 hinterlegten Regeln. Damit sind Ausgaben über einen Lautsprecher 192 und/oder ein Display 2 verbunden. Die Daten können bspw. in Form einer Matrix abgelegt sein, die eine Kombination an erkannten Bewegungsmustern mit zugehörigen Korrekturausgaben verbindet. Die Korrekturausgaben sind priorisiert, so dass innerhalb eines definierten Zeitfensters nur eine -definierte Anzahl an Korrekturausgaben erfolgt, bspw. eine maximale Anzahl, die wiederum von der Länge der Ausgaben und/oder Bewegungen des Systems wie bspw. des Serviceroboters ab.

[0357] Im Schritt 4345 erfolgt die Zusammenführung der Patientendaten (die zumeist zeitinvariant sind wie Alter, Gewicht, Größe, Art der Operation, operierte Seite, usw.), der Übungsplankonfigurationen (die zeitvariant sein können wie bspw. 5 min Training am ersten Tag, 10 min Training am zweiten Tag, zurückzulegende Wegstrecke von 50m, usw.), der ausgegebenen Bewegungsablaufkorrekturen (wie z.B. den Oberkörper aufrichten, die Unterarmgehstützen anders setzen) und/oder der klassifizierten Bewegungsabläufe im Zeitverlauf (wie die Winkel zwischen Gliedmaßen, Schrittlänge, Spurweite usw.) für die erfassten Personen mit dem Ziel einer Auswertung der Daten. Dazu können bspw. übliche join-Befehle für eine Datenbank genutzt werden, sofern die Daten in einer Datenbank im Speicher 10 abgelegt sind. Die Zusammenführung kann bspw. pro erfasste Übung erfolgen.

Es erfolgt ein Abspeichern dieser Daten im Speicher 10, der sich entweder im Serviceroboter 17 oder in der Cloud 18 befindet. Auf Basis der erfassten Daten erfolgt eine Prognose von Bewegungsabläufen auf Basis von Übungsplankonfiguration, Patientendaten und/oder Bewegungsablaufkorrektur (Schritt 4350). So kann bspw. ermittelt werden, auf Basis welcher Parameter für eine Übungsplankonfiguration für bestimmte Patiententypen (Alter, usw.) und mit welchen Bewegungsablaufkorrekturen ein Bewegungsablauf beim Patienten erreicht werden kann, der bestimmte Anforderungen erfüllt (bspw. der besonders flüssig ist, dem normalen Gangbild besonders nahekommt, usw.). Die Bewegungsabläufe können, in einem Aspekt, klassifiziert sein, bspw. als „normaler“ Bewegungsablauf vs. ein krankheitsbedingter Bewegungsablauf. Die Prognose von Bewegungsabläufen geschieht mittels Algorithmen des maschinellen Lernens. So kann hier bspw. ein Strukturgleichungsmodell eingesetzt werden, bspw. aus dem Toolkit Semopy für Python oder aber ein Regressionsmodell basierend auf Scikit Learn für Python. In einem Aspekt können hier auch neuronale Netze eingesetzt werden. Auf Basis dieser Auswertung wird ermittelt, welche Übungsplankonfiguration und/oder welche Bewegungsablaufkorrektur zu welchem Ergebnis führt. Dazu wird im Rahmen der Prognoseerstellung ermittelt, welche Kombination von welchen Einflussfaktoren wie Übungsplankonfigurationen, Personendaten und Bewegungsablaufkorrekturen zu welchen Bewegungsabläufen führt. Darauf basierend wird eine Übungsplankonfiguration und/oder die Klassifikation der Bewegungsablaufkorrektur angepasst (Schritt 4355), d.h. es werden die Übungsplankonfigurationen und/oder Bewegungsablaufkorrekturen übermittelt, die zu definierten Bewegungsabläufen führen. Die Übermittlung erfolgt an ein System zur Erfassung der Bewegungsdaten auf Basis von Ausgaben eines Übungsplans, bspw. einen Serviceroboter 17, ein Mobiltelefon oder einen Computer handelt, der stationär oder mobil ist, bspw. ein Tablet. Bei dem System kann es sich bspw. um einen Serviceroboter 17 handeln oder ein stationäres System. In einem Aspekt kann die Übermittlung auch an ein Regelwerk 150 erfolgen, von dem aus die Distribution der Regeln an mehr als ein weiteres Gerät erfolgt.

[0358] Zusammengefasst stellt sich der Ablauf wie folgt dar: Zusammenführen von Personendaten, Übungsplankonfigurationen, Bewegungsablaufkorrekturen und klassifizierter Bewegungsabläufe im Zeitverlauf für verschiedene Personen in mindestens einem Speicher (10); Prognose von Bewegungsabläufen auf Basis der Übungsplankonfigurationen, Personendaten und/oder der Bewegungsablaufkorrekturen; Ermittlung von Übungsplankonfigurationen und/oder Bewegungsablaufkorrekturen, welche zu definierten Bewegungsabläufen führen; Übermittlung der Übungsplankonfigurationen und/oder Bewegungsablaufkorrekturen an ein System zur Erfassung von Bewegungsabläufen. Weiterhin: eine Erfassung einer Person, eine Erstellung eines Skelettmodells von der Person, eine Gelenkpunktextraktion von Gelenkpunkten der Person über einen Bewegungsablauf, eine Bewegungsablaufklassifizierung der extrahierten Gelenkpunkte zur Bewertung von Bewegungsabläufen und eine Ermittlung einer Bewegungsablaufkorrektur.

[0359] Die Erkennung und Auswertung von Gangparametern wird hier durch folgende Aspekte AEAG1 bis AEAG14 charakterisiert):

AEAG1. Computer-implementiertes Verfahren zur Prognose von Bewegungsabläufen, umfassend

• Zusammenführen von Personendaten, Übungsplankonfigurationen, Bewegungsablaufkorrekturen und klassifizierter Bewegungsabläufe im Zeitverlauf für verschiedene Personen in mindestens einem Speicher (10);

• Prognose von Bewegungsabläufen auf Basis der Übungsplankonfigurationen, Personendaten und/oder der Bewegungsablaufkorrekturen;

• Ermittlung von Übungsplankonfigurationen und/oder Bewegungsablaufkorrekturen, welche zu definierten Bewegungsabläufen führen;

• Übermittlung der Übungsplankonfigurationen und/oder Bewegungsablaufkorrekturen an ein System zur Erfassung von Bewegungsabläufen. AEAG2. Computer-implementiertes Verfahren nach AEAG1, umfassend die Ausgabe von Anweisungen auf Basis eines Übungsplans.

AEAG3. Computer-implementiertes Verfahren nach AEAG1, umfassend eine Erfassung einer Person, eine Erstellung eines Skelettmodells von der Person, eine Gelenkpunktextraktion von Gelenkpunkten der Person über einen Bewegungsablauf, eine

Bewegungsablaufklassifizierung der extrahierten Gelenkpunkte zur Bewertung von Bewegungsabläufen und eine Ermittlung einer Bewegungsablaufkorrektur.

AEAG4. Computer-implementiertes Verfahren nach AEAG3, ferner für ein Bein die Schätzung der Position des zugehörigen Fußgelenkpunkts über die Ermittlung der Distanz zwischen dem zugehörigen Kniegelenkpunkt und dem Boden, der Ermittlung der

Orientierung des zugehörigen Unterschenkels als Richtungsvektor, dessen Länge sich aus der Distanz zwischen dem zugehörigen Kniegelenkpunkt und dem Boden ergibt.

AEAG5. Computer-implementiertes Verfahren nach AEAG4, wobei die Distanz zwischen dem Kniegelenkpunkt und dem Boden dann ermittelt wird, wenn sich der Richtungsvektor zwischen Kniegelenkpunkt und zugehörigem Hüftgelenkpunkt in etwa im Lot befindet.

AEAG6. Computer-implementiertes Verfahren nach AEAG4, wobei die Distanz zwischen dem Kniegelenkpunkt und dem Boden über die Differenz aus der Distanz zwischen Hüftgelenkpunkt und Boden und Hüftgelenkpunkt und Kniegelenkpunkt ermittelt wird.

AEAG7. Computer-implementiertes Verfahren nach AEAG3, wobei die Bodenaufsetzposition der von der erfassten Person genutzten Gehhilfe ermittelt wird.

AEAG8. Computer-implementiertes Verfahren nach AEAG3 und AEAG7, wobei die Bewegungsablaufklassifikation durch die gleichzeitige Auswertung von mehr als zwei Gelenkpunkten und mindestens einer Bodenaufsetzposition der mindestens einen Gehhilfe erfolgt. AEAG9. Computer-implementiertes Verfahren nach AEAG3, wobei die

Bewegungsablaufkorrektur eine Ausgabe über einen Lautsprecher (192) und/oder ein Display (2) umfasst.

AEAG10. Computer-implementiertes Verfahren nach AEAG8, wobei es sich bei den ausgewerteten Gelenkpunkten mindestens um einen Fußgelenkpunkt handelt. AEAG1 1. Computer-implementiertes Verfahren nach AEAG1, wobei es sich beim System um einen Serviceroboter 17 handelt. AEAG12. Vorrichtung zur Durchführung eines Verfahrens nach AEAG1-AEAG11.

AEAG13. Vorrichtung zur Durchführung eines Verfahrens nach AEAG11, wobei es sich beim System zum Erfassen von Bewegungsabläufen um einen Serviceroboter 17 handelt.

AEAG14. Vorrichtung zur Durchführung eines Verfahrens nach AEAG11, wobei es sich beim System zum Erfassen von Bewegungsabläufen um ein Mobiltelefon, ein Tablet- Computer oder einen stationären Computer handelt.

B ezugsb ezei chnungen

1 LIDAR

2 Display

3 Sensor zur berührungslosen Erfassung einer Person

4 druckempfindliche Stoßstange

5 Stützrad

6 Antriebsrad

7 Antriebseinheit

8 Energiequelle

9 Rechner

10 Speicher

17 Serviceroboter

13 Terminal

18 Cloud

100 Softwareebene

101 Navigationsmodul

102 2D oder 3D-Umfelderfassungsmodul

103 Pfadplanungsmodul

104 Bewegungsplaner

105 Selbstlokalisierungsmodul

106 Kartierungsmodul

107 Kartenmodul

108 Lademodul

110 Personenerkennungsmodul

111 Personenidentifizierungsmodul

112 visuelles Personentracking-Modul

113 laserbasiertes Personentracking-Modul

114 Personenreidentifizierungsmodul

115 Sitzerkennungsmodul

120 Bewegungsauswertungsmodul

121 Bewegungsablauf extraktionsmodul

122 Bewegungsablaufbewertungsmodul

130 Mensch -Roboter-Interaktionsmodul

131 graphi sehe Nutzerob erfl äche 132 Sprachauswertungsmodul

133 Sprachsyntheseeinheit

150 Regelwerk

151 Rechner des Regelwerks

152 Speicher des Regelwerks

160 Patientenadministrationsmodul

161 Rechner des Patientenadministrationsmoduls

162 Speicher des Patientenadministrationsmoduls

170 Navigationsmodul in der Cloud

171 Navigationsrechner

172 Navigationsspeicher

180 Hardwareneb ene

181 Odometrie

183 RFID

185 Kamera

186 Bedienelemente

188 Schnittstelle

190 Ladesteuerung

191 Motorsteuerung

192 Lautsprecher

193 Mikrofon

194 Radar und/oder Ultraschallsensor

195 Detektor

196 Spektrometer

197 Projektionsvorrichtung

905 Stuhl

910 Person

915 proj izierte Markierung

920 Projektionsvorrichtung

925, 930, 935, 940 verschiedene Linien

4415 Personen-Positions-Ermittlungs-Modul

4420 Audioquellen-Positionsermittlungs-Modul

4425 Audi osignal -V ergl ei chs-Modul

4430 Audiosignal -Personen -Modul 4435 Audiosequenz -Eingabe-Modul

4510 Zeitdauer-Wegstrecken-Modul

4515 Geschwindigkeits-Wegstreckenmodul

4520 Zeitdauer-Wegstrecken-Bewertungsmodul

4525 Hörtesteinheit

4530 Sehtesteinheit

4535 Test-auf-gei stige-F ähigkeiten -Einheit 4540 Stuhldetektionsmodul

4605 Personenerfassungs- und Trackingeinheit

4606 Bewegungsfrequenzermittlungseinheit

4607 Bewegungseinheit

4615 Puls- Atem -Auswertungseinheit

4620 Bewegungssignalerfassungs- und Verarbeitungseinheit

4625 stilisierte Verkörperungselemente

4705 Blattdetektionsmodul

4710 F altbewegungsermittlungsmodul

4720 Blatt-Abstands-Ecken-Kanten-Modul

4725 Blattformänderungs-Modul

4730 Blattkrümmungs-Modul

4740 Blattdimensions-Modul

4745 Bl attrand-Ori enti erungs-Modul

4750 Fingerkuppen- Ab Stands-Modul

4755 Blattsegmentierungsmodul

4760 Blattklassifikations-Modul

4770 Manipulationsversuchs-Detektionsmodul

4775 Person-Roboter- Abstandsermittlungs-Modul

4780 Größe- Arml änge-Ori enti erungs-Modul

4785 Eingabe-Registrierungs-Vergleichsmodul

4805 Spektrometer-Ausrichtungseinheit

4810 Körperregions-Detektions-Modul

4815 Körperregion-Tracking-Modul

4820 Spektrometer-Messmodul

4825 Referenzspektren-Datenbank

4830 Krankheitsbilder-Datenbank 4835 Perspirations-Modul

4840 Delirium-Detection-Score-Ermittlungs-Modul

4845 Kognitive-Fähigkeiten-Bewertungs-Modul

4850 Thermometer

4905 taktiler Sensor

4910 taktile Sensor- Auswertungseinheit

4915 taktile-Sensor- Ausgabe-Vergleichsmodul

4920 Aktor

4925 Aktor-Positionierungseinheit 4930 Handidentifizierungsmodul 4940 Zahlenwert-Ausgabe-Modul 4950 Roboterhand

4955 Einheit zur Ausgabe von Fingerposen der Roboterhand

4960 Handposen-Detektions-Modul

5005 Gesichtserkennungs-Modul

5010 Gesichts-Kandidatenregion-Modul

5015 Emotions-Klassifikations-Modul

5020 Emotions-Bewertungs-Modul

5025 Betterkennungs-Modul

5035 obere-Extremitäten- Auswertungs-Modul

5040 Schmerzstatus-Berechnungsmodul

5055 Schmerzvokalisations-Modul

5065 Beatmungsvorrichtungs-Erkennungsmodul

5085 Schmerzempfindungs-Auswertungsmodul

5110 kardiovaskuläre-Bewegungen -Modul

5120 Leuchte

5125 Blutdruck-Ermittlungs-Modul 5130 Kippeinheit 5205 Auswertungslaser 5210 weiterer Laser 5215 Medium

5220 Laserablenkungs-Auswertungs-Modul

5225 Laser-Variations-Modul

5230 Fingerpositionierungs-Erkennungs-Modul 5250 Sensor auf Basis des Fotoeffekts 5270 Lichtquelle

5275 Wellenlängenvariations-Einheit

5280 Wellenlängenvariations-Auswertungs-Einheit

5295 Stoffklassifikationsmodul-Modul

5305 F euchtigkeitsermittlungsmodul

5310 Feuchtigkeitsbewertungsmodul

5405 Sturzdetektions-Modul

5410 Sturzereignis-Bewertungs-Modul

5415 Vitalparameter-Erfassungs-Einheit

5420 Vitalparameter-Auswertungs-Modul

5425 Vitalparameter-Sensor

5430 Sturzrisiko-Ermittlungsmodul

5605 Gangmerkmalsextraktions-Modul

5610 Gangmerkmalsklassifizierungs-Modul

5615 Gangablaufklassifizierungs-Modul

5620 Inertialsensor

5625 Personen-Geschwindigkeits-Modul 5635 Skelett-Erstellungs-Modul

5640 skelettmodell-basiertes Merkmalsextraktion-Modul 5645 Transversal-Gelenkpunkte-Auswertungs-Modul 5650 Lot-Gelenkpunkte-Auswertungs-Modul 5655 Personengröße- Auswertungs-Modul 5660 Handabstands- Auswertungs-Modul

5665 sagittalebenenbasiertes Gelenkpunktverlauf-Auswertungs-Modul

5670 F ußgel enkpunkt-Kl as sifizi erungs-Modul

5675 Spurweiten-Schrittweiten-Modul

5677 Fußgelenkpunkt-Gehhilfenpositions-Modul

5680 Drehbewegungs-Merkmalsklassifikation-Modul

5682 Winkelauswertungs-Modul

5685 F ußgel enkpunkt-Di stanz -Ermittlungs-Modul

5690 Hüft-Knie-Orienti erungs-Modul

5695 Drehbewegung-Größe-Balance-Schrittlänge-Klassifizierungs-Modul

5696 Positions-Ermittlungs-Linien-Modul 5697 Wegstreckenmodul

5698 Bewegungsrichtungs-Modul 5705 Segmentierungsmodul 5710 Leistungsdichte-Modul

5715 Skelettmodell-Korrektur-Modul

5720 Gelenkpunkt-Selektionsmodul

5740 Bildausschnitt-Anpassungs-Modul

5745 Bildausschnitt-Änderungsgeschwindigkeit-Modul

5750 Bildausschnitt-Abstands-Modul

5755 Bildausschnitt-Vergrößerungs-Einheit

5760 Gelenkpunkt-Bildausschnitt-Modul

5570 Positionierungs-Modul

6070 erfasste Feuchtigkeit auf dem Boden

6071 Gang

6072 initial ermittelter Pfad

6073 neu errechneter Pfad auf Basis der Feuchtigkeit als Hindernis

6074 Abstandsermittlung zwischen zwei feuchten Flächensegmenten

Claims

Ansprüche

1. Computer-implementiertes Verfahren zur Positionierung einer Erfassungs und/oder Auswertungseinheit in einem Erfassungswinkel von größer 30° zur Laufrichtung einer Person, umfassend

• Erfassung und Tracken der Person durch zumindest einen Sensor,

• Ermittlung der Laufrichtung der Person, und

• Repositionierung der Erfassungs- und/oder Auswertungseinheit.

2. Computer-implementiertes Verfahren nach Anspruch 1, umfassend eine Ausgabe einer Anweisung an die Person, im Wesentlichen geradeaus zu gehen.

3. Computer-implementiertes Verfahren nach Anspruch 1, wobei die Repositionierung der Erfassungs- und/oder Auswertungseinheit im Wesentlichen eine seitliche Erfassung der Person ermöglicht.

4. Computer-implementiertes Verfahren nach Anspruch 1, umfassend eine Prognose über einen von der Person zurückzulegenden Pfad basierend auf der Laufrichtung der Person.

5. Computer-implementiertes Verfahren nach Anspruch 4, wobei die Re positionierung der Erfassungs- und/oder Auswertungseinheit zu dem Pfad in dem Erfassungswinkel erfolgt.

6. Computer-implementiertes Verfahren nach Anspruch 4, wobei die Re positionierung der Erfassungs- und/oder Auswertungseinheit in dem Erfassungswinkel zu einem Objekt erfolgt.

7. Computer-implementiertes Verfahren nach Anspruch 4, wobei sich der Erfassungswinkel aus einer mittelzentrischen Achse des Sensors einerseits und einem Objekt, der Laufrichtung und/oder dem prognostizierten Pfad andererseits jeweils auf eine horizontale Ebene projiziert ergibt.

8. Computer-implementiertes Verfahren nach Anspruch 1, weiter umfassend eine laufende Neuberechnung des Erfassungswinkels; und die Positionierung der Erfassungs- und/oder Auswertungseinheit, damit der Erfassungswinkel in etwa konstant gehalten wird.

9. Computer-implementiertes Verfahren nach Anspruch 1, weiter umfassend eine laufende Berechnung des Abstands zwischen der Erfassungs- und/oder Auswertungseinheit und der Person; und

Positionierung der Erfassungs- und/oder Auswertungseinheit, damit ein Mindestwert für den Abstand zwischen der Erfassungs- und/oder Auswertungseinheit und der Person eingehalten wird.

10. Computer-implementiertes Verfahren nach Anspruch 1, weiter umfassend die Repositionierung der Erfassungs- und/oder Auswertungseinheit nach einer definierten Zeit und/oder Wegstrecke, damit der Erfassungswinkels danach im Wesentlichen kleiner als 30° ist.

11. Computer-implementiertes Verfahren nach Anspruch 1, weiter umfassend die Repositionierung der Erfassungs- und/oder Auswertungseinheit nach einer definierten Zeit und/oder Wegstrecke, damit der Erfassungswinkels danach im Wesentlichen kleiner als 30° ist.

12. Computer-implementiertes Verfahren nach Anspruch 1, weiter umfassend im Laufe der Erfassung und Tracking der Person eine Ausgabe über einen Hinweis über die Bewegungsrichtung der Person und/oder der der Erfassungs- und/oder Auswertungseinheit.

13. Computer-implementiertes Verfahren nach Anspruch 1, weiter umfassend eine Auswertung des Bewegungsablaufs unter Berücksichtigung der Laufrichtung der Person.

14. Vorrichtung zur Durchführung des computer-implementiertes Verfahren nach Anspruch 1- 13.

15. System zur Positionierung einer Erfassungs- und/oder Auswertungseinheit in einem Winkel von größer 30° zur Laufrichtung einer Person, umfassend einen Rechner (9), einen Speicher (10) und mindestens einen Sensor zur Erfassung der Person im Zeitablauf, ein Trackingmodul (112, 113) zur Tracking der Person und ein Positionierungs-Modul (5570) zur Initiierung und Überwachung der Positionierung.

16. System nach Anspruch 15, weiter umfassend einen Bewegungsplaner (104) zur Erstellung einer Prognose des von der Person zurückzulegenden Pfads, zur Bewegung der Erfassungs- und/oder Auswertungseinheit neben der Person, zum Einhalten eines in etwa konstanten Abstands zwischen der Erfassungs- und/oder Auswertungseinheit und der Person, zum Einnehmen eines definierten Erfassungswinkels und/oder zur Rotation der Erfassungs- und/oder Auswertungseinheit.

17. System nach Anspruch 15, umfassend eine Kippeinheit (5130), die die Ausrichtung des Sensors bei fixer Orientierung der Erfassungs- und/oder Auswertungseinheit ermöglicht.

18. System nach Anspruch 15, umfassend ein Bewegungsablaufextraktionsmodul (121) zur Merkmalsextraktion eines Bewegungsablaufs der Person und ein Bewegungsablaufbewertungsmodul (122).