[go: up one dir, main page]

DE102006053837A1 - Integrierter Schaltkreis - Google Patents

Integrierter Schaltkreis Download PDF

Info

Publication number
DE102006053837A1
DE102006053837A1 DE102006053837A DE102006053837A DE102006053837A1 DE 102006053837 A1 DE102006053837 A1 DE 102006053837A1 DE 102006053837 A DE102006053837 A DE 102006053837A DE 102006053837 A DE102006053837 A DE 102006053837A DE 102006053837 A1 DE102006053837 A1 DE 102006053837A1
Authority
DE
Germany
Prior art keywords
integrated circuit
person
der
image data
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102006053837A
Other languages
English (en)
Inventor
Jens Schick
Alexander Wuerz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102006053837A priority Critical patent/DE102006053837A1/de
Priority to US12/303,522 priority patent/US20090322888A1/en
Priority to PCT/EP2007/059713 priority patent/WO2008058783A1/de
Priority to EP07820218A priority patent/EP2092408A1/de
Publication of DE102006053837A1 publication Critical patent/DE102006053837A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

Es werden ein integrierter Schaltkreis vorgeschlagen, wobei der integrierte Schaltkreis Bilddaten einer Videokamera mittels der Bestimmung des optischen Flusses verarbeitet und daraus Ausgangsdaten berechnet, die entweder ein Maß für die Position und/oder Bewegung von Körperteilen von Personen sind oder Gesten von Personen repräsentieren und codieren. Ferner werden eine elektronische Datenverarbeitungsanlage, ein Verfahren und ein Computerprogramm vorgeschlagen.

Description

  • Stand der Technik
  • Die Erfindung betrifft einen integrierten Schaltkreis, eine elektronische Datenverarbeitungsanlage, ein Verfahren zur Berechnung von Ausgangsdaten eines integrierten Schaltkreises sowie ein Computerprogramm.
  • Personalcomputer (PC) haben eine Tastatur und eine Maus zur Eingabe. Die Orientierung im Programm oder die Rückmeldung erfolgen über eine graphische Oberfläche an einem Bildschirm zum Teil zusammen mit einem Lautsprecherausgang. Nachteilig ist, dass in engen Arbeitsplätzen wie dem Sitz in einem Flugzeug die Maus nicht frei bewegt werden kann und auch die Bedienung der Tastatur schwierig ist.
  • Zunehmend finden Videospiele immer mehr Anhänger und erfreuen sich immer größerer Beliebtheit. Videospiele werden sowohl auf Personalcomputern als auch auf Spielekonsolen eingesetzt. Die Eingabe erfolgt vorzugsweise über Tastatur, die Maus oder Joysticks. Nachteilig ist, dass die Benutzung dieser Instrumente den Spieler an das Gerät bindet.
  • Aus der deutschen Offenlegungsschrift DE 195 14 877 A1 ist eine auf einem Personalcomputer basierte Spielekonsole bekannt. Für die Bedienung sind Schnittstellen für Joystick oder Trackball vorgesehen. Ferner ist für die Ausgabe eine Schnittstelle für einen Bildschirm vorgesehen, über die Ton- und Bilddaten ausgegeben werden.
  • Offenbarung der Erfindung
  • Vorteile der Erfindung
  • Der nachfolgend beschriebene integrierte Schaltkreis hat den Vorteil, dass mittels der Bestimmung des optischen Flusses von Bilddaten und die Integration dieses Algorithmus in einem integrierten Schaltkreis eine kostengünstige, präzise und schnelle Ermittlung von Ausgangsdaten möglich ist, die ein Maß für die Position und/oder Bewegung von Körperteilen einer Person sind und/oder die Gesten der Person repräsentieren.
  • Besonders vorteilhaft ist, wenn die erste Einheit, die den Algorithmus zur Bestimmung des optischen Flusses, der Stereodisparitäten und/oder der Symmetriehäufungen implementiert, fest verdrahtet ist, da hierdurch eine Optimierung des integrierten Schaltkreise möglich ist, so dass dieser besonders schnell und effizient arbeitet. Die programmierbare zweite Einheit, in der die Berechnung der Ausgangsdaten durchgeführt wird, hat den Vorteil, dass hierdurch eine anwendungs- und funktionsspezifische Anpassung möglich ist, so dass derselbe integrierte Schaltkreis in vielen Anwendungsgebieten eingesetzt werden kann.
  • Vorteilhaft ist ferner, dass die Ausgangsdaten die Gebärdensprache codieren, da hierdurch gehörlosen und stark schwerhörigen Menschen eine einfache Kommunikationsplattform mit elektronischen Datenverarbeitungsanlagen zur Verfügung gestellt wird.
  • Die vorstehend beschriebenen Vorteile des integrierten Schaltkreises gelten entsprechend auch für die elektronische Datenverarbeitungsanlage, das Verfahren und das Computerprogramm.
  • Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die Figuren und aus den abhängigen Patentansprüchen.
  • Zeichnung
  • Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsform näher erläutert.
  • Es zeigen:
  • 1 eine elektronische Datenverarbeitungsanlage,
  • 2 einen integrierten Schaltkreis,
  • 3 eine Person in Seitenansicht,
  • 4 eine Person in Vorderansicht.
  • Beschreibung von Ausführungsbeispielen
  • Nachfolgend wird ein integrierter Schaltkreis beschrieben, wobei der integrierte Schaltkreis Bilddaten einer Videokamera mittels der Bestimmung des optischen Flusses verarbeitet und daraus Ausgangsdaten berechnet, die entweder ein Maß für die Position und/oder Bewegung von Körperteilen von Personen sind oder Gesten von Personen repräsentieren und codieren. Ferner werden eine elektronische Datenverarbeitungsanlage, ein Verfahren und eine Computerprogramm beschrieben.
  • Im Folgenden wird eine hochauflösende Vermessung der Gestik von Personen in einem dichten Stereobild zur Steuerung eines Personalcomputers oder einer Spielekonsole beschrieben. Die Videokamera ist als Stereokamera ausgeführt und ist oberhalb des Bildschirmes angeordnet und beobachtet den Raum vor dem Personalcomputer. Im bevorzugten Ausführungsbeispiel wird die Position von Fingern, Händen, Armen, Rumpf, Beinen, Füßen und/oder Kopf der Person mit ihren Drehungen aus den Bilddaten der Videokamera ermitteln und zur Eingabe als Alternative zur Maus, Tastatur oder Joystick verwenden. Hierzu werden Algorithmen zur Vermessung des optischen Flusses, von Stereo-Disparitäten und/oder Symmetriehäufungen eingesetzt. Im bevorzugten Ausführungsbeispiel dient diese Eingabe von Informationen über einen optischen Kanal dazu, einem Spieler eines Videospiels eine größere Eingriffsmöglichkeit zu geben und damit einen höheren Spielewert zu vermitteln. Diese Eingriffsmöglichkeiten dienen zur Kontrolle eines virtuellen Spielers oder eines anderen Objektes eines Videospiels, wie beispielsweise eines Autos.
  • 1 zeigt eine elektronische Datenverarbeitungsanlage 1 des bevorzugten Ausführungsbeispiels, bestehend aus einem Personalcomputer 10 (PC), einem integrierten Schaltkreis 12 und einer Stereokamera 16. Alternativ zum Personalcomputer 10 wird in einer Variante ein Notebook oder eine Spielekonsole verwendet. Der Personalcomputer 10 umfasst einen Prozessor 14 zur Verarbeitung von Daten, einen Speicher 20 zur Speicherung von Daten und den integrierten Schaltkreis 12. Der Prozessor 14 ist über Schnittstellen gegebenenfalls unter Zwischenschaltung von weiteren elektronischen Komponenten, wie Schnittstellenbausteinen, mit einer Maus 22 und einer Tastatur 24 als Eingabeeinheiten verbunden. Ferner ist der Prozessor über Schnittstellen gegebenenfalls unter Zwischenschaltung von weiteren elektronischen Komponenten, wie Schnittstellenbausteinen, mit einem Lautsprecher 26 und einem Bildschirm 28 als Ausgabeeinheiten verbunden. Ein Eingang des Prozessors 14 ist ferner mit einem Ausgang des integrierten Schaltkreises 12 verbunden. Der integrierte Schaltkreis wiederum ist gegebenenfalls unter Zwischenschaltung von weiteren elektronischen Komponenten, wie Schnittstellenbausteinen, mit einer Stereokamera 16 verbunden. Die Stereokamera 16 besteht aus zwei Videokameras 18 die im Wesentlichen dieselbe Szene aufnehmen. Die Videokameras 18 sind nebeneinander angeordnet und ihre optischen Achsen sind im Wesentlichen parallel, so dass die Videokameras 18 zwar im Wesentlichen dieselbe Szene aufnehmen, allerdings unter einem leicht unterschiedlichen Blickwinkel. Im bevorzugten Ausführungsbeispiel ist die Stereokamera 16 über dem Bildschirm 28 angeordnet und beobachtet den Bereich in dem sich der Bediener des Personalcomputers 10 befindet. Die Stereokamera 16 erzeugt mittels der beiden Videokameras 18 Bilddaten und überträgt diese an den integrierten Schaltkreis 12. Der Aufbau des integrierten Schaltkreises 12 wird nachstehend anhand 2 näher erläutert. Im Speicher 20 der elektronischen Datenverarbeitungsanlage 1 ist einerseits das Betriebssystem des Personalcomputers 10 abgelegt. Andererseits dient der Speicher 20 einerseits zur Speicherung von Programmen von Büroanwendungen, wie Textverarbeitungsprogrammen, und andererseits zur Speicherung von Softwareprogrammen von Videospielen. Im bevorzugten Ausführungsbeispiel wird die elektronische Datenverarbeitungsanlage 1 sowohl für Büroanwendungen als auch für Videospiele verwendet.
  • Der integrierte Schaltkreis 12 dient zur Berechnung von Bewegungen und Entfernungen von Objekten, die sich in dem von der Stereokamera 16 aufgenommen Bereich befinden. Hebt beispielsweise eine Person im Erfassungsbereich der Stereokamera 16 eine Hand, so wird die Hand über die Bewegung entdeckt und über eine Stereoauswertung vermessen, wobei die Auflösung die einzelne Vermessung von Fingern ermöglicht. Der integrierte Schaltkreis 12 erfasst alle im Sichtbereich der Stereokamera 16 befindlichen Körperteile der Personen gleichzeitig und interpretiert deren Bewegung, wobei der integrierte Schaltkreis 12 Ausgangsdaten, die ein Maß für die Position und/oder Bewegung von Körperteilen einer Person sind und/oder die Gesten der Person repräsentieren, an seinem Ausgang dem Prozessor 14 zur Verfügung stellt. Der integrierte Schaltkreis 12 ist also derart konfiguriert, dass er einerseits reine Positions- und/oder Bewegungsdaten zur Verfügung stellt und andererseits interpretierte Daten, die eine Geste der Person codieren.
  • 2 zeigt den integrierten Schaltkreis 12, bestehend aus einer ersten Einheit 30 und einer zweiten Einheit 32. Der integrierte Schaltkreis 12 umfasst zwei Eingänge 34 und 36 zum Anschluss von zwei Videokameras 18 einer Stereokamera 16 und einen Ausgang 38. Bei dem integrierten Schaltkreis 12 handelt es sich im bevorzugten Ausführungsbeispiel um einen ASIC. Die Abkürzung ASIC steht für "Application Specific Integrated Circuit", also für eine anwendungsspezifisch integrierte Schaltung. Ein ASIC ist eine elektronische Schaltung, die als integrierter Schaltkreis realisiert ist. In einer Variante des bevorzugten Ausführungsbeispiels wird statt dem ASIC ein FPGA verwendet. Die Abkürzung FPGA steht für "Field Programmable Gate Array" und bezeichnet einen frei programmierbarer Logikschaltkreis. Beiden Varianten gemeinsam ist, dass der integrierte Schaltkreis 12 aus zwei logischen Einheiten 30, 32 besteht. Die erste Einheit 30 ist fest verdrahtet und nicht programmierbar. Diese erste Einheit 30 berechnet mittels einer Bestimmung des optischen Flusses aus den Bilddaten der Stereokamera vorverarbeitete Bilddaten. Im bevorzugten Ausführungsbeispiel berechnet die erste Einheit 30 zusätzlich Stereo-Disparitäten und/oder Symmetriehäufungen. Insgesamt berechnet die erste Einheit 30 vorverarbeitete Bilddaten und führt damit eine Datenreduktion durch. Die vorverarbeiteten Bilddaten werden an die zweite Einheit 32 weitergegeben. Im Gegensatz zur ersten Einheit 30 zeichnet sich die zweite Einheit 32 dadurch aus, dass die zweite Einheit 32 programmierbar ist. In der zweiten Einheit wird anwendungsspezifisch festgelegt, welche Ausgangsdaten die zweite Einheit 32 aus den vorverarbeiteten Bilddaten berechnet. Die Ausgangsdaten sind ein Maß für die Position und/oder Bewegung von Körperteilen einer Person und/oder repräsentieren die Gesten der aufgenommen Person. Diese Ausgangsdaten werden am Ausgang 38 des integrierten Schaltkreises 12 zur Verfügung gestellt.
  • 3 zeigt schematisiert eine von den Videokameras aufgenommene Person 40 in linker Seitenansicht, um die Ausgangsdaten zu erläutern, die ein Maß für die Position und/oder Bewegung von Körperteilen von Personen 40 sind und von dem integrierten Schaltkreis am Ausgang bereitgestellt werden. Die Person 40 umfasst einen Kopf 42, einen Rumpf 44, einen rechten Arm 46 mit einer rechten Hand 48 und einen linken Arm 50 mit einer linken Hand 52. Ferner zeigt 3 ein Koordinatensystem 54 mit einer y- und einer z-Achse. In 3 sind durch Kreuze einige Punkte eingezeichnet, die Ausgangsdaten des integrierten Schaltkreises sind und Positionen von Körperteilen 42, 44, 48, 52 der Person 40 kennzeichnen:
    • PRV = (z) des vordersten Raumpunktes des Rumpfes 44
    • PHR = (x, y, z) des vordersten Raumpunktes der rechten Hand 48
    • PHL = (x, y, z) des vordersten Raumpunktes der linken Hand 52
    • PKV = (z) des vordersten Raumpunktes des Kopfes 42
    • PKO = (y) des obersten Raumpunktes des Kopfes
  • 4 zeigt schematisiert eine von den Videokameras aufgenommene Person 40 in Vorderansicht, um die Ausgangsdaten zu erläutern, die ein Maß für die Position und/oder Bewegung von Körperteilen von Personen 40 sind und von dem integrierten Schaltkreis am Ausgang bereitgestellt werden. Die Person 40 umfasst einen Kopf 42, einen Rumpf 44, einen rechten Arm 46 mit einer rechten Hand 48 und einen linken Arm 50 mit einer linken Hand 52. Ferner zeigt 4 ein Koordinatensystem 54 mit einer x- und einer y-Achse. In 4 sind durch Kreuze einige Punkte eingezeichnet, die Ausgangsdaten des integrierten Schaltkreises sind und Positionen von Körperteilen 42, 44, 48, 52 der Person 40 kennzeichnen:
    • BHR = (xb, yb) des vordersten Raumpunktes der rechten Hand 48
    • BHL = (xb, yb) des vordersten Raumpunktes der linken Hand 52
    • ΦKS = Winkel der Symmetrieachse im Bild
    • BKG = (xb, yb) als Bildpunkte der Gesichtsreferenz
    • BKO = (xb, yb) des obersten Raumpunktes des Kopfes 42
    • BKS = (xb, yb) des Punktes auf der Symmetrieachse am Nächsten zu BKO
  • Ferner werden aus den in den 3 und 4 dargestellten Positionen der Körperteile 42, 44, 48, 52 der Person 40 im bevorzugten Ausführungsbeispiel weitere Ausgangsdaten berechnet und am Ausgang des integrierten Schaltkreises zur Verfügung gestellt:
    • IKR = Abstand des am weitesten rechts liegenden Punktes des Kopfes 42 BKR zur Symmetrieachse im Bild
    • IKL = Abstand des am weitesten links liegenden Punktes des Kopfes 42 BKL zur Symmetrieachse im Bild
    • IKO = Abstand des Punktes BKS zu BKG
    • MHL = (XHL, YHL, ZHL – ZRV) → Maße für die relative Position der linken Hand 52
    • MHR = (XHR, YHR, ZHR – ZRV) → Maße für die relative Position der rechten Hand 48
    • MGV = (ZKV – ZRV) → Maß für die Vorwärtsgeschwindigkeit
    • MGS = (ϕKS) – Maß für die Seitwärtsgeschwindigkeit
    • MGR = ( 0,5 – IKL/(IKL + IKR)) → Maß für die Körperdrehung
    • MGH = (yKO(k) – yKO(k – 1)) → Maß für das Springen
    • MSR = (IKO/(IKL + IKR)) → Maß für die Blickrichtung
  • Im bevorzugten Ausführungsbeispiel werden ferner im integrierten Schaltkreis aus den Bilddaten der Videokameras mittels der Bestimmung des optischen Flusses weitere Ausgangsdaten berechnet, die ein Maß für die Position und/oder Bewegung von Körperteilen der Person darstellen:
    • – Fußposition
    • – Knickwinkel des Fußes zum Unterschenkel
    • – Knieposition
    • – Knickwinkel zwischen Unter- und Oberschenkel
    • – Raumwinkel des Oberschenkels
    • – Knickwinkel zwischen Oberschenkel und Rumpf
    • – Raumwinkel des Rumpfes
    • – Winkel und Positionen von Finger und Zehen
  • Nachfolgend wird die Berechnung von Ausgangsdaten dargelegt, welche die Gesten der Person repräsentieren und damit die Gesten codieren:
    Das Anheben eines Fingers einer Hand der Person bedeutet eine Startbedingung, das Senken des Fingers ein Stopp. Damit ist die Geste der Bewegung dieses Fingers eine Alternative zur Maus. Eine Eingabebestätigung vergleichbar mit der Tastatur „Enter" oder einem Klick der rechten Maustaste wird über die abrupte Bewegung des Fingers generiert und durch den integrierten Schaltkreis berechnet. Unter Einbindung und Kombination der Bewegung und Vermessung der übrigen Körperteile ist die Eingabevielfalt nahezu unbegrenzt.
  • Ferner berechnet der integrierte Schaltkreis Ausgangsdaten die zur Steuerung von virtuellen Objekten, wie Figuren, Spielen, Autos, von Videospielen geeignet sind. Dabei wendet die programmierbare zweite Einheit des integrierten Schaltkreises im bevorzugten Ausführungsbeispiel folgende Regeln zur Codierung der erfassten Gesten der Person an:
    • – Fortbewegung Codierung: Stehen der virtuellen Figur keine Bewegung des Rumpfes der Person → keine Bewegung der virtuellen Figur Codierung: Gehen der virtuellen Figur wechselweise Veränderung der Position und Winkel der beiden Oberschenkel der Person → die Frequenz bestimmt die Geschwindigkeit der virtuellen Figur Codierung: Laufen der virtuellen Figur Federndes Gehen, aber mit gleichzeitigem Auswerten der Rumpfvertikalbewegung der Person → die Frequenz bestimmt die Geschwindigkeit der virtuellen Figur Codierung: Springen der virtuellen Figur starke Vertikalbewegung bei paralleler Stellung der Oberschenkel der Person → Stärke der Vertikalbewegung bestimmt Stärke des Absprungs der virtuellen Figur
    • – Rotation Codierung: Drehung Hochachse der virtuellen Figur Drehung des Kopfes um die vertikale Achse der Person → Drehlage des Kopfes entspricht Drehgeschwindigkeit des virtuellen Spielers Drehgeschwindigkeit des Kopfes der Person → entspricht Drehbeschleunigung der virtuellen Figur Gesicht in Richtung Videokamera der Person → bedeutet Stillstand der Drehung der virtuellen Figur (Messung des Drehwinkels des Kopfes durch Abstand von Kopfmittelachse zur Gesichtssymmetrieachse, Gesicht ist die Summe der Merkmale von Auge, Nase und Mund, Messung der Drehrate des Kopfes durch horizontalen optischen Fluss im Gesicht anzüglich der Verschiebegeschwindigkeit der Kopfmittelachse) Codierung: Nicken der virtuellen Figur Drehung des Kopfes um seine horizontale Achse, Drehlage des Kopfes entspricht der Blickrichtung der virtuellen Figur, (Messung des Gesichtschwerpunktes relativ zur Kopfoberkante, Kalibrierung zu Beginn des Spiels) Codierung: Wanken der virtuellen Figur Drehung des Kopfes um die Achse nach vorne der Person → Drehlage des Kopfes entspricht dem schnellen seitlichen Ausweichen der virtuellen Figur (Messung der Richtung der Gesichtssymmetrieachse im Bild)
    • – Aktionen, Kommunikation Codierung: Positionierung von virtuellen Geräten Position der Hände im Raum der Person zur Positionierung von virtuellen Geräten (Waffen, Schilde, Werkzeuge, Schaltknüppel, ...) relativ zum Körper der virtuellen Figur, auch in Kombination der beiden Hände (beispielsweise beim virtuelles Lenkrad) Codierung: Ausrichtung von virtuellen Geräten Richtung des Daumens der Person zur Ausrichtung der virtuellen Geräte. Position und Raumwinkel der Füße der Person zur Ansteuerung virtueller Fahrzeugpedale (Kupplung, Bremse, Gas) Codierung: Aktivierung der Geräte Anzahl und Bewegung der ausgestreckten Finger der Person zum Aktivieren dieser Geräte oder zur Kommunikation mit einem anderen Spieler.
  • Ferner ist im bevorzugten Ausführungsbeispiel vorgesehen, dass durch Kombination von Gestiken als Pantomime ein Szenenwechsel und/oder eine Umschaltung von Geräten durchgeführt wird.
  • Zusammenfassend wird durch die Erfassung der Person durch die Videokameras, die Verarbeitung der Bilddaten durch den Integrierten Schaltkreis und damit der Bereitstellung von Ausgangsdaten, die Gesten der Person repräsentieren und codieren, und die Zuordnung der erfassten Gestiken der Person zu Verhaltenselementen der virtuellen Objekte des Videospiels ermöglicht, dass diese virtuellen Objekte in den Bereichen Fortbewegung (Stehen, Gehen, Laufen mit den Geschwindigkeiten, Springen mit seiner Stärke), Rotation (Drehen mit seiner Drehgeschwindigkeit um die Hochachse, Nickachse und Wankachse), Aktionen und Kommunikation (Aktionen mit beide Armen unabhängig voneinander, Aktivierung von Geräten, Kommunikation mit Partnern) von der Person, die von der Videokamera erfasst wird, gesteuert und kontrolliert werden.
  • In einer Variante des bevorzugten Ausführungsbeispiels werden von dem integrierten Schaltkreis Ausgangsdaten bereitgestellt, die Gestiken der weit verbreiteten Gebärdensprache kodieren. Dabei werden zur Codierung Gebärden von Händen in Verbindung mit Mimik und Mundbild der Person durch die Videokameras erfasst und durch den integrierten Schaltkreis ausgewertet und als Ausgangsdaten bereitgestellt. Dies wird durch den integrierten Schaltkreis vorzugsweise im Kontext der Körperhaltung ausgewertet.
  • In einer Variante werden zur Verbesserung der Berechnung Hilfsmittel, beispielsweise ein Stab und/oder eine Hantel, verwendet, die von der Person eingesetzt werden Dies trägt insbesondere zu einer verbesserten Feinvermessung der Handbewegungen bei, da deren Position genauer gemessen werden kann, weil die Form- und Farbgebung der Hilfsmittel dem integrierten Schaltkreis bekannt sind.
  • Eine weitere Variante sieht vor, dass der integrierte Schaltkreis und die Videokamera die Funktion der Tastatur ersetzt. Dies erfolgt dadurch, dass die zehn Finger der Person von den Videokameras gleichzeitig beobachtet werden. Dazu werden beide Hände der Person vor die Videokameras gehalten. Durch das Knicken von einem Finger oder der Kombination von mehreren Fingern wird die Tastatur durch den integrierten Schaltkreis vollständig emuliert.
  • Der beschriebene integrierte Schaltkreis, die Datenverarbeitungsanlage, das Verfahren und das Computerprogramm sind nicht auf den Bereich Personalcomputer und Videospiele beschränkt, sondern können auch in Industriesteuerung, als auch bei bildschirmfreien Systemen verwendet werden. Dabei erfolgt vorzugsweise die Rückmeldung der Eingabe über andere Medien, beispielsweise Lautsprecher. Besonders vorteilhaft ist die Verwendung des integrierten Schaltkreises im Bereich der Fahrerassistenzsysteme zur Erfassung von Fußgängern im Umfeld eines Kraftfahrzeuges mit einer Videokamera. Ferner wird alternativ oder zusätzlich neben der Stereokamera eine einzelne Videokamera eingesetzt.

Claims (10)

  1. Integrierter Schaltkreis mit wenigstens einem Eingang zum Anschluss einer Videokamera und zum Empfang von Bilddaten der Videokamera, wobei der integrierte Schaltkreis eine erste Einheit aufweist, die aus den empfangenen Bilddaten mittels einer Bestimmung des optischen Flusses vorverarbeiteten Bilddaten berechnet, wobei der integrierte Schaltkreis eine zweite Einheit aufweist, die aus den vorverarbeiteten Bilddaten Ausgangsdaten berechnet, die ein Maß für die Position und/oder Bewegung von Körperteilen einer Person sind und/oder die Gesten der Person repräsentieren, wobei der integrierte Schaltkreis wenigstens einen Ausgang zur Bereitstellung der Ausgangsdaten aufweist.
  2. Integrierter Schaltkreis nach Anspruch 1, dadurch gekennzeichnet, dass die erste Einheit fest verdrahtet und/oder die zweite Einheit programmierbar ist.
  3. Integrierter Schaltkreis nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der integrierte Schaltkreis ein ASIC oder ein FPGA ist.
  4. Integrierter Schaltkreis nach einem der vorhergehenden Ansprache, dadurch gekennzeichnet, dass die Ausgangsdaten die Gebärdensprache codieren.
  5. Elektronische Datenverarbeitungsanlage mit einem integrierten Schaltkreis nach einem der vorhergehenden Ansprüche und wenigstens einer Videokamera.
  6. Elektronische Datenverarbeitungsanlage nach Anspruch 5, dadurch gekennzeichnet, dass die Videokamera eine Stereokamera ist.
  7. Elektronische Datenverarbeitungsanlage nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass die Datenverarbeitungsanlage eine Tastatur und/oder eine Maus und/oder einen Bildschirm und/oder einen Lautsprecher umfasst.
  8. Verfahren zur Berechnung von Ausgangsdaten eines integrierten Schaltkreises, vorzugsweise des integrierten Schaltkreises nach einem der Ansprüche 1 bis 4, wobei aus Bilddaten einer Videokamera mittels einer Bestimmung des optischen Flusses vorverarbeiteten Bilddaten berechnet werden, wobei aus den vorverarbeiteten Bilddaten Ausgangsdaten berechnet werden, die Gesten einer Person repräsentieren.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass Objekte eines Videospiels in Abhängigkeit der Ausgangsdaten gesteuert werden.
  10. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem oder allen der Ansprüche 8 oder 9 durchzuführen, wenn das Programm auf einem Computer und/oder dem integrierten Schaltkreis nach einem der Ansprüche 1 bis 4 und/oder der elektronische Datenverarbeitungsanlage nach einem der Ansprüche 5 bis 7 ausgeführt wird.
DE102006053837A 2006-11-14 2006-11-14 Integrierter Schaltkreis Withdrawn DE102006053837A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102006053837A DE102006053837A1 (de) 2006-11-14 2006-11-14 Integrierter Schaltkreis
US12/303,522 US20090322888A1 (en) 2006-11-14 2007-09-14 Integrated circuit for detecting movements of persons
PCT/EP2007/059713 WO2008058783A1 (de) 2006-11-14 2007-09-14 Integrierter schaltkreis zur erkennung von bewegungen von personen
EP07820218A EP2092408A1 (de) 2006-11-14 2007-09-14 Integrierter schaltkreis zur erkennung von bewegungen von personen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006053837A DE102006053837A1 (de) 2006-11-14 2006-11-14 Integrierter Schaltkreis

Publications (1)

Publication Number Publication Date
DE102006053837A1 true DE102006053837A1 (de) 2008-05-15

Family

ID=38961794

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006053837A Withdrawn DE102006053837A1 (de) 2006-11-14 2006-11-14 Integrierter Schaltkreis

Country Status (4)

Country Link
US (1) US20090322888A1 (de)
EP (1) EP2092408A1 (de)
DE (1) DE102006053837A1 (de)
WO (1) WO2008058783A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014170114A1 (de) 2013-04-19 2014-10-23 Robert Bosch Gmbh Verfahren zum ansteuern eines geräts

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010176380A (ja) * 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
KR101620502B1 (ko) * 2010-01-04 2016-05-23 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置
US9218119B2 (en) * 2010-03-25 2015-12-22 Blackberry Limited System and method for gesture detection and feedback
DE102011002577A1 (de) 2011-01-12 2012-07-12 3Vi Gmbh Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung
JP6261984B2 (ja) 2011-02-04 2018-01-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 絶対的な基準系を作成するのに固有受容性を使用するジェスチャ制御可能システム
US10346680B2 (en) * 2013-04-12 2019-07-09 Samsung Electronics Co., Ltd. Imaging apparatus and control method for determining a posture of an object
CN111695404B (zh) * 2020-04-22 2023-08-18 北京迈格威科技有限公司 行人跌倒检测方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19514877A1 (de) 1995-04-22 1996-10-24 Carsten Germer Personalcomputer basierte Spielkonsole
EP0919906B1 (de) 1997-11-27 2005-05-25 Matsushita Electric Industrial Co., Ltd. Steuerungsverfahren
US7088396B2 (en) * 2001-12-21 2006-08-08 Eastman Kodak Company System and camera for creating lenticular output from digital images
JP4035610B2 (ja) 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
US20060094504A1 (en) * 2004-11-03 2006-05-04 George Polchin Method and apparatus for dynamic enhancement of video games with vendor specific data
KR100819251B1 (ko) * 2005-01-31 2008-04-03 삼성전자주식회사 방송 통신 융합 시스템에서 수화 비디오 데이터를제공하는 시스템 및 방법
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
US7667747B2 (en) * 2006-03-15 2010-02-23 Qualcomm Incorporated Processing of sensor values in imaging systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014170114A1 (de) 2013-04-19 2014-10-23 Robert Bosch Gmbh Verfahren zum ansteuern eines geräts
DE102013207177A1 (de) 2013-04-19 2014-10-23 Robert Bosch Gmbh Verfahren zum Ansteuern eines Geräts

Also Published As

Publication number Publication date
EP2092408A1 (de) 2009-08-26
WO2008058783A1 (de) 2008-05-22
US20090322888A1 (en) 2009-12-31

Similar Documents

Publication Publication Date Title
EP2092408A1 (de) Integrierter schaltkreis zur erkennung von bewegungen von personen
DE102015206110A1 (de) System und verfahren zur herstellung von computersteuersignalen aus atemattributen
DE112009001737T5 (de) Betätigungsunterstützungsgerät und Betätigungsunterstützungsverfahren, die Muskel-Skelett-Informationen verwenden
DE18205821T1 (de) Steuerungssystem zur bewegungsrekonstruktion und/oder wiederherstellung für einen patienten
DE102014116845B4 (de) Verfahren zum Ermitteln einer Bewegungsgrenze
DE102016108966B4 (de) Visuell-haptischer Sensor für 6D-Kraft/Drehmoment
DE102020203636A1 (de) Ermittlung von Sicherheitsbereichen um eine automatisiert arbeitende Maschine
DE102008011596B4 (de) Kombiniertes Baken- und Szenen-Navigationssystem
DE102019128587A1 (de) Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm
DE102019201134B4 (de) Verfahren, Computerprogramm mit Instruktionen und System zum Einmessen einer Augmented-Reality-Brille und Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug
DE102010037067A1 (de) Robotersteuervorrichtung und Verfahren zum Teachen eines Roboters
DE102012021422A1 (de) Vorrichtung und Verfahren zur Steuerung von Maschinen mit mindestens einem beweglichen Element, insbesondere Kranen
DE102015102459B4 (de) Verfahren und Vorrichtung zur Ansteuerung eines Simulators
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102020104359B4 (de) Arbeitsraumbegrenzung für einen Robotermanipulator
EP2715701B1 (de) Ansteuerung eines bewegungssystems
EP2838700B1 (de) Bewegungssystemzustand
DE10149795B4 (de) Semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze
DE102022209561A1 (de) System zur Erkennung der vorausliegenden Fußgängerintension eines Fußgängers in einem Umfeld, Fahrzeug und Verkehrsüberwachungssystem
DE102020002741B4 (de) Steuereinrichtung und Verfahren zur Steuerung von Fahrzeugfunktionen
DE102020122551A1 (de) Verfahren zur Rückkopplung von exogenen Kräften an einen Nutzer mittels elektrischer Muskelstimulation, Steuereinheit zur Steuerung einer Kraftrückkopplungsvorrichtung, Kraftrückkopplungsvorrichtung und Verwendung einer Steuereinheit oder einer Kraftrückkopplungsvorrichtung
WO2012156159A1 (de) Auswertungsverfahren für eine folge von zeitlich aufeinander folgenden tiefenbildern
DE102012014466A1 (de) Verfahren und Vorrichtung zur Darstellung einer Szene für ein Fahrzeug
DE102022122173A1 (de) System und Verfahren zum Bereitstellen eines objektbezogenen haptischen Effektes
DE102017219468A1 (de) Verfahren und Vorrichtung zur Nutzung einer Virtual-Reality-Einrichtung

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20120601