[go: up one dir, main page]

DE60019464T2 - Verspätete videospurverfolgung - Google Patents

Verspätete videospurverfolgung Download PDF

Info

Publication number
DE60019464T2
DE60019464T2 DE60019464T DE60019464T DE60019464T2 DE 60019464 T2 DE60019464 T2 DE 60019464T2 DE 60019464 T DE60019464 T DE 60019464T DE 60019464 T DE60019464 T DE 60019464T DE 60019464 T2 DE60019464 T2 DE 60019464T2
Authority
DE
Germany
Prior art keywords
image
sensor unit
images
sensor
control station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60019464T
Other languages
English (en)
Other versions
DE60019464D1 (de
Inventor
Dov Zahavi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from IL12836899A external-priority patent/IL128368A0/xx
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Application granted granted Critical
Publication of DE60019464D1 publication Critical patent/DE60019464D1/de
Publication of DE60019464T2 publication Critical patent/DE60019464T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Holo Graphy (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Vending Machines For Individual Products (AREA)

Description

  • TECHNISCHER BEREICH
  • Die vorliegende Erfindung betrifft allgemein Systeme zur Spurverfolgung und insbesondere Spurverfolgungssysteme mit Verzögerung.
  • STAND DER TECHNIK
  • In vielen Anwendungen steuert ein Operateur aus der Ferne einen Bildsensor über eine Kommunikationsverbindung. Typische durch einen Operateur gesteuerte Anwendungen sind Verkehrsüberwachung, Grenzüberwachung, Such- und Rettungsoperationen, geodätische Untersuchungen, polizeiliche Überwachung usw. Operateure benötigen unter Umständen zusätzlich Messungen an dem Objekt in der Ferne, beispielsweise Messungen der Bewegungsparameter und dergleichen.
  • Es wird jetzt auf 1 Bezug genommen, die ein Überwachungs/Spurverfolgungssystem 10 darstellt, das dem Stand der Technik entspricht, umfassend eine ferne Sensoreinheit zur Bilderfassung 20 und ein Steuerzentrum 22, die über eine Kommunikationsverbindung 25 miteinander verbunden sind.
  • Die Sensoreinheit 20 umfasst eine Sensorkommunikationseinheit 28, eine Spurverfolgungseinrichtung 30, einen Bildsensor 32 und eine Richtungssteuerungseinheit 34. Die Verfahren, nach denen diese Elemente funktionieren, sind in der Fachwelt bekannt. Die Sensoreinheit 20 lokalisiert ein gesichtetes Objekt, verfolgt dessen Spur und übermittelt die Sensordaten 24, beispielsweise Bilder, Spurlokalisierung, Richtungsdaten und dergleichen an das Steuerzentrum 22. Die Sensordaten 24 werden in der durch den Pfeil A dargestellten Richtung übertragen.
  • Das Steuerzentrum 22 umfasst eine Steuerungskommunikationseinheit 36, eine Anzeige 38 und einen Steuerknüppel 40. Die Verfahren, nach denen diese Elemente funktionieren, sind in der Fachwelt ebenfalls bekannt. Das Steuerzentrum 22 liefert an die Sensoreinheit 20 Steuerdaten 26, beispielsweise Richtungsanweisungen, Zentrieranweisungen, Spurverfolgungsbefehle, Spurkorrekturen und dergleichen. Die Steuerdaten 26 werden in der durch den Pfeil B dargestellten Richtung übertragen. Die Kommunikationsverbindung 25 lässt sich über die Sensorkommunikationseinheit 28 bzw. über die Steuerungskommunikationseinheit 36 an die Sensoreinheit 20 anschließen. Weiter überträgt die Kommunikationsverbindung 25 über die Sensorkommunikationseinheit 28 bzw. über die Steuerungskommunikationseinheit 36 die Sensordaten 24 und die Steuerdaten 26.
  • Im Allgemeinen überwacht der Bildsensor ein Objekt und übermittelt Bilder (Sensordaten 24) an die Anzeige 38, die die Bilder anzeigt, so dass ein Operateur 42 sie ansehen kann.
  • Wenn der Operateur 42 entscheidet, dass es wünschenswert ist, die Spur des Objekts zu verfolgen, sendet er über den Steuerknüppel 40 an die Richtungssteuerungseinheit 34 manuell grobe Richtungsanweisungen (Steuerdaten 26), beispielsweise „nach oben bewegen", „nach rechts bewegen", „zoomen" und dergleichen. Die Richtungssteuerungseinheit 34 reagiert auf diese Anweisungen, indem sie den Bildsensor 32 in die angewiesene Richtung richtet.
  • Der Operateur 42 sendet dann über den Steuerknüppel 40 Zentrieranweisungen an die Richtungssteuerungseinheit 34. Die Richtungssteuerungseinheit 34 richtet den Bildsensor 32 in die angewiesene Richtung und zentriert so das Objekt im Zentrum des Sichtfeldes (SF) der Anzeige 38. Sobald das Objekt so, wie es von dem Bildsensor 32 erfasst wird, im SF zentriert ist, sendet der Operateur 42 über den Steuerknüppel 40 auf elektronischem Weg Anweisungen an die ferne Spurverfolgungseinrichtung 30 Anweisungen das Objekt zu fixieren. Die ferne Spurverfolgungseinrichtung 30 empfängt die Anweisungen und versucht das Objekt im Zentrum des SF der Anzeige 38 zu fixieren.
  • Sobald das Objekt fixiert ist, übernimmt die ferne Spurverfolgungseinrichtung 30 die Kontrolle und die Spurverfolgungsoperation. Die Richtungssteuerungseinheit 34 empfängt über den Steuerknüppel 40 keine Befehle mehr und empfängt ab jetzt Anweisungen von der Spurverfolgungseinrichtung 30. Nach dem Empfang der Anweisungen übermittelt die Richtungssteuerungseinheit 34 die Anweisungen an den Bildsensor 32. Der Bildsensor 32 verfolgt die Spur des bewegten Objekts und hält das Objekt im Zentrum des SF der Anzeige 38, selbst wenn sich das Objekt relativ zu der Sensoreinheit 20 bewegt.
  • Es sei angemerkt, dass in der Fachwelt verschiedene Verfahren und Vorrichtungen bekannt sind, die der Identifizierung eines Objekts und der Verfolgung seiner Spur dienen. Unter diesen Verfahren befinden sich die Schwerpunkterkennung, die Randerkennung, Korrelation und andere in der Fachwelt bekannte Verfahren.
  • In vielen Anwendungen besteht eine erhebliche Zeitverzögerung zwischen dem Moment, in dem die Sensoreinheit 20 ein Bild eines Objekts erfasst, und dem Moment, wenn das Bild in der Anzeige 38 erscheint, und schließlich dem Moment, in dem die Sensoreinheit 20 die entsprechenden Anweisungen empfängt. Im Allgemeinen sind die wichtigsten Faktoren, die zu der Verzögerung beitragen, die Signalverarbeitung, die Komprimierung/Dekomprimierung der Bilddaten und/oder die Grenzen der Verbindungsbandbreite. Infolgedessen können sich die Verzögerungszeiten im Bereich von hundertstel Sekunden bis zu mehreren Sekunden aufsummieren, wenn die verzögerte Reaktionszeit des Operateurs berücksichtigt wird.
  • Wegen der Zeitverzögerung ist der Ort des Bilds, wie er auf der Anzeige 38 dargestellt wird, im Allgemeinen nicht gleich dem aktuellen Ort des Objekts. Der auf dem Bildschirm angezeigte Ort ist der Ort des Objekts vor der Übertragung der Sensordaten 24 (z.B. vor A Sekunden). Außerdem vergeht noch mehr Zeit, bis die Richtungssteuerungseinheit 34 die Anweisungen (Steuerdaten 26) empfängt (z.B. weitere B Sekunden). Bis dann der Bildsensor 32 angewiesen ist das Objekt zu lokalisieren ist das Objekt unter Umständen nicht mehr am selben Ort, an dem das Bild vor mehr als A + B Sekunden aufgenommen wurde.
  • Diese Zeitverzögerung verkompliziert offensichtlich die Bemühung die ferne Spurverfolgungseinrichtung 30 auf das Objekt zu fixieren. Der Operateur 42 muss den erwarteten Ort des Objekts zu einer zukünftigen Zeit, wenn die Spurverfolgungsanweisungen bei der Sensoreinheit 20 eintreffen sollen, genau berechnen und abschätzen. Erst dann wird die Richtungssteuerung 34 auf den berechneten und abgeschätzten Ort gerichtet und die ferne Spurverfolgungseinrichtung 30 angewiesen, das Objekt zu fixieren und die Spurverfolgung in die Wege zu leiten. Wenn die auf einer Abschätzung beruhende Berechnung des Orts nicht hinreichend genau ist, fixiert die Spurverfolgungseinrichtung 30 ein anderes Hintergrundobjekt, und der ganze Vorgang des Abschätzens, Berechnens und Fixierens muss wiederholt werden. Insofern entsteht ein Regelkreis mit Verzögerung und somit eine Situation, die leicht zu Überschwingen und Instabilität führt.
  • Der Vorgang des Fixierens wird durch die menschliche Einwirkung auf den Regelkreis noch weiter verkompliziert. Menschliche Reaktionen und Richtungsvorgaben sind weniger genau als beispielsweise durch einen Computer oder einen Prozessor erzeugte Anweisungen. Menschen funktionieren in Regelkreisen mit Zeitverzögerung nicht zufrieden stellend, wovon die alltägliche Erfahrung ein Beispiel gibt, wenn die Wassertemperatur von warmem Wasser aus einem Wasserhahn mit langsamer Reaktion einzustellen ist.
  • Eine Lösung des Problems der Zeitverzögerung besteht darin, die Verzögerung zu minimieren und/oder die Bandbreite der Regelelektronik so zu optimieren, dass Überschießen und Schwingungen minimiert werden. Eine andere Lösung besteht darin, einen prädiktiven Cursor zu verwenden, der die Dynamik des Sensors misst und seine vorhergesagte Position zur Zeit, zu der die Anweisung zum Fixieren erhalten wird, berechnet. Außerdem können Operateure trainiert werden, den Ort des Objekts zum Zeitpunkt der Anweisung zum Fixieren optimal abzuschätzen.
  • Eine andere Vorrichtung zur Spurverfolgung wird im US-Patent 4405940 offenbart.
  • DARSTELLUNG DER ERFINDUNG
  • Die Aufgabe der vorliegenden Erfindung besteht darin, eine verbesserte Vorrichtung zur Spurverfolgung und zum Fixieren entfernter bewegter Objekte verfügbar zu machen. Daher bietet die vorliegende Erfindung eine Vorrichtung zur Spurverfolgung, wie sie in Anspruch 1 dargelegt ist, und ein entsprechendes Verfahren, wie es in Anspruch 6 dargelegt ist.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die vorliegende Erfindung lässt sich anhand der nachstehenden detaillierten Beschreibung zusammen mit den beigefügten Zeichnungen besser verstehen und würdigen, wobei:
  • 1 eine schematische Darstellung eines Spurverfolgungssystems ist, das dem Stand der Technik entspricht;
  • 2 eine schematische Darstellung eines Spurverfolgungssystems ist, das gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung aufgebaut ist und funktioniert;
  • 3A eine schematische Darstellung des Datenflusses ist, der gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung aufgebaut ist und funktioniert; und
  • 3B eine schematische Darstellung des Datenflusses ist, der gemäß einer alternativen bevorzugten Ausführungsform der vorliegenden Erfindung aufgebaut ist und funktioniert.
  • DETAILLIERTE BESCHREIBUNG DER VORLIEGENDEN ERFINDUNG
  • Es wird jetzt auf 2 Bezug genommen, eine Illustration eines Spurverfolgungssystems 50, das gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung aufgebaut ist und funktioniert. Das System 50 weist eine kürzere Zeitverzögerung auf, was dadurch erreicht wird, dass die Anweisungen zum Fixieren im Gegensatz zu Systemen, die dem Stand der Technik entsprechen, bei denen die Anweisungen zum Fixieren einer fernen Spurverfolgungseinrichtung 30 zugeführt werden, von dem Steuerknüppel 40 direkt einer lokalen Steuerspurverfolgungseinrichtung 60 zugeführt werden. Das System 50 besitzt außerdem dadurch ein besseres Spurverfolgungsvermögen, dass die Anweisungen zum Fixieren von der Steuerspurverfolgungseinrichtung 60 direkt der fernen Sensorspurverfolgungseinrichtung 30 zugeführt werden, wodurch exaktere Anweisungen zur Spurverfolgung/Fixierung gegeben werden als bei Systemen, die dem Stand der Technik entsprechen.
  • Elemente, die denen des Systems 10 ähnlich sind, werden mit ähnlichen Bezugsziffern bezeichnet und besitzen ähnliche Funktionen, und sie werden nachstehend nicht weiter beschrieben.
  • In einer bevorzugten Ausführungsform umfasst das System 50 eine Bildsensoreinheit 70 und eine Leitstation 52, die über eine Kommunikationsverbindung 55 miteinander verbunden sind. Die Sensoreinheit 70 lokalisiert ein gewünschtes Objekt und sendet Sensordaten 24 an die Leitstation 52. Die Leitstation 52 senden an die die Bildsensoreinheit 70 Steuerdaten 56, beispielsweise Richtungs- und Spurverfolgungsanweisungen. Die Steuerdaten 56 werden in der durch den Pfeil B dargestellten Richtung übermittelt.
  • Die Kommunikationsverbindung 55 kann über die Sensorkommunikationseinheit 28 bzw. die Steuerungskommunikationseinheit 36 an die Sensoreinheit 70 und die Leitstation 52 angeschlossen werden.
  • Im Gegensatz zum Stand der Technik umfasst die Leitstation 52 zusätzlich eine Steuerspurverfolgungseinheit 60. In einer bevorzugten Ausführungsform der Spurverfolgung und des Fixierens übermittelt der Steuerknüppel 40 an die Richtungssteuerung 34 grobe Spurverfolgungsanweisungen, und die Steuerspurverfolgungseinrichtung 60 übermittelt direkte Anweisungen zur Spurverfolgung und zum Fixieren an die ferne Sensorspurverfolgungseinrichtung 30. Weiter umfasst die Sensoreinheit 70 einen Prozessor 62 und einen Speicher 64. Außerdem überträgt der Bildsensor 32 vorzugsweise im Allgemeinen identische Bilddaten zu der fernen Spurverfolgungseinrichtung 30 und zu der Steuerspurverfolgungseinrichtung 60. Somit arbeiten die Steuerspurverfolgungseinrichtung 60 und die ferne Spurverfolgungseinrichtung 30 auf der Grundlage derselben Daten, und die Spurverfolgungsanweisungen von der Steuerspurverfolgungseinrichtung 60 sind direkter und genauer als die Spurverfolgungsanweisungen bei Systemen, die dem Stand der Technik entsprechen. Die direkten Anweisungen, die die ferne Spurverfolgungseinrichtung 30 von der Steuerspurverfolgungseinrichtung 60 erhält, sind ein nützlicher Vorteil gegenüber dem System 10, das dem Stand der Technik entspricht und bei dem die Anweisungen zum Fixieren durch den Operateur aufgrund dessen bestimmt werden, was er einem auf der Anzeige 38 gesehenen Bild entnimmt und dann abschätzt und über den Steuerknüppel 40 an die Spurverfolgungseinrichtung 30 überträgt. Die direkten Berechnungen, die die vorliegende Erfindung vorsieht, sind effektiver, da die Dynamik des Objekts jetzt wirklich gemessen wird und nicht, wie es dem Stand der Technik entspricht, aufgrund von Abschätzungen durch den Operateur ermittelt wird. Die Messungen der vorliegenden Erfindung werden einem mathematischen Prädiktor zugeführt, wie er in der Fachwelt bekannt ist, der den Ort des Objekts genau vorhersagen kann. Somit ist das System 50 frei von Fehlern, die auf den Operateur und dessen unpräzise Koordination von Augen/Händen zurückgehen.
  • Es wird jetzt auf 3A Bezug genommen, die Illustration eines Beispiels für den Fluss von allgemein mit I bezeichneten Datenbildern (Sensordaten 24) zur Leitstation 52 und insbesondere zur Steuerspurverfolgungseinrichtung 60. Der Klarheit wegen sind nur die Steuerspurverfolgungseinrichtung 60 und die ferne Spurverfolgungseinrichtung 30 dargestellt; allerdings umfassen die Leitstation 52 und die Sensoreinheit 70 alle anderen in 2 gezeigten Elemente.
  • Es sei angemerkt, dass das Bild I1 zur Zeit T1 (in 3A nicht gezeigt) und das Bild In zu einer gegenüber T1 späteren Zeit Tn aufgenommen ist. 3A illustriert außerdem den Fluss eines allgemein mit CI (Steuerdaten 56) bezeichneten Bilds für eine Anweisung zur Spurverfolgung/Fixierung, zur Sensoreinheit 70 und insbesondere zur fernen Spurverfolgungseinrichtung.
  • Wie vorstehend angemerkt, benötigen Systeme, die dem Stand der Technik entsprechen, für die Übermittlung der Sensordaten 24 eine ausgedehnte Zeit. Obwohl also die Sensoreinheit 70 ein Datenbild I1 zur Zeit T1 erfasst, wird es von der Station 52 erst zur Zeit Tn empfangen, zu welcher die Sensoreinheit 70 das Datenbild In erfasst. Wie in der in 3A als Beispiel illustrierten Situation dargestellt, empfängt dann die Leitstation 52 gerade das Datenbild I1, obwohl die Sensoreinheit bereits das Datenbild In erfasst und sendet.
  • Es sei angemerkt, dass die Datenbilder I ein erfasstes Objekt 66 umfassen. Es sei außerdem angemerkt, dass der sich Ort des Objekts 66, wie ihn die Sensoreinheit 70 erfasst, im Verlauf vom Datenbild I1 zum Datenbild In bewegt.
  • Daher überträgt in einer bevorzugten Ausführungsform der vorliegenden Erfindung die Steuerspurverfolgungseinrichtung 60 ein Anweisungsbild CIn zur Spurverfolgung/Fixierung an die ferne Spurverfolgungseinrichtung 30, sobald die Entscheidung das Objekt 66 zu fixieren oder seine Spur zu verfolgen gefallen ist. Das Anweisungsbild CIn ist vorzugsweise ein zugehöriges Datenbild In, dem der geeignete Befehl beigefügt ist, z.B. ist das Anweisungsbild CI1 dem Datenbild I1 mit dem beigefügten Befehl zur Fixierung zugeordnet. So erstellt die Steuerspurverfolgungseinrichtung 60 ein koordiniertes Referenzbild mit der fernen Spurverfolgungseinrichtung 30. Dementsprechend beziehen sich sie ferne Spurverfolgungseinrichtung 30 und die Steuerspurverfolgungseinrichtung 60 auf dasselbe Bild (das Datenbild I1), und der Ort des Objekts 66 ist aufgrund des Datenbilds I1 bekannt und als Bezugsgröße eingeführt.
  • Somit bezieht sich die ferne Spurverfolgungseinrichtung 30 zur Zeit Tn auf das Bild I1 und kann eine positive Identifizierung vornehmen, sobald sie das Anweisungsbild IC1 empfängt, obwohl die Sensoreinheit 70 zu diesem Zeitpunkt das Bild In erfasst.
  • In einer bevorzugten Ausführungsform der vorliegenden Erfindung speichert die Sensoreinheit 70 die erfolgten Aufnahmen von Datenbildern I im Speicher 64. Sobald die Spurverfolgungseinrichtung 30 das Anweisungsbild CI1 empfängt, das sich auf das Objekt 66 im Datenbild I1 bezieht, durchsucht sie die Aufnahmen im Speicher 64 nach dem geeigneten Bild und identifiziert das Objekt 66 positiv aufgrund dieser Aufnahme. Die ferne Spurverfolgungseinrichtung 30 identifiziert das betreffende Objekt 66 im Datenbild I1 durch die in der Fachwelt bekannten vorstehend angeführten Verfahren. Die ferne Spurverfolgungseinrichtung 30 durchsucht dann die Datenbilder I1 bis In von Datenbild zu Datenbild nach dem verfolgten Objekt 66.
  • Alternativ kann die ferne Spurverfolgungseinrichtung 30 zur Erleichterung des schnellen Durchsuchens der Bilder mit einem Prozessor 62 ausgestattet sein. Als weitere Alternative kann die ferne Spurverfolgungseinrichtung 30 die historischen Bilder in vorgegebenen Sprüngen von x Aufnahmen zu einer Zeit „durchblättern".
  • Es wird jetzt auf 3B Bezug genommen, eine Illustration einer alternativen bevorzugten Ausführungsform der vorliegenden Erfindung. In 3B übermittelt die Steuerspurverfolgungseinrichtung 60 einen Befehl Cn zur Spurverfolgung/Fixierung. Alternativ schließt der Befehl Cn nicht ein Bild, sondern Anweisungen ein, die sich auf ein Bild beziehen. Diese alternative Ausführungsform erfordert weniger Zeit zum Komprimieren, da das Signal keine Bildkomprimierung enthält.
  • Vorzugsweise misst die Steuerspurverfolgungseinrichtung 60 mit dem Empfang des Datenbilds I1 den Ort eines Objekts 66 im Datenbild I1 und berechnet die Dynamik des Objekts 66, beispielsweise die Koordinaten x und y, die Geschwindigkeit, die Beschleunigung und dergleichen. Die Steuerspurverfolgungseinrichtung 60 macht dann eine Vorhersage für den Ort des Objekts und übermittelt den Befehl C1, der die berechnete Dynamik und den vorhergesagten Ort des Objekts 66 einschließt. Die Spurverfolgungseinrichtung 30 macht dann Gebrauch von der Dynamik, um den Ort des Objekts zu bestimmen und die Genauigkeit der Fixierung zu verbessern.
  • Dies steht in Kontrast zu Systemen, die dem Stand der Technik entsprechen, die den Ort der Sensoreinheit 20 vorhersagen, jedoch nicht den Ort des Objekts 66. Es sei angemerkt, dass das dem Stand der Technik entsprechende System 10, da ihm die Steuerspurverfolgungseinrichtung 60 fehlt, die das Datenbild I1 empfängt und kompiliert, keine Einrichtung umfasst, um den vorhergesagten Ort des Objekts 66 zu berechnen. Alternativ misst die Steuerspurverfolgungseinrichtung 60 zusätzlich zum Ort und der Dynamik des Objekts auch die Bildparameter des Objekts 66, beispielsweise Größe, Form, Farbe und dergleichen, und bezieht diese Attribute in dem Befehl C1 mit ein. Während die ferne Spurverfolgungseinrichtung 30 also den Befehl C1 zur Spurverfolgung ausführt, ist sie außerdem dazu in der Lage, auf die Bildparameter Bezug zu nehmen, um zu prüfen, ob das anvisierte Objekt tatsächlich das Objekt 66 ist.
  • Als weitere Alternative enthält der Befehl Cn auch eine Bezugnahme auf ein zugehöriges Datenbild Ii, beispielsweise kann der Befehl Cn Bezug auf das zugehörige Datenbild I1 nehmen. Obwohl also der Befehl Cn kein Bild enthält, ist die ferne Spurverfolgungseinrichtung 30 immer noch in der Lage, auf ein Bild Bezug zu nehmen und so den Bildwandler besser zu prüfen.
  • Somit macht die ferne Spurverfolgungseinrichtung 30 auf die Identifizierung des Objekts 66 im Bild I1 hin von der Dynamik des Objekts Gebrauch, wie sie von der Steuerspurverfolgungseinrichtung 60 gemessen und gesendet wurden, und berechnet über den Prozessor 62 die aktuelle Abschätzung des Orts des Objekts 66. Selbst wenn die Fixierung nicht vollkommen ist, kann die Steuerspurverfolgungseinrichtung 60 die Fixierung durch die ferne Spurverfolgungseinrichtung 30 korrigieren, indem sie geringfügige Korrekturanweisungen sendet.
  • Somit weist die Vorhersage weniger Fehler auf, da die Steuerspurverfolgungseinrichtung 60 auf das Datenbild I1 zurückgreifen kann. Weiter kann die Steuerspurverfolgungseinrichtung 60 die Dynamik des Objekts als Geschwindigkeit und Beschleunigung in den zwei Dimensionen des Bilds exakt messen.
  • In einer bevorzugten Ausführungsform erfolgt die Fixierung in der Steuerspurverfolgungseinrichtung 60 praktisch ohne Zeitverzögerung statt, wenn der Befehl zum Fixieren übermittelt wird, da sich die Steuerspurverfolgungseinrichtung 60 in der Station 52 befindet. Die Steuerspurverfolgungseinrichtung 60 kann daher relativ unmittelbar auf die erfassten Sensordaten 24 Bezug nehmen und entsprechend die Fixierung relativ unmittelbar vornehmen. Die Sensordaten 56, die entweder Bilddaten Iin oder den Befehl Cn enthalten, werden mit Daten übermittelt, die relativ zeitgleich mit der Entscheidung das Objekt zu fixieren sind. Diese verkürzte Zeitverzögerung vereinfacht somit die Fixieren und die Spurverfolgung des in den Blick genommenen Bilds von der Steuerstation 52 aus.
  • Für Fachleute ist ersichtlich, dass die vorliegende Erfindung nicht auf darauf beschränkt ist, was in dem vorliegenden Dokument vorstehend auf exemplarische Weise dargestellt und beschrieben wurde. Vielmehr definieren die folgenden Ansprüche den Anwendungsbereich der Erfindung.

Claims (6)

  1. Vorrichtung zur Spurverfolgung, um die Spur eines Objekts in Bildern zu verfolgen, wobei die Vorrichtung zur Spurverfolgung Folgendes umfasst: – eine Leitstation (52), wobei die genannte Leitstation (52) ein Objekt, dessen Spur verfolgt werden soll, in einem Bild auswählt und Objektinformationen bestimmt, und – eine Sensoreinheit (70) mit einem Bildsensor (32), wobei die genannte Sensoreinheit (70) eine Reihe von Bildern einer Szene erfasst, in der wenigstens ein Objekt über einen gewissen Zeitraum vorkommt, und die Spur des genannten Objekts auf der Grundlage der genannten Objektinformationen verfolgt, wobei die genannte Sensoreinheit (70) von der genannten Leitstation (52) entfernt ist und mit ihr über eine Kommunikationsverbindung kommuniziert, – wobei die genannte Sensoreinheit (70) die genannte Reihe von Bildern in einem Speicher ablegt und sie an die genannte Leitstation (52) sendet, – wobei die genannte Leitstation (52) der genannten Sensoreinheit (70) die genannten Objektinformationen entsprechend einem früheren Bild aus der genannten Reihe von Bildern zur Verfügung stellt, – und – wobei die genannte Sensoreinheit (70) das genannte Objekt in dem genannten früheren Bild unter Verwendung der genannten Objektinformationen identifiziert und lokalisiert, nachfolgende Bilder der genannten Reihe von im Speicher abgelegten Bildern durchsucht und das genannte Objekt in jedem der genannten nachfolgenden Bilder lokalisiert, das genannte Objekt in einem letzten verfügbaren Bild lokalisiert und den genannten Bildsensor (32) entsprechend dem Ort des genannten Objekts in dem genannten letzten verfügbaren Bild ausrichtet.
  2. Vorrichtung gemäß Anspruch 1, wobei außerdem die genannten Objektinformationen wenigstens eine der folgenden Informationen umfassen: Objektort, Objektdynamik, Objektattribute, Objektparameter, Objektgeschwindigkeit, Objektbeschleunigung, Objektgröße und Objektform.
  3. Vorrichtung gemäß Anspruch 2, wobei außerdem die genannte Leitstation (52) ein Bildverarbeitungsmittel umfasst, um aus den genannten Bildern die genannten Objektinformationen zu erzeugen.
  4. Vorrichtung gemäß Anspruch 2, wobei außerdem die genannten Objektinformationen für ein ausgewähltes Bild das genannte ausgewählte Bild mit den zugehörigen Objektinformationen umfassen.
  5. Vorrichtung gemäß Anspruch 2, wobei außerdem die genannten Objektinformationen für ein ausgewähltes Bild einen Bezug auf eine Kopie des genannten ausgewählten Bilds mit den zugehörigen Objektinformationen umfassen.
  6. Verfahren, um die Spur eines Objekts in Bildern zu verfolgen, umfassend die folgenden Schritte: – Erzeugung einer Reihe von Bildern einer Szene, in der wenigstens ein Objekt über einen gewissen Zeitraum vorkommt, mittels eines Bildsensors in einer Sensoreinheit; – Senden der genannten Reihe von Bildern von der Sensoreinheit zu einer Leitstation und Ablegen der genannten Reihe von Bildern in einem Speicher der genannten Sensoreinheit, wobei die genannte Sensoreinheit von der Leitstation entfernt ist und mit ihr über eine Kommunikationsverbindung kommuniziert; – Auswahl eines Objekts, dessen Spur verfolgt werden soll, in einem früheren Bild der genannten Reihe von Bildern in der Leitstation und Bestimmung der Objektinformationen des genannten Objekts bezüglich des genannten früheren Bilds in der Leitstation; – Senden der genannten Objektinformationen von der genannten Leitstation an die genannte Sensoreinheit; – Identifizierung und Lokalisierung des genannten Objekts in dem genannten früheren Bild unter Verwendung der genannten Objektinformationen in der Sensoreinheit; – Durchsuchen der nachfolgenden Bilder der genannten Reihe von im genannten Speicher abgelegten Bildern und Lokalisierung des genannten Objekts auf jedem der genannten nachfolgenden Bilder in der Sensoreinheit; – Lokalisierung des genannten Objekts in einem letzten verfügbaren Bild in der genannten Sensoreinheit; und – Ausrichten des genannten Bildsensors entsprechend dem Ort des genannten Objekts in dem genannten letzten verfügbaren Bild.
DE60019464T 1999-02-03 2000-01-31 Verspätete videospurverfolgung Expired - Lifetime DE60019464T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL12836899A IL128368A0 (en) 1999-02-03 1999-02-03 Delayed video tracking
IL13420600 2000-01-24
PCT/IL2000/000065 WO2000046985A1 (en) 1999-02-03 2000-01-31 Delayed video tracking

Publications (2)

Publication Number Publication Date
DE60019464D1 DE60019464D1 (de) 2005-05-19
DE60019464T2 true DE60019464T2 (de) 2006-01-26

Family

ID=26323789

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60019464T Expired - Lifetime DE60019464T2 (de) 1999-02-03 2000-01-31 Verspätete videospurverfolgung

Country Status (7)

Country Link
US (1) US7184574B1 (de)
EP (1) EP1252761B1 (de)
AT (1) ATE293336T1 (de)
AU (2) AU2317200A (de)
DE (1) DE60019464T2 (de)
ES (1) ES2240058T3 (de)
WO (1) WO2000046985A1 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL147370A (en) 2001-12-27 2007-07-24 Itzhak Florentin Method and system for guiding a remote vehicle via lagged communication channel
KR100469727B1 (ko) * 2003-03-07 2005-02-02 삼성전자주식회사 통화자의 얼굴을 화면 가운데에 위치시킬 수 있는화상통신용 통신단말기 및 방법
EP1913557B1 (de) 2005-06-23 2016-06-01 Israel Aerospace Industries Ltd. System und verfahren zum verfolgen beweglicher objekte
EP2174265A4 (de) 2007-08-07 2011-01-19 Visionmap Ltd Verfahren und system zur optischen detektion beweglicher objekte und zur grossräumigen verfolgung
SG150414A1 (en) * 2007-09-05 2009-03-30 Creative Tech Ltd Methods for processing a composite video image with feature indication
IL196923A (en) * 2009-02-05 2014-01-30 Elbit Systems Ltd Driving an imaging device on a suspended communication channel
TWI514324B (zh) * 2010-11-30 2015-12-21 Ind Tech Res Inst 影像目標區域追蹤系統與方法及電腦程式產品
IL213506A (en) 2011-06-13 2016-04-21 Israel Aerospace Ind Ltd Pursuing a goal
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
EP2946361B1 (de) 2013-01-15 2018-01-03 Israel Aerospace Industries Ltd. Fernverfolgung von objekten
IL224273B (en) * 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US9933921B2 (en) 2013-03-13 2018-04-03 Google Technology Holdings LLC System and method for navigating a field of view within an interactive media-content item
WO2015009865A1 (en) 2013-07-19 2015-01-22 Google Inc. Visual storytelling on a mobile media-consumption device
WO2015013145A2 (en) 2013-07-19 2015-01-29 Google Inc. View-driven consumption of frameless media
HK1224470A1 (zh) 2013-07-19 2017-08-18 Google Technology Holdings LLC 使用视口进行小屏幕电影观看
CA2976744C (en) 2015-03-02 2023-05-23 Israel Aerospace Industries Ltd. Remote detecting and tracking of objects

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1568058A (en) 1975-11-21 1980-05-21 Emi Ltd Tracking and/or huidance systems
US4405940A (en) 1977-05-31 1983-09-20 Westinghouse Electric Corp. Apparatus and method for preprocessing video frame signals
US5062056A (en) 1989-10-18 1991-10-29 Hughes Aircraft Company Apparatus and method for tracking a target
US5845009A (en) 1997-03-21 1998-12-01 Autodesk, Inc. Object tracking system using statistical modeling and geometric relationship
US6061055A (en) * 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6185314B1 (en) * 1997-06-19 2001-02-06 Ncr Corporation System and method for matching image information to object model information
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects

Also Published As

Publication number Publication date
ES2240058T3 (es) 2005-10-16
EP1252761A1 (de) 2002-10-30
EP1252761B1 (de) 2005-04-13
US7184574B1 (en) 2007-02-27
EP1252761A4 (de) 2004-03-24
AU2000223172B2 (en) 2004-03-11
AU2317200A (en) 2000-08-25
DE60019464D1 (de) 2005-05-19
AU2000223172B8 (en) 2004-04-01
WO2000046985A1 (en) 2000-08-10
ATE293336T1 (de) 2005-04-15

Similar Documents

Publication Publication Date Title
DE60019464T2 (de) Verspätete videospurverfolgung
DE112005000929B4 (de) Automatisches Abbildungsverfahren und Vorrichtung
EP2977844B1 (de) Verfahren zur reinigung oder bearbeitung eines raumes mittels eines selbsttätig verfahrbaren gerätes
DE69032326T2 (de) Dynamisches verfahren um gegenstände zu erkennen und bildverarbeitungsgerät dafür
US8792680B2 (en) System and method for tracking moving objects
DE69402724T2 (de) Führungsanlage
DE102008039130A1 (de) Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren
DE102020108972A1 (de) System und verfahren zur verfolgung der sich bewegenden objekte
DE102012219834A1 (de) Spurverfolgungssystem
DE112013004341T5 (de) Fernbetätigungssystem
DE102016006242B4 (de) Anzeigevorrichtung des kopfgetragenen Typs, Steuerverfahren für Anzeigevorrichtung des kopfgetragenen Typs, Bildverarbeitungssystem und Speichermedium
DE69425499T2 (de) Bilderzeugungsverfahren und dazugehöriges gerät
EP3391163A1 (de) Vorrichtung und verfahren für ein unbemanntes flugobjekt
DE4109159C2 (de) Verfahren und Vorrichtung zum Verfolgen eines einem Fahrzeug vorausfahrenden Fahrzeugs
EP2302481B1 (de) Verfahren zur Bereitstellung von Steuerbefehlen für ein mittels einer Bedieneinheit lenkbares Fahrzeug und Steuerungssystem für ein derartiges Fahrzeug
DE2842684C2 (de) Einrichtung zur Erkennung und Verfolgung eines Zieles
DE102015216993A1 (de) Verbessertes Verfahren zum Aufnehmen einer Szene, insbesondere bei einer kritischen Belichtungssituation
DE102021201774A1 (de) Augmented-Reality-Erkennung zum Lokalisieren von autonomen Fahrzeugen
DE102011009952A1 (de) Verfahren zum Bestimmen der Position und Lage eines Astronauten
DE69310695T2 (de) Verfahren zur Steuerungshilfe eines tieffliegenden Flugkörpers
DE112019004282T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
EP3688663A1 (de) Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs
DE19754582A1 (de) Schiffsnavigation mit Hilfe von Hyper Reality
EP4115805A1 (de) Verfahren und vorichtung zur unterstützung einer gehbewegung
DE19827835B4 (de) Bildübertragungsverfahren und -vorrichtung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
R082 Change of representative

Ref document number: 1252761

Country of ref document: EP

Representative=s name: NOTARBARTOLO & GERVASI GMBH, 80336 MUENCHEN, DE