[go: up one dir, main page]

EP3523177B1 - Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic - Google Patents

Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic Download PDF

Info

Publication number
EP3523177B1
EP3523177B1 EP17832743.3A EP17832743A EP3523177B1 EP 3523177 B1 EP3523177 B1 EP 3523177B1 EP 17832743 A EP17832743 A EP 17832743A EP 3523177 B1 EP3523177 B1 EP 3523177B1
Authority
EP
European Patent Office
Prior art keywords
track
image
bib
rail
sfz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP17832743.3A
Other languages
German (de)
French (fr)
Other versions
EP3523177A2 (en
Inventor
Andreas Schönberger
Christopher Drexler
Andreas Schaefer-Enkeler
Jan Winhuysen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3523177A2 publication Critical patent/EP3523177A2/en
Application granted granted Critical
Publication of EP3523177B1 publication Critical patent/EP3523177B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection

Definitions

  • Method, device and railway vehicle in particular rail vehicle, for obstacle detection in railway traffic, in particular in rail traffic
  • the invention relates to a method for obstacle detection in rail traffic, in particular in rail traffic, according to the preamble of patent claim 1, a device for obstacle detection in rail traffic, in particular in rail traffic, according to the preamble of patent claim 6 and a railway vehicle for obstacle detection in rail traffic, in particular a rail vehicle for obstacle detection in rail traffic, according to the preamble of patent claim 12.
  • railway vehicles are rail-based means of transport that move, for example, rolling on or under one or two guide rails (tracks), suspended above or below a magnetic field, or suspended from steel cables.
  • rail-based means of transport the most common are rail vehicles based on a wheel-rail system, which either have their own traction (railcar) or are pulled or pushed by a locomotive, and which predominantly use steel wheels with a flange on two steel rails or tracks.
  • a method and optical route inspection system for examining routes travelled by a vehicle e.g. a train or a motor vehicle, is known, in which a route feature of interest, e.g. a measuring distance between route sections, is determined by obtaining field of view image data from a camera mounted on board the vehicle and a pixel/intensity-based examination of the image data in the vehicle. or a specific object on the route, e.g. persons or obstacles, can be identified and, depending on this, a warning signal is generated and, as a result, the vehicle is controlled in such a way that the vehicle is automatically slowed down by manually or automatically applying the brakes.
  • a route feature of interest e.g. a measuring distance between route sections
  • a method and assistance system for automatically supporting the driver of a track-bound vehicle e.g., a rail vehicle.
  • an impending collision is detected when the object is located in a sub-volume occupied by the vehicle, and information about the collision is output.
  • a region of interest along a route of the track-bound vehicle is detected, and a free space is determined in the area in which the vehicle occupies the sub-volume of the free space. It is then determined whether there are any objects in the area with which a collision between the vehicle and the vehicle is to be avoided. This makes it possible to detect impending object collisions, thereby improving the reliability of object collision detection for vehicles.
  • a scanning laser beam obstacle detection system for rail vehicles e.g., a train
  • a processor e.g., a central processing unit
  • the light detector receives light echoes from a scanned laser beam emitted by the laser source and converts the light echoes into electrical signals. This improves the safety of rail vehicles and ensures safe railway operations by preventing accidents on the rails caused by train derailment, reducing the risk of obstacles being caught underneath the train, and detecting general threats to the train.
  • the object underlying the invention is to specify a method, a device and a railway vehicle, in particular a rail vehicle, for obstacle detection in rail traffic, in particular in rail traffic, with which obstacles in rail traffic, when railway vehicles are traveling on railway lines in the railway network, or obstacles in rail traffic, when rail vehicles are traveling on railway lines in the rail network, are automatically detected.
  • the idea underlying the invention according to independent claims 1, 6 and 12 is to identify, on the basis of several images of a route area in front of a railway vehicle in an image area marked in the images, which essentially shows a lane used by the railway vehicle, by image analysis, the lane visually positioned by the marking and to compare it with stored known image meta-information or with stored known image meta-information and additional information and to identify in an image area section of the marked image area by an object recognition method whether an object, such as a person, an animal, a fallen tree, etc., is located in the lane, wherein an obstacle in the image area, preferably is marked in the image area section when the object is detected by the object detection method.
  • the image metainformation literally contains feature and property data of the images captured from the route area.
  • the basic principle of the invention is to use metadata about the route, e.g. the route, in combination with sensors in the railway vehicle as well as calculation and evaluation algorithms to improve the detection of objects and persons and to enable the differentiation between permissible and impermissible objects and persons.
  • the aim is to contribute to fully automated driving without additional investments in the route infrastructure.
  • pattern recognition algorithms or pattern comparison algorithms are used across the board for the route area, the area "in front of the vehicle” (in the direction of travel).
  • a radar for detecting metallic objects can be combined with video cameras and image acquisition devices such as thermal imaging cameras for detecting people.
  • the currently used track is marked in the respective image by image analysis with the help of external metaformations.
  • each image recording device e.g., an image acquisition device
  • object detection methods to determine whether an object or person is present in the lane/track. This means that only the image section containing the lane/track being used and the critical area to the left and right of it are viewed.
  • one or both of the following pattern matching methods are used.
  • the recognition quality is increased by integrating external information or additional information.
  • a check is carried out to determine whether the relevant image section contains patterns that represent people or objects, such as fallen trees or preceding railway vehicles, e.g., rail vehicles or trains. If so, an obstacle or potential obstacle is marked.
  • an expected pattern such as a continuous track or regular rail supports in the image(s). If this is not the case, an image database is used to determine whether the irregularity was expected (this information can be obtained, for example, during initial runs with a train driver). If the irregularity was not expected, a potential obstacle is marked.
  • the obstacle marking results from the different image acquisition devices are combined.
  • the different information sources are combined, for example, by using probabilistic image processing methods such as hidden Markov models. combined to minimize false detection and to exclude "false negatives", i.e. the erroneous assumption that there is no object in the lane/track area, although it is actually there.
  • an obstacle detection device to be designed and function as a virtual machine in the sense of a "Software Defined Signal Recognition of Rail Traffic Systems”.
  • FIGURE 1 shows a railway vehicle-based detection of an obstacle in rail traffic BVK, when on a sectionally represented railway line BST of a railway network BNE a railway vehicle BFZ approaches an object OBJ located as an obstacle on the lane FS of the railway line BST, in the case shown a tree that has fallen onto the lane FS.
  • the lane-related railway line BST of the railway network BNE is a rail line SST of a rail network SNE, on which a rail vehicle SFZ is traveling on a track GL in rail traffic SVK for rail-vehicle-based obstacle detection and is approaching the object OBJ located as an obstacle on the track GL, in the illustrated case the tree that has fallen onto the track GL.
  • rail traffic SVK with the rail vehicle SFZ traveling on the rail line SST of the rail network SNE
  • any other arbitrary short- or long-distance rail traffic system is conceivable and imaginable as a further embodiment of the invention based on the discussion at the beginning.
  • a magnetic levitation transport system (Stw.: Transrapid, Maglev, etc.) with a correspondingly comparable infrastructure consisting of a rail network, rail line, and rail vehicle could also be considered.
  • an obstacle detection device for the rail-based detection of an obstacle is housed in a TRW railcar of the SFZ rail vehicle with a TFS driver's cab and an integrated AZE display device, in which the FZF driver's workplace is located.
  • the HEV obstacle detection device includes an image recording device (BAZG), preferably designed as a sensor, which can be configured as a conventional video camera, laser sensor, thermal imaging camera, radar device, infrared camera, etc., and is also referred to as an image acquisition device because it acquires images.
  • BAZG image recording device
  • the image recording device BAZG is used to record from the rail vehicle SFZ, e.g. from the perspective of the railcar driver FZF in the driver's cab TFS of the railcar TRW and/or from a stationary, lane-observing position in or on the Vehicle SFZ, from a route area FSB located in front of the rail vehicle SFZ, preferably oriented to the speed of the rail vehicle SFZ, a plurality of images BI FSB representing the route area FSB can be captured.
  • the BI FSB images of the FSB route area contain an image area BIB with an image area section BIB AS , which represents the track GL in use as well as an area critical for SVK rail traffic.
  • This area essentially indicates a critical perimeter for SVK rail traffic, essentially to the left and right of the GL track in the part of the FSB route area shown by the image area BIB of the BI FSB images of the FSB route area.
  • This means that the FSB route area also includes the area critical for SVK rail traffic.
  • FIGURE 2 shows the basic structure of the obstacle detection device HEV for the FIGURE 1 Rail-based obstacle detection of the rail vehicle SFZ, which is traveling on the track GL and is approaching the object OBJ, in the case shown the fallen tree, which is an obstacle on the track GL.
  • the starting point for obstacle detection is, according to the explanations of the FIGURE 1 the image recording device BAZG, which records the images BI FSB of the route area FSB for obstacle detection.
  • the image recording device BAZG is preferably designed to be pivotable for alignment with the image object.
  • the obstacle detection device HEV
  • the obstacle detection device to contain multiple image recording devices (BAZG) of the same type, e.g., multiple video cameras, or devices of different types, e.g., multiple video cameras, laser sensors, radar-based sensors, radio-based positioning and distance measurement sensors, infrared cameras, and/or thermal imaging cameras, which record the images (BI FSB) .
  • BAZG image recording devices
  • Such multiple image recording or image acquisition may be relevant for redundancy purposes, among other things.
  • the images thus recorded are stored by the BAZG image recording device in an image storage device BSPE.
  • This BSPE image storage device is either connected to the BAZG image recording device as a component of the HEV obstacle detection device according to option "A” or, according to option "B", is assigned to or connectable to the BAZG image recording device outside the HEV obstacle detection device, e.g., as a storage database in the railcar or in a data cloud.
  • the image recording device BAZG is connected to a calculation/evaluation device BAWE, which is also a component of the obstacle detection device HEV.
  • the calculation/evaluation device BAWE like the image recording device BAZG, is either connected to the image storage device BSPE according to option "A" or assigned to the image storage device BSPE or connectable to it according to option "B".
  • an information database IDB can, for example, be integrated with the image storage device BSPE as a structural unit in a common storage device.
  • the storage device not explicitly shown can, in turn, like the image storage device BSPE, either be connected to the image recording device BAZG and the calculation/evaluation device BAWE as a component of the obstacle detection device HEV according to option "A" or be assigned to the image recording device BAZG and the calculation/evaluation device BAWE according to option "B” outside the obstacle detection device HEV in the railcar or in a data cloud or be connectable to the image recording device BAZG and the calculation/evaluation device BAWE.
  • the information storage device in the DE patent application application no. 102016224355.1
  • the corresponding international patent application application no. PCT/EP2017/081784 ; Publication No. WO 2018/104427 A1
  • the information database IDB In addition to image meta information BMI, which literally contains feature and property data of the route area FSB recorded in the images BI FSB , the information database IDB also stores additional information ZI, such as route plans or maps, etc. According to the representation in the FIGURE 2
  • the information database IDB is assigned to the obstacle detection device HEV or can be connected to it in such a way that the calculation/evaluation device BAWE accesses the image metainformation BMI and additional information ZI stored in the information database IDB for the calculation/evaluation-based obstacle detection.
  • the information database For this purpose, IDB is preferably located outside the obstacle detection device HEV, e.g. as a database, in the railcar or is designed as a data cloud.
  • the calculation/evaluation device BAWE preferably has a non-volatile, readable memory SP, in which processor-readable control program commands of a program module PGM controlling obstacle detection are stored, and a processor PZ, which executes the control program commands of the program module PGM for calculation/evaluation-supported obstacle detection.
  • the processor PZ also accesses the image recording device BAZG and the image storage device BSPE for control purposes and to read data, in addition to accessing the image metainformation BMI and the additional information ZI in the information database IDB.
  • the calculation/evaluation device BAWE or the program module PGM with the processor PZ executing the control program commands of the program module PGM for calculation/evaluation-based obstacle detection are now designed with regard to calculation/evaluation-based obstacle detection in such a way that in the images BI FSB the image area BIB is marked which shows the track GL used by the rail vehicle SFZ, whereby the track GL of the rail vehicle SFZ, which is visually positioned by the marking, is recognized by an image analysis and compared either with the stored known image metainformation BMI or with the stored known image metainformation MMI and the additional information ZI.
  • the image analysis and thus the marking is preferably carried out with the help of edge detection algorithms, in which, starting from the track GL recorded in the route area FSB in the image area BIB, the course of the track GL used by the rail vehicle SFZ is identified by a The part of the track GL that changes in the captured image is recognized as part of the captured overall image.
  • the image analysis and thus the marking is preferably carried out on the basis of the knowledge of the track GL used, because the course of the track GL used relative to a geographical position is known.
  • the track GL of the rail vehicle SFZ which is visually positioned by the marking, is recognized by the image analysis and compared either with the stored known image metainformation BMI or with the stored known image metainformation BMI and the additional information ZI, then for the image area section BIB AS of the marked image area BIB, which represents the used track GL and the area critical for rail traffic SVK, an object recognition method is used to recognize whether an object OBJ, such as a person, an animal, a fallen tree, etc., is located on the track GL, whereby an obstacle in the image area BIB, for example if it is located in the image area section BIB AS and/or if it is a potential obstacle, is marked if the object OBJ is recognized by the object recognition method.
  • an object recognition method is used to recognize whether an object OBJ, such as a person, an animal, a fallen tree, etc.
  • the object recognition method performs a pattern comparison based on a positive comparison and/or negative comparison, in which, in the case of a positive comparison, it is checked whether the image area section BIB AS contains object-specific patterns and, in the case of a negative comparison, it is checked whether the image area section BIB AS contains an expected pattern, e.g. the solid track GL used by the rail vehicle SFZ or a regularity formed by the track supports of the track FS or track supports between the parallel tracks GL.
  • an expected pattern e.g. the solid track GL used by the rail vehicle SFZ or a regularity formed by the track supports of the track FS or track supports between the parallel tracks GL.
  • the detected irregularity is compared with the expected irregularity with route images used as reference information and previously recorded in route initialization runs, whereby, if the irregularity was not expected, an obstacle is marked in the image area BIB, e.g. in the image area section BIB AS and/or as a potential obstacle.
  • the obstacle markings made for all images BI FSB in the image area BIB or the image area section BIB AS are preferably combined with a view to image processing that combines the different image sources using image processing methods such as hidden Markov models. This can, for example, minimize the probability of incorrect detection and prevent the occurrence of "false negatives," i.e., erroneous assumptions that no object is present in the lane or track area when one is actually present.
  • HEV obstacle detection device automated (autonomous) or assisted driving of the BFZ or SFZ rail vehicle along a route can be assisted or even realized without additional infrastructure. This is particularly true when the HEV obstacle detection device is implemented as a virtual machine that is designed and functions in the sense of "Software Defined Signal Recognition of Rail Traffic Systems.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Description

Verfahren, Vorrichtung und Bahnfahrzeug, insbesondere Schienenfahrzeug, zur Hinderniserkennung im Bahnverkehr, insbesondere im SchienenverkehrMethod, device and railway vehicle, in particular rail vehicle, for obstacle detection in railway traffic, in particular in rail traffic

Die Erfindung bezieht sich auf ein Verfahren zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 1, eine Vorrichtung zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 6 und ein Bahnfahrzeug zur Hinderniserkennung im Bahnverkehr, insbesondere ein Schienenfahrzeug zur Hinderniserkennung im Schienenverkehr, gemäß dem Oberbegriff des Patentanspruches 12.The invention relates to a method for obstacle detection in rail traffic, in particular in rail traffic, according to the preamble of patent claim 1, a device for obstacle detection in rail traffic, in particular in rail traffic, according to the preamble of patent claim 6 and a railway vehicle for obstacle detection in rail traffic, in particular a rail vehicle for obstacle detection in rail traffic, according to the preamble of patent claim 12.

Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrsinfrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer oder zwei Leitschienen (Gleisen), schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen. Von den genannten spurgebundenen Verkehrs- und Transportmittel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwagen) oder von einer Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet.As part of a modern transport infrastructure, railway vehicles are rail-based means of transport that move, for example, rolling on or under one or two guide rails (tracks), suspended above or below a magnetic field, or suspended from steel cables. Of these rail-based means of transport, the most common are rail vehicles based on a wheel-rail system, which either have their own traction (railcar) or are pulled or pushed by a locomotive, and which predominantly use steel wheels with a flange on two steel rails or tracks.

Aus der EP 2 993 105 A2 ist ein Verfahren und optischer Fahrstreckenprüfsystem zum Untersuchen von Fahrstrecken (Routen), die mit einem Fahrzeug, z.B. einem Zug oder einem Kraftfahrzeug, befahren werden, bekannt, bei dem durch das Erhalten von Sichtfeld-Bilddaten einer an Bord des Fahrzeugs montierten Kamera und ein pixel-/intensitätsbasiertes Untersuchen der Bilddaten im Fahrzeug ein interessierendes Fahrstreckenmerkmal, z.B. eine Messentfernung zwischen Fahrstreckenabschnitten, oder ein bestimmtes Objekt auf der Fahrstrecke, z.B. Personen oder Hindernisse, identifiziert werden kann und in Anhängigkeit davon ein Warnsignal erzeugt wird und infolgedessen eine Fahrzeugsteuerung derart erfolgt, dass das Fahrzeug automatisch verlangsamt wird, indem die Bremsen manuell oder automatisch betätigt werden.From the EP 2 993 105 A2 A method and optical route inspection system for examining routes travelled by a vehicle, e.g. a train or a motor vehicle, is known, in which a route feature of interest, e.g. a measuring distance between route sections, is determined by obtaining field of view image data from a camera mounted on board the vehicle and a pixel/intensity-based examination of the image data in the vehicle. or a specific object on the route, e.g. persons or obstacles, can be identified and, depending on this, a warning signal is generated and, as a result, the vehicle is controlled in such a way that the vehicle is automatically slowed down by manually or automatically applying the brakes.

Aus der DE 10 2014 204 473 A1 ist ein Verfahren und Assistenzsystem zur automatischen Fahrerunterstützung eines spurgebundenen Fahrzeugs, z.B. eines Schienenfahrzeugs, bekannt, bei dem eine bevorstehende Kollision erfasst wird, wenn sich das Objekt in einem Teilvolumen befindet, das von dem Fahrzeug eingenommen wird, und bei dem Informationen über die Kollision ausgegeben werden. Dabei wird ein interessierender Bereich entlang einer Route des spurgebundenen Fahrzeugs erfasst und ein Freiraum in dem Bereich bestimmt, in dem das Fahrzeug das Teilvolumen des Freiraums einnimmt. Danach wird ermittelt, ob Objekte in dem Bereich vorhanden sind, mit denen eine Kollision des Fahrzeugs vermieden werden soll. Auf diese Weise ist es möglich, bevorstehende Objektkollisionen zu erkennen, wodurch die Zuverlässigkeit bei der Objekt-Kollision-Erkennung von Fahrzeugen verbessert wird.From the DE 10 2014 204 473 A1 A method and assistance system for automatically supporting the driver of a track-bound vehicle, e.g., a rail vehicle, is known. In this method, an impending collision is detected when the object is located in a sub-volume occupied by the vehicle, and information about the collision is output. A region of interest along a route of the track-bound vehicle is detected, and a free space is determined in the area in which the vehicle occupies the sub-volume of the free space. It is then determined whether there are any objects in the area with which a collision between the vehicle and the vehicle is to be avoided. This makes it possible to detect impending object collisions, thereby improving the reliability of object collision detection for vehicles.

Aus der US 2004/056182 A1 ist ein Abtastlaserstrahl-Hinderniserkennungssystem für Schienenfahrzeuge, z.B. einen Zug, mit einem Prozessor, einem Lichtdetektor und einer Laserquelle bekannt, der elektrische Signale vom dem Lichtdetektor verarbeitet, um ein Hindernis vor dem Schienenfahrzeug zu bestimmen. Der Lichtdetektor empfängt dabei Lichtechos von einem abgetasteten und von der Laserquelle emittierten Laserstrahl und wandelt die Lichtechos in elektrische Signale um. Auf diese Weise wird die Sicherheit von Schienenfahrzeugen verbessert und ein sicheren Bahnbetrieb gewährleistet, indem Unfälle auf der Schiene durch ein Entgleisen des Zuges verhindert, die Gefahr, dass Hindernissen unter den Zug geraten reduziert und generelle Bedrohungen für den Zug erkannt werden.From the US 2004/056182 A1 A scanning laser beam obstacle detection system for rail vehicles, e.g., a train, is known, comprising a processor, a light detector, and a laser source that processes electrical signals from the light detector to determine an obstacle in front of the rail vehicle. The light detector receives light echoes from a scanned laser beam emitted by the laser source and converts the light echoes into electrical signals. This improves the safety of rail vehicles and ensures safe railway operations by preventing accidents on the rails caused by train derailment, reducing the risk of obstacles being caught underneath the train, and detecting general threats to the train.

Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren, eine Vorrichtung und ein Bahnfahrzeug, insbesondere ein Schienenfahrzeug, zur Hinderniserkennung im Bahnverkehr, insbesondere im Schienenverkehr anzugeben, mit dem bzw. der Hindernisse im Bahnverkehr, wenn Bahnfahrzeuge auf Bahnstrecken im Bahnnetz unterwegs sind, respektive Hindernisse im Schienenverkehr, wenn Schienenfahrzeuge auf Schienenstrecken im Schienennetz unterwegs sind, automatisch erkannt werden.The object underlying the invention is to specify a method, a device and a railway vehicle, in particular a rail vehicle, for obstacle detection in rail traffic, in particular in rail traffic, with which obstacles in rail traffic, when railway vehicles are traveling on railway lines in the railway network, or obstacles in rail traffic, when rail vehicles are traveling on railway lines in the rail network, are automatically detected.

Das automatische Erkennen von Hindernissen im Bahnverkehr, insbesondere im Schienenverkehr, was Gegenstand der vorliegenden Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081834 ; Veröffentlichungs-Nr. WO 2018/104454 A2 ) und der dazu prioritätsbegründenden DE-Patentanmeldung (Anmeldung-Nr. 102016224344.6 ) ist, ist im Hinblick auf ein zukünftiges automatisiertes (autonomes) oder unterstütztes Fahren von Bahnfahrzeugen im Bahnverkehr respektive Schienenfahrzeugen im Schienenverkehr ein unabdingbares MUSS.The automatic detection of obstacles in rail traffic, in particular in rail traffic, which is the subject of the present International Patent Application (Application No. PCT/EP2017/081834 ; Publication No. WO 2018/104454 A2 ) and the priority-based DE patent application (application no. 102016224344.6 ) is an indispensable MUST with regard to future automated (autonomous) or assisted driving of railway vehicles in rail traffic or rail vehicles in rail traffic.

So ist es für das automatisierte oder unterstützte Fahren von Bahn-/Schienenfahrzeugen notwendig, sich bewegende oder stationäre Objekte und Personen im Fahrspur-/Gleisbereich zu erkennen. Gleichzeitig ist es notwendig, zulässige Objekte und Personen (z.B. Prellbock auf der Fahrspur/dem Gleis, Wartungsarbeiter neben der Fahrspur/dem Gleis) von unzulässigen Objekten und Personen (z.B. entwurzelter Baum oder spielende Kinder) zu unterscheiden.For automated or assisted driving of rail vehicles, it is necessary to detect moving or stationary objects and people in the lane/track area. At the same time, it is necessary to distinguish between permissible objects and people (e.g., buffer stops in the lane/track, maintenance workers next to the lane/track) and impermissible objects and people (e.g., uprooted trees or children playing).

Das Problem des automatisierten oder unterstützen Fahrens wurde bisher durch aufwändige Zusatzinvestitionen in die Streckeninfrastruktur wie Induktionsschleifen, Rechner entlang der Strecke und Kommunikationsanlagen zwischen Zug und Streckenkomponenten realisiert. Weiterhin werden spezielle Schutzzäune für die Vermeidung des Zugangs zum Gleis verwendet (z.B. bekannt von Flughäfen).The problem of automated or assisted driving has so far been addressed through costly additional investments in track infrastructure, such as induction loops, trackside computers, and communication systems between trains and track components. Furthermore, special protective fences are used to prevent access to the track (e.g., as is familiar from airports).

Es ist aber nicht nur der Aspekt der Automatischen Hinderniserkennung der für das zukünftige automatisierte (autonome) oder unterstützte Fahren von Bedeutung ist, sondern auch die nachfolgenden technischen Aspekte, die allesamt mehr oder weniger in einem technischen Kontext mit der vorliegenden Patentanmeldung stehen und deshalb aufgeführt und deren Inhalte vor diesem Hintergrund zu berücksichtigen und ggf. sogar zu inkludieren sind.However, it is not only the aspect of automatic obstacle detection that is important for future automated (autonomous) or assisted driving, but also the following technical aspects, all of which are more or less in a technical context with the present patent application and are therefore listed and whose contents must be considered and possibly even included against this background.

Es handelt sich um die Aspekte:

  1. 1) Das automatische Erkennen von Signalen im Bahn-/Schienenverkehr gemäß der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2016/057804 ; Veröffentlichungs-Nr. WO 2017/174155 A1 ) und der darin offenbarten technischen Lehre.
  2. 2) Das automatische Erkennen von Gefahrensituationen im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224358.6 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081841 ; Veröffentlichungs-Nr. WO 2018/14460 A1 ) und der darin jeweils offenbarten technischen Lehre.
  3. 3) Das automatische Erkennen von Fahrspuren/Gleisen im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224335.7 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081890 ; Veröffentlichungs-Nr. WO 208/104477A1 ) und der darin jeweils offenbarten technischen Lehre.
  4. 4) Das alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224355.1 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081784 ; Veröffentlichungs-Nr. WO 2018/104427 A1 ) und der darin jeweils offenbarten technischen Lehre.
  5. 5) Das Durchführen einer fahrspur-/gleisbasierten Bildanalyse im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224331.4) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081845 ; Veröffentlichungs-Nr. WO 2018/104462 A1 ) und der darin jeweils offenbarten technischen Lehre.
These are the aspects:
  1. 1 ) The automatic detection of signals in railway/rail traffic according to the International Patent Application (Application No. PCT/EP2016/057804 ; Publication No. WO 2017/174155 A1 ) and the technical teaching disclosed therein.
  2. 2 ) The automatic detection of dangerous situations in rail traffic according to the DE patent application (application no. 102016224358.6 ) and the International Patent Application (Application No. PCT/EP2017/081841 ; Publication No. WO 2018/14460 A1 ) and the technical teaching disclosed therein.
  3. 3 ) The automatic detection of lanes/tracks in rail traffic according to the DE patent application (application no. 102016224335.7 ) and the International Patent Application (Application No. PCT/EP2017/081890 ; Publication No. WO 208/104477A1 ) and the technical teaching disclosed therein.
  4. 4 ) The alternative determination of positions in rail traffic when conventional satellite-based positioning fails or is insufficient, in accordance with the DE patent application (application no. 102016224355.1 ) and the International Patent Application (Application No. PCT/EP2017/081784 ; Publication No. WO 2018/104427 A1 ) and the technical teaching disclosed therein.
  5. 5 ) Carrying out a lane/track-based image analysis in railway/rail traffic according to the DE patent application (application no. 102016224331.4) and the International patent application (application no. PCT/EP2017/081845 ; Publication No. WO 2018/104462 A1 ) and the technical teaching disclosed therein.

Die vorstehend genannte kontextbezogene Aufgabe wird ausgehend von dem im Oberbegriff des Patentanspruchs 1 definierten Hinderniserkennungsverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst.The above-mentioned context-related problem is solved on the basis of the obstacle detection method defined in the preamble of patent claim 1 by the features specified in the characterising part of patent claim 1.

Darüber hinaus wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von der im Oberbegriff des Patentanspruchs 6 definierten Hinderniserkennungsvorrichtung durch die im Kennzeichen des Patentanspruches 6 angegebenen Merkmale gelöst.Furthermore, the above-mentioned context-related problem is solved on the basis of the obstacle detection device defined in the preamble of patent claim 6 by the features specified in the characterising part of patent claim 6.

Weiterhin wird die vorstehend genannte kontextbezogene Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 12 definierten Bahnfahrzeug, insbesondere Schienenfahrzeug, durch die im Kennzeichen des Patentanspruches 12 angegebenen Merkmale gelöst.Furthermore, the above-mentioned context-related problem is solved starting from the railway vehicle, in particular rail vehicle, defined in the preamble of patent claim 12 by the features specified in the characterising part of patent claim 12.

Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 6 und 12 zugrundeliegende Idee besteht darin, auf Basis von mehreren Bildern eines einem Bahnfahrzeug vorgelagerten Fahrstreckenbereichs in einem in den Bildern jeweils markierten Bildbereich, der im Wesentlichen eine von dem Bahnfahrzeug genutzte Fahrspur zeigt, durch Bildanalyse die durch die Markierung bildlich positionierte Fahrspur zu erkennen und mit gespeicherten bekannten Bild-Metainformationen oder mit gespeicherten bekannten Bild-Metainformationen und Zusatzinformationen abzugleichen und in einem Bildbereichsausschnitt des markierten Bildbereichs durch eine Objekterkennungsmethode zu erkennen, ob sich ein Objekt, wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf der Fahrspur befindet, wobei ein Hindernis in dem Bildbereich, vorzugsweise in dem Bildbereichsausschnitt markiert wird, wenn das Objekt durch die Objekterkennungsmethode erkannt wird. Die Bild-Metainformationen beinhalten dabei dem Wortsinn nach Merkmals- und Eigenschaftsdaten der von dem Fahrstreckenbereich erfassten Bilder.The idea underlying the invention according to independent claims 1, 6 and 12 is to identify, on the basis of several images of a route area in front of a railway vehicle in an image area marked in the images, which essentially shows a lane used by the railway vehicle, by image analysis, the lane visually positioned by the marking and to compare it with stored known image meta-information or with stored known image meta-information and additional information and to identify in an image area section of the marked image area by an object recognition method whether an object, such as a person, an animal, a fallen tree, etc., is located in the lane, wherein an obstacle in the image area, preferably is marked in the image area section when the object is detected by the object detection method. The image metainformation literally contains feature and property data of the images captured from the route area.

Das Grundprinzip der Erfindung ist es dabei, Metadaten über die Strecke, z.B. den Streckenverlauf, in Kombination mit Sensorik im Bahnfahrzeug sowie Berechnungs- und Auswertealgorithmen zu benutzen, um die Erkennung von Objekten und Personen zu verbessern und die Unterscheidung von zulässigen und unzulässigen Objekten und Personen zu ermöglichen.The basic principle of the invention is to use metadata about the route, e.g. the route, in combination with sensors in the railway vehicle as well as calculation and evaluation algorithms to improve the detection of objects and persons and to enable the differentiation between permissible and impermissible objects and persons.

Ziel dabei ist es, einen Beitrag zum vollautomatisierten Fahren ohne zusätzliche Investitionen in die Streckeninfrastruktur zu ermöglichen.The aim is to contribute to fully automated driving without additional investments in the route infrastructure.

Für das Erkennen von Objekten oder Personen auf der Fahrspur/dem Gleis oder in einem kritischen Bereich neben der Fahrspur/dem Gleis werden Mustererkennungsalgorithmen oder Mustervergleichsalgorithmen (sogenannte Pattern-Matching-Algorithmen) pauschal für den Fahrstreckenbereich, der Bereich "vor dem Fahrzeug" (in Fahrtrichtung), verwendet.To detect objects or persons in the lane/track or in a critical area next to the lane/track, pattern recognition algorithms or pattern comparison algorithms (so-called pattern matching algorithms) are used across the board for the route area, the area "in front of the vehicle" (in the direction of travel).

1. Für die Erkennung von Objekten oder Personen auf dem Gleis in großer Entfernung arbeiten diese Algorithmen ineffizient, weil nur ein kleiner Teil des Bildes relevant ist.1. These algorithms are inefficient for detecting objects or people on the track at a great distance because only a small part of the image is relevant.

2. Diese Algorithmen sind nicht in der Lage, zulässige Objekte und Personen von unzulässigen Objekten und Personen zu unterscheiden.2. These algorithms are not able to distinguish between permissible objects and persons and impermissible objects and persons.

Im Automotive-Umfeld mit dem Fokus auf Straßen ist es gemäß der US 6,405,128 B1 bekannt, einen sogenannten "elektronischen Horizont" auszuwerten.In the automotive environment with a focus on roads, according to the US 6,405,128 B1 known to evaluate a so-called "electronic horizon".

Die automatisierte Erkennung von Objekten und Fahrspuren/Gleisen sowie die Unterscheidung zwischen zulässigen und unzulässigen Objekten/Personen lässt sich in vorteilhafter Weise zumindest teilweise durch folgende Schritte erreichen:

  1. A. In einem ersten Schritt werden mehrere Bildaufzeichnungsgeräte (z.B. Sensoren) unterschiedlicher Art (z.B. Videokamera, Lasersensoren, Infrarotkamera, Wärmebildkamera, Radar-Einrichtungen, andere Bildakquisitionsgeräte, etc.) im Bahnfahrzeug verwendet, um Bilder oder andere Informationen von der Bahn-/Schienenstrecke vor dem Bahn-/Schienenfahrzeug zu erzeugen.
The automated detection of objects and lanes/tracks as well as the differentiation between permissible and Unauthorized objects/persons can be advantageously achieved at least partially by the following steps:
  1. A. In a first step, several image recording devices (e.g. sensors) of different types (e.g. video camera, laser sensors, infrared camera, thermal imaging camera, radar devices, other image acquisition devices, etc.) are used in the railway vehicle to generate images or other information of the railway/rail line in front of the railway/rail vehicle.

So kann beispielsweise ein Radar für die Erkennung von metallischen Objekten, auch bei schlechtem Wetter, kombiniert werden mit Videokameras und Bildakquisitionsgeräten wie Wärmebildkameras zur Erkennung von Personen.For example, a radar for detecting metallic objects, even in bad weather, can be combined with video cameras and image acquisition devices such as thermal imaging cameras for detecting people.

B. In einem zweiten Schritt wird in dem jeweiligen Bild das aktuell befahrene Gleis durch Bildanalyse unter Zuhilfenahme von externen Metaformationen markiert. B. In a second step, the currently used track is marked in the respective image by image analysis with the help of external metaformations.

Variante 1:Variant 1:

In einem Videobild oder videoartigem Bild kann das über Kantenerkennungsalgorithmen ausgehend von den Schienen direkt vor dem Fahrzeug erfolgen. Durch die Verwendung von Zusatzinformationen, wie Schienenplänen, Kartenmaterial o.ä., kann diese Erkennung robuster durchgeführt werden. In diesem Zusammenhang wird auf das Durchführen einer fahrspur-/gleisbasierten Bildanalyse im Bahn-/Schienenverkehr gemäß der DE-Patentanmeldung (Anmeldung-Nr. 102016224331.4 ) und der Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081-845 ; Veröffentlichungs-Nr. WO 2018/104462 A1 ) und der darin jeweils offenbarten technischen Lehre verwiesen.In a video image or video-like image, this can be done using edge detection algorithms based on the rails directly in front of the vehicle. By using additional information, such as track plans, maps, or similar, this detection can be performed more robustly. In this context, the implementation of lane/track-based image analysis in rail traffic according to DE patent application (application no. 102016224331.4 ) and the International Patent Application (Application No. PCT/EP2017/081-845 ; Publication No. WO 2018/104462 A1 ) and the technical teaching disclosed therein.

Variante 2:Variant 2:

In einem Radar-basierten Bild kann das ungefähr auf Basis der Kenntnis der befahrenen Strecke erfolgen (der Fahrspur-/Gleisverlauf relativ zu einer geographischen Position ist bekannt).In a radar-based image, this can be done approximately based on knowledge of the route traveled (the lane/track course relative to a geographical position is known).

C. In einem dritten Schritt wird fokussiert auf die befahrene Fahrspur/das befahrene Gleis pro eingesetztes Bildaufzeichnungsgerät (z.B. ein Bildakquisitionsgerät) durch Objekterkennungsmethoden erkannt, ob sich ein Objekt oder eine Person auf der Fahrspur/dem Gleis befindet. Das bedeutet, dass nur der Bildausschnitt mit der befahrenen Fahrspur/dem befahrenen Gleis und der kritische Bereich links und rechts davon betrachtet werden. Dabei werden je nach Bildakquisitionsgerät eines oder beide der nachstehenden Pattern-Matching-Verfahren eingesetzt. C. In a third step, focusing on the lane/track being used, each image recording device (e.g., an image acquisition device) uses object detection methods to determine whether an object or person is present in the lane/track. This means that only the image section containing the lane/track being used and the critical area to the left and right of it are viewed. Depending on the image acquisition device, one or both of the following pattern matching methods are used.

Auch hier wird durch die Integration von externen Informationen oder den Zusatzinformationen die Erkennungsgüte erhöht.Here, too, the recognition quality is increased by integrating external information or additional information.

C1. Positiv-Matching C1. Positive matching

Es wird geprüft, ob sich in dem relevanten Bildausschnitt Pattern, die zu Personen oder Objekten wie umgestürzten Bäumen oder vorausfahrenden Bahnfahrzeugen, z.B. Schienenfahrzeugen, Zügen, befinden. Falls ja, wird ein Hindernis oder ein potenzielles Hindernis markiert.A check is carried out to determine whether the relevant image section contains patterns that represent people or objects, such as fallen trees or preceding railway vehicles, e.g., rail vehicles or trains. If so, an obstacle or potential obstacle is marked.

C2. Negativ-Matching C2. Negative matching

Es wird geprüft, ob ein erwartetes Pattern erkannt wird, wie z.B. durch ein durchgezogenes Gleis oder durch regelmäßige Schienenträger im Bild bzw. den Bildern. Falls das nicht der Fall ist, so wird über eine Bilddatenbank geprüft, ob die Unregelmäßigkeit erwartet wurde (diese Information kann z.B. bei Initialisierungsfahrten mit einem Triebwagenführer vorgenommen werden). Falls die Unregelmäßigkeit nicht erwartet wurde, wird ein potenzielles Hindernis markiert.A check is made to see if an expected pattern is detected, such as a continuous track or regular rail supports in the image(s). If this is not the case, an image database is used to determine whether the irregularity was expected (this information can be obtained, for example, during initial runs with a train driver). If the irregularity was not expected, a potential obstacle is marked.

D. In einem vierten Schritt wird das Ergebnis der Hindernismarkierung aus den unterschiedlichen Bildakquisitionsgeräten zusammengeführt. Auch hier werden, beispielweise durch die Verwendung von probabilistischen Bildverarbeitungsmethoden, wie Hidden-Markov-Modellen, die unterschiedlichen Informationsquellen kombiniert, um eine fehlerhafte Erkennung zu minimieren und "false negatives", d.h. die fehlerhafte Annahme, dass sich kein Objekt im Fahrspur-/Gleisbereich befindet, obwohl es real vorhanden ist, auszuschließen. D. In a fourth step, the obstacle marking results from the different image acquisition devices are combined. Here, too, the different information sources are combined, for example, by using probabilistic image processing methods such as hidden Markov models. combined to minimize false detection and to exclude "false negatives", i.e. the erroneous assumption that there is no object in the lane/track area, although it is actually there.

Durch die vorstehend skizzierte Analyse von Bildern von der Strecke vor dem Bahnfahrzeug kann erreicht werden, dass:

  • Objekte und Personen im relevanten Fahrspur-/Gleisbereich effizienter erkannt werden als bisher.
  • Zulässige Objekte und Personen im Bereich vor dem Bahnfahrzeug/Schienenfahrzeug (aber eben außerhalb der befahrenen Fahrspur bzw. des befahrenen Gleises und eines kritischen Bereiches links und rechts davon) von unzulässigen Objekten und Personen auf der befahrenen Fahrspur respektive im befahrenen Gleis oder im kritischen Bereich links und rechts unterschieden werden können.
  • Objekte und Personen bei ungünstigen Sichtbedingungen zuverlässiger erkannt werden kann als durch Triebfahrzeugführer.
  • Triebfahrzeugführer nicht mehr für das Erkennen von Hindernissen benötigt werden, so dass unabhängig von deren Verfügbarkeit die befahrene Fahrspur/das befahrene Gleis erkannt werden kann.
The analysis of images of the track in front of the railway vehicle outlined above can achieve the following:
  • Objects and people in the relevant lane/track area can be detected more efficiently than before.
  • Permissible objects and persons in the area in front of the railway vehicle/rail vehicle (but outside the lane or track being used and a critical area to the left and right of it) can be distinguished from impermissible objects and persons in the lane being used or in the track being used or in the critical area to the left and right.
  • Objects and people can be detected more reliably in poor visibility conditions than by train drivers.
  • Train drivers are no longer required to detect obstacles, so that the lane/track being used can be detected regardless of their availability.

Im Zuge einer vorteilhaften Weiterbildung der Erfindung können in Bezug auf die Hinderniserkennungsvorrichtung nach Anspruch 6 noch folgende zusätzlichen Komponenten - a) bis c) für das Bildaufzeichnungsgerät (z.B. das Bildakquisitionsgerät) - verwendet werden:

  1. a. Eine Korrekturkomponente, die Wetter- und Helligkeitsdaten für die Auswertung des Bildmaterials mit einbezieht. Damit kann beispielsweise bei starkem Nebel, die Auswertung von Videobildern auf die ersten 50 Meter vor dem Bahnfahrzeug bzw. Schienenfahrzeug begrenzt werden und die Geschwindigkeit des Fahrzeuges entsprechend gedrosselt werden.
  2. b. Eine Brennweiteveränderungskomponente, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Aufnahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstützen. Zum Beispiel können dann sowohl Aufnahmesituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbereich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zusätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche fokussiert werden, wie z.B. ein Bahnübergang.
  3. c. Eine Beleuchtungskomponente, beispielsweise ein Scheinwerfer der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, durch welche sich die Qualität des von dem Bildaufzeichnungsgerät bzw. Bildakquisitionsgerät bei Nacht oder schlechter Witterung aufgenommenen Bildmaterials verbessert.
  4. d. Eine landseitige Auswertestation, die über Mobilfunk angebunden ist, und Bilder aus einer Bildspeichereinrichtung entgegennimmt, für die eine Auswertung nur mit hohem Unsicherheitsfaktor möglich ist. Diese Bilder können dann von einem menschlichen Experten ausgewertet werden und diese Information kann dann wiederum in die Bildspeichereinrichtung, die einer Hinderniserkennungsvorrichtung in dem Bahn-/Schienenfahrzeug (Option "A") angeordnet oder außerhalb der Hinderniserkennungsvorrichtung, z.B. als Speicherdatenbank in dem Bahn-/Schienenfahrzeug oder z.B. als Daten-Cloud, dieser zugeordnet sein kann, zurückgespeist werden.
    1. 1. Bei hinreichender Kommunikationsbandbreite und Verfügbarkeit menschlicher Experten kann dies sogar in Echtzeit erfolgen derart, dass das Ergebnis der Auswertung zur Steuerung des Bahn-/Schienenfahrzeugs verwendet werden kann.
    2. 2. Über die landseitige Auswertestation kann darüber hinaus das Bildmaterial von Schienenfahrzeugen einer Flotte oder mehrere Flotten abgeglichen und verteilt werden.
  5. e. Ein mobiles Gerät eines Zugführers oder vergleichbaren Bahnbediensteten, der zwecks Passagierabfertigung ohnehin auf dem Schienenfahrzeug mitfährt und ähnlich wie unter d) Bilder mit einem hohen Unsicherheitsfaktor bewertet.
In the course of an advantageous development of the invention, the following additional components - a) to c) for the image recording device (e.g. the image acquisition device) - can be used with respect to the obstacle detection device according to claim 6:
  1. a. A correction component that incorporates weather and brightness data into the evaluation of the image material. This allows, for example, in heavy fog, the evaluation of video images to be limited to the first 50 meters in front of the railway vehicle or rail vehicle, and the vehicle's speed can be reduced accordingly.
  2. b. A focal length adjustment component that selects the correct shooting angle depending on the environment (e.g., train station, urban area, rural area, etc.) and speed, thus optimally supporting image analysis. For example, both shooting situations on open track (requiring images from a great distance in order to be able to react in a timely manner due to the speed) and shooting situations in train stations (requiring images with a high width) can be suitably served. In addition, by merging image data and track data, particularly interesting areas, such as a railroad crossing, can be focused on.
  3. c. A lighting component, such as a spotlight operating within or outside the human-visible range, which improves the quality of the image material captured by the image recording device or image acquisition device at night or in adverse weather conditions.
  4. d. A land-based evaluation station connected via mobile network that receives images from an image storage device for which evaluation is only possible with a high degree of uncertainty. These images can then be evaluated by a human expert, and this information can then be fed back into the image storage device, which can be located in an obstacle detection device in the rail vehicle (option "A") or external to the obstacle detection device, e.g., as a storage database in the rail vehicle or, for example, as a data cloud.
    1. 1. With sufficient communication bandwidth and availability of human experts, this can even be done in real time so that the result of the evaluation can be used to control the railway/rail vehicle.
    2. 2. The land-based evaluation station can also be used to compare and distribute the image material from rail vehicles of one or more fleets.
  5. e. A mobile device of a train driver or similar railway employee who travels on the railway vehicle for the purpose of passenger handling and who, similar to d), evaluates images with a high uncertainty factor.

Darüber hinaus ist es möglich, dass eine Hinderniserkennungsvorrichtung als eine virtuelle Maschine im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausgebildet ist und funktioniert.Furthermore, it is possible for an obstacle detection device to be designed and function as a virtual machine in the sense of a "Software Defined Signal Recognition of Rail Traffic Systems".

Weitere Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispiels der Erfindung anhand der FIGUREN 1 und 2. Diese zeigen:

  • FIGUR 1 eine bahnfahrzeugbasierte Erkennung eines Hindernisses in Gestalt eines auf einer Bahnstrecke umgestürzten Baumes,
  • FIGUR 2 einen prinzipiellen Aufbau einer Hinderniserkennungsvorrichtung für die gemäß der FIGUR 1 bahnfahrzeugbasierte Hinderniserkennung in Gestalt des auf der Bahnstrecke umgestürzten Baumes.
Further advantages of the invention will become apparent from the following description of an embodiment of the invention with reference to FIGURES 1 and 2 These show:
  • FIGURE 1 a railway vehicle-based detection of an obstacle in the form of a tree fallen on a railway line,
  • FIGURE 2 a basic structure of an obstacle detection device for the FIGURE 1 Railway vehicle-based obstacle detection in the form of a tree that has fallen on the railway line.

FIGUR 1 zeigt eine bahnfahrzeugbasierte Erkennung eines Hindernisses im Bahnverkehr BVK, wenn auf einer abschnittsweise dargestellten Bahnstrecke BST eines Bahnnetzes BNE ein Bahnfahrzeug BFZ sich auf einer Fahrspur FS der Bahnstrecke BST einem als Hindernis auf der Fahrspur FS befindlichen Objekt OBJ, im dargestellten Fall einem auf die Fahrspur FS umgestürzten Baum, nähert. FIGURE 1 shows a railway vehicle-based detection of an obstacle in rail traffic BVK, when on a sectionally represented railway line BST of a railway network BNE a railway vehicle BFZ approaches an object OBJ located as an obstacle on the lane FS of the railway line BST, in the case shown a tree that has fallen onto the lane FS.

Gemäß dem vorliegenden Ausführungsbeispiel ist die fahrspurbezogene Bahnstrecke BST des Bahnnetzes BNE eine Schienenstrecke SST eines Schienennetzes SNE, auf dem im Schienenverkehr SVK zur schienenfahrzeugbasierte Hinderniserkennung ein Schienenfahrzeug SFZ auf einem Gleis GL unterwegs ist und sich dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem auf das Gleis GL umgestürzten Baum, nähert. An die Stelle des dargestellten Schienenverkehrs SVK mit dem auf der Schienenstrecke SST des Schienennetzes SNE fahrenden Schienenfahrzeugs SFZ ist auch hier wieder aufgrund der eingangs geführter Diskussion auch jedes andere x-beliebige kurz- oder langstreckenbasierte Bahnverkehrssystem als weiteres Ausführungsbeispiel der Erfindung denk- und vorstellbar. So käme ebenso z.B. ein Magnetschwebebahn-Verkehrssystem (Stw.: Transrapid, Maglev etc.) mit einer entsprechend vergleichbaren Infrastruktur, bestehend aus Bahnnetz, Bahnstrecke und Bahnfahrzeug, in Frage.According to the present embodiment, the lane-related railway line BST of the railway network BNE is a rail line SST of a rail network SNE, on which a rail vehicle SFZ is traveling on a track GL in rail traffic SVK for rail-vehicle-based obstacle detection and is approaching the object OBJ located as an obstacle on the track GL, in the illustrated case the tree that has fallen onto the track GL. Instead of the illustrated rail traffic SVK with the rail vehicle SFZ traveling on the rail line SST of the rail network SNE, any other arbitrary short- or long-distance rail traffic system is conceivable and imaginable as a further embodiment of the invention based on the discussion at the beginning. For example, a magnetic levitation transport system (Stw.: Transrapid, Maglev, etc.) with a correspondingly comparable infrastructure consisting of a rail network, rail line, and rail vehicle could also be considered.

In dem in der FIGUR 1 dargestellten Schienenverkehrssystem ist in einem Triebwagen TRW des Schienenfahrzeugs SFZ mit einem Triebführerstand TFS und einer integrierter Anzeigeeinrichtung AZE, in dem sich der Arbeitsplatz des Fahrzeugführers FZF befindet, für die schienenfahrzeugbasierte Erkennung eines Hindernisses eine Hinderniserkennungsvorrichtung HEV untergebracht. Die Hinderniserkennungsvorrichtung HEV beinhaltet hierfür ein vorzugsweise als Sensor ausgebildetes Bildaufzeichnungsgerät BAZG, das z.B. als gewöhnliche Videokamera, Lasersensor, Wärmebildkamera, Radar-Einrichtung, Infrarotkamera etc., ausgebildet ist und wegen Akquirierung von Bildern auch als Bildakquisitionsgerät bezeichnet wird.In the FIGURE 1 In the rail transport system shown, an obstacle detection device (HEV) for the rail-based detection of an obstacle is housed in a TRW railcar of the SFZ rail vehicle with a TFS driver's cab and an integrated AZE display device, in which the FZF driver's workplace is located. For this purpose, the HEV obstacle detection device includes an image recording device (BAZG), preferably designed as a sensor, which can be configured as a conventional video camera, laser sensor, thermal imaging camera, radar device, infrared camera, etc., and is also referred to as an image acquisition device because it acquires images.

Mit dem Bildaufzeichnungsgerät BAZG sind, wenn sich das auf dem Gleis GL fahrende Schienenfahrzeug SFZ dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem umgestürzten Baum, nähert, von dem Schienenfahrzeug SFZ aus, z.B. aus der Perspektive des Triebwagenführers FZF in dem Triebführerstand TFS des Triebwagens TRW und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Fahrzeug SFZ, von einem dem Schienenfahrzeug SFZ vorgelagerten, sich dabei vorzugsweise an die Geschwindigkeit des Schienenfahrzeugs SFZ orientierenden, Fahrstreckenbereich FSB eine Vielzahl von den Fahrstreckenbereich FSB repräsentierenden Bildern BIFSB erfassbar.When the rail vehicle SFZ traveling on the track GL approaches the object OBJ located as an obstacle on the track GL, in the case shown the fallen tree, the image recording device BAZG is used to record from the rail vehicle SFZ, e.g. from the perspective of the railcar driver FZF in the driver's cab TFS of the railcar TRW and/or from a stationary, lane-observing position in or on the Vehicle SFZ, from a route area FSB located in front of the rail vehicle SFZ, preferably oriented to the speed of the rail vehicle SFZ, a plurality of images BI FSB representing the route area FSB can be captured.

In den Bildern BIFSB des Fahrstreckenbereichs FSB ist ein Bildbereich BIB mit einem Bildbereichsausschnitt BIBAS enthalten, der das benutzte Gleis GL sowie einen für den Schienenverkehr SVK kritischen Bereich repräsentiert, durch den ein für den Schienenverkehr SVK kritischer Umkreis im Wesentlichen links und rechts des Gleises GL in dem durch den Bildbereich BIB der Bilder BIFSB des Fahrstreckenbereichs FSB gezeigten Teil des Fahrstreckenbereich FSB angegeben wird. D.h. der Fahrstreckenbereich FSB umfasst auch den für den Schienenverkehr SVK kritischen Bereich.The BI FSB images of the FSB route area contain an image area BIB with an image area section BIB AS , which represents the track GL in use as well as an area critical for SVK rail traffic. This area essentially indicates a critical perimeter for SVK rail traffic, essentially to the left and right of the GL track in the part of the FSB route area shown by the image area BIB of the BI FSB images of the FSB route area. This means that the FSB route area also includes the area critical for SVK rail traffic.

Wie jetzt aufgrund der Bilder BIFSB des Fahrstreckenbereichs FSB mit dem darin enthaltenen Bildbereich BIB und dem Bildbereichsausschnitt BIBAS die Hinderniserkennung durchgeführt wird, wird nachfolgend mit der Beschreibung von FIGUR 2 erläutert.How the obstacle detection is carried out based on the images BI FSB of the route area FSB with the image area BIB contained therein and the image area section BIB AS is described below with the description of FIGURE 2 explained.

FIGUR 2 zeigt den prinzipiellen Aufbau der Hinderniserkennungsvorrichtung HEV für die gemäß der FIGUR 1 schienenfahrzeugbasierte Hinderniserkennung des Schienenfahrzeugs SFZ, das auf dem Gleis GL unterwegs ist und sich dem als Hindernis auf dem Gleis GL befindlichen Objekt OBJ, im dargestellten Fall dem umgestürzten Baum, nähert. FIGURE 2 shows the basic structure of the obstacle detection device HEV for the FIGURE 1 Rail-based obstacle detection of the rail vehicle SFZ, which is traveling on the track GL and is approaching the object OBJ, in the case shown the fallen tree, which is an obstacle on the track GL.

Ausgangspunkt für die Hinderniserkennung bildet dabei gemäß den Ausführungen zu der FIGUR 1 das Bildaufzeichnungsgerät BAZG, das die Bilder BIFSB des Fahrstreckenbereichs FSB für die Hinderniserkennung erfasst.The starting point for obstacle detection is, according to the explanations of the FIGURE 1 the image recording device BAZG, which records the images BI FSB of the route area FSB for obstacle detection.

Das Bildaufzeichnungsgerät BAZG ist dazu vorzugsweise für die Ausrichtung auf das Bildobjekt schwenkbar ausgebildet.The image recording device BAZG is preferably designed to be pivotable for alignment with the image object.

Ferner ist es möglich und u.U. auch aus erfassungstechnischen Gründen sinnvoll, dass mehrere Bildaufzeichnungsgeräte BAZG gleicher Bauart, z.B. mehrere Videokameras, oder Geräte unterschiedlicher Bauart, z.B. mehrere Videokameras, Lasersensoren, RADAR-basierte, auf funkbasierte Ortung und Abstandsmessung beruhende Sensoren, Infrarotkameras und/oder Wärmebildkameras, in der Hinderniserkennungsvorrichtung HEV enthalten sind, die die Bilder BIFSB aufnehmen. Eine derartige mehrfache Ausführung der Bildaufzeichnung bzw. Bildakquirierung ist kann u.a. für Redundanzzwecke relevant sein.Furthermore, it is possible, and in some cases even advisable for recording-related reasons, for the obstacle detection device (HEV) to contain multiple image recording devices (BAZG) of the same type, e.g., multiple video cameras, or devices of different types, e.g., multiple video cameras, laser sensors, radar-based sensors, radio-based positioning and distance measurement sensors, infrared cameras, and/or thermal imaging cameras, which record the images (BI FSB) . Such multiple image recording or image acquisition may be relevant for redundancy purposes, among other things.

Um die Qualität der mit dem Bildaufzeichnungsgerät BAZG aufgezeichneten oder akquirierten Bilder weiterhin zu verbessern, sind in dem Bildaufzeichnungsgerät BAZG vorzugsweise folgende Komponenten enthalten:

  1. 1. Eine Korrekturkomponente KOK, mit der Wetter- und Helligkeitsdaten für die Auswertung des Bildmaterials einbezogen werden. Mit dieser Komponente ist es z.B. möglich, bei starkem Nebel die Auswertung von Videobildern auf die ersten 50 Meter vor dem Schienenfahrzeug zu begrenzen und die Geschwindigkeit des Schienenfahrzeuges entsprechend zu drosseln.
  2. 2. Eine Brennweiteveränderungskomponente BVK, die in Abhängigkeit von der Umgebung (z.B. Bahnhof, Stadtgebiet, Land, etc.) und der Geschwindigkeit den richtigen Aufnahmewinkel wählt, um so die Auswertung des Bildes optimal zu unterstützen. Dadurch können dann sowohl Aufnahmesituationen auf freier Strecke (benötigen Bilder aus großer Entfernung, um aufgrund der Geschwindigkeit rechtzeitig reagieren zu können) als auch Aufnahmesituationen im Bahnhofsbereich (benötigen Bilder mit einer hohen Breite) geeignet bedient werden. Zusätzlich können durch Fusion von Bilddaten und Streckendaten besonders interessante Bereiche entlang der Schienenstrecke SST im Schienennetz SNE fokussiert werden, wie z.B. ein Bahnübergang.
  3. 3. Eine Beleuchtungskomponente BLK, die beispielsweise als ein Scheinwerfer ausgebildet ist, der inner- oder außerhalb des menschlich sichtbaren Bereichs arbeitet, und durch die sich die Qualität des von dem Bildaufzeichnungsgerät bzw. dem Bildakquisitionsgerät BAZG bei Nacht oder schlechter Witterung aufgenommenen Bildmaterials verbessert.
In order to further improve the quality of the images recorded or acquired with the BAZG image recording device, the BAZG image recording device preferably contains the following components:
  1. 1. A correction component (KOK), which incorporates weather and brightness data into the evaluation of the image material. This component makes it possible, for example, to limit the evaluation of video images to the first 50 meters in front of the rail vehicle in heavy fog and to reduce the speed of the rail vehicle accordingly.
  2. 2. A focal length adjustment component (BVK), which selects the correct shooting angle depending on the environment (e.g., train station, urban area, rural area, etc.) and speed, thus optimally supporting image analysis. This allows both shooting situations on open track (requiring images from a great distance in order to be able to react in a timely manner due to the speed) and shooting situations in the station area (requiring images with a high width) to be suitably served. In addition, by merging image data and route data, particularly interesting areas along the SST rail line in the SNE rail network, such as a level crossing, can be focused on.
  3. 3. A lighting component BLK, which is designed, for example, as a spotlight that operates inside or outside the human-visible range and which improves the quality of the image material recorded by the image recording device or the image acquisition device BAZG at night or in bad weather.

Die so aufgenommenen Bilder werden von dem Bildaufzeichnungsgerät BAZG in eine Bildspeichereinrichtung BSPE gespeichert. Diese Bildspeichereinrichtung BSPE ist entweder gemäß Option "A" als Komponente der Hinderniserkennungsvorrichtung HEV mit dem Bildaufzeichnungsgerät BAZG entsprechend verbunden oder gemäß Option "B" außerhalb der Hinderniserkennungsvorrichtung HEV, z.B. als Speicherdatenbank, in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG zugeordnet bzw. mit diesem verbindbar.The images thus recorded are stored by the BAZG image recording device in an image storage device BSPE. This BSPE image storage device is either connected to the BAZG image recording device as a component of the HEV obstacle detection device according to option "A" or, according to option "B", is assigned to or connectable to the BAZG image recording device outside the HEV obstacle detection device, e.g., as a storage database in the railcar or in a data cloud.

Für die Auswertung der aufgezeichneten bzw. akquirierten Bilder zum Erkennen von Objekten, die Hindernisse für den Schienenverkehr entlang der Schienenstrecke darstellen, z.B. der auf das Gleis umgefallene Baum gemäß der FIGUR 1, ist das Bildaufzeichnungsgerät BAZG mit einer Berechnungs-/Auswerteeinrichtung BAWE verbunden, die ebenfalls eine Komponente der Hinderniserkennungsvorrichtung HEV ist. Zu diesem Zweck ist die Berechnungs-/Auswerteeinrichtung BAWE, wie das Bildaufzeichnungsgerät BAZG, entweder gemäß der Option "A" mit der Bildspeichereinrichtung BSPE verbunden oder gemäß Option "B" der Bildspeichereinrichtung BSPE zugeordnet bzw. mit dieser verbindbar. Auf diese Weise entsteht eine Funktionsteileinheit aus der Berechnungs-/Auswerteeinrichtung BAWE, dem Bildaufzeichnungsgerät BAZG und der Bildspeichereinrichtung BSPE, bei der die genannten Komponenten der Hinderniserkennungsvorrichtung HEV für eine berechnungs-/auswertegestützte Hinderniserkennung teilfunktional zusammenwirken.For the evaluation of the recorded or acquired images to detect objects that represent obstacles to rail traffic along the railway line, e.g. the tree that has fallen onto the track according to the FIGURE 1 The image recording device BAZG is connected to a calculation/evaluation device BAWE, which is also a component of the obstacle detection device HEV. For this purpose, the calculation/evaluation device BAWE, like the image recording device BAZG, is either connected to the image storage device BSPE according to option "A" or assigned to the image storage device BSPE or connectable to it according to option "B". This creates a functional subunit consisting of the calculation/evaluation device BAWE, the image recording device BAZG, and the image storage device BSPE, in which the aforementioned components of the obstacle detection device HEV partially interact for calculation/evaluation-supported obstacle detection.

Für die Bildung einer vollständigen Funktionseinheit zur berechnungs-/auswertegestützten Hinderniserkennung, bei der die daran beteiligten Teileinheiten funktional zusammenwirken, wird die genannte Funktionsteileinheit durch eine weitere Teileinheit, eine Informationsdatenbank IDB, erweitert. Die Informationsdatenbank IDB kann dabei beispielsweise mit der Bildspeichereinrichtung BSPE als bauliche Einheit in einer gemeinsamen Speichervorrichtung integriert sein. Diese in der FIGUR 2 nicht explizit dargestellte Speichervorrichtung kann ihrerseits wiederum, wie die Bildspeichereinrichtung BSPE, entweder gemäß Option "A" als Komponente der Hinderniserkennungsvorrichtung HEV mit dem Bildaufzeichnungsgerät BAZG und der Berechnungs-/Auswerteeinrichtung BAWE entsprechend verbunden oder gemäß Option "B" außerhalb der Hinderniserkennungsvorrichtung HEV in dem Triebwagen oder in einer Daten-Cloud dem Bildaufzeichnungsgerät BAZG und der Berechnungs-/Auswerteeinrichtung BAWE zugeordnet bzw. mit diesem verbindbar sein. In diesem Zusammenhang wird auf die Informationsspeichereinrichtung in der DE-Patentanmeldung (Anmeldung-Nr. 102016224355.1 ) und der dazu korrespondierenden Internationalen Patentanmeldung (Anmeldung-Nr. PCT/EP2017/081784 ; Veröffentlichungs-Nr. WO 2018/104427 A1 ) zum alternative Bestimmen von Positionen im Schienenverkehr, wenn eine herkömmliche satellitengestützte Positionsbestimmung versagt oder unzureichend ist, verwiesen.For the formation of a complete functional unit for calculation/evaluation-based obstacle detection, in which the subunits involved functionally interact, the said functional subunit is extended by a further subunit, an information database IDB. The information database IDB can, for example, be integrated with the image storage device BSPE as a structural unit in a common storage device. This FIGURE 2 The storage device not explicitly shown can, in turn, like the image storage device BSPE, either be connected to the image recording device BAZG and the calculation/evaluation device BAWE as a component of the obstacle detection device HEV according to option "A" or be assigned to the image recording device BAZG and the calculation/evaluation device BAWE according to option "B" outside the obstacle detection device HEV in the railcar or in a data cloud or be connectable to the image recording device BAZG and the calculation/evaluation device BAWE. In this context, reference is made to the information storage device in the DE patent application (application no. 102016224355.1 ) and the corresponding international patent application (application no. PCT/EP2017/081784 ; Publication No. WO 2018/104427 A1 ) for alternative determination of positions in rail transport when conventional satellite-based positioning fails or is inadequate.

In der Informationsdatenbank IDB sind neben Bild-Metainformationen BMI, die dem Wortsinn nach Merkmals- und Eigenschaftsdaten des in den Bilder BIFSB erfassten Fahrstreckenbereichs FSB beinhalten, Zusatzinformationen ZI, wie z.B. Fahrstreckenplänen oder Kartenmaterial, etc., gespeichert. Gemäß der Darstellung in der FIGUR 2 ist die Informationsdatenbank IDB der Hinderniserkennungsvorrichtung HEV in der Weise zugeordnet bzw. mit dieser verbindbar, als die Berechnungs-/Auswerteeinrichtung BAWE für die berechnungs-/auswertegestützte Hinderniserkennung auf die in der Informationsdatenbank IDB gespeicherten Bild-Metainformationen BMI und Zusatzinformationen ZI zugreift. Die Informationsdatenbank IDB ist dazu vorzugsweise außerhalb der Hinderniserkennungsvorrichtung HEV, z.B. als Datenbank, in dem Triebwagen angeordnet oder ist als Daten-Cloud ausgebildet.In addition to image meta information BMI, which literally contains feature and property data of the route area FSB recorded in the images BI FSB , the information database IDB also stores additional information ZI, such as route plans or maps, etc. According to the representation in the FIGURE 2 The information database IDB is assigned to the obstacle detection device HEV or can be connected to it in such a way that the calculation/evaluation device BAWE accesses the image metainformation BMI and additional information ZI stored in the information database IDB for the calculation/evaluation-based obstacle detection. The information database For this purpose, IDB is preferably located outside the obstacle detection device HEV, e.g. as a database, in the railcar or is designed as a data cloud.

Für die berechnungs-/auswertegestützte Hinderniserkennung weist die Berechnungs-/Auswerteeinrichtung BAWE vorzugsweise einen nicht-flüchtigen, lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines die Hinderniserkennung steuernden Programm-Moduls PGM gespeichert sind, und einen Prozessor PZ, der die Steuerprogrammbefehle des Programm-Moduls PGM zur berechnungs-/auswertegestützten Hinderniserkennung ausführt, auf. Dazu greift der Prozessor PZ zusätzlich - neben den Zugriffen auf die Bild-Metainformationen BMI und die Zusatzinformationen ZI in der Informationsdatenbank IDB - zu Steuerungszwecken und zum Auslesen von Daten auf das Bildaufzeichnungsgerät BAZG und die Bildspeichereinrichtung BSPE zu.For calculation/evaluation-supported obstacle detection, the calculation/evaluation device BAWE preferably has a non-volatile, readable memory SP, in which processor-readable control program commands of a program module PGM controlling obstacle detection are stored, and a processor PZ, which executes the control program commands of the program module PGM for calculation/evaluation-supported obstacle detection. For this purpose, the processor PZ also accesses the image recording device BAZG and the image storage device BSPE for control purposes and to read data, in addition to accessing the image metainformation BMI and the additional information ZI in the information database IDB.

Die Berechnungs-/Auswerteeinrichtung BAWE bzw. das Programm-Modul PGM mit dem die Steuerprogrammbefehle des Programm-Moduls PGM zur berechnungs-/auswertegestützten Hinderniserkennung ausführenden Prozessor PZ sind jetzt bezüglich der berechnungs-/auswertegestützten Hinderniserkennung derart ausgebildet, dass in den Bildern BIFSB jeweils der Bildbereich BIB markiert wird, der das von dem Schienenfahrzeug SFZ benutzte Gleis GL zeigt, wobei das durch die Markierung bildlich positionierte Gleis GL des Schienenfahrzeugs SFZ durch eine Bildanalyse erkannt und entweder mit den gespeicherten bekannten Bild-Metainformationen BMI oder mit den gespeicherten bekannten Bild-Metainformationen MMI und den Zusatzinformationen ZI abgeglichen wird.The calculation/evaluation device BAWE or the program module PGM with the processor PZ executing the control program commands of the program module PGM for calculation/evaluation-based obstacle detection are now designed with regard to calculation/evaluation-based obstacle detection in such a way that in the images BI FSB the image area BIB is marked which shows the track GL used by the rail vehicle SFZ, whereby the track GL of the rail vehicle SFZ, which is visually positioned by the marking, is recognized by an image analysis and compared either with the stored known image metainformation BMI or with the stored known image metainformation MMI and the additional information ZI.

Die Bildanalyse und somit die Markierung wird vorzugsweise mit Hilfe von Kantenerkennungsalgorithmen durchgeführt, bei der ausgehend von dem in dem Fahrstreckenbereich FSB erfassten Gleis GL in dem Bildbereich BIB der Verlauf der von dem Schienenfahrzeug SFZ benutzten Gleis GL durch einen sich im erfassten Bild ändernden Bildanteil des Gleises GL zum erfassten Gesamtbild erkannt wird.The image analysis and thus the marking is preferably carried out with the help of edge detection algorithms, in which, starting from the track GL recorded in the route area FSB in the image area BIB, the course of the track GL used by the rail vehicle SFZ is identified by a The part of the track GL that changes in the captured image is recognized as part of the captured overall image.

Darüber hinaus wird vorzugsweise, wenn die Bilder BIFSB mit RADAR-basierten, auf funkbasierte Ortung und Abstandsmessung beruhenden Sensoren aufgenommen werden, die Bildanalyse und somit die Markierung auf der Basis der Kenntnis des benutzten Gleises GL durchgeführt, weil der Verlauf des benutzten Gleises GL relativ zu einer geografischen Position bekannt ist.Furthermore, if the images BI FSB are taken with RADAR-based sensors based on radio-based positioning and distance measurement, the image analysis and thus the marking is preferably carried out on the basis of the knowledge of the track GL used, because the course of the track GL used relative to a geographical position is known.

Ist das durch die Markierung bildlich positionierte Gleis GL des Schienenfahrzeugs SFZ durch die Bildanalyse erkannt und entweder mit den gespeicherten bekannten Bild-Metainformationen BMI oder mit den gespeicherten bekannten Bild-Metainformationen BMI und den Zusatzinformationen ZI abgeglichen, so wird für den Bildbereichsausschnitt BIBAS des markierten Bildbereichs BIB, der das benutzte Gleis GL sowie den für den Schienenverkehr SVK kritischen Bereich repräsentiert, durch eine Objekterkennungsmethode erkannt, ob sich ein Objekt OBJ, wie z.B. eine Person, ein Tier, ein umgestürzter Baum etc., auf dem Gleis GL befindet, wobei ein Hindernis in dem Bildbereich BIB, so z.B. wenn sich dieses in dem Bildbereichsausschnitt BIBAS befindet und/oder wenn es ein potentielles Hindernis ist, markiert wird, wenn das Objekt OBJ durch die Objekterkennungsmethode erkannt wird.If the track GL of the rail vehicle SFZ, which is visually positioned by the marking, is recognized by the image analysis and compared either with the stored known image metainformation BMI or with the stored known image metainformation BMI and the additional information ZI, then for the image area section BIB AS of the marked image area BIB, which represents the used track GL and the area critical for rail traffic SVK, an object recognition method is used to recognize whether an object OBJ, such as a person, an animal, a fallen tree, etc., is located on the track GL, whereby an obstacle in the image area BIB, for example if it is located in the image area section BIB AS and/or if it is a potential obstacle, is marked if the object OBJ is recognized by the object recognition method.

Mit der Objekterkennungsmethode wird ein Mustervergleich basierend auf einem Positiv-Vergleich und/oder Negativer-Vergleich durchgeführt, bei dem im Fall des Positiv-Vergleichs überprüft wird, ob in dem Bildbereichsausschnitt BIBAS objektspezifische Muster enthalten sind und im Fall des Negativ-Vergleichs überprüft wird, ob in dem Bildbereichsausschnitt BIBAS ein erwartetes Muster, das z.B. das durchgezogene, von dem Schienenfahrzeug SFZ benutzte Gleis GL oder eine Regelmäßigkeit, die durch Fahrspurträger der Fahrspur FS oder Gleisträger zwischen den parallel verlaufenden Gleisen GL gebildet wird, enthalten ist.The object recognition method performs a pattern comparison based on a positive comparison and/or negative comparison, in which, in the case of a positive comparison, it is checked whether the image area section BIB AS contains object-specific patterns and, in the case of a negative comparison, it is checked whether the image area section BIB AS contains an expected pattern, e.g. the solid track GL used by the rail vehicle SFZ or a regularity formed by the track supports of the track FS or track supports between the parallel tracks GL.

Endet diese Überprüfung vom Ergebnis her beim Negativ-Vergleich mit einem "NEIN", so wird die festgestellte Unregelmäßigkeit bezüglich ihres Erwartens mit als Referenzinformationen genutzte und in Fahrstrecken-Initialisierungsläufen zuvor aufgenommene Streckenbildern abgeglichen, wobei, wenn die Unregelmäßigkeit nicht erwartet wurde, ein Hindernis in dem Bildbereich BIB, z.B. in dem Bildbereichsausschnitt BIBAS und/oder als potentielles Hindernis, markiert wird.If this check results in a negative comparison with a "NO", the detected irregularity is compared with the expected irregularity with route images used as reference information and previously recorded in route initialization runs, whereby, if the irregularity was not expected, an obstacle is marked in the image area BIB, e.g. in the image area section BIB AS and/or as a potential obstacle.

Die für sämtliche Bilder BIFSB jeweils in dem Bildbereich BIB respektive dem Bildbereichsausschnitt BIBAS erfolgten Hindernismarkierungen werden vorzugsweise im Hinblick auf eine die unterschiedlichen Bildquellen kombinierende Bildverarbeitung mit Hilfe von Bildverarbeitungsmethoden, wie z.B. Hidden-Markov-Modellen, zusammengeführt. Dadurch kann z.B. erreicht werden, dass die Wahrscheinlichkeit für eine fehlerhafte Erkennung minimiert und das Auftreten von "false negatives", d.h. von fehlerhaften Annahmen, dass sich kein Objekt im Fahrspur-bzw. Gleisbereich befindet, obwohl es real vorhanden ist, verhindert wird.The obstacle markings made for all images BI FSB in the image area BIB or the image area section BIB AS are preferably combined with a view to image processing that combines the different image sources using image processing methods such as hidden Markov models. This can, for example, minimize the probability of incorrect detection and prevent the occurrence of "false negatives," i.e., erroneous assumptions that no object is present in the lane or track area when one is actually present.

Darüber hinaus ist für die Hinderniserkennungsvorrichtung HEV mit der integrierten oder zugeordneten Bildspeichereinrichtung BSPE für solche Bilder in der Bildspeichereinrichtung BSPE, für die eine Auswertung nur mit hohem Unsicherheitsfaktor möglich ist, eine landseitige Auswertestation AWS vorgesehen, die über Mobilfunk an die Bildspeichereinrichtung angebunden ist und von dieser die dort gespeicherten Bilder für eine modifizierte Auswertung entgegennimmt. Diese Bilder können dann von einem menschlichen Experten ausgewertet werden und diese Information kann dann wiederum in die Bildspeichereinrichtung BSPE zurückgespeist werden.

  1. 1. Bei hinreichender Kommunikationsbandbreite und Verfügbarkeit menschlicher Experten kann dies sogar in Echtzeit erfolgen derart, dass das Ergebnis der Auswertung zur Steuerung des Bahn-/Schienenfahrzeugs verwendet werden kann.
  2. 2. Über die landseitige Auswertestation AWS kann darüber hinaus das Bildmaterial von Schienenfahrzeugen einer Flotte oder mehrere Flotten abgeglichen und verteilt werden.
In addition, for the HEV obstacle detection system with the integrated or assigned BSPE image storage device, a land-based AWS evaluation station is provided for images in the BSPE image storage device for which evaluation is only possible with a high degree of uncertainty. This station is connected to the image storage device via mobile radio and receives the images stored there for modified evaluation. These images can then be evaluated by a human expert, and this information can then be fed back into the BSPE image storage device.
  1. 1. With sufficient communication bandwidth and availability of human experts, this can even be done in real time so that the result of the evaluation can be used to control the railway/rail vehicle.
  2. 2. The AWS land-based evaluation station can also be used to compare and distribute the image material from rail vehicles of one or more fleets.

Alternativ zu der Auswertestation AWS für die modifizierte Auswertung von Bildern, für die eine Auswertung nur mit hohem Unsicherheitsfaktor möglich ist, ist es auch möglich, dass ein Zugführer oder ein vergleichbarer Bahnbediensteten, der zwecks Passagierabfertigung ohnehin auf dem Schienenfahrzeug mitfährt, mit einem mobilen Gerät Bilder mit einem hohen Unsicherheitsfaktor bewertet, so wie dies der menschliche Experte bezüglich der Bilder in der Auswertestation AWS tut.As an alternative to the AWS evaluation station for the modified evaluation of images for which an evaluation is only possible with a high uncertainty factor, it is also possible for a train driver or a comparable railway employee, who travels on the rail vehicle anyway for the purpose of passenger handling, to evaluate images with a high uncertainty factor using a mobile device, just as the human expert does with regard to the images in the AWS evaluation station.

Mit der wie vorstehend beschriebenen Hinderniserkennungsvorrichtung HEV kann ein automatisiertes (autonomes) oder unterstütztes Fahren des Bahnfahrzeugs BFZ bzw. des Schienenfahrzeugs SFZ ohne zusätzliche Infrastruktur entlang einer Fahrstrecke assistiert bzw. sogar realisiert werden. Dies ist insbesondere dann gegeben, wenn die Hinderniserkennungsvorrichtung HEV als eine virtuelle Maschine realisiert ist, die im Sinne eines "Software Defined Signal Recognition of Rail Traffic Systems" ausgebildet ist und funktioniert.With the HEV obstacle detection device described above, automated (autonomous) or assisted driving of the BFZ or SFZ rail vehicle along a route can be assisted or even realized without additional infrastructure. This is particularly true when the HEV obstacle detection device is implemented as a virtual machine that is designed and functions in the sense of "Software Defined Signal Recognition of Rail Traffic Systems."

Claims (10)

  1. Method for obstacle recognition in railway traffic (BVK), in particular in rail traffic (SVK),
    characterized in that
    a) from a railway vehicle (BFZ), in particular a rail vehicle (SFZ), in particular from the perspective of a tractive unit driver (FZF, TFS, TRW) and/or from a stationary, track-observing position in or on the vehicle (BFZ, SFZ), a multiplicity of images (BIFSB) of a route region (FSB) ahead of the railway vehicle (BFZ, SFZ), and in particular oriented to the speed of the railway vehicle (BFZ, SFZ), said images representing the route region (FSB), are captured,
    b) an image region (BIB) is marked in each of the images (BIFSB), which image region shows a track (FS) used by the railway vehicle (BFZ, SFZ), in particular a rail track (GL), wherein the track (FS, GL) of the railway vehicle (BFZ, SFZ), which track is visually positioned by the marking, is recognized by means of an image analysis and is compared either with stored known image meta information (BMI) or with stored known image meta information (BMI) and additional information (ZI), such as e.g. route schedules or map material,
    c) for an image region segment (BIBAS) of the marked image region (BIB) representing the used track (FS, GL) and a region which is critical for railway traffic (BVK, SVK), an object recognition method recognizes whether an object (OBJ), such as e.g. a person, an animal, a fallen tree, is situated on the track (FS, GL), wherein an obstacle is marked in the image region (BIB), preferably in the image region segment (BIBAS) and/or as a potential obstacle, when the object (OBJ) is recognized by the object recognition method.
  2. Method according to Claim 1, characterized in that the images (BIFSB) are recorded by a plurality of image recording appliances (BAZG) of varying design, e.g. by video cameras, laser sensors, RADAR-based sensors based on radio-based locating and distance measurement, infrared cameras, and/or thermal imaging cameras.
  3. Method according to Claim 2, characterized in that if the images (BIFSB) are recorded by RADAR-based sensors based on radio-based locating and distance measurement, the image analysis is carried out on the basis of the knowledge of the used track (FS, GL), since the course of the used track (FS, GL) relative to a geographical position is known.
  4. Method according to any of Claims 1 to 3, characterized in that
    the object recognition method carries out a pattern comparison based on a positive comparison and/or a negative comparison, wherein
    a) the positive comparison involves checking whether the image region segment (BIBAS) contains object-specific patterns, and
    b) the negative comparison
    b1) involves checking whether the image region segment (BIBAS) contains an expected pattern, preferably the continuous track (FS, GL) used by the railway vehicle (BFZ, SFZ) or a regularity formed by track supports of the track (FS) or rail track supports between the rail tracks (GL) running parallel,
    b2) for the case where the checking of the result ends with a "NO", the ascertained irregularity is compared, with regard to its expectation, with route images used as reference information and previously recorded in route initialization passes,
    b3) for the case where the irregularity was not expected, an obstacle is marked in the image region (BIB), preferably in the image region segment (BIBAS) and/or as a potential obstacle.
  5. Apparatus (HEV) for obstacle recognition in railway traffic (BVK), in particular in rail traffic (SVK),
    characterized in that
    a) there is at least one image recording appliance (BAZG) with which, from a railway vehicle (BFZ), in particular a rail vehicle (SFZ), in particular from the perspective of a tractive unit driver (FZF, TFS, TRW) and/or from a stationary, track-observing position in or on the vehicle (BFZ, SFZ), a multiplicity of images (BIFSB) of a route region (FSB) ahead of the railway vehicle (BFZ, SFZ), and in particular oriented to the speed of the railway vehicle (BFZ, SFZ), said images representing the route region (FSB), are capturable and storable in an image storage device (BSPE),
    b) there is a calculation/evaluation device (BAWE) designed to be connected to and functionally cooperating with the image recording appliance (BAZG), the image storage device (BSPE) and an information database (IDB), wherein preferably both, the image storage device (BSPE) and the information database (IDB), are integrated as a structural unit in a common storage apparatus, in such a way, in particular with a non-volatile, readable memory (SP), in which processor-readable control program instructions of a program module (PGM) controlling the obstacle recognition are stored, and a processor (PZ), which executes the control program instructions of the program module (PGM) for calculation-/evaluation-aided obstacle recognition, that an image region (BIB) is marked in each of the images (BIFSB), which image region shows a track (FS) used by the railway vehicle (BFZ, SFZ), in particular a rail track (GL), wherein the track (FS, GL) of the railway vehicle (BFZ, SFZ), which track is visually positioned by the marking, is recognized by means of an image analysis and is compared either with stored known image meta information (BMI) or with stored known image meta information (BMI) and additional information (ZI), such as e.g. route schedules or map material,
    c) the calculation/evaluation device (BAWE) is designed in such a way that, for an image region segment (BIBAS) of the marked image region (BIB) representing the used track (FS, GL) and a region which is critical for railway traffic (BVK, SVK), an object recognition method recognizes whether an object (OBJ), such as e.g. a person, an animal, a fallen tree, is situated on the track (FS, GL), wherein an obstacle is marked in the image region (BIB), preferably in the image region segment (BIBAS) and/or as a potential obstacle, when the object (OBJ) is recognized by the object recognition method.
  6. Apparatus (HEV) according to Claim 5, characterized in that it contains a plurality of image recording appliances (BAZG) of varying design, e.g. a plurality of video cameras, laser sensors, RADAR-based sensors based on radio-based locating and distance measurement, infrared cameras, and/or thermal imaging cameras, which record the images (BIFSB).
  7. Apparatus (HEV) according to Claim 6, characterized in that the calculation/evaluation device (BAWE) is designed in such a way that, if the images (BIFSB) are recorded by RADAR-based sensors based on radio-based locating and distance measurement, the image analysis is carried out on the basis of the knowledge of the used track (FS, GL), since the course of the used track (FS, GL) relative to a geographical position is known.
  8. Apparatus (HEV) according to any of Claims 5 to 7, characterized in that
    the calculation/evaluation device (BAWE) is designed in such a way that the object recognition method carries out a pattern comparison based on a positive comparison and/or a negative comparison, wherein
    a) the positive comparison involves checking whether the image region segment (BIBAS) contains object-specific patterns, and
    b) the negative comparison
    b1) involves checking whether the image region segment (BIBAS) contains an expected pattern, preferably the continuous track (FS, GL) used by the railway vehicle (BFZ, SFZ) or a regularity formed by track supports of the track (FS) or rail track supports between the rail tracks (GL) running parallel,
    b2) for the case where the checking of the result ends with a "NO", the ascertained irregularity is compared, with regard to its expectation, with route images used as reference information and previously recorded in route initialization passes,
    b3) for the case where the irregularity was not expected, an obstacle is marked in the image region (BIB), preferably in the image region segment (BIBAS) and/or as a potential obstacle.
  9. Apparatus (HEV) according to any of Claims 5 to 8, characterized in that
    the image recording appliance (BAZG) is designed in pivotable fashion.
  10. Railway vehicle (BFZ) for obstacle recognition in railway traffic (BVK), in particular a rail vehicle (SFZ) for obstacle recognition in rail traffic (SVK), characterized in that
    an apparatus (HEV) for obstacle recognition according to any of Claims 5 to 9 is integrated into the railway vehicle (BFZ, SFZ).
EP17832743.3A 2016-12-07 2017-12-07 Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic Active EP3523177B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016224344 2016-12-07
PCT/EP2017/081834 WO2018104454A2 (en) 2016-12-07 2017-12-07 Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic

Publications (2)

Publication Number Publication Date
EP3523177A2 EP3523177A2 (en) 2019-08-14
EP3523177B1 true EP3523177B1 (en) 2025-05-07

Family

ID=61017881

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17832743.3A Active EP3523177B1 (en) 2016-12-07 2017-12-07 Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic

Country Status (5)

Country Link
EP (1) EP3523177B1 (en)
CN (1) CN110087970A (en)
ES (1) ES3036523T3 (en)
RU (1) RU2719499C1 (en)
WO (1) WO2018104454A2 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018215697A1 (en) * 2018-09-14 2020-03-19 Siemens Mobility GmbH Automated on-board control system for a rail vehicle
IL263848A (en) 2018-12-19 2020-06-30 Elta Systems Ltd Obstacle detection system
RS20190601A1 (en) * 2019-05-16 2020-11-30 Babic Milovan Universal device and procedures for safety menagement of railway vehicles&trains based on optoelectonics device day&night for recognizing facilities with assistace of range finder and device for geografical positioning of objects on the ground
EP3756971A1 (en) * 2019-06-24 2020-12-30 Mitsubishi Electric R & D Centre Europe B.V. Method for transmitting obstacle detection enhancement data to a moving conveyance
CN110889319A (en) * 2019-09-04 2020-03-17 昆山研祥智能科技有限公司 Road condition detection method and system
CN110435689B (en) * 2019-09-09 2020-12-08 中铁电气化局集团西安电气化工程有限公司 Detection method of intelligent obstacle detection vehicle based on modular control
WO2021100018A1 (en) 2019-11-20 2021-05-27 Thales Canada Inc. High-integrity object detection system and method
WO2021116946A1 (en) 2019-12-09 2021-06-17 Thales Canada Inc. System and method for vehicle control
CN111079827B (en) * 2019-12-13 2023-04-07 中国铁道科学研究院集团有限公司电子计算技术研究所 Railway data state evaluation method and system
RU2742960C1 (en) * 2020-09-25 2021-02-12 Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" Onboard information system
DE102021200767A1 (en) * 2021-01-28 2022-07-28 Siemens Mobility GmbH Self-learning warning system for rail vehicles
GB2604882A (en) * 2021-03-17 2022-09-21 Siemens Mobility Ltd Real-time computer vision-based track monitoring
EP4124542A1 (en) * 2021-07-30 2023-02-01 Siemens Mobility GmbH Method and device for detecting obstacles on a route
RU2766936C1 (en) * 2021-10-19 2022-03-16 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» Locomotive control and driver vigilance control device
CN114397672A (en) * 2021-12-14 2022-04-26 卡斯柯信号有限公司 Train active obstacle detection method and device based on positioning technology
CN114401387A (en) * 2022-02-09 2022-04-26 上海亚冠智慧轨道交通科技有限公司 System and method for monitoring foreign matter invasion of rail transit line
CN114739384A (en) * 2022-03-04 2022-07-12 净豹智能机器人(台州)有限公司 An unmanned vehicle positioning system and method for fast feature estimation
EP4299411A1 (en) * 2022-06-29 2024-01-03 Siemens Mobility GmbH Method and device for detecting obstacles in a hazard area
DE102023204214A1 (en) * 2023-05-08 2024-11-14 Siemens Mobility GmbH Validation of an object recognition device of a rail vehicle
EP4509382A1 (en) * 2023-08-16 2025-02-19 Siemens Aktiengesellschaft Method for determining a fault in a railway infrastructure by means of a detection device of a train, computer program product, computer-readable storage medium and detection device
FR3158943A1 (en) * 2024-02-07 2025-08-08 Société d’Ingénierie, de Construction et d’Exploitation de la Ferromobile - SICEF Electronic device and method for recognizing obstacle(s) on a railway track, associated computer program and system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405128B1 (en) 1999-12-20 2002-06-11 Navigation Technologies Corp. Method and system for providing an electronic horizon in an advanced driver assistance system architecture
US20040056182A1 (en) * 2002-09-20 2004-03-25 Jamieson James R. Railway obstacle detection system and method
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN201825066U (en) * 2010-10-20 2011-05-11 成都可益轨道技术有限公司 Automatic locomotive ground signal and obstacle recognition system
DE102014206473A1 (en) * 2014-04-03 2015-10-08 Bombardier Transportation Gmbh Automatic assistance to a driver of a lane-bound vehicle, in particular a rail vehicle
JP6697797B2 (en) * 2014-09-08 2020-05-27 トランスポーテーション アイピー ホールディングス，エルエルシー Optical path survey system and method
CN105083324A (en) * 2015-07-28 2015-11-25 陕西西北铁道电子有限公司 Method and device for locomotive anticollision using on-board optical detection mechanism combining with auxiliary image pickup
CN105701844B (en) * 2016-01-15 2018-11-27 苏州大学 Barrier or shadow detection method based on color characteristic
US10773739B2 (en) 2016-04-08 2020-09-15 Siemens Mobility GmbH Method, apparatus and railroad vehicle, in particular rail vehicle, for signal recognition in railroad traffic, in particular rail traffic
CN205601869U (en) * 2016-05-18 2016-09-28 苏州华兴致远电子科技有限公司 On -vehicle operating environment safety monitoring system

Also Published As

Publication number Publication date
ES3036523T3 (en) 2025-09-19
CN110087970A (en) 2019-08-02
WO2018104454A2 (en) 2018-06-14
WO2018104454A3 (en) 2018-08-23
RU2719499C1 (en) 2020-04-20
EP3523177A2 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
EP3523177B1 (en) Method, system and track-bound vehicle, in particular rail vehicle, for recognizing obstacles in track-bound traffic, in particular in rail traffic
DE69731009T2 (en) System for detecting obstacles
EP3523175A1 (en) Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic
DE102017203654B4 (en) Method for operating a driver assistance system for a vehicle on a road and driver assistance system
EP3523176A1 (en) Method, device and track-bound vehicle, in particular a rail vehicle, for identifying dangerous situations in the track-bound traffic system, in particular in the railway traffic system
WO2018104477A1 (en) Method, device and track-bound vehicle, particularly a rail vehicle, for lane identification in a track-bound traffic system, particularly for rail identification in a railway traffic system
WO2019224108A1 (en) Method and system for deriving a trajectory at a system boundary of a vehicle operable in an automated manner
WO2017174155A1 (en) Method, device, and track-bound vehicle, in particular rail vehicle, for detecting signals in the track-bound traffic, in particular railway traffic
DE102008041679A1 (en) Method for environment recognition for navigation system in car, involves storing data of object or feature in storage, and classifying object or feature by comparison of data after visual inspection of object or feature
WO2014032664A1 (en) Method for determining the course of a lane for a vehicle
EP1286181A1 (en) Driving of vehicles
DE102013104088A1 (en) Method for automatically detecting characteristic elements, in particular a level crossing, and device therefor
EP4029758A1 (en) Safety-critical on-board monitoring of the environment of a rail vehicle
WO2018095681A1 (en) Method for determining the position of a rail vehicle and rail vehicle having a position determining device
EP3802257A1 (en) Control of a motor vehicle
DE102007009772A1 (en) Device for determination of track-selective position information of rail-bound vehicle combination, comprises evaluation unit, which is connected with imaging sensor
WO2020224853A1 (en) Method and computer program product for identifying signal signs for the traffic control of track-guided vehicles, signal-sign identification system, and track-guided vehicle, in particular rail vehicle
DE102020005763A1 (en) Method for controlling a vehicle
EP4105103B1 (en) Self-adjusting environment detecting device for railway vehicles and corresponding method
WO2018104427A1 (en) Method, system and rail vehicle for localization in rail traffic
DE102023120364B3 (en) Method for map-based localization from a vehicle, and vehicle
EP3947101A1 (en) Method and computer program product for position determination of rail-bound vehicles and position determination system and rail-bound vehicle, in particular railway vehicle
DE102019207462A1 (en) Method for target braking of a vehicle
DE102019008079A1 (en) Method for detecting at least one object in a driving area of a vehicle, device set up to carry out such a method, and vehicle with such a device
WO2019145232A1 (en) Method for monitoring traffic and traffic monitoring system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190508

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210510

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20241217

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502017016847

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502017016847

Country of ref document: DE

Owner name: SIEMENS MOBILITY GMBH, DE

Free format text: FORMER OWNER: SIEMENS MOBILITY GMBH, 81739 MUENCHEN, DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20250507

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 3036523

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20250919

RAP4 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SIEMENS MOBILITY GMBH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250908

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250807

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250808

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250807

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250907

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250507