[go: up one dir, main page]

WO2024156505A1 - Device and method for online georeferencing of camera captures of map material with mobile terminals - Google Patents

Device and method for online georeferencing of camera captures of map material with mobile terminals Download PDF

Info

Publication number
WO2024156505A1
WO2024156505A1 PCT/EP2024/050447 EP2024050447W WO2024156505A1 WO 2024156505 A1 WO2024156505 A1 WO 2024156505A1 EP 2024050447 W EP2024050447 W EP 2024050447W WO 2024156505 A1 WO2024156505 A1 WO 2024156505A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
correspondences
recorded
map image
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2024/050447
Other languages
German (de)
French (fr)
Inventor
Christoph Bodensteiner
Michael Arens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority to EP24700105.0A priority Critical patent/EP4655559A1/en
Publication of WO2024156505A1 publication Critical patent/WO2024156505A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the application relates to a device and a method for online georeferencing of camera recordings of map material using mobile devices.
  • maps on display boards or printed maps show additional information, e.g. hiking trails, specific locations and information, etc., which provide added value for the user. It would be desirable if such maps could be used on a mobile device.
  • Another possibility is to use path information as a source of correspondence.
  • the paths could be mapped directly onto one another.
  • this requires the robust extraction of the path on the photographed map, which in turn represents a very difficult image processing problem.
  • WO 2001/073690 A2 and US 7167187 B2 show a system and method for georeferencing digital raster maps by mapping specific points on the raster map to corresponding points on a georeferenced vector map or another georeferenced raster map.
  • a user is shown a raster map and a corresponding vector map simultaneously. The user then locates a common geographic point or feature on each map and marks each of them as a unique point pair.
  • the system calculates a georeferencing function based on the pixel coordinates of the points marked on the raster map and the corresponding geographic coordinates of the points on the vector map. Thereafter, the geographic coordinates of each point on the map can be easily calculated.
  • the georeferencing function is modified for increased accuracy.
  • US 7038681 B2 and US 2005/0073532 A1 show that after paper flood maps are scanned into a computer system, they are each displayed side by side with the relevant part of a stored vector map covering the geographical area covered by all maps.
  • corresponding points or pairs of points on each map are marked by a keyboard or a mouse.
  • the corresponding points may be, for example, roads, riverbeds, railway tracks, intersections, buildings, mountain peaks, etc., which are identifiable on each map displayed.
  • a stored algorithm calculates georeferencing functions that enable translation of the x and y coordinates of the raster map into the latitude and longitude coordinates of the vector map and vice versa. As more pairs of points are marked, the georeferencing functions are refined. Another algorithm removes apparently bad points from the georeferencing calculations, the points can be reused later if they appear to be not bad.
  • US 2006/0041375 A1 shows a system and method for automatically georeferencing digitized images that select and analyze image landmarks from different sources.
  • a composite alignment of raster images and geographic target vectors is automatically generated using metadata sources for use in geographic display and editing environments.
  • a cartographic alignment of raster images to geographic vector data sets is performed to position image data together with geographic vector data sets.
  • a meaningful Overlay of the datasets and improved comparison of vector data with the imagery based on the physical relationships between the vector data and the underlying image features is enabled.
  • users can query target vectors to view attributes of the associated landmarks and create a highly accurate parcel map to validate imagery information in areas where the data was collected under less than optimal conditions.
  • a device for georeferencing comprises a map image provision unit for providing a map image recorded by a camera. Furthermore, the device comprises a correspondence determination unit for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the recorded map image to a point of the reference map to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence.
  • the method comprises:
  • Determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence. Furthermore, a computer program with a program code for carrying out the method described above according to one embodiment is provided.
  • maps or a photo of the map are used with a mobile device by georeferencing the photo.
  • the location of the mobile device can be displayed live on the photo of the map.
  • georeferenced points are determined on the photo of the map image. This determination can be made, for example, using a GPS receiver in the terminal and manual interaction with the recorded map or using an automatic process for image registration of the photographed map image with an already georeferenced map. In one embodiment, the georeferencing of another map is transferred to the photo.
  • Some embodiments solve a difficult image registration problem, since the photo of the map image usually contains completely different content and different map styles than the reference maps.
  • modern learning-based methods are used that enable robust correspondence finding and thus implement this application on mobile devices.
  • embodiments include online use of photographed maps with mobile devices.
  • Fig. 1 shows a device for georeferencing according to a
  • Fig. 2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map.
  • Fig. 3 shows an example of found correspondences of a camera image with a reference map.
  • Fig. 4 shows an example of the automatic registration of the map image with a reference map.
  • Fig. 5 shows examples of automatic georeferencing (left) of a
  • Fig. 6 shows another example of found correspondences of a
  • Fig. 7 shows another example of found correspondences of a camera image with a reference map.
  • Fig. 8 shows another example of automatic georeferencing of a photographed map image with a reference map.
  • Fig. 1 shows a device for georeferencing according to an embodiment.
  • the device includes a map image providing unit 110 for providing a map image captured by a camera.
  • the device comprises a correspondence determination unit 120 for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence.
  • the correspondence determination unit 120 is designed to determine a position of the device in the recorded map depending on a localization of a position of the device in the reference map. And/or, wherein the correspondence determination unit 120 is designed to determine a position of the other device in the recorded map depending on a localization of a position of another device in the reference map.
  • the device can have a localization unit, for example, which can be designed to determine a position of the device in the reference map.
  • the correspondence determination unit 120 can be designed to determine the position of the device in the recorded map, for example, depending on the localization of the position of the device in the reference map.
  • the localization unit can be designed, for example, to determine the position of the device in the reference map by means of GPS.
  • the localization unit can be designed, for example, to determine the position of the device in the reference map by means of text recognition of one or more place names and/or one or more street names on the recorded map.
  • the localization unit can be designed, for example, to determine map material containing the one or more place names and/or the one or more street names depending on the one or more place names and/or one or more street names recognized by means of text recognition.
  • the device may be, for example, a mobile device.
  • the mobile device may, for example, have an Internet connection that is configured to receive the reference card.
  • the mobile device may be, for example, a cellular device.
  • the map image providing unit 110 may, for example, comprise the camera, which may, for example, be configured to photograph or otherwise record a map to obtain the recorded map image.
  • the correspondence determination unit 120 for determining the one or more correspondences between the captured map image and the reference map may be configured, for example, to use a learning-based method that has been trained on map images.
  • the correspondence determination unit 120 can be designed, for example, to subdivide the recorded map image into a plurality of regions of the recorded map image.
  • the correspondence determination unit 120 can be designed, for example, to carry out the one or more correspondences depending on the subdivision into the plurality of regions.
  • the correspondence determination unit 120 may, for example, be configured to determine, depending on the one or more correspondences, a transformation that maps the reference map or one or more regions of the reference map to the recorded map image or to one or more regions of the recorded map image.
  • the correspondence determination unit 120 can, for example, be designed to determine a plurality of correspondences between the recorded map image and one of two or more reference maps that comprise said reference map for determination as the one or more correspondences by assigning a point of one of the two or more reference maps to a point of the recorded map image for determining a correspondence of the plurality of correspondences, and/or by assigning an area of one of the two or more reference maps to an area of the recorded map image for determining the correspondence, wherein the plurality of correspondences comprise at least two correspondences that relate to at least two different ones of the two or more reference maps.
  • the correspondence determination unit 120 may, for example, be configured to determine a plurality of correspondences.
  • the correspondence determination unit 120 can, for example, be designed to determine the plurality of correspondences such that a first correspondence of the plurality of correspondences is determined by assigning a point of the reference map to a point of the recorded map image or by assigning an area of the reference map to an area of the recorded map image, and that a further correspondence of the plurality of correspondences is determined by assigning a point of a further reference map to a further point of the recorded map image or by assigning an area of the further reference map to a further area of the recorded map image.
  • the correspondence determination unit 120 can be designed, for example, to determine a plurality of correspondences whose number corresponds to at least one threshold value.
  • the correspondence determination unit 120 can be designed, for example, if the reference map is not sufficient to determine the number of correspondences specified by the threshold value, to use another reference map to determine one or more additional correspondences by determining an additional correspondence of the one or more additional correspondences, by assigning a point of the other reference map to a point of the recorded map image, or by assigning an area of the other reference map to an area of the recorded map image.
  • the correspondence determination unit 120 may, for example, be configured to determine an order in which a plurality of reference cards are used to determine the plurality of correspondences depending on similarities that depend on the plurality of reference cards and the captured card.
  • the correspondence determination unit 120 may, for example, be configured to determine the order in which a plurality of reference maps are used to determine the plurality of correspondences depending on a similarity function of map styles, which was found on the basis of already registered maps and a number of found, correct correspondences by means of a metric learning approach.
  • the plurality of reference cards may comprise, for example, at least one of the following types of cards:
  • Maps which were obtained based on a conditional GAN network from already registered reference and query maps.
  • the device may, for example, comprise a user interface, wherein, when the device is in a manual mode, the User interface can, for example, enable user input by which a user can specify a location of the device in the captured map image.
  • the device can be designed, for example, to determine its current location by means of GPS and to display it to a user.
  • the user interface may enable user input at various locations where the device is located, e.g., by which a user may specify a location of the device at the various locations in the captured map image.
  • Embodiments are based on a robust and sufficient determination of 2D/2D correspondences in order to achieve a transformation of a pixel coordinate system into a geocoordinate system.
  • an algorithm for automatically georeferencing a photo of a map image may, for example, comprise a multi-stage process that may, for example, be implemented using two separate procedures.
  • the procedures are mutually optional, using an automatic procedure and using a manual fallback mode:
  • only one of the two processes is implemented, either the automatic process or the manual process.
  • An (automatic) process without manual interaction can be realized, for example, as follows: First, an initial rough localization is established. This can be done, for example, using a GPS position of the mobile device; and/or text recognition of place names on the map shown is carried out and a search is carried out for corresponding map material for automatic image registration. For example, the map material found can be used as the reference map.
  • maps of the area are used or generated as reference maps for image registration (see Fig. 2 to Fig. 5).
  • the maps can be used, for example, using a cascading approach. If a map does not find enough correspondences (the determination can be made, for example, using a statistically determined threshold value), an alternative map is used for registration.
  • the order of the maps can, for example, result from a similarity function of map styles, which was found using a metric learning approach based on maps already registered and the number of correct correspondences found.
  • the possible reference maps that can be selected here can include, for example, maps with elevation profiles, as well as already georeferenced hiking and road maps and/or maps that were obtained on the basis of a conditional GAN (Generative Adversarial Networks) from already registered reference and query maps.
  • GAN Geneative Adversarial Networks
  • correspondences are determined between the geo-registered reference maps and the recorded map image.
  • the correspondences can be determined, for example, using a learning-based method that was trained on corresponding map images.
  • the images can be divided into cells, for example, in order to limit the storage requirements on mobile devices (see Fig. 3, Fig. 6 and Fig. 7).
  • a 2D transformation is determined based on the 2D/2D correspondences found in 3.2c.
  • This transformation can, for example, have 4 degrees of freedom, e.g. translation (x,y), rotation and scaling, in the case of perspective rectification. Homography in the absence of perspective rectification can be realized, for example.
  • a parametric transformation field can be realized, for example, if geometric distortions are to be compensated.
  • a robust inlier method e.g. RANSAC
  • the geometrically consistent correspondences can be selected and accumulated (see Fig. 4), which enables both a robust registration of strongly different map styles as well as high-dimensional transformation definitions (e.g. transformation fields) are possible (see Fig. 4 and Fig. 8).
  • a process with manual interaction (e.g. as a fallback mode - if automatic georeferencing via image registration cannot be performed) can be implemented as follows:
  • the captured image of the map is perspectively corrected (parallel lines run parallel in the image; e.g. achievable by detecting the edges of the image
  • Position 1 is determined with a built-in GPS receiver and
  • the user In the captured image of the map, the user annotates the current location of position 1 .
  • This localization and annotation of one or more positions takes place at at least one or optionally one or more additional positions (i.e. the determination of the position with the built-in GPS receiver and the annotation of the current location by the user). From this, for example, a compensating transformation (for example using least squares optimization) can be calculated, on the basis of which the geo-registration can take place.
  • a compensating transformation for example using least squares optimization
  • Embodiments provide robust 2D/2D correspondence finding of widely differing map styles for determining georeferencing across reference maps.
  • a learning-based method can be trained on a large number of corresponding map images.
  • the training data is available in large quantities thanks to the large number of map providers and can be used on a global scale without great effort to train a highly robust matcher for this application.
  • the maps offered are usually georeferenced, supervised learning can be used in one embodiment.
  • so-called dense correspondence networks e.g. based on a vision transformer in combination with a cost volume
  • feature-based Methods including learning-based methods, e.g. sparse feature matching.
  • the method can work on a dense cost volume, for example, which is traversed recursively and analyzed for geometric consistency.
  • the geometric consistency can be analyzed in an aggregation phase, for example, and recursively cumulated, enriched and evaluated with consistency values.
  • Fig. 2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map.
  • the reference map shows strong differences in appearance, which must be compensated by means of the robust registration process.
  • Fig. 3 shows an example of correspondences found between a camera image and a reference map.
  • Fig. 3 shows all correspondences found without geometric filtering. The robustness of the learned method is clearly superior to conventional methods. In this example, no geometric filtering of the correspondences was carried out.
  • Fig. 4 shows an example of the automatic registration of the map image with a reference map.
  • the figure shows overlays of the recorded map with an already georeferenced map of the same area (left with edge overlay, right with alternating checkerboard overlay).
  • Fig. 5 shows examples of automatic georeferencing (left) of a camera image of a map and the map section (right). In order to be able to use the photographed map (left) and the map section (right) with a navigation application on a mobile device, this image is georeferenced.
  • Fig. 6 shows an example of found correspondences of a camera image with a reference map.
  • Fig. 6 shows all found correspondences without geometric filtering.
  • Fig. 7 shows an example of correspondences found between a camera image and a reference map.
  • Fig. 7 shows all correspondences found after geometric filtering.
  • Fig. 8 shows an example of automatic georeferencing of a photographed map image with a reference map.
  • the figure shows an overlay of the recorded map with an already georeferenced map of the same area.
  • the robust correspondence finding allows very different card styles to be registered with each other. This enables the application to function automatically and robustly on mobile devices.
  • imaging errors e.g. strongly differing map contents (additional symbols and deviating temporal contents in the maps) and geometric deformations (e.g. waves in books, etc.) can be compensated.
  • Some embodiments implement an automatic or manual procedure based on control points.
  • Embodiments can be used, for example, in the context of mobile devices.
  • a mobile solution is provided to be able to use maps or photos of maps directly with a mobile device.
  • Some embodiments can be implemented as an app.
  • such an app can be integrated into another app, e.g. in the area of navigation for pedestrians/hiking.
  • images taken can, for example, be stored and used for one or more various applications and services.
  • aspects have been described in connection with a device, it is to be understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device can also be referred to as a corresponding method step or as a feature of a method step. Analogously, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • Some or all of the method steps may be performed by a hardware apparatus (or using a hardware apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the key method steps may be performed by such an apparatus.
  • embodiments of the invention may be implemented in hardware or in software, or at least partially in hardware or at least partially in software.
  • the implementation may be carried out using a digital storage medium, for example a floppy disk, a DVD, a BluRay disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard disk or another magnetic or optical storage device on which electronically readable control signals are stored that can interact or do interact with a programmable computer system in such a way that the respective method is carried out. Therefore, the digital storage medium may be computer readable.
  • Some embodiments according to the invention thus comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is carried out.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product is run on a computer.
  • the program code can, for example, also be stored on a machine-readable medium.
  • Embodiment of the method according to the invention thus a computer program which has a program code for carrying out one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the methods according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded.
  • the data carrier or the digital storage medium or the computer-readable medium is typically tangible and/or non-transitory.
  • a further embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents the computer program for carrying out one of the methods described herein.
  • the data stream or the sequence of signals can be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • a further embodiment comprises a processing device, for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a processing device for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a further embodiment comprises a computer on which the computer program for carrying out one of the methods described herein is installed.
  • a further embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient.
  • the transmission can be carried out electronically or optically, for example.
  • the recipient can be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or system can, for example, comprise a file server for transmitting the computer program to the recipient.
  • a programmable logic device e.g., a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the described methods.
  • the methods in some embodiments are carried out by any hardware device. This can be a universally applicable hardware such as a computer processor (CPU) or hardware specific to the method, such as an ASIC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to a device for georeferencing according to one embodiment. The device comprises a map image provision unit (110) for providing a map image captured by a camera. The device also comprises a match determining unit (120) for determining one or more matches between the captured map image and a reference map, in which, in order to determine a match among the one or more matches, a point on the captured map image is assigned a point on the reference map, and/or, in order to determine the match, a region of the captured map image is assigned a region of the reference map.

Description

Vorrichtung und Verfahren zur Online-Georeferenzierung von Kameraaufnahmen von Kartenmaterial mit mobilen Endgeräten Device and method for online georeferencing of camera images of map material using mobile devices

Beschreibung Description

Die Anmeldung betrifft eine Vorrichtung und ein Verfahren zur Online-Georeferenzierung von Kameraaufnahmen von Kartenmaterial mit mobilen Endgeräten. The application relates to a device and a method for online georeferencing of camera recordings of map material using mobile devices.

Oftmals zeigen Karten auf Schautafeln oder ausgedruckte Karten zusätzliche Informationen, z.B. Wanderwege, spezifische Orte und Informationen, etc., welche für den Nutzer einen Mehrwert aufweisen. Wünschenswert wäre es, wenn derartige Karten auf einem mobilen Endgerät nutzbar wären. Often, maps on display boards or printed maps show additional information, e.g. hiking trails, specific locations and information, etc., which provide added value for the user. It would be desirable if such maps could be used on a mobile device.

Generell können auf mobilen Endgeräten meist nur bereits georeferenzierte Karten verwendet werden. Die offline Georeferenzierung von analogen Karten oder anderweitigen Kartenmaterial ist hierbei mit mehreren Verfahren möglich, welche meist auf der Bestimmung von Passpunkten und eine daraus abgeleitete Transformation erfolgen. In general, only maps that are already georeferenced can be used on mobile devices. Offline georeferencing of analogue maps or other map material is possible using several methods, which are usually based on the determination of control points and a transformation derived from them.

So gibt es viele Arten der Registrierung von 2D-Kartenabbildungen. Hierbei können sowohl merkmalsbasierte, z.B. SIFT (scale invariant feature transform; deutsch: skalierungsinvariante Merkmalstransformation) , SURF (speeded up robust features; deutsch: beschleunigte, robuste Merkmale) als auch intensitätsbasierte Verfahren zum Einsatz kommen. Diese Verfahren haben aber jedoch den Nachteil der fehlenden Robustheit (merkmalsbasierte Verfahren) als auch einen geringen Konvergenzradius und das Bestehen von lokalen Minima (intensitätsbasierte Verfahren wie beispielsweise Mutual-Information) There are many ways of registering 2D map images. Both feature-based methods, e.g. SIFT (scale invariant feature transform), SURF (speeded up robust features) and intensity-based methods can be used. However, these methods have the disadvantage of a lack of robustness (feature-based methods) as well as a small convergence radius and the existence of local minima (intensity-based methods such as mutual information).

Eine weitere Möglichkeit besteht in der Nutzung von Weginformationen als Quelle der Korrespondenz. Hierbei könnten mit Hilfe eines graphbasierten Ansatzes direkt die Wege aufeinander abgebildet werden. Dies setzt jedoch die robuste Extraktion des Weges auf der abfotografierten Karte voraus, was wiederum ein sehr schwieriges Bildverarbeitungsproblem darstellt. Another possibility is to use path information as a source of correspondence. Using a graph-based approach, the paths could be mapped directly onto one another. However, this requires the robust extraction of the path on the photographed map, which in turn represents a very difficult image processing problem.

Im Kontext der Georeferenzierung von Kartenmaterial ist unterschiedlicher Stand der Technik bekannt. WO 2001/073690 A2 und US 7167187 B2 zeigen ein System und ein Verfahren zum Georeferenzieren digitaler Rasterkarten, indem spezifische Punkte auf der Rasterkarte entsprechenden Punkten auf einer georeferenzierten Vektorkarte oder einer anderen georeferenzierten Rasterkarte zugeordnet werden. Beispielsweise werden einem Benutzer gleichzeitig eine Rasterkarte und eine entsprechende Vektorkarte angezeigt. Der Benutzer lokalisiert dann einen gemeinsamen geografischen Punkt oder ein Merkmal auf jeder Karte und markiert jeden von ihnen als ein einzigartiges Punktpaar. Wenn der Benutzer mindestens zwei Punktpaare markiert hat, berechnet das System dann eine Georeferenzierungsfunktion, basierend auf den Pixelkoordinaten der auf der Rasterkarte markierten Punkte und den entsprechenden geographischen Koordinaten der Punkte auf der Vektorkarte. Danach können die geographischen Koordinaten jedes Punktes auf der Karte leicht berechnet werden. In einem Beispiel ist vorgesehen, dass, wenn mehr Punktpaare identifiziert werden, die Georeferenzierungsfunktion für eine erhöhte Genauigkeit modifiziert wird. In the context of georeferencing of map material, different levels of technology are known. WO 2001/073690 A2 and US 7167187 B2 show a system and method for georeferencing digital raster maps by mapping specific points on the raster map to corresponding points on a georeferenced vector map or another georeferenced raster map. For example, a user is shown a raster map and a corresponding vector map simultaneously. The user then locates a common geographic point or feature on each map and marks each of them as a unique point pair. When the user has marked at least two point pairs, the system then calculates a georeferencing function based on the pixel coordinates of the points marked on the raster map and the corresponding geographic coordinates of the points on the vector map. Thereafter, the geographic coordinates of each point on the map can be easily calculated. In one example, it is provided that as more point pairs are identified, the georeferencing function is modified for increased accuracy.

US 7038681 B2 und US 2005/0073532 A1 zeigen, dass, nachdem Hochwasserkarten in Papierform in ein Computersystem eingescannt wurden, sie jeweils Seite an Seite mit dem relevanten Teil einer gespeicherten Vektorkarte angezeigt werden, die das geografische Gebiet abdeckt, das von allen Karten abgedeckt wird. Während der Anzeige werden entsprechende Punkte oder Punktpaare auf jeder Karte durch eine Tastatur oder eine Maus markiert. Die entsprechenden Punkte können z.B. Straßen, Flussbetten, Eisenbahnschienen, Kreuzungen, Gebäude, Berggipfel usw. sein, die auf jeder angezeigten Karte identifizierbar sind. Wenn zwei Punktpaare markiert werden, berechnet ein gespeicherter Algorithmus Georeferenzierungsfunktionen, die eine Übersetzung der x- und y-Koordinaten der Rasterkarte in die Breiten- und Längen-Koordinaten der Vektorkarte und umgekehrt ermöglichen. Wenn mehr Punktpaare markiert werden, werden die Georeferenzierungsfunktionen verfeinert. Ein anderer Algorithmus entfernt scheinbar schlechte Punkte aus den Georeferenzierungsberechnungen, die Punkte können später wieder verwendet werden, wenn es scheint, dass sie nicht schlecht sind. US 7038681 B2 and US 2005/0073532 A1 show that after paper flood maps are scanned into a computer system, they are each displayed side by side with the relevant part of a stored vector map covering the geographical area covered by all maps. During display, corresponding points or pairs of points on each map are marked by a keyboard or a mouse. The corresponding points may be, for example, roads, riverbeds, railway tracks, intersections, buildings, mountain peaks, etc., which are identifiable on each map displayed. When two pairs of points are marked, a stored algorithm calculates georeferencing functions that enable translation of the x and y coordinates of the raster map into the latitude and longitude coordinates of the vector map and vice versa. As more pairs of points are marked, the georeferencing functions are refined. Another algorithm removes apparently bad points from the georeferencing calculations, the points can be reused later if they appear to be not bad.

US 2006/0041375 A1 zeigt ein System und Verfahren zum automatischen Georeferenzieren digitalisierter Bilder, die Bildmarkierungspunkte aus unterschiedlichen Quellen wählen und analysieren. Eine zusammengesetzte Ausrichtung von Rasterbildern und geografischen Zielvektoren wird automatisch unter Verwendung von Metadatenquellen zur Verwendung in geografischen Anzeige- und Bearbeitungsumgebungen generiert. Eine kartographische Ausrichtung von Rasterbildern an geographischen Vektordatensätzen wird durchgeführt, um Bilddaten mit geographischen Vektordatensätzen zusammen zu positionieren. Eine sinnvolle Überlagerung der Datensätze und einen verbesserten Vergleich von Vektordaten mit den Bildern basierend auf den physikalischen Beziehungen zwischen den Vektordaten und den zugrunde liegenden Bildmerkmalen wird ermöglicht. Durch die Integration von Metadaten zu Orientierungspunkten können Benutzer Zielvektoren abfragen, um Attribute der zugehörigen Orientierungspunkte anzuzeigen, und eine hochgenaue Flurstückkarte erstellen, um Bildinformationen in Gebieten zu validieren, in denen die Daten unter nicht optimalen Bedingungen erfasst wurden. US 2006/0041375 A1 shows a system and method for automatically georeferencing digitized images that select and analyze image landmarks from different sources. A composite alignment of raster images and geographic target vectors is automatically generated using metadata sources for use in geographic display and editing environments. A cartographic alignment of raster images to geographic vector data sets is performed to position image data together with geographic vector data sets. A meaningful Overlay of the datasets and improved comparison of vector data with the imagery based on the physical relationships between the vector data and the underlying image features is enabled. By integrating landmark metadata, users can query target vectors to view attributes of the associated landmarks and create a highly accurate parcel map to validate imagery information in areas where the data was collected under less than optimal conditions.

Wünschenswert wäre es, wenn verbesserte Konzepte bereitgestellt würden, die eine Verwendung von gedruckten Karten auf mobilen Endgeräten ermöglichen würden. It would be desirable if improved concepts were provided that would enable the use of printed maps on mobile devices.

Eine Vorrichtung nach Anspruch 1 , ein Verfahren nach Anspruch 24 und ein Computerprogramm nach Anspruch 25 werden bereitgestellt. An apparatus according to claim 1, a method according to claim 24 and a computer program according to claim 25 are provided.

Eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform wird bereitgestellt. Die Vorrichtung umfasst eine Kartenabbildungs-Bereitstellungseinheit zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung. Des Weiteren umfasst die Vorrichtung eine Korrespondenz-Bestimmungseinheit zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird. A device for georeferencing according to an embodiment is provided. The device comprises a map image provision unit for providing a map image recorded by a camera. Furthermore, the device comprises a correspondence determination unit for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the recorded map image to a point of the reference map to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence.

Ferner wird ein Verfahren zur Georeferenzierung gemäß einer Ausführungsform bereitgestellt. Das Verfahren umfasst: Furthermore, a method for georeferencing according to an embodiment is provided. The method comprises:

Bereitstellen einer von einer Kamera aufgenommenen Kartenabbildung. Providing a map image captured by a camera.

Bestimmen von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird. Des Weiteren wird ein Computerprogramm mit einem Programmcode zur Durchführung des oben beschriebenen Verfahrens gemäß einer Ausführungsform bereitgestellt. Determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence. Furthermore, a computer program with a program code for carrying out the method described above according to one embodiment is provided.

Gemäß einer Ausführungsform werden Karten bzw. ein Foto der Karte mit einem mobilen Endgerät genutzt, indem eine Georeferenzierung des Fotos stattfindet. So kann in einer Ausführungsform beispielsweise der Standort des mobilen Endgeräts live auf dem Foto der Karte angezeigt werden. According to one embodiment, maps or a photo of the map are used with a mobile device by georeferencing the photo. In one embodiment, for example, the location of the mobile device can be displayed live on the photo of the map.

Gemäß einer Ausführungsform werden beispielsweise, um diese Georeferenzierung zu erreichen, auf dem Foto der Kartenabbildung georeferenzierte Punkte bestimmt. Diese Bestimmung kann z.B. sowohl mit Hilfe eines GPS-Empfängers im Endgerät und manueller Interaktion mit der aufgenommenen Karte oder mit Hilfe eines automatischen Verfahrens zur Bildregistrierung der abfotografierten Kartenabbildung mit einer bereits georeferenzierten Karte erfolgen. Hierbei wird in einer Ausführungsform die Georeferenzierung einer anderen Karte auf das Foto übertragen. According to one embodiment, for example, in order to achieve this georeferencing, georeferenced points are determined on the photo of the map image. This determination can be made, for example, using a GPS receiver in the terminal and manual interaction with the recorded map or using an automatic process for image registration of the photographed map image with an already georeferenced map. In one embodiment, the georeferencing of another map is transferred to the photo.

Manche Ausführungsformen lösen ein schwieriges Bildregistrierungsproblem, da auf dem Foto der Kartenabbildung in der Regel ganz andere Inhalte und andere Kartenstile als bei den Referenzkarten vorherrschend sind. In einer Ausführungsform werden moderne lernbasierte Verfahren eingesetzt, die eine robuste Korrespondenzfindung ermöglichen und somit diese Anwendung auf mobilen Endgeräten realisieren. Some embodiments solve a difficult image registration problem, since the photo of the map image usually contains completely different content and different map styles than the reference maps. In one embodiment, modern learning-based methods are used that enable robust correspondence finding and thus implement this application on mobile devices.

In Ausführungsformen erfolgt z.B. insbesondere eine Online-Nutzung von abfotografierten Karten mit mobilen Endgeräten. In particular, embodiments include online use of photographed maps with mobile devices.

Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Preferred embodiments of the invention are described below with reference to the drawings.

In den Zeichnungen ist dargestellt: The drawings show:

Fig. 1 zeigt eine Vorrichtung zur Georeferenzierung gemäß einerFig. 1 shows a device for georeferencing according to a

Ausführungsform. embodiment.

Fig. 2 zeigt ein Beispiel für eine aufgenommene Wanderkarte mit eingezeichnetem Weginformationen (links) und einer bereits georeferenzierten Karte (rechts) des relevanten Gebiets welches als Referenzkarte herangezogen wird. Fig. 3 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. Fig. 2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map. Fig. 3 shows an example of found correspondences of a camera image with a reference map.

Fig. 4 zeigt ein Beispiel für die automatische Registrierung des Kartenbildes mit einer Referenz-Karte. Fig. 4 shows an example of the automatic registration of the map image with a reference map.

Fig. 5 zeigt Beispiele für eine automatische Georeferenzierung (links) einesFig. 5 shows examples of automatic georeferencing (left) of a

Kamerabildes einer Karte und den Kartenausschnitt (rechts). Camera image of a map and the map section (right).

Fig. 6 zeigt ein weiteres Beispiel für gefundene Korrespondenzen einesFig. 6 shows another example of found correspondences of a

Kamerabildes mit einer Referenzkarte. camera image with a reference card.

Fig. 7 zeigt noch ein weiteres Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. Fig. 7 shows another example of found correspondences of a camera image with a reference map.

Fig. 8 zeigt ein weiteres Beispiel für eine automatische Georeferenzierung eines abfotografierten Kartenbildes mit einer Referenz-Karte. Fig. 8 shows another example of automatic georeferencing of a photographed map image with a reference map.

Fig. 1 zeigt eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform. Fig. 1 shows a device for georeferencing according to an embodiment.

Die Vorrichtung umfasst eine Kartenabbildungs-Bereitstellungseinheit 110 zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung. The device includes a map image providing unit 110 for providing a map image captured by a camera.

Des Weiteren umfasst die Vorrichtung eine Korrespondenz-Bestimmungseinheit 120 zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird. Furthermore, the device comprises a correspondence determination unit 120 for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 ausgebildet ist, abhängig von einer Lokalisierung einer Position der Vorrichtung in der Referenzkarte eine Position der Vorrichtung in der aufgenommenen Karte zu bestimmen. Und/oder, wobei die Korrespondenz-Bestimmungseinheit 120 ausgebildet ist, abhängig von einer Lokalisierung einer Position eines anderen Geräts in der Referenzkarte eine Position des anderen Geräts in der aufgenommenen Karte zu bestimmen. In einer Ausführungsform kann die Vorrichtung z.B. eine Lokalisierungseinheit aufweisen, die z.B. ausgebildet sein kann, eine Position der Vorrichtung in der Referenzkarte zu bestimmen. Dabei kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, abhängig von der Lokalisierung der Position der Vorrichtung in der Referenzkarte die Position der Vorrichtung in der aufgenommenen Karte zu bestimmen. According to one embodiment, the correspondence determination unit 120 is designed to determine a position of the device in the recorded map depending on a localization of a position of the device in the reference map. And/or, wherein the correspondence determination unit 120 is designed to determine a position of the other device in the recorded map depending on a localization of a position of another device in the reference map. In one embodiment, the device can have a localization unit, for example, which can be designed to determine a position of the device in the reference map. The correspondence determination unit 120 can be designed to determine the position of the device in the recorded map, for example, depending on the localization of the position of the device in the reference map.

Gemäß einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, die Position der Vorrichtung in der Referenzkarte mittels GPS zu bestimmen. According to one embodiment, the localization unit can be designed, for example, to determine the position of the device in the reference map by means of GPS.

In einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, die Position der Vorrichtung in der Referenzkarte mittels Texterkennung von ein oder mehrere Ortsnamen und/oder ein oder mehrere Straßennahmen auf der aufgenommenen Karte zu bestimmen. In one embodiment, the localization unit can be designed, for example, to determine the position of the device in the reference map by means of text recognition of one or more place names and/or one or more street names on the recorded map.

Gemäß einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, abhängig von den mittels Texterkennung erkannten ein oder mehreren Ortsnamen und/oder ein oder mehreren Straßennamen Karten material zu bestimmen, das die ein oder mehreren Ortsnamen und/oder die ein oder mehreren Straßennamen enthält. According to one embodiment, the localization unit can be designed, for example, to determine map material containing the one or more place names and/or the one or more street names depending on the one or more place names and/or one or more street names recognized by means of text recognition.

In einer Ausführungsform kann es sich bei der Vorrichtung z.B. um ein mobiles Gerät handeln. In one embodiment, the device may be, for example, a mobile device.

Gemäß einer Ausführungsform kann das mobile Gerät z.B. einen Internet-Anschluss aufweisen, der ausgebildet ist, die Referenzkarte zu empfangen. According to one embodiment, the mobile device may, for example, have an Internet connection that is configured to receive the reference card.

In einer Ausführungsform kann es sich bei dem mobilen Gerät z.B. um ein Mobilfunkgerät handeln. In one embodiment, the mobile device may be, for example, a cellular device.

Gemäß einer Ausführungsform kann die Kartenabbildungs-Bereitstellungseinheit 110 z.B. die Kamera umfassen, die z.B. ausgebildet sein kann, eine Karte zu fotografieren oder anderweitig aufzunehmen, um die um aufgenommene Kartenabbildung zu erhalten. According to one embodiment, the map image providing unit 110 may, for example, comprise the camera, which may, for example, be configured to photograph or otherwise record a map to obtain the recorded map image.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 zur Bestimmung der ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und der Referenzkarte z.B. ausgebildet sein, ein lernbasiertes Verfahren einzusetzen, welches auf Kartenabbildungen trainiert wurde. Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, für die aufgenommene Kartenabbildung eine Unterteilung in eine Mehrzahl von Bereichen der aufgenommenen Kartenabbildung vorzunehmen. Dabei kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die ein oder mehreren Korrespondenzen abhängig von der Unterteilung in die Mehrzahl von Bereichen vorzunehmen. In one embodiment, the correspondence determination unit 120 for determining the one or more correspondences between the captured map image and the reference map may be configured, for example, to use a learning-based method that has been trained on map images. According to one embodiment, the correspondence determination unit 120 can be designed, for example, to subdivide the recorded map image into a plurality of regions of the recorded map image. In this case, the correspondence determination unit 120 can be designed, for example, to carry out the one or more correspondences depending on the subdivision into the plurality of regions.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, abhängig von den ein oder mehreren Korrespondenzen eine Transformation zu bestimmen, die die Referenzkarte oder ein oder mehrere Bereiche der Referenzkarte auf die aufgenommene Kartenabbildung oder auf ein oder mehrere Bereiche der aufgenommenen Kartenabbildung abbildet. In one embodiment, the correspondence determination unit 120 may, for example, be configured to determine, depending on the one or more correspondences, a transformation that maps the reference map or one or more regions of the reference map to the recorded map image or to one or more regions of the recorded map image.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, zur Bestimmung als die ein oder mehreren Korrespondenzen eine Mehrzahl von Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer von zwei oder mehr Referenzkarten zu bestimmen, die die besagte Referenzkarte umfassen, indem zur Bestimmung einer Korrespondenz der Mehrzahl von Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt einer der zwei oder mehr Referenzkarten zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich einer der zwei oder mehr Referenzkarten zugeordnet wird, wobei die Mehrzahl von Korrespondenzen wenigstens zwei Korrespondenzen umfassen, die sich auf wenigstens zwei verschiedene der zwei oder mehr Referenzkarten beziehen. According to one embodiment, the correspondence determination unit 120 can, for example, be designed to determine a plurality of correspondences between the recorded map image and one of two or more reference maps that comprise said reference map for determination as the one or more correspondences by assigning a point of one of the two or more reference maps to a point of the recorded map image for determining a correspondence of the plurality of correspondences, and/or by assigning an area of one of the two or more reference maps to an area of the recorded map image for determining the correspondence, wherein the plurality of correspondences comprise at least two correspondences that relate to at least two different ones of the two or more reference maps.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Mehrzahl von Korrespondenzen zu bestimmen. In one embodiment, the correspondence determination unit 120 may, for example, be configured to determine a plurality of correspondences.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die Mehrzahl von Korrespondenzen derart zu bestimmen, dass eine erste Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugewiesen wird, und dass eine weitere Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem weiteren Punkt der aufgenommenen Kartenabbildung ein Punkt einer weiteren Referenzkarte zugewiesen wird oder indem einem weiteren Bereich der aufgenommenen Kartenabbildung ein Bereich der weiteren Referenzkarte zugewiesen wird. In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Mehrzahl von Korrespondenzen zu bestimmen deren Anzahl mindestens einem Schwellwert entspricht. Dabei kann die Korrespondenz- Bestimmungseinheit 120 z.B. ausgebildet sein, wenn die Referenzkarte nicht ausreicht, um die Anzahl der Korrespondenzen zu bestimmen, die durch den Schwellwert vorgegeben sind, eine andere Referenzkarte zur Bestimmung von ein oder mehreren zusätzlichen Korrespondenzen zu verwenden, indem eine zusätzliche Korrespondenz der ein oder mehreren zusätzlichen Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der anderen Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der anderen Referenzkarte zugewiesen wird. According to one embodiment, the correspondence determination unit 120 can, for example, be designed to determine the plurality of correspondences such that a first correspondence of the plurality of correspondences is determined by assigning a point of the reference map to a point of the recorded map image or by assigning an area of the reference map to an area of the recorded map image, and that a further correspondence of the plurality of correspondences is determined by assigning a point of a further reference map to a further point of the recorded map image or by assigning an area of the further reference map to a further area of the recorded map image. In one embodiment, the correspondence determination unit 120 can be designed, for example, to determine a plurality of correspondences whose number corresponds to at least one threshold value. In this case, the correspondence determination unit 120 can be designed, for example, if the reference map is not sufficient to determine the number of correspondences specified by the threshold value, to use another reference map to determine one or more additional correspondences by determining an additional correspondence of the one or more additional correspondences, by assigning a point of the other reference map to a point of the recorded map image, or by assigning an area of the other reference map to an area of the recorded map image.

Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von Ähnlichkeiten zu bestimmen, die von der Mehrzahl der Referenzkarten und der aufgenommenen Karte abhängen. According to an embodiment, the correspondence determination unit 120 may, for example, be configured to determine an order in which a plurality of reference cards are used to determine the plurality of correspondences depending on similarities that depend on the plurality of reference cards and the captured card.

In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von einer Ähnlichkeitsfunktion von Kartenstilen zu bestimmen, welche auf Basis von bereits registrierten Karten und einer Anzahl von gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde. In one embodiment, the correspondence determination unit 120 may, for example, be configured to determine the order in which a plurality of reference maps are used to determine the plurality of correspondences depending on a similarity function of map styles, which was found on the basis of already registered maps and a number of found, correct correspondences by means of a metric learning approach.

Gemäß einer Ausführungsform kann die Mehrzahl von Referenzkarten z.B. zumindest eine der folgenden Arten von Karten umfassen: According to one embodiment, the plurality of reference cards may comprise, for example, at least one of the following types of cards:

Karten mit Höhenprofilen, Maps with elevation profiles,

- bereits georeferenzierte Wander- oder Straßenkarten, - already georeferenced hiking or road maps,

Karten welche auf Basis eines konditionellen GAN-Netzwerks aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden. Maps which were obtained based on a conditional GAN network from already registered reference and query maps.

In einer Ausführungsform kann die Vorrichtung z.B. eine Nutzerschnittstelle aufweisen, wobei, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle z.B. eine Nutzereingabe ermöglichen kann, durch die ein Nutzer einen Standort der Vorrichtung in der aufgenommenen Kartenabbildung angeben kann. In one embodiment, the device may, for example, comprise a user interface, wherein, when the device is in a manual mode, the User interface can, for example, enable user input by which a user can specify a location of the device in the captured map image.

Gemäß einer Ausführungsform kann die Vorrichtung z.B. ausgebildet sein, ihren aktuellen Standort mittels GPS zu bestimmen und einem Nutzer anzuzeigen. According to one embodiment, the device can be designed, for example, to determine its current location by means of GPS and to display it to a user.

In einer Ausführungsform kann, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle an verschiedenen Positionen, an denen sich die Vorrichtung befindet, z.B. eine Nutzereingabe ermöglichten durch die ein Nutzer einen Standort der Vorrichtung an den verschiedenen Positionen in der aufgenommenen Kartenabbildung angeben kann. In one embodiment, when the device is in a manual mode, the user interface may enable user input at various locations where the device is located, e.g., by which a user may specify a location of the device at the various locations in the captured map image.

Nachfolgend werden spezielle Ausführungsformen der Erfindung beschrieben. Specific embodiments of the invention are described below.

Ausführungsformen basieren auf einer robusten und ausreichenden Bestimmung von 2D/2D Korrespondenzen, um damit eine Transformation eines Pixelkoordinatensystems in ein Geokoordinatensystem zu erreichen. Embodiments are based on a robust and sufficient determination of 2D/2D correspondences in order to achieve a transformation of a pixel coordinate system into a geocoordinate system.

Gemäß Ausführungsformen kann ein Algorithmus für eine automatische Georeferenzierung eines Fotos einer Kartenabbildung (z.B. Wanderkarte auf einer Tafel) z.B. einen mehrstufigen Prozess umfassen, der z.B. mittels zwei separaten Abläufen realisiert werden kann. Die Abläufe sind hierbei wechselseitig optional, mittels eins automatischen Verfahren und mittels eines manuellen Rückfall-Modus: According to embodiments, an algorithm for automatically georeferencing a photo of a map image (e.g. hiking map on a board) may, for example, comprise a multi-stage process that may, for example, be implemented using two separate procedures. The procedures are mutually optional, using an automatic procedure and using a manual fallback mode:

In manchen Ausführungsformen ist nur einer der beiden Abläufe realisiert, entweder das automatische Verfahren oder das manuelle Verfahren. In some embodiments, only one of the two processes is implemented, either the automatic process or the manual process.

Andere Ausführungsformen stellen beide Verfahren bereit, also sowohl das automatische Verfahren und das manuelle Verfahren. In besonderen Ausführungsformen sind die Abläufe hierbei wechselseitig optional: Das automatischen Verfahren wird dabei bereitgestellt und zudem ein manueller Rückfall-Modus. Other embodiments provide both methods, i.e. both the automatic method and the manual method. In particular embodiments, the procedures are mutually optional: the automatic method is provided and also a manual fallback mode.

Nachfolgend wird zunächst das Verfahren für die automatische Georeferenzierung beschrieben: The procedure for automatic georeferencing is described below:

Ein (automatischer) Ablauf ohne manuelle Interaktion kann beispielsweise wie folgt realisiert werden: Zunächst erfolgt ein Herstellen einer initialen Groblokalisierung. Dies kann beispielsweise über eine GPS Position des mobilen Endgeräts erfolgen; und/oder es erfolgt eine Texterkennung von Ortsnamen auf der abgebildeten Karte und eine Suche nach entsprechendem Kartenmaterial zur automatischen Bildregistrierung. Beispielsweise kann das aufgefundene Kartenmaterial als die Referenzkarte verwendet werden. An (automatic) process without manual interaction can be realized, for example, as follows: First, an initial rough localization is established. This can be done, for example, using a GPS position of the mobile device; and/or text recognition of place names on the map shown is carried out and a search is carried out for corresponding map material for automatic image registration. For example, the map material found can be used as the reference map.

Basierend auf der initialen Groblokalisierung werden Karten vom Gebiet als Referenzkarte zur Bildregistrierung genutzt, bzw. erzeugt (siehe die Fig. 2 bis Fig. 5). Die Nutzung der Karten kann hierbei z.B. mittels eines kaskadierenden Ansatzes erfolgen. Falls mit einer Karte nicht ausreichend (die Bestimmung kann z.B. durch einen statistisch ermittelten Schwellwert erfolgen) viele Korrespondenzen gefunden werden - wird eine alternative Karte zur Registrierung herangezogen. Die Reihenfolge der Karten kann sich z.B. aus einer Ähnlichkeitsfunktion von Kartenstilen ergeben, welche auf Basis von bereits registrierten Karten und der Anzahl der der gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde. Die möglichen Referenzkarten, welche hierbei zur Auswahl kommen können, können dabei beispielsweise Karten mit Höhenprofilen, sowie bereits georeferenzierte Wander- und Straßenkarten und/oder Karten welche auf Basis eines konditionellen GANs (Generative Adversarial Networks; deutsch: erzeugende gegnerische Netzwerke) aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden, umfassen. Based on the initial rough localization, maps of the area are used or generated as reference maps for image registration (see Fig. 2 to Fig. 5). The maps can be used, for example, using a cascading approach. If a map does not find enough correspondences (the determination can be made, for example, using a statistically determined threshold value), an alternative map is used for registration. The order of the maps can, for example, result from a similarity function of map styles, which was found using a metric learning approach based on maps already registered and the number of correct correspondences found. The possible reference maps that can be selected here can include, for example, maps with elevation profiles, as well as already georeferenced hiking and road maps and/or maps that were obtained on the basis of a conditional GAN (Generative Adversarial Networks) from already registered reference and query maps.

Dann erfolgt eine Bestimmung von (z.B. 2D/2D) Korrespondenzen zwischen den georegistrierten Referenzkarten und der aufgenommenen Kartenabbildung. Die Bestimmung der Korrespondenzen kann z.B. mittels eines lernbasierten Verfahrens welches auf korrespondierenden Kartenabbildungen trainiert wurde, erfolgen. Die Bilder können hierbei z.B. in Zellen unterteilt werden, um den Speicherbedarf auf mobilen Endgeräten zu beschränken (siehe Fig. 3, Fig. 6 und Fig. 7). Then, (e.g. 2D/2D) correspondences are determined between the geo-registered reference maps and the recorded map image. The correspondences can be determined, for example, using a learning-based method that was trained on corresponding map images. The images can be divided into cells, for example, in order to limit the storage requirements on mobile devices (see Fig. 3, Fig. 6 and Fig. 7).

Schließlich erfolgt eine Bestimmung einer 2D-Transformation auf Basis der in 3.2c. gefundenen 2D/2D Korrespondenzen. Diese Transformation kann beispielsweise, z.B. im Fall einer perspektivischen Entzerrung, 4-Freiheitsgrade aufweisen, z.B. Translation (x,y), Rotation und Skalierung, im Fall einer perspektivischer Entzerrung. Homographie bei fehlender perspektivischer Entzerrung kann z.B. realisiert werden. Ein parametrisches Transformationsfeld kann z.B. realisiert sein, falls geometrische Verzeichnungen ausgeglichen werden sollen. Mit Hilfe eines robusten Inlierverfahrens (z.B. RANSAC) können hierbei z.B. die geometrisch konsistenten Korrespondenzen selektiert und akkumuliert werden (siehe Fig. 4) was sowohl eine robuste Registrierung von stark abweichenden Kartenstilen als auch hochdimensionale Transformationsbestimmungen (z.B. Transformationsfelder) ermöglicht (siehe Fig. 4 und Fig. 8). Finally, a 2D transformation is determined based on the 2D/2D correspondences found in 3.2c. This transformation can, for example, have 4 degrees of freedom, e.g. translation (x,y), rotation and scaling, in the case of perspective rectification. Homography in the absence of perspective rectification can be realized, for example. A parametric transformation field can be realized, for example, if geometric distortions are to be compensated. With the help of a robust inlier method (e.g. RANSAC), the geometrically consistent correspondences can be selected and accumulated (see Fig. 4), which enables both a robust registration of strongly different map styles as well as high-dimensional transformation definitions (e.g. transformation fields) are possible (see Fig. 4 and Fig. 8).

Nun wird das manuelle Verfahren zur Georeferenzierung beschrieben: Now the manual procedure for georeferencing is described:

Ein Ablauf mit manueller Interaktion (z.B. als Rückfall-Modus - falls keine automatische Georeferenzierung über eine Bildregistrierung erfolgen kann) kann beispielsweise wie folgt realisiert werden: A process with manual interaction (e.g. as a fallback mode - if automatic georeferencing via image registration cannot be performed) can be implemented as follows:

Das aufgenommene Bild der Karte wird perspektivisch entzerrt (parallele Linien verlaufen, z.B. parallel im Bild; beispielsweise erreichbar durch die Detektion der Ränder des Bildes The captured image of the map is perspectively corrected (parallel lines run parallel in the image; e.g. achievable by detecting the edges of the image

Position 1 wird mit einem eingebauten GPS Empfänger bestimmt und Position 1 is determined with a built-in GPS receiver and

In dem aufgenommenen Bild der Karte annotiert der Nutzer den aktuellen Standort von Position 1 . In the captured image of the map, the user annotates the current location of position 1 .

An mindestens einer oder optional ein oder mehreren weiteren Positionen findet diese Lokalisierung und Annotation von ein oder mehreren Positionen statt (also die Bestimmung der Position mit dem eingebauten GPS-Empfänger und das Annotieren des aktuellen Standorts durch den Nutzer). Daraus kann z.B. eine ausgleichende Transformation (beispielsweise mittels Least-Squares-Optimierung) errechnet werden, auf Basis derer die Georegistrierung stattfinden kann. This localization and annotation of one or more positions takes place at at least one or optionally one or more additional positions (i.e. the determination of the position with the built-in GPS receiver and the annotation of the current location by the user). From this, for example, a compensating transformation (for example using least squares optimization) can be calculated, on the basis of which the geo-registration can take place.

Ausführungsformen stellen eine robuste 2D/2D Korrespondenzfindung von stark unterschiedlichen Kartenstilen für die Bestimmung der Georeferenzierung über Referenzkarten bereit. Embodiments provide robust 2D/2D correspondence finding of widely differing map styles for determining georeferencing across reference maps.

Hierzu kann beispielsweise ein lernbasiertes Verfahrens auf einer Vielzahl von korrespondierenden Kartenabbildungen trainiert werden. Die Trainingsdaten sind hierbei durch die Vielzahl von Kartenanbietern in großer Menge vorhanden und können im globalen Maßstab ohne größeren Aufwand genutzt werden, um einen hochrobusten Matcher für diese Anwendung zu trainieren. Da die angebotenen Karten meist jeweils georeferenziert sind, kann in einer Ausführungsform z.B. überwachtes Lernen eingesetzt werden. Beispielsweise kommen als Architekturen sog. dichte Korrespondenznetzwerke (z.B. auf Vision Transformer Basis in Kombination mit einem Kostenvolumen) zum Einsatz, welche eine vielfach höhere Korrespondenzleistung als merkmalsbasierte Verfahren (inklusive lernbasierte Verfahren, z.B. sparse feature matching; deutsch: dünn besetzte Merkmalsübereinstimmung) aufweisen. For example, a learning-based method can be trained on a large number of corresponding map images. The training data is available in large quantities thanks to the large number of map providers and can be used on a global scale without great effort to train a highly robust matcher for this application. Since the maps offered are usually georeferenced, supervised learning can be used in one embodiment. For example, so-called dense correspondence networks (e.g. based on a vision transformer in combination with a cost volume) are used as architectures, which have a much higher correspondence performance than feature-based Methods (including learning-based methods, e.g. sparse feature matching).

In Ausführungsformen kann das Verfahren hierbei z.B. auf einem dichten Kostenvolumen arbeiten, welches z.B. rekursiv traversiert und auf geometrische Konsistenz analysiert wird. Die geometrische Konsistenz kann hierbei z.B. in einer Aggregationsphase analysiert und entsprechend mit Konsistenzwerten rekursiv kumuliert, angereichert und ausgewertet werden. In embodiments, the method can work on a dense cost volume, for example, which is traversed recursively and analyzed for geometric consistency. The geometric consistency can be analyzed in an aggregation phase, for example, and recursively cumulated, enriched and evaluated with consistency values.

Nachfolgend werden beispielhafte Anwendungsszenarien von Ausführungsformen unter Bezugnahme auf die Fig. 2 bis Fig. 8 beschrieben. Exemplary application scenarios of embodiments are described below with reference to Figs. 2 to 8.

Fig. 2 zeigt ein Beispiel für eine aufgenommene Wanderkarte mit eingezeichnetem Weginformationen (links) und einer bereits georeferenzierten Karte (rechts) des relevanten Gebiets welches als Referenzkarte herangezogen wird. Die Referenzkarte weist, wie zu erwarten, starke Differenzen im Erscheinungsbild auf, welche mittels des robusten Registrierungsverfahrens kompensiert werden müssen. Fig. 2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map. As expected, the reference map shows strong differences in appearance, which must be compensated by means of the robust registration process.

Fig. 3 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt Fig. 3 hierbei alle gefundenen Korrespondenzen ohne geometrische Filterung. Hierbei ist die Robustheit des gelernten Verfahrens zu eindeutig herkömmlichen Verfahren überlegen. Hierbei wurde in diesem Beispiel noch keine geometrische Filterung der Korrespondenzen vorgenommen. Fig. 3 shows an example of correspondences found between a camera image and a reference map. Fig. 3 shows all correspondences found without geometric filtering. The robustness of the learned method is clearly superior to conventional methods. In this example, no geometric filtering of the correspondences was carried out.

Fig. 4 zeigt ein Beispiel für die automatische Registrierung des Kartenbildes mit einer Referenz- Karte. Die Abbildung zeigt hierbei Überlagerungen der aufgenommenen Karte mit einer bereits georeferenzierten Karte des gleichen Gebiets (links mit Kantenüberlagerung, rechts mit wechselseitiger Schachbrettüberlagerung. Fig. 4 shows an example of the automatic registration of the map image with a reference map. The figure shows overlays of the recorded map with an already georeferenced map of the same area (left with edge overlay, right with alternating checkerboard overlay).

Fig. 5 zeigt Beispiele für eine automatische Georeferenzierung (links) eines Kamerabildes einer Karte und den Kartenausschnitt (rechts). Um die abfotografierte Karte (links) und den Kartenausschnitt (rechts) mit einer Navigationsanwendung auf einem mobilen Endgerät verwenden zu können, wird diese Abbildung georeferenziert. Fig. 5 shows examples of automatic georeferencing (left) of a camera image of a map and the map section (right). In order to be able to use the photographed map (left) and the map section (right) with a navigation application on a mobile device, this image is georeferenced.

Fig. 6 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt Fig. 6 hierbei alle gefundenen Korrespondenzen ohne geometrische Filterung. Fig. 7 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt Fig. 7 hierbei alle gefundenen Korrespondenzen nach einer geometrischen Filterung. Fig. 6 shows an example of found correspondences of a camera image with a reference map. Fig. 6 shows all found correspondences without geometric filtering. Fig. 7 shows an example of correspondences found between a camera image and a reference map. Fig. 7 shows all correspondences found after geometric filtering.

Fig. 8 zeigt ein Beispiel für eine automatische Georeferenzierung eines abfotografierten Kartenbildes mit einer Referenz- Karte. Die Abbildung zeigt hierbei eine Überlagerung der aufgenommenen Karte mit einer bereits georeferenzierten Karte des gleichen Gebiets. Fig. 8 shows an example of automatic georeferencing of a photographed map image with a reference map. The figure shows an overlay of the recorded map with an already georeferenced map of the same area.

In Ausführungsformen können durch die robuste Korrespondenzfindung können sehr stark abweichende Kartenstile aufeinander registriert werden. Dies ermöglicht ein automatisches, robustes Funktionieren der Anwendung auf mobilen Endgeräten. In some embodiments, the robust correspondence finding allows very different card styles to be registered with each other. This enables the application to function automatically and robustly on mobile devices.

Gemäß Ausführunsformen können bei ausreichend vielen Korrespondenzen Abbildungsfehler, z.B. stark differierende Karteninhalte (Zusatzsymbole und abweichende zeitliche Inhalte in den Karten) und geometrische Verformungen (z.B. Wellen in Bücher etc.) ausgeglichen werden. According to embodiments, if there are enough correspondences, imaging errors, e.g. strongly differing map contents (additional symbols and deviating temporal contents in the maps) and geometric deformations (e.g. waves in books, etc.) can be compensated.

Manche Ausführungsformen realisieren eine automatische oder händische Prozedur auf Basis von Passpunkten. Some embodiments implement an automatic or manual procedure based on control points.

Ausführungsformen können beispielsweise im Rahmen von mobilen Endgeräten eingesetzt werden. So wird in Ausführungsformen wird eine mobile Lösung bereitgestellt, um Karten, bzw. Fotos von Karten direkt mit einem mobilen Endgerät nutzen zu können. Embodiments can be used, for example, in the context of mobile devices. In embodiments, a mobile solution is provided to be able to use maps or photos of maps directly with a mobile device.

Weitere Ausführungsformen können bei der Digitalisierung und Georeferenzierung von analogen Kartenabbildungen eingesetzt werden. Further embodiments can be used in the digitization and georeferencing of analog map images.

Manche Ausführungsformen können als App realisiert werden. Eine derartige App kann in speziellen Ausführungsformen in eine andere App z.B. im Bereich Navigation für Fußgänger/Wandern integriert werden. Some embodiments can be implemented as an app. In special embodiments, such an app can be integrated into another app, e.g. in the area of navigation for pedestrians/hiking.

In manchen, speziellen Ausführungsformen können gemachte Bilder beispielsweise gespeichert und für ein oder mehrere diverse Anwendungen und Dienste genutzt werden. In some specific embodiments, images taken can, for example, be stored and used for one or more various applications and services.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware- Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder einer elektronischen Schaltung durchgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. Although some aspects have been described in connection with a device, it is to be understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device can also be referred to as a corresponding method step or as a feature of a method step. Analogously, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware apparatus (or using a hardware apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the key method steps may be performed by such an apparatus.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software oder zumindest teilweise in Hardware oder zumindest teilweise in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer BluRay Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software, or at least partially in hardware or at least partially in software. The implementation may be carried out using a digital storage medium, for example a floppy disk, a DVD, a BluRay disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard disk or another magnetic or optical storage device on which electronically readable control signals are stored that can interact or do interact with a programmable computer system in such a way that the respective method is carried out. Therefore, the digital storage medium may be computer readable.

Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Some embodiments according to the invention thus comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is carried out.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product is run on a computer.

Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. The program code can, for example, also be stored on a machine-readable medium.

Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinen-lesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Other embodiments include the computer program for carrying out one of the methods described herein, wherein the computer program is stored on a machine-readable carrier. In other words, a Embodiment of the method according to the invention thus a computer program which has a program code for carrying out one of the methods described herein when the computer program runs on a computer.

Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger oder das digitale Speichermedium oder das computerlesbare Medium sind typischerweise greifbar und/oder nicht flüchtig. A further embodiment of the methods according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded. The data carrier or the digital storage medium or the computer-readable medium is typically tangible and/or non-transitory.

Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. A further embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents the computer program for carrying out one of the methods described herein. The data stream or the sequence of signals can be configured, for example, to be transferred via a data communication connection, for example via the Internet.

Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. A further embodiment comprises a processing device, for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.

Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. A further embodiment comprises a computer on which the computer program for carrying out one of the methods described herein is installed.

Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei- Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. A further embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient. The transmission can be carried out electronically or optically, for example. The recipient can be, for example, a computer, a mobile device, a storage device or a similar device. The device or system can, for example, comprise a file server for transmitting the computer program to the recipient.

Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (e.g., a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform any of the described methods. In general, the methods in some embodiments are carried out by any hardware device. This can be a universally applicable hardware such as a computer processor (CPU) or hardware specific to the method, such as an ASIC.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischenThe embodiments described above are merely illustrative of the principles of the present invention. It is understood that modifications and variations of the arrangements and details described herein will be apparent to others skilled in the art. Therefore, it is intended that the invention be limited only by the scope of the following claims and not by the specific

Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. Details presented in the description and explanation of the embodiments herein are limited.

Claims

Patentansprüche Patent claims 1 . Vorrichtung zur Georeferenzierung, umfassend: eine Kartenabbildungs-Bereitstellungseinheit (110) zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung, eine Korrespondenz-Bestimmungseinheit (120) zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird. 1 . Device for georeferencing, comprising: a map image provision unit (110) for providing a map image recorded by a camera, a correspondence determination unit (120) for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence. 2. Vorrichtung nach Anspruch 1 , wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von einer Lokalisierung einer Position der Vorrichtung in der Referenzkarte eine Position der Vorrichtung in der aufgenommenen Karte zu bestimmen, und/oder wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von einer Lokalisierung einer Position eines anderen Geräts in der Referenzkarte eine Position des anderen Geräts in der aufgenommenen Karte zu bestimmen. 2. Device according to claim 1, wherein the correspondence determination unit (120) is designed to determine a position of the device in the recorded map depending on a localization of a position of the device in the reference map, and/or wherein the correspondence determination unit (120) is designed to determine a position of the other device in the recorded map depending on a localization of a position of another device in the reference map. 3. Vorrichtung nach Anspruch 2, wobei die Vorrichtung eine Lokalisierungseinheit aufweist, die ausgebildet ist, eine Position der Vorrichtung in der Referenzkarte zu bestimmen, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von der Lokalisierung der Position der Vorrichtung in der Referenzkarte die Position der Vorrichtung in der aufgenommenen Karte zu bestimmen. 3. Device according to claim 2, wherein the device comprises a localization unit which is designed to determine a position of the device in the reference map, wherein the correspondence determination unit (120) is designed to determine the position of the device in the recorded map depending on the localization of the position of the device in the reference map. 4. Vorrichtung nach Anspruch 3, wobei die Lokalisierungseinheit ausgebildet ist, die Position der Vorrichtung in der Referenzkarte mittels GPS zu bestimmen. 4. Device according to claim 3, wherein the localization unit is designed to determine the position of the device in the reference map by means of GPS. 5. Vorrichtung nach Anspruch 3 oder 4, wobei die Lokalisierungseinheit ausgebildet ist, die Position der Vorrichtung in der Referenzkarte mittels Texterkennung von ein oder mehrere Ortsnamen und/oder ein oder mehrere Straßennahmen auf der aufgenommenen Karte zu bestimmen. 5. Device according to claim 3 or 4, wherein the localization unit is designed to determine the position of the device in the reference map by means of text recognition of one or more place names and/or one or more street names on the recorded map. 6. Vorrichtung nach Anspruch 5, wobei die Lokalisierungseinheit ausgebildet ist, abhängig von den mittels Texterkennung erkannten ein oder mehreren Ortsnamen und/oder ein oder mehreren Straßennamen Kartenmaterial zu bestimmen, das die ein oder mehreren Ortsnamen und/oder die ein oder mehreren Straßennamen enthält. 6. Device according to claim 5, wherein the localization unit is designed to determine map material containing the one or more place names and/or the one or more street names depending on the one or more place names and/or the one or more street names recognized by means of text recognition. 7. Vorrichtung nach einem der vorherigen Ansprüche, wobei es sich bei der Vorrichtung um ein mobiles Gerät handelt. 7. Device according to one of the preceding claims, wherein the device is a mobile device. 8. Vorrichtung nach Anspruch 7, wobei das mobile Gerät einen Internet-Anschluss aufweist, der ausgebildet ist, die Referenzkarte zu empfangen. 8. The apparatus of claim 7, wherein the mobile device has an Internet connection configured to receive the reference card. 9. Vorrichtung nach Anspruch 7 oder 8, wobei es sich bei dem mobilen Gerät um ein Mobilfunkgerät handelt. 9. The device according to claim 7 or 8, wherein the mobile device is a cellular device. 10. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Kartenabbildungs-Bereitstellungseinheit (110) die Kamera umfasst, die ausgebildet ist, eine Karte zu fotografieren oder anderweitig aufzunehmen, um die um aufgenommene Kartenabbildung zu erhalten. 10. The device according to any one of the preceding claims, wherein the map image providing unit (110) comprises the camera configured to photograph or otherwise record a map to obtain the recorded map image. 11 . Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) zur Bestimmung der ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und der Referenzkarte ausgebildet ist, ein lernbasiertes Verfahren einzusetzen, welches auf Kartenabbildungen trainiert wurde. 11. Device according to one of the preceding claims, wherein the correspondence determination unit (120) for determining the one or more correspondences between the recorded map image and the reference map is trained to use a learning-based method that has been trained on map images. 12. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, für die aufgenommene Kartenabbildung eine Unterteilung in eine Mehrzahl von Bereichen der aufgenommenen Kartenabbildung vorzunehmen, und wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, die ein oder mehreren Korrespondenzen abhängig von der Unterteilung in die Mehrzahl von Bereichen vorzunehmen. 12. Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to subdivide the recorded map image into a plurality of regions of the recorded map image, and wherein the correspondence determination unit (120) is designed to perform the one or more correspondences depending on the subdivision into the plurality of regions. 13. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von den ein oder mehreren Korrespondenzen eine Transformation zu bestimmen, die die Referenzkarte oder ein oder mehrere Bereiche der Referenzkarte auf die aufgenommene Kartenabbildung oder auf ein oder mehrere Bereiche der aufgenommenen Kartenabbildung abbildet. 13. Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to determine, depending on the one or more correspondences, a transformation which maps the reference map or one or more regions of the reference map onto the recorded map image or onto one or more regions of the recorded map image. 14. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, zur Bestimmung als die ein oder mehreren Korrespondenzen eine Mehrzahl von Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer von zwei oder mehr Referenzkarten zu bestimmen, die die besagte Referenzkarte umfassen, indem zur Bestimmung einer Korrespondenz der Mehrzahl von Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt einer der zwei oder mehr Referenzkarten zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich einer der zwei oder mehr Referenzkarten zugeordnet wird, wobei die Mehrzahl von Korrespondenzen wenigstens zwei Korrespondenzen umfassen, die sich auf wenigstens zwei verschiedene der zwei oder mehr Referenzkarten beziehen. 14. Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to determine as the one or more correspondences a plurality of correspondences between the recorded map image and one of two or more reference maps comprising said reference map by assigning a point of one of the two or more reference maps to a point of the recorded map image to determine a correspondence of the plurality of correspondences, and/or by assigning an area of one of the two or more reference maps to an area of the recorded map image to determine the correspondence, wherein the plurality of correspondences comprise at least two correspondences that relate to at least two different ones of the two or more reference maps. 15. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Mehrzahl von Korrespondenzen zu bestimmen. 15. Device according to one of the preceding claims, wherein the correspondence determination unit (120) is designed to determine a plurality of correspondences. 16. Vorrichtung nach Anspruch 15, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, die Mehrzahl von Korrespondenzen derart zu bestimmen, dass eine erste Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugewiesen wird, und dass eine weitere Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem weiteren Punkt der aufgenommenen Kartenabbildung ein Punkt einer weiteren Referenzkarte zugewiesen wird oder indem einem weiteren Bereich der aufgenommenen Kartenabbildung ein Bereich der weiteren Referenzkarte zugewiesen wird. 16. The device according to claim 15, wherein the correspondence determination unit (120) is configured to determine the plurality of correspondences such that a first correspondence of the plurality of correspondences is determined by assigning a point of the reference map to a point of the recorded map image or by assigning an area of the reference map to an area of the recorded map image, and that a further correspondence of the plurality of correspondences is determined by assigning a point of a further reference map to a further point of the recorded map image or by assigning an area of the further reference map to a further area of the recorded map image. 17. Vorrichtung nach Anspruch 15 oder 16, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Mehrzahl von Korrespondenzen zu bestimmen deren Anzahl mindestens einem Schwellwert entspricht, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, wenn die Referenzkarte nicht ausreicht, um die Anzahl der Korrespondenzen zu bestimmen, die durch den Schwellwert vorgegeben sind, eine andere Referenzkarte zur Bestimmung von ein oder mehreren zusätzlichen Korrespondenzen zu verwenden, indem eine zusätzliche Korrespondenz der ein oder mehreren zusätzlichen Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der anderen Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der anderen Referenzkarte zugewiesen wird. 17. Device according to claim 15 or 16, wherein the correspondence determination unit (120) is designed to determine a plurality of correspondences whose number corresponds to at least one threshold value, wherein the correspondence determination unit (120) is designed, if the reference map is not sufficient to determine the number of correspondences predetermined by the threshold value, to use another reference map to determine one or more additional correspondences by determining an additional correspondence of the one or more additional correspondences, by assigning a point of the other reference map to a point of the recorded map image, or by assigning an area of the other reference map to an area of the recorded map image. 18. Vorrichtung nach Anspruch 17, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von Ähnlichkeiten zu bestimmen, die von der Mehrzahl der Referenzkarten und der aufgenommenen Karte abhängen. 18. The apparatus according to claim 17, wherein the correspondence determination unit (120) is designed to determine an order in which a plurality of reference cards for determining the majority of correspondences can be used to determine similarities depending on the majority of reference cards and the captured card. 19. Vorrichtung nach Anspruch 17 oder 18, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, die Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von einer Ähnlichkeitsfunktion von Kartenstilen zu bestimmen, welche auf Basis von bereits registrierten Karten und einer Anzahl von gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde. 19. The device according to claim 17 or 18, wherein the correspondence determination unit (120) is designed to determine the order in which a plurality of reference maps are used to determine the plurality of correspondences depending on a similarity function of map styles which was found on the basis of already registered maps and a number of found, correct correspondences by means of a metric learning approach. 20. Vorrichtung nach Anspruch 18 oder 19, wobei die Mehrzahl von Referenzkarten zumindest eine der folgenden Arten von Karten umfasst: 20. The apparatus of claim 18 or 19, wherein the plurality of reference cards comprises at least one of the following types of cards: Karten mit Höhenprofilen, Maps with elevation profiles, - bereits georeferenzierte Wander- oder Straßenkarten, - already georeferenced hiking or road maps, Karten welche auf Basis eines konditionellen GAN-Netzwerks aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden. Maps which were obtained based on a conditional GAN network from already registered reference and query maps. 21 . Vorrichtung nach einem der vorherigen Ansprüche, wobei die Vorrichtung eine Nutzerschnittstelle aufweist, wobei, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle eine Nutzereingabe ermöglicht, durch die ein Nutzer einen Standort der Vorrichtung in der aufgenommenen Kartenabbildung angeben kann. 21. Apparatus according to any preceding claim, wherein the device comprises a user interface, wherein when the device is in a manual mode, the user interface enables user input by which a user can specify a location of the device in the captured map image. 22. Vorrichtung nach Anspruch 21 , wobei die Vorrichtung ausgebildet ist, ihren aktuellen Standort mittels GPS zu bestimmen und einem Nutzer anzuzeigen. 22. Device according to claim 21, wherein the device is designed to determine its current location by means of GPS and to display it to a user. 23. Vorrichtung nach Anspruch 21 oder 22, wobei, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle an verschiedenen Positionen, an denen sich die Vorrichtung befindet, eine Nutzereingabe ermöglicht, durch die ein Nutzer einen Standort der Vorrichtung an den verschiedenen Positionen in der aufgenommenen Kartenabbildung angeben kann. 23. The device of claim 21 or 22, wherein when the device is in a manual mode, the user interface enables user input at various locations where the device is located, whereby a user can specify a location of the device at the various locations in the captured map image. 24. Verfahren zur Georeferenzierung, umfassend: 24. A georeferencing method comprising: Bereitstellen einer von einer Kamera aufgenommenen Kartenabbildung, Providing a map image captured by a camera, Bestimmen von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird. Determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence. 25. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 24. 25. Computer program with a program code for carrying out the method according to claim 24.
PCT/EP2024/050447 2023-01-24 2024-01-10 Device and method for online georeferencing of camera captures of map material with mobile terminals Ceased WO2024156505A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP24700105.0A EP4655559A1 (en) 2023-01-24 2024-01-10 Device and method for online georeferencing of camera captures of map material with mobile terminals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023200507.7A DE102023200507B4 (en) 2023-01-24 2023-01-24 Device and method for online georeferencing of camera images of map material with mobile devices
DE102023200507.7 2023-01-24

Publications (1)

Publication Number Publication Date
WO2024156505A1 true WO2024156505A1 (en) 2024-08-02

Family

ID=89541973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/050447 Ceased WO2024156505A1 (en) 2023-01-24 2024-01-10 Device and method for online georeferencing of camera captures of map material with mobile terminals

Country Status (3)

Country Link
EP (1) EP4655559A1 (en)
DE (1) DE102023200507B4 (en)
WO (1) WO2024156505A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001073690A2 (en) 2000-03-29 2001-10-04 Provar Inc. System and method for georeferencing digital raster maps
US20050073532A1 (en) 2000-03-29 2005-04-07 Scott Dan Martin System and method for georeferencing maps
US20060041375A1 (en) 2004-08-19 2006-02-23 Geographic Data Technology, Inc. Automated georeferencing of digitized map images
US20110013014A1 (en) * 2009-07-17 2011-01-20 Sony Ericsson Mobile Communication Ab Methods and arrangements for ascertaining a target position
KR20140116568A (en) * 2013-03-22 2014-10-06 한국과학기술연구원 Method and System of providing additional contents for pamphlet through a mobile device and Computer readable storage medium thereof
US20140314282A1 (en) * 2013-04-18 2014-10-23 Htc Corporation Method, electronic apparatus, and computer-readable medium for recognizing printed map
US20160202076A1 (en) * 2015-01-14 2016-07-14 Telenav, Inc. Navigation system with an itinerary planning mechanism and method of operation thereof
WO2021154129A1 (en) * 2020-01-30 2021-08-05 Telefonaktiebolaget Lm Ericsson Publ Generating computer augmented maps from physical maps

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1230632A2 (en) 1999-09-13 2002-08-14 Airbiquity Inc. Closed loop tracking system
US8823513B2 (en) 2011-01-18 2014-09-02 Radio Systems Corporation Systems and methods to track movement of animals
KR101083245B1 (en) 2011-01-31 2011-11-14 주식회사 서전지구 Regional information extraction method, regional information output method, and apparatus for the same
DE102014200658A1 (en) 2014-01-16 2015-06-18 Robert Bosch Gmbh Method of navigation and navigation system
US11703586B2 (en) 2021-03-11 2023-07-18 Qualcomm Incorporated Position accuracy using sensor data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001073690A2 (en) 2000-03-29 2001-10-04 Provar Inc. System and method for georeferencing digital raster maps
US20050073532A1 (en) 2000-03-29 2005-04-07 Scott Dan Martin System and method for georeferencing maps
US7038681B2 (en) 2000-03-29 2006-05-02 Sourceprose Corporation System and method for georeferencing maps
US7167187B2 (en) 2000-03-29 2007-01-23 Sourceprose Corporation System and method for georeferencing digital raster maps using a georeferencing function
US20060041375A1 (en) 2004-08-19 2006-02-23 Geographic Data Technology, Inc. Automated georeferencing of digitized map images
US20110013014A1 (en) * 2009-07-17 2011-01-20 Sony Ericsson Mobile Communication Ab Methods and arrangements for ascertaining a target position
KR20140116568A (en) * 2013-03-22 2014-10-06 한국과학기술연구원 Method and System of providing additional contents for pamphlet through a mobile device and Computer readable storage medium thereof
US20140314282A1 (en) * 2013-04-18 2014-10-23 Htc Corporation Method, electronic apparatus, and computer-readable medium for recognizing printed map
US20160202076A1 (en) * 2015-01-14 2016-07-14 Telenav, Inc. Navigation system with an itinerary planning mechanism and method of operation thereof
WO2021154129A1 (en) * 2020-01-30 2021-08-05 Telefonaktiebolaget Lm Ericsson Publ Generating computer augmented maps from physical maps

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOHAMED EL IMAME MALAAININE ET AL: "Method for Automated Georeferencing and Integrating Printed Maps in GIS for Collecting Addresses", JOURNAL OF GEOGRAPHIC INFORMATION SYSTEM, vol. 05, no. 01, 1 January 2013 (2013-01-01), pages 33 - 39, XP055355676, ISSN: 2151-1950, DOI: 10.4236/jgis.2013.51004 *

Also Published As

Publication number Publication date
DE102023200507A1 (en) 2024-07-25
DE102023200507B4 (en) 2024-12-05
EP4655559A1 (en) 2025-12-03

Similar Documents

Publication Publication Date Title
EP2191233B1 (en) Apparatus and method for updating map data
DE112011103221T5 (en) Extend image data based on related 3D point cloud data
DE102018121808A1 (en) REFINING SYNTHETIC DATA WITH A GENERATIVE ADVERSARIAL NETWORK USING AUXILIARY INPUTS
DE102019005423A1 (en) Space-time storage or storage network for localizing a target object in video content
CN114331951A (en) Image detection method, image detection device, computer, readable storage medium, and program product
DE102019202252A1 (en) ROBUST SIMULTANEOUS LOCALIZATION AND MAPPING BY REMOVAL OF DYNAMIC TRANSPORT PARTICIPANTS
DE102016214875A1 (en) Shield-based location
DE102019102866A1 (en) Identification of a manufacturing part using computer vision and machine learning
DE202014010843U1 (en) Align ground based images with aerial images
DE202015009182U1 (en) Aligning panoramic and aerial photography
DE202014010922U1 (en) Generation of depth maps
DE112018004108B4 (en) IMAGE COLLECTION SYSTEM
DE112016001829T5 (en) Automatically associate images using visual property references to related applications
DE202016006110U1 (en) Extension of the field of view of photography
DE112020000590T5 (en) MAP AND PROCEDURE FOR CREATING A MAP
DE112015003263T5 (en) image modification
Ardizzone et al. A tool to support the creation of datasets of tampered videos
DE102015200260A1 (en) Method of creating a descriptor for a scene image
Rajchel et al. No-reference image quality assessment of authentically distorted images with global and local statistics
JP2013137604A (en) Image collation processing device, image collation processing method and image collation processing program
DE102015009894B4 (en) Aligning multi-view scans
Scharwächter et al. Visual guard rail detection for advanced highway assistance systems
DE112016002020T5 (en) ANCHORING DEVICES WITH GEOLOCALIZED SCREEN LANGUAGE
EP3539085B1 (en) 3d localization
DE102023200507B4 (en) Device and method for online georeferencing of camera images of map material with mobile devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24700105

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2024700105

Country of ref document: EP