[go: up one dir, main page]

CN112020630B - 用于更新建筑物的3d模型的系统和方法 - Google Patents

用于更新建筑物的3d模型的系统和方法 Download PDF

Info

Publication number
CN112020630B
CN112020630B CN201880092597.3A CN201880092597A CN112020630B CN 112020630 B CN112020630 B CN 112020630B CN 201880092597 A CN201880092597 A CN 201880092597A CN 112020630 B CN112020630 B CN 112020630B
Authority
CN
China
Prior art keywords
current
target reference
environmental data
building
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880092597.3A
Other languages
English (en)
Other versions
CN112020630A (zh
Inventor
阮志伟
刘宗岳
滕晓强
张军
许鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN112020630A publication Critical patent/CN112020630A/zh
Application granted granted Critical
Publication of CN112020630B publication Critical patent/CN112020630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Electronic shopping [e-shopping] using intermediate agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Navigation (AREA)

Abstract

提供了一种用于更新筑物模型的系统和方法，该方法包括获取建筑物的三维(3D)模型，其包括与建筑物的至少两个参照位置相关联的参照环境数据，并且获取与建筑物的当前位置相应的当前环境数据。该方法还包括，在3D模型中，从建筑物的至少两个参照位置中识别出与当前位置相应的目标参照位置，并将当前环境数据与目标参照环境数据进行比较。该方法还包括：在当前环境数据与目标参照环境数据匹配时，向用户设备发送目标参照位置；以及在当前环境数据在统计上与目标参照环境数据不匹配时，用当前环境数据更新3D模型。

Description

用于更新建筑物的3D模型的系统和方法
技术领域
本申请涉及一种室内定位和导航服务，尤其涉及更新在室内定位和导航服务中使用的建筑物的3D模型的系统和方法。
背景技术
安装在用户设备中的导航应用程序(app)在日常生活中经常被使用。导航应用程序通常需要输入目的地并生成路线以将用户从他/她的当前位置导航到目的地。传统的导航应用依赖于诸如全球定位系统(GPS)的定位技术来连续地定位和更新用户设备的位置。传统的导航应用要求用户设备处于具有强无线信号的环境中，因此不能在无线信号弱的任何位置使用。而且，传统的导航应用程序不能获得建筑物的内部结构，因此不能用于室内导航。
发明内容
根据本申请的一个方面，提供了一种系统。该系统可以包括至少一个存储介质，所述存储介质包括用于更新建筑物的模型的一组指令。至少一个处理器，与所述至少一个存储介质通信，当执行所述一组指令时，进一步指示所述至少一个处理器：获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据。从用户设备获取与所述建筑物的当前位置相应的当前环境数据。在所述3D模型中，从所述建筑的所述至少两个参照位置中识别出与所述当前位置相应的目标参照位置，其中所述目标参照位置对应于目标参照环境数据。所述当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置关联的目标参照环境数据。比较所述当前环境数据与所述目标参照环境数据。当所述当前环境数据与所述目标参照环境数据相匹配时，将所述目标参照位置发送至所述用户设备。当所述当前环境数据在统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型。
在一些实施例中，所述至少一个处理器还可以用于在紧接当前时间之前的预定时间内，从至少两个其他用户设备接收所述当前位置的环境数据。比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与所述当前环境数据。比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与所述相应的参照环境数据。当来自不同用户设备的所述环境数据都与所述当前环境数据匹配且超过第三阈值，但来自不同用户设备的所述环境数据和所述当前环境数据，与所述目标参照环境数据不匹配且超过第四阈值时，确定所述当前位置的当前环境数据在统计上与所述目标参照环境数据不匹配。
在一些实施例中，所述建筑物的所述3D模型是点云模型或网格模型，其中所述目标参照环境数据包括与所述目标参照位置的环境细节相应的至少两个目标参考特征点。所述当前环境数据包括与所述当前位置的环境细节相应的至少两个当前特征点。
在一些实施例中，为了将所述当前环境数据与所述目标参照环境数据进行比较，进一步指示所述至少一个处理器：比较所述至少两个当前特征点与所述目标参考特征点。当所述比较返回大于第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据匹配。当所述比较返回小于或等于所述第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据不匹配。
在一些实施例中，为了比较所述至少两个当前特征点与所述至少两个目标参考特征点，进一步指示所述至少一个处理器：将所述至少两个当前特征点的每一个与所述至少两个目标参考特征点中的一个相匹配。确定所述至少两个当前特征点中的每一个的色彩或灰度值与所述至少两个目标参考特征点中的匹配点的色彩或灰度值之间的差异。基于所述差异，生成所述建筑物的所述当前环境数据和所述建筑物的所述3D模型的所述目标参照环境数据之间的所述匹配度。
在一些实施例中，在确定所述当前环境数据统计上与所述目标参照环境数据不匹配后，进一步指示所述至少一个处理器：确定至少两个不匹配的特征点，其中所述至少两个不匹配点的每一个的色彩或灰度值与相应的所述目标参考特征点的色彩或灰度值不同。从所述至少两个不匹配的特征点中选择一些或全部不匹配的特征点。基于所述选择的一些或全部不匹配的特征点，确定所述当前环境数据中的不匹配区域。
在一些实施例中，为了用所述当前环境数据更新所述建筑物的所述3D模型，进一步指示所述至少一个处理器：确定在所述建筑物的所述3D模型的所述目标参照环境数据中的第一区域，其相应于所述当前环境数据中的所述不匹配区域。基于所述当前环境数据中的所述不匹配区域，更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，以生成更新的所述建筑物的所述3D模型。
在一些实施例中，使用多点透视(PNP)方法确定所述建筑物的所述3D模型中的所述第一区域。
在一些实施例中，基于所述当前环境数据中的所述不匹配区域，为了更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，进一步指示所述至少一个处理器：确定所述当前环境数据中的匹配区域。确定所述建筑物的所述3D模型的所述目标参照环境数据中相应于所述匹配区域的第二区域。将所述当前环境数据中所述匹配区域标记为所述建筑物的所述3D模型中的所述第二区域。将在所述当前环境数据中所述不匹配区域标记为所述建筑物的所述3D模型中的所述第一区域，基于标记为所述第二区域的所述匹配区域，来更新所述建筑物的所述3D模型的所述第一区域。
在一些实施例中，所述建筑物是封闭的或半封闭的，所述建筑物的图像由在所述建筑物中的用户设备拍摄。
根据本申请的另一方面，提供了一种方法。所述方法可以在具有至少一个存储设备的计算设备上实现，所述存储设备存储用于更新建筑物的模型的一组指令，以及至少一个与所述至少一个存储设备通信的处理器，所述方法包括：获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据。从用户设备获取与所述建筑物的当前位置相应的当前环境数据。在所述3D模型中，从所述建筑物的所述至少两个参照位置中识别出与所述当前位置相应的目标参照位置，所述目标参照位置对应目标参照环境数据。当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置关联的所述目标参照环境数据比较所述当前环境数据与所述目标参照环境数据。当所述当前环境数据与所述目标参照环境数据匹配时，将所述目标参照位置发送到所述用户设备。当所述当前环境数据统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型。
根据本申请的另一方面，提供了一种系统。所述系统可以包括至少一个存储介质，包括用于更新建筑物的模型的一组指令。至少一个处理器，与所述至少一个存储介质通信，其中当执行所述一组指令时，所述至少一个处理器用于：获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据。接收并接受来自用户设备的连接请求。检测在所述用户设备上执行的客户应用程序，所述客户应用程序从所述用户设备的一个或以上传感器收集所述用户设备的环境信息并通过网络自动与所述系统通信。与在所述用户设备上执行的所述客户应用程序通信以接收定位请求。基于所述用户设备的所述一个或以上传感器检测到的所述环境信息，从所述用户设备的所述客户应用程序获取与所述建筑物的当前位置相应的所述当前环境数据。在所述3D模型中，从所述建筑物的所述至少两个参照位置识别出与所述当前位置相应的目标参照位置，其中所述目标参照位置对应的目标参照环境数据。当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置相关联的所述目标参照环境数据。比较所述当前环境数据与所述目标参照环境数据。当所述当前环境数据与所述目标参照环境数据匹配时向所述用户设备发送通信信号，其中所述通信信号可以被构造为包括命令和所述目标参照位置，所述命令可以被配置为使用户终端在所述用户设备的显示器上呈现生成的所述目标参照位置。当所述当前环境数据在统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型。
根据本申请的另一方面，提供了一种方法。该方法可以在具有至少一个存储设备的计算设备上实现，所述存储设备存储用于更新建筑物的模型的一组指令，以及至少一个与所述至少一个存储设备通信的处理器，所述方法包括：获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据。接收和接受来自用户设备的连接请求。检测在所述用户设备上执行的客户应用程序，所述客户应用程序从所述用户设备的一个或以上传感器收集所述用户设备的环境信息并通过网络自动与所述系统通信。与在所述用户设备上执行的所述客户应用程序通信以接收定位请求。基于所述用户设备的所述一个或以上传感器检测到的所述环境信息，从所述用户设备的所述客户应用程序获取与所述建筑物的当前位置相应的所述当前环境数据。在所述3D模型中，其中所述目标参照位置对应于目标参照环境数据。当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置相关联的目标参照环境数据。比较所述当前环境数据与所述目标参照环境数据。当所述当前环境数据与所述目标参照环境数据匹配时，向所述用户设备发送通信信号，其中所述通信信号被构造为包括命令和所述目标参照位置，所述命令被配置为使所述用户终端在所述用户设备的显示器上呈现所述生成的目标参照位置。当所述当前环境数据统计与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型。
根据本申请的另一方面，提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质可以包括至少一组用于更新建筑物的模型的指令，其中当由电子终端的至少一个处理器执行时，所述至少一组指令指示所述至少一个处理器执行动作：获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据。从用户设备获取与所述建筑物的当前位置相应的当前环境数据。在所述3D模型中，从所述建筑物的所述至少两个参照位置中识别出与所述当前位置相应的目标参照位置，其中所述目标参照位置对应目标参照环境数据。当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置关联的目标参照环境数据。比较所述当前环境数据与所述目标参照环境数据。当所述当前环境数据与所述目标参照环境数据匹配时，向所述用户设备发送包括所述目标参照位置的通信信号。当所述当前环境数据统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图不按比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的示例性室内定位和导航系统的示意图；
图2是根据本申请的一些实施例所示的计算设备的示例性硬件和软件组件的示意图，在该计算设备上可以实现服务器和/或用户设备；
图3是根据本申请的一些实施例所示的可以在其上实现用户设备或提供者终端的示例性移动设备的示例性硬件和/或软件组件的示意图；
图4是根据本申请的一些实施例所示的示例性处理引擎的框图；
图5是根据本申请的一些实施例所示的示例性处理模块的框图；
图6是根据本申请的一些实施例所示的用于更新建筑物的3D模型的示例性过程的流程图；
图7是用于将当前环境数据与目标参照环境数据进行比较的示例性过程的流程图；
图8是根据本申请的一些实施例所示的更新建筑物的3D模型的流程图；
图9是根据本申请的一些实施例所示的基于当前环境数据中的不匹配区域更新建筑物的3D模型中的第一区域的流程图；
图10A-10E是根据本申请的一些实施例所示的用于更新建筑物的3D模型的示例性过程的示意图；
图11是根据本申请的一些实施例所示的与室内定位和导航服务相关联的用户设备的示例性屏幕界面的示意图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。
本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中，术语“包括”和/或“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。
在考虑了作为本申请一部分的附图的描述内容后，本申请的特征和特点以及操作方法、结构的相关元素的功能、各部分的组合、制造的经济性变得显而易见。然而，应当理解，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
本申请中使用了流程图用来说明根据本申请的一些实施例的系统所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
除非另有说明，否则本申请中的术语“当前位置”指的是用户设备当前正在检测的建筑物的一部分或者由用户设备实时拍摄的照片或视频上显示的建筑物的位置。本申请中的术语“用户设备的位置”指的是用户站在的位置点。
应当注意，术语“第一阈值”、“第二阈值”、“第三阈值”、“第四阈值”和“第五阈值”是与相应的确定相关联的预设条件。为了更好地理解，在本申请中给出了这些阈值的示例性值，但是这些示例性值不应是限制性的。
本申请的一个方面涉及用于更新建筑物的3D模型的系统和方法，该建筑物用于提供室内定位和导航服务。例如，服务器可以构建不包含任何海报的建筑物的3D模型。至少两个用户设备可以从服务器下载建筑物的3D模型，并且基于建筑物的3D模型，向至少两个用户提供室内导航服务。几天后，可以在墙上粘贴海报。当用户设备提供室内导航服务时，用户设备可以连续捕获用户当前位置的照片。服务器可以从3D模型中的所有墙壁识别目标墙(没有海报)(例如，基于诸如尺寸、形状、纹理、色彩、墙壁上的其他对象的环境细节)作为目标参照位置相应的照片中的墙(有海报)。服务器可以确定3D模型中的目标墙静态地与照片中的墙不匹配，因为用户设备捕获的所有照片是相同的(例如，包含海报)并且与不包含海报的3D模型中的墙不同。然后，基于照片，服务器可以更新3D模型(例如，通过在3D模型中添加墙上的海报)。
图1是根据本申请的一些实施例所示的示例性室内定位和导航系统100的示意图。例如，室内定位和导航系统100可以向用户提供室内定位和导航服务。室内定位和导航系统100可以用在封闭或半封闭的建筑物中。建筑物可包括但不限于购物中心、超市、机场航站楼、室内停车库等，或其任何组合。室内定位和导航系统100可以包括服务器110、网络和/或云120、用户设备130和存储器150。服务器110可以包括处理引擎112。
服务器110可以被配置为处理与建筑物的模型有关的信息和/或数据。例如，基于从用户设备130发送的建筑物的图像，服务器110可以更新建筑物的3D模型。在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络和/或云120访问存储在用户设备130和/或存储器140中的信息和/或数据。又例如，服务器110可以直接连接到用户设备130和/或存储器140以访问存储信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110可以在本申请中的图2描述的包含了一个或以上组件的计算设备200上执行。
在一些实施例中，服务器110可以包括处理引擎112。处理引擎112可以处理与本申请中描述的室内定位和导航服务有关的信息和/或数据。例如，处理引擎112可以从用户设备130获取与建筑物的当前位置相应的当前环境数据。在一些实施例中，所述处理引擎112可包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理引擎112可以包括一个或以上硬件处理器，例如中央处理单元(CPU)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。
网络和/或云120可以促进信息和/或数据的交换。在一些实施例中，室内定位和导航系统100的一个或以上组件(例如，服务器110、用户设备130和存储器140)可以通过网络和/或云120将信息和/或数据传送给室内定位和导航系统100中的其他组件。例如，服务器110可以经由网络和/或云120从用户设备130接收当前环境数据(例如，照片)。在一些实施例中，网络和/或云120可以是任何类型的有线或无线网络，或其组合。仅作为示例，网络和/或云120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局部区域网络(LAN)、广域网(WAN)、无线局部区域网络(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络、全球系统移动通信(GSM)网络、码分多址(CDMA)网络、时分多址(TDMA)网络、通用分组无线电服务(GPRS)网络、GSM演进(EDGE)网络的增强数据速率、宽带码分多址(WCDMA)网络、高速下行链路分组接入(HSDPA)网络、长期演进(LTE)网络、用户数据报协议(UDP)网络、传输控制协议/因特网协议(TCP/IP)网络、短消息服务(SMS)网络、无线应用协议(WAP)网络、超宽带(UWB)网络、红外线等，或其任何组合。在一些实施例中，网络和/或云120可以包括一个或以上网络接入点。例如，网络和/或云120可以包括有线或无线网络接入点，例如基站和/或互联网交换点120-1、120-2、......，通过上述的一个或以上组件，室内定位和导航系统100可以连接到网络和/或云120，以在它们之间交换数据和/或信息。
在一些实施例中，服务器110可以远离用户设备130，并且网络和/或云120可以是诸如因特网的无线网络。例如，用户设备130可以经由网络和/或云120向服务器110发送与室内定位和导航服务有关的信息(例如，建筑物的特定位置、目的地的照片)。网络和/或云120可以向用户设备130提供室内定位和导航服务。
在一些实施例中，服务器110可以远离用户设备130，并且网络和/或云120可以是云平台。例如，用户设备130可以向云平台发送与室内定位和导航服务有关的信息。服务器110可以访问云平台并获取用户设备130发送的信息。在一些实施例中，云平台可以存储由至少两个用户设备130发送的信息。服务器110可以收集与特定建筑物相关的信息，并基于由至少两个用户设备130发送的信息，更新建筑物的3D模型。基于建筑物的更新的3D模型，服务器110可以向用户设备130提供室内定位和导航服务。
在一些实施例中，服务器110可以是本地处理器，并且网络和/或云120可以是本地无线网络，诸如WLAN、蓝牙网络、NFC、ZigBee网络。服务器110可以安装在特定建筑物中并且可以存储建筑物的3D模型。基于建筑物的3D模型，服务器110可以向建筑物中的用户设备130提供室内定位和导航服务。服务器110还可以从至少两个用户设备130获取建筑物的信息并更新建筑物的3D模型。
在一些实施例中，用户设备130的用户(也称为请求者)可以使用用户设备130将针对室内定位和导航服务的服务请求发送到服务器110，或者接收服务和/或信息或者来自服务器110的指令。在一些实施例中，用户设备130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3、机动车辆内置设备130-4等或其任意组合。在一些实施例中，移动设备130-1可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备、相机等，或其任何组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能脚踏板、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件、智能相机等，或者任何组合。在一些实施例中，智能移动设备可以包括智能电话、个人数字助理(PDA)、游戏设备、导航设备、销售终端(POS)等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括Google GlassTM、RiftConTM、FragmentsTM、GearVRTM等。在一些实施例中，机动车内置设备130-4可以包括车载计算机、车载电视等。在一些实施例中，用户设备130可以是具有定位技术的设备，用于定位请求者和/或用户设备130的位置。在一些实施例中，用户设备130可以向服务器110发送定位信息。在一些实施例中，用户设备130可以向服务器110发送室内定位和导航服务请求以及与室内定位和导航服务请求有关的信息(例如，建筑物的当前位置的照片、目的地)。服务器110可以处理该信息并向用户设备130提供室内定位和导航服务。例如，服务器110可以生成用户设备的估计位置，或者从用户设备的估计位置到目的地到用户设备130的路线。用户设备130可以在显示界面(例如，一个屏幕)上的电子地图或安装在用户设备130中的移动应用程序(app)上显示用户设备的估计位置和从用户设备的估计位置到目的地的路线。
存储器140可以储存数据和/或指令。在一些实施例中，存储器140可以存储从用户设备130获取的数据。在一些实施例中，存储器140可以储存服务器110用来执行或使用来完成本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储器140可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性只读存储器可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，所述存储器140可在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中，存储器140可以连接到网络和/或云120，以与室内定位和导航系统100的一个或以上组件(例如，服务器110用户设备130)通信。室内定位和导航系统100中的一个或以上组件可以经由网络和/或云120访问存储在存储器140中的数据或指令。在一些实施例中，存储器140可以直接连接到室内定位和导航系统100中的一个或以上组件(例如，服务器110、用户设备130)或与之通信。在一些实施例中，存储器140可以是服务器110的一部分。
在一些实施例中，室内定位和导航系统100的一个或以上组件(例如，服务器110、用户设备130)可以访问存储器140。在一些实施例中，当满足一个或以上条件时，室内定位和导航系统100的一个或以上组件可以读取和/或修改与请求者和/或建筑物的模型有关的信息。例如，在完成一个服务后，服务器110可以读取和/或修改一个或以上用户的信息。
应当注意，图1中所示的应用场景仅用于说明目的，并非旨在限制本申请的范围。例如，室内定位和导航系统100可以用作定位系统。
图2是根据本申请的一些实施例所示的计算设备200的示例性硬件和软件组件的示意图，在该计算设备200上可以实现服务器110和/或用户设备130。例如，所述处理引擎112可以在所述计算设备200上实施并执行本申请所披露的所述处理引擎112的功能。
计算设备200可用于实现本申请的室内定位和导航系统。计算设备200可以由如本文所述的室内定位和导航服务的任何组件实现。在图2中，仅出于方便的目的，仅示出了一个这样的计算机设备。在提交本申请时，本领域普通技术人员应理解，与本文所述的室内定位和导航服务有关的计算机功能可以在多个类似平台上以分布式方式实现，以分配处理负载。
例如，计算设备200可以包括与网络相连接的通信端口250，以实现数据通信。计算设备200还可以包括处理器(例如，处理器220)，其形式为一个或以上处理器(例如，逻辑电路)，用于执行程序指令。例如，处理器可以包括其中的接口电路和处理电路。接口电路可以被配置为从总线210接收电信号，其中电信号编码用于处理电路的结构化数据和/或指令。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码确定为电信号。然后，接口电路可以经由总线210从处理电路发出电信号。
示例性计算设备可以包括内部通信总线210，程序存储和不同形式的数据存储，包括例如磁盘270、只读存储器(ROM)230或随机存取存储器(RAM)240，用于使用计算设备处理和/或传输的各种数据文件。示例性计算设备也可以包括储存于ROM230、RAM240和/或其他形式的非暂时性存储介质中的能够被处理器220执行的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还包括I/O模块260，支持计算机和其他组件之间的输入/输出。计算设备200也可以通过网络通信接收编程和数据。
仅用于说明，图2中仅示出了一个CPU和/或处理器。还可以考虑多个CPU和/或处理器；因此，由本申请中描述的由一个CPU和/或处理器执行的操作和/或方法步骤也可以由多个CPU和/或处理器联合或单独执行。例如，如果在本申请中，计算设备200的CPU和/或处理器执行步骤A和步骤B，应当理解的是，步骤A和步骤B也可以由计算设备200的两个不同的CPU和/或处理器共同地或独立地执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同地执行步骤A和步骤B)。
图3是根据本申请的一些实施例所示的可以在其上实现用户设备130或提供者终端140的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、内存360和存储器390。CPU可以包括接口电路和类似于处理器220的处理电路。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，移动操作系统370(例如，iOSTM、AndroidTM、Windows PhoneTM等)和一个或以上应用程序380可以从存储器390加载到内存360中，以便由CPU340执行。应用程序380可以包括安装在移动设备300上的室内定位和导航应用程序(APP)，用于接收与用户相关联的信息(例如，当前位置、目的地、路线偏好)，并基于该信息，提供室内定位和导航服务。在一些实施例中，APP可以用作电子地图。用户与信息流的交互可以通过I/O设备350实现，并经由网络和/或云120提供给处理引擎112和/或系统100的其他组件。
为了实现本申请中描述的各种模块、单元及其功能，计算机硬件平台可以用作这里描述的元件(例如，室内定位和导航系统100、以和/或关于图1-11描述的室内定位和导航系统100的其他组件)的一个或以上的硬件平台。计算机的硬件元素、操作系统和程序设计语言在本质上是传统的，假定本领域技术人员对此技术足够熟悉，可以处理本文中描述的供应服务。具有用户界面元件的计算机可以用于实现个人计算机(PC)或其他类型的工作站或终端设备，如果适当地编程，计算机也可以充当服务器。可知，本领域技术人员应熟悉该计算机设备的结构、程序设计和一般操作，因此，图对其应是不解自明的。
本领域普通技术人员应理解，当室内定位和导航系统100的元件执行时，该元件可以通过电信号和/或电磁信号执行。例如，当用户设备130处理诸如做出确定、识别或选择对象的任务时，用户设备130可以在其处理器中操作逻辑电路以处理这样的任务。当用户设备130向服务器110发出服务请求时，服务用户设备130的处理器可以生成编码服务请求的电信号。然后，用户设备130的处理器可以将电信号发送到输出端口。如果用户设备130经由有线网络与服务器110通信，则输出端口可以物理地连接到电缆，电缆还可以将电信号发送到服务器110的输入端口。如果用户设备130经由无线网络与服务器110通信，则用户设备130的输出端口可以是一个或以上天线，其可以将电信号转换为电磁信号。在诸如用户设备130和/或服务器110的电子设备内，当其处理器处理指令、发出指令和/或执行动作时，指令和/或动作通过电信号进行。例如，当处理器从存储介质(例如，存储器140)检索或保存数据时，它可以将电信号发送到存储介质的读/写设备，其可以在存储介质中读取或写入结构化数据。该结构化数据可以电信号的形式经由电子设备的总线传输至处理器。此处，电信号可以指一个电信号、一系列电信号和/或至少两个不连续的电信号。
图4是根据本申请的一些实施例所示的示例性处理引擎的框图。处理引擎112可以与计算机可读存储器(例如，存储器140、用户设备130)通信，并且可以执行存储在计算机可读存储介质中的指令。在一些实施例中，处理引擎112可包括采集模块410、处理模块420、更新模块430、通信模块440和存储模块450。
采集模块410可以被配置为获取对应于室内定位和导航系统100的信息。在一些实施例中，采集模块410可以获取建筑物的3D模型。建筑物的3D模型可包括与参照环境数据相关联的至少两个参照位置。采集模块410可以在当前时间从用户设备130获取相应于建筑物当前位置的当前环境数据。采集模块410可以在紧接当前时间之前的预定时间内从至少两个用户设备接收当前位置的环境数据。
处理模块420可以被配置用来处理与室内定位和导航系统100相关联的过程数据。处理模块420可以包括识别单元510、比较单元520、处理单元530。识别单元510可以被配置为从建筑物的3D模型的至少两个参照位置识别相对于当前位置的目标参照位置。比较单元520可以被配置用于将当前环境数据与目标参照环境数据进行比较。处理单元530可以确定当前位置的当前环境数据是否与目标参照环境数据匹配。处理单元530还可以确定目标参照环境数据中与当前环境数据中的不匹配区域相对应的第一区域，以及目标参照环境数据中与当前的环境数据中的匹配区域相对应的第二区域。关于处理模块420的更多描述可以在本申请的其他地方找到(例如，图5及其描述)。
更新模块430可以被配置用于更新建筑物的3D模型。在一些实施例中，基于当前环境数据，更新模块430可以更新3D模型。在一些实施例中，在当前环境数据在统计上与目标参照环境数据不匹配时，更新模块430可以更新3D模型。在一些实施例中，更新模块430可以更新建筑物的3D模型的目标参照环境数据中的第一区域，其对应于当前环境数据中的不匹配区域。例如，更新模块430可以基于当前环境数据中的不匹配区域更新建筑物的3D模型的目标参照环境数据中的第一区域，以生成建筑物的更新3D模型。更具体地，更新模块430可以首先将当前环境数据中的匹配区域标记为建筑物的3D模型中的第二区域。然后，基于标记为第二区域的匹配区域，更新模块430可以将当前环境数据中的不匹配区域标记为建筑物的3D模型中的第一区域，以更新建筑物的3D模型中的第一区域。在匹配区域和不匹配区域标记之后，基于当前环境数据中的不匹配区域，更新模块430可以更新建筑物的3D模型中的第一区域。
通信模块440可以被配置用于促进室内定位和导航系统100的组件之间的通信。在一些实施例中，通信模块440可以向用户设备发送电信号。例如，在当前环境数据与目标参照环境数据匹配时，通信模块440可以向用户设备发送包括目标参照位置的电信号。通信模块440可以经由因特网120将通信信号发送到用户设备。
存储模块450可以被配置为存储相应于到室内定位和导航系统100的信息。在一些实施例中，存储模块450可以存储当前环境数据、不匹配环境数据和/或建筑物的更新3D模型。
应当注意，以上对处理引擎112的描述是出于说明的目的而提供的，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，采集模块410和处理模块420可以组合为单个模块，其获取并处理与室内定位和导航系统100相关联的数据。
图5是根据本申请的一些实施例所示的示例性处理模块的框图。处理模块420可以包括识别单元510、比较单元520、处理单元530。
识别单元510可以被配置为从建筑物的3D模型的至少两个参照位置识别相对于当前位置的目标参照位置。在一些实施例中，识别单元510可通过从参照环境数据、相应的当前环境数据识别目标参照环境数据，来识别相对于当前位置的目标参照位置。在一些实施例中，识别单元510可以将当前环境数据与参照环境数据进行比较以识别目标参照环境数据。例如，识别单元510可以将当前位置的照片与建筑物的3D模型的参照环境数据进行比较。
比较单元520可以被配置用于将当前环境数据与目标参照环境数据进行比较。在一些实施例中，比较单元520可以通过将当前环境数据中的至少两个当前特征点与目标参照环境数据中的至少两个目标参考特征点进行比较，来将当前环境数据与目标参照环境数据进行比较。比较单元520可以确定目标参考特征点(如果存在)中的每一个是否与相应的当前特征点相同。在一些实施例中，比较单元520可以在色彩或灰度值中确定至少两个当前特征点中的每一个和相应的目标参考特征点之间的差异。
处理单元530可以被配置用于确定当前位置的当前环境数据是否与目标参照环境数据匹配。处理单元530可以确定当前特征点是否与目标参考特征点匹配。在一些实施例中，处理单元530可以生成建筑物的当前环境数据与建筑物的3D模型的目标参照环境数据之间的匹配度。例如，处理单元530可以基于至少两个当前特征点中的每一个和相应的目标参考特征点之间的差异来生成匹配度。处理单元530可以确定匹配度是否大于第一阈值。在一些实施例中，处理单元530可以从至少两个当前特征点中选择一些或全部不匹配的特征点。处理单元530可以基于所选择的一些或全部不匹配的特征点来确定当前环境数据中的不匹配区域。处理单元530可以确定与当前环境数据中的不匹配区域相对应的建筑物的3D模型的目标参照环境数据中的第一区域。处理单元530可以确定当前环境数据中的匹配区域，以及与匹配区域对应的建筑物的3D模型的目标参照环境数据中的第二区域。
图6是根据本申请的一些实施例所示的用于更新建筑物的3D模型的示例性过程的流程图。过程600可以由室内定位和导航系统100执行。例如，过程600可以实现为存储在存储器(例如，存储器140、ROM230、RAM240或存储器390)中的一组指令(例如，应用程序)。在一些实施例中，一组指令可以嵌入在内存中。处理器(例如，服务器110、处理引擎112或处理器220、CPU340)可以执行一组指令，并且当执行指令时，可以将其配置为执行过程600。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程600可以利用未描述的一个或以上附加操作，和/或没有讨论的一个或以上操作来完成。另外，如图6所示和下面描述的过程操作的顺序不是限制性的。
在610中，采集模块410可以获取建筑物的3D模型。在一些实施例中，建筑物可以是封闭的或半封闭的。例如，封闭建筑物可以是完全或基本上被墙壁、窗户、天花板等覆盖的建筑物，例如但不限于购物中心、办公楼、摩天大楼、机场航站楼等，以及半封闭式建筑物可包括但不限于室内停车库、体育场或部分被墙壁和天花板覆盖的建筑物，或其任何组合。建筑物的3D模型可以是建筑物内部结构的模型。建筑物的3D模型可以包括建筑物的至少两个参照位置。参照位置可包括地板、角落、墙壁、天花板等。例如，建筑物中的每个墙壁可以被视为参照位置。每两个参照位置之间的距离可以相同或不同。在一些实施例中，建筑物的3D模型可以与参照环境数据相关联。每个参照位置可以与参照环境数据(或称为候选环境数据)的一部分相关联。在一些实施例中，3D模型可包括点云模型、网格模型、线框模型、表面模型、实体模型等，或其任何组合。
建筑物的3D模型可以由室内定位和导航系统100使用，为用户设备130提供室内定位和导航服务。在一些实施例中，建筑物的一些位置处的无线信号(例如，WIFI、GPS、蜂窝网络、蓝牙)可能被建筑物的房间或墙壁吸收或阻挡并变得非常差。在这些位置处的人(例如，用户设备130的用户)可能无法容易地找到他们的位置和路线，因为大多数传统导航系统或地图需要无线信号。即使无线信号良好，定位技术(例如，WIFI定位技术、GPS定位技术、蓝牙定位技术)在建筑物中也可能是不准确的。
在一些实施例中，建筑物的3D模型(例如，点云模型)可以由处理器生成。在一些实施例中，处理器可以收集与建筑物的至少两个参照位置相关联的参照环境数据。建筑物的至少两个参照位置中的每一个可以对应于建筑物的一部分。例如，处理器可以收集建筑物的至少两个图像(例如，照片)或视频(其包括至少两个图像帧)。建筑物的至少两个参照位置中的每一个可以是建筑物的至少两个图像中的至少一个中所示的建筑物的一部分。在一些实施例中，参照位置可出现在多个图像中。
在一些实施例中，处理引擎112可以使用3D模型算法基于建筑物的至少两个图像生成3D模型。3D模型算法可以包括但不限于运动结构(SFM)算法、尺度不变特征变换(SIFT)算法、ANN特征匹配算法、随机样本共识(RANSAC)算法等，或任何其组合。在一些实施例中，处理引擎112可以通过相机、激光设备(例如，光检测和测距(LiDAR)设备)、超声设备、雷达设备等，或其任何组合来收集参照环境数据。在一些实施例中，建筑物的3D模型可以存储在存储器140中。处理引擎112可以从存储器140获取3D模型。
在620中，采集模块410可以从用户设备获取相应于用户设备当前位置的当前环境数据。在一些实施例中，当前环境数据的当前环境可以是用户设备当前正在检测的建筑物的一部分。在一些实施例中，用户的用户设备可以连续地捕获照片或拍摄他/她在建筑物中的位置的视频。用户设备的捕获角度可以与用户的视角对齐(例如，用户可以将用户设备保持在他/她的手中)。或者，用户设备的捕获角度可以是固定的(例如，用户设备可以安装在用户的车辆上)并且当前位置可以在车辆移动时连续改变。建筑物的当前环境可以是照片或视频上实时显示的建筑物的位置(即，建筑物的当前位置)。在一些实施例中，当前环境数据相对于建筑物的当前位置可包括至少两个环境细节。当前位置的环境细节可包括天花板、墙壁、柱子、门、物体(例如，开关、海报、符号、椅子、桌子等)等，或者任何组合。环境细节的相关信息可包括环境细节的形状、环境细节的大小、环境细节的色彩等，或其任何组合。在一些实施例中，至少两个当前特征点可以对应于用户设备130拍摄的照片中的环境细节。例如，至少两个当前特征点可以包括环境细节的边缘点、环境细节的端点、与附近的点具有相对大的色彩或灰度值差异的点等，或者它们的任何组合。
在一些实施例中，采集模块410可以从用户设备130接收和接受连接请求。当接收到连接请求时，处理引擎112可能能够获取从用户设备130发送的信息。在一些实施例中，处理引擎112可以检测在用户设备上执行的应用程序(例如，客户应用程序)。客户应用程序可以从用户设备130的一个或以上传感器收集用户设备130的环境信息，并通过网络和/或云120自动与系统(例如，导航系统100)通信。处理引擎112可以与在用户设备130上执行的客户应用程序通信以接收定位请求(例如，使用定位和/或导航服务的请求)。在一些实施例中，基于由用户设备的一个或以上传感器检测到的环境信息，采集模块410可以从用户设备的客户应用程序获取与建筑物的当前位置相应的当前环境数据。
在一些实施例中，用户设备130可以通过传感器获取当前环境数据。传感器可包括但不限于相机、激光传感器、超声波传感器、雷达传感器等，或其任何组合。传感器可以安装在用户设备130上或集成在用户设备130中。在一些实施例中，用户设备可以经由无线通信(例如，因特网、内联网、局部区域网络、蓝牙网络等)将当前环境数据(例如，一个或以上照片)发送到处理引擎112。用户设备130可以实时或基本上实时地将当前环境数据发送到处理引擎112。在一些实施例中，用户设备130可以位于无线信号强度不足以发送当前环境数据的地方，或者处于无线信号的强度会变化的地方。在这种情况下，用户设备130可以在无线信号弱时存储当前环境数据，并在无线信号强时发送。在一些实施例中，用户设备130可以仅在用户允许用户设备这样做时(例如，通过按下用户设备上的发送按钮)将当前环境数据发送到处理引擎112。在一些实施例中，用户设备130可以将当前环境数据与存储在用户设备130中的建筑物的3D模型的参照环境数据进行比较，并且用户设备130可以获取与当前环境数据相应的目标参照环境数据。用户设备130可以仅将与用户设备中存储的建筑物的3D模型的目标参照环境数据不匹配的当前环境数据发送到处理引擎112。在一些实施例中，可以在传输到处理引擎112之前预处理当前环境数据。例如，可以在传送到处理引擎112之前压缩当前位置的照片。
在630中，识别单元510可以在3D模型中，从建筑物的至少两个参照位置识别相应于当前位置的目标参照位置。在一些实施例中，目标参照位置可以对应于目标参照环境数据。目标参照环境数据可以是参照环境数据的一部分。目标参照环境数据可以包括与目标参照位置的环境细节相应的至少两个目标参考特征点。
在一些实施例中，识别单元510可通过从参照环境数据中与当前环境数据相对应的目标参照环境数据，来识别与当前位置相对应的目标参照位置。目标参照环境数据可以包括在参照环境数据中，与当前环境数据中的环境细节类似的最多的环境细节。
在一些实施例中，识别单元510可以将当前环境数据与参照环境数据进行比较以识别目标参照环境数据。例如，识别单元510可以将当前位置的照片与建筑物的3D模型的参照环境数据进行比较。建筑物的3D模型的位置与当前位置的照片最相似(例如，具有最多数量的相似环境细节)可以被识别为目标参照位置。在一些实施例中，3D模型可以包括至少两个参照位置，每个相应于参照环境数据(也称为候选环境数据)的一部分。例如，识别单元510可以将当前位置处的当前环境数据与至少两个参照位置中的每一处的候选环境数据进行比较。每个比较可以包括将当前环境数据中的环境细节的数量和形状、色彩、每个环境细节的大小与每个候选环境数据进行比较。当两个环境细节中的每个形状、色彩或大小的相似度大于第二阈值(例如，70％、80％、90％)时，当前环境数据的两个环境细节和候选环境数据分别被认为是相似的。例如，在当前环境包括两个黑色圆柱形柱和白色矩形柱时，相应的当前环境数据可包括两个黑色圆柱形柱和白色矩形柱。与整个3D模型相应的参照环境数据可以包括具有不同色彩和形状的至少两个柱。3D模型可以包括至少两个参照位置，每个都与具有多个支柱的候选环境数据相对应。识别单元510可以识别具有两个黑色圆柱形柱和白色矩形柱(或一个黑色圆柱形柱和一个矩形柱，如果其他候选环境数据包含甚至更少类似的柱)的候选环境数据作为目标参照环境数据。
在640中，比较单元520可以将当前环境数据与目标参照环境数据进行比较。在一些实施例中，目标参照环境数据可以包括至少两个目标参照位置的目标参考特征点。当前环境数据可以包括与当前位置的环境细节相应的至少两个当前特征点。在一些实施例中，比较单元520可以通过将至少两个当前特征点与至少两个目标参考特征点进行比较来将当前环境数据与目标参照环境数据进行比较。关于当前环境数据与目标参照环境数据之间的比较的更多描述可以在本申请的其他地方找到(例如，图7及其描述)。
在一些实施例中，在当前环境数据与目标参照环境数据匹配时，通信模块440可以向用户设备发送包括目标参照位置的通信信号。通信模块440可以经由因特网120将通信信号发送到用户设备。在一些实施例中，基于与建筑物的当前位置相应的目标参照位置，可以确定用户设备的位置。如这里所使用的，用户设备的位置可以是用户站立的位置，而建筑物的当前位置可以是用户设备正在检测或拍摄照片的位置。可以通过基于目标参照位置和当前环境数据的多点透视(PNP)方法来确定用户设备的位置。在一些实施例中，用户设备可以根据用户设备的位置和用户的目的地向用户提供室内定位和导航服务(例如，室内增强现实(AR)导航服务)。在一些实施例中，应用程序可以安装在用户设备130中。该应用程序可能包括与至少两个城市、道路、建筑物等相关的地图。由通信模块440发送的通信信号可以包括城市的名称、道路的名称、以及用户设备130所在的建筑物的名称。应用程序可以控制用户设备130在用户设备130的显示界面上显示相应的地图。通信信号还可以包括建筑物中的用户设备130的坐标，并且应用可以控制用户设备130在地图的相应的坐标上显示符号(例如，圆圈、点)以表示用户设备的位置。在一些实施例中，通信信号还可以包括从用户设备130的位置到目的地的路线。例如，沿着路线的一些或全部位置的坐标可以存储在通信信号中。用户设备130可以通过基于其坐标连接和显示沿着路线的位置来在地图上显示路线。
在一些实施例中，应用程序可以是增强现实(AR)应用程序。例如，AR应用可以控制用户设备130显示由用户设备130的相机连续捕获的实时视频。基于通信信号，AR应用可以确定用户设备130的位置，并且基于路线，可以确定距即将到来的交叉口的距离和用户设备应该在交叉口处采取的方向。AR应用可以控制用户设备130在实时视频上显示相对于用户设备130的显示界面上的交叉点的方向和距离的箭头。
在650中，在当前环境数据在统计上与目标参照环境数据不匹配时，更新模块430可以用当前环境数据更新3D模型。在一些实施例中，采集模块410可以在紧接当前时间之前的预定时间内从至少两个其他用户设备接收当前位置的环境数据。处理引擎112(例如，识别单元510和/或比较单元520)可以将来自至少两个其他用户设备的不同用户设备的环境数据与当前环境数据进行比较。处理引擎112还可以将来自至少两个其他用户设备的不同用户设备的环境数据与相应的参照环境数据进行比较。当来自不同用户设备的环境数据全部与当前环境数据匹配(也就是说，用户设备正在拍摄相同的照片)，但是来自不同用户设备的环境数据和当前环境数据，与目标参照环境数据不匹配时，处理单元530可以确定当前位置的当前环境数据在统计上与目标参照环境数据不匹配。在一些实施例中，当来自不同用户设备的环境数据都与当前环境数据匹配且超过第三阈值，但来自不同用户设备的环境数据和当前环境数据，与目标参照环境数据不匹配且超过第四阈值时，处理单元530可以确定当前位置的当前环境数据在统计上与目标参照环境数据不匹配。例如，可以在建造建筑物之后立即构建3D模型，并且其中可以不包含海报。几天后，可以在墙上粘贴海报，并且至少两个用户设备可以捕获墙上有海报的照片。至少两个用户设备可以将照片发送到服务器，并且服务器可以从3D模型中的所有墙壁识别墙壁(没有海报)(例如，基于诸如尺寸、形状、纹理、色彩、墙上的其他物体等环境细节)作为目标参照位置。处理模块420可以确定当前位置的当前环境数据静态地与目标参照环境数据不匹配，因为用户设备捕获的所有照片是相同的(例如，包含海报)并且与不包含海报的目标参照环境数据不同。然后，基于当前环境数据，更新模块430可以更新3D模型(例如，通过在3D模型上添加海报)。在一些实施方案中，第三阈值可在90％和100％之间变化。第四阈值可在30％至70％之间变化。
图7是用于将当前环境数据与目标参照环境数据进行比较的示例性过程的流程图。基于该比较，处理引擎112可以确定当前环境数据是否与目标参照环境数据匹配。过程700可以由室内定位和导航系统100执行。例如，过程700可以实现为存储在存储器(例如，存储器140、ROM230、RAM 240或存储器390)中的一组指令(例如，应用程序)。在一些实施例中，一组指令可以嵌入在内存中。处理器(例如，服务器110、处理引擎112或处理器220、CPU340)可以执行一组指令，并且当执行指令时，可以将其配置为执行过程700。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程700可以利用未描述的一个或以上附加操作，和/或没有讨论的一个或以上操作来完成。另外，如图7所示和下面描述的过程操作的顺序不是限制性的。
在710中，比较单元520可以将至少两个当前特征点与目标参照环境数据进行比较。在一些实施例中，至少两个当前特征点中的每一个可以是当前环境数据中的点。至少两个当前特征点中的每一个可以对应于目标参照环境数据中的目标参考特征点(如果存在)。比较单元520可以确定每个目标参考特征点是否与相应的当前特征点相同。如本文所用，如果两个点的坐标和灰度值或色彩相同，则认为两个点彼此“相同”。
在一些实施例中，在当前特征点与相应的目标参考特征点(例如，相同色彩和/或灰度值)相同时，处理单元530可以确定当前特征点与目标参考特征点匹配。在一些实施例中，在当前位置中的当前特征点与相应于当前位置的目标参考位置中的目标参考特征点不同时，处理单元530可以确定当前特征点与目标参考特征点不匹配。或者，比较单元520可以在色彩或灰度值中确定至少两个当前特征点中的每一个和相应的目标参考特征点之间的差异。在当前特征点与相应的目标参考特征点之间的差异小于第五阈值时，处理单元530可以确定当前特征点与目标参考点匹配。否则，处理单元530可以确定当前特征点与目标参考点不匹配。在一些实施例中，当相应于当前位置点的目标参考位置点中没有目标参考特征点时，处理单元530可以确定当前特征点是不匹配的。
在一些实施例中，处理单元530可以生成建筑物的当前环境数据与建筑物的3D模型的目标参照环境数据之间的匹配度。例如，基于至少两个当前特征点中的每一个和相应的目标参考特征点之间的差异，处理单元530可以生成匹配度。匹配度可以是匹配的当前特征点的数量与建筑物的当前位置相应的当前环境数据中的至少两个当前特征点的总数的比率。在一些实施例中，建筑物的当前位置可以被划分为若干区域。可以生成区域的匹配度，作为区域中的匹配当前特征点的计数与区域中的当前特征点的计数的比率。
在720中，处理单元530可以确定匹配度是否大于第一阈值。在一些实施例中，匹配度可以是匹配的特征点的数量与至少两个当前特征点的数量的比率。在一些实施例中，第一阈值可以在50％和90％之间变化。例如，第一阈值可以是50％、60％、70％、80％或90％。当比较的匹配度大于第一阈值时，过程700可以进行到730。否则，过程700可以进行到740。
在730中，处理单元530可以确定当前环境数据与目标参照环境数据匹配。换句话说，相应于当前环境数据的当前位置，被确定为与目标参照环境数据相应的目标位置相同或基本相同。
在740中，处理单元530可以确定当前环境数据与目标参照环境数据不匹配。换句话说，确定与当前环境数据相应的当前位置，和与目标参照环境数据相应的目标位置不同。
图8是根据本申请的一些实施例所示的用于更新建筑物的3D模型的示例性过程的流程图。过程800可以由室内定位和导航系统100执行。例如，过程800可以实现为存储在存储器(例如，存储器140、ROM230、RAM240或存储器390)中的一组指令(例如，应用程序)。在一些实施例中，一组指令可以嵌入在内存中。处理器(例如，服务器110、处理引擎112或处理器220、CPU340)可以执行一组指令，并且当执行指令时，可以将其配置为执行过程800。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程800可以利用未描述的一个或以上附加操作和/或没有所讨论的一个或以上操作来完成。另外，如图8所示和下面描述的过程操作的顺序不是限制性的。
在810中，处理单元530可以从至少两个当前特征点中选择一些或全部不匹配的特征点。例如，处理单元530可以从至少两个当前特征点确定至少两个不匹配的特征点。不匹配的特征点可以对应于当前环境数据中的一个或以上区域(也称为不匹配区域)。在一些实施例中，不匹配的特征点还可以包括一些错误点。可以隔离错误点，并且操作810可以包括选择未被隔离的一些或全部不匹配的特征点。关于不匹配的特征点的更多描述可以在本申请的其他地方找到(例如，图7及其描述)。
在820中，处理单元530可以基于所选择的一些或全部特征点来确定当前环境数据中的不匹配区域。在一些实施例中，不匹配区域可以是当前环境数据中包含所选择的不匹配特征点的区域。不匹配区域可以是规则区域或不规则区域。例如，不匹配区域的形状可以是圆形、正方形、矩形、三角形、星形等，或其任何组合。
在830中，处理单元530可以确定与当前环境数据中的不匹配区域相对应的建筑物的3D模型的目标参照环境数据中的第一区域。第一区域的形状和大小可以与不匹配区域相同。第一区域在建筑物的3D模型的目标参照环境数据中的位置可以对应于当前环境数据中的不匹配区域的位置。例如，不匹配区域可以是当前环境数据的中心的15×15像素区域。在这种情况下，第一区域可以是相应地在建筑物的3D模型的目标参照环境数据的中心的15×15像素区域。
在840中，基于当前环境数据中的不匹配区域，更新模块430可以更新建筑物的3D模型的目标参照环境数据中的第一区域，以生成建筑物的更新3D模型。在一些实施例中，更新模块430可以通过用当前环境数据中的不匹配区域替换第一区域，来更新目标参照环境数据中的第一区域。例如，基于当前环境数据中的不匹配区域中的相应的当前特征点，可以更新目标参照环境数据中的第一区域中的全部目标参考特征点。关于基于不匹配区域更新第一区域的更多描述可以在本申请的其他地方找到(例如，图9及其描述)。
图9是根据本申请的一些实施例所示的基于当前环境数据中的不匹配区域更新建筑物的3D模型中的第一区域的流程图。过程900可以由室内定位和导航系统100执行。例如，过程900可以实现为存储在存储器(例如，存储器140、ROM 230、RAM 240或存储器390)中的一组指令(例如，应用程序)。在一些实施例中，一组指令可以嵌入在内存中。处理器(例如，服务器110、处理引擎112或处理器220，CPU340)可以执行一组指令，并且当执行指令时，可以将其配置为执行过程900。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程900可以利用未描述的一个或以上附加操作，和/或没有讨论的一个或以上操作来完成。另外，如图9所示和下面描述的过程操作的顺序不是限制性的。
在910中，处理单元530可以确定当前环境数据中的匹配区域。在一些实施例中，匹配区域可以邻近不匹配区域。例如，匹配区域可以扩展到不匹配区域。在一些实施例中，匹配区域可以与不匹配区域分开。匹配区域中特征点的匹配度(例如，在图7中描述及其描述)可以相对较高(例如，90％、95％)。在一些实施例中，匹配区域可以是规则区域或不规则区域。例如，匹配区域的形状可以是圆形、正方形、矩形、三角形等，或其任何组合。
在920中，处理单元530可以确定与匹配区域相对应的建筑物的3D模型的目标参照环境数据中的第二区域。第二区域的形状和大小可以与匹配区域相同。第二区域在建筑物的3D模型的目标参照环境数据中的位置可以对应于当前环境数据中的匹配区域的位置。
在930中，更新模块430可以将当前环境数据中的匹配区域标记为建筑物的3D模型中的第二区域。在一些实施例中，基于标记为第二区域的匹配区域，更新模块430可以将当前环境数据与目标参照环境数据进行匹配。例如，基于标记，至少两个当前特征点中的每一个可以对应于目标特征点。
在940中，基于标记为第二区域的匹配区域，更新模块430可以将当前环境数据中的不匹配区域标记为建筑物的3D模型中的第一区域，以更新建筑物的3D模型中的第一区域。在一些实施例中，基于当前环境数据中的不匹配区域，更新模块430可以更新建筑物的3D模型中的第一区域。例如，基于当前环境数据中的不匹配区域中的相应的当前特征点，可以更新目标参照环境数据中的第一区域中的全部目标参考特征点。在一些实施例中，第一区域中的一些目标参考特征点(例如，5％、10％)与相应的当前特征点匹配。在这种情况下，第一区域中的这些匹配目标参考特征点可以不变，而其他目标参考特征点(其是不匹配的特征点)可以基于相应的当前特征点来更新。
图10A-10E是根据本申请的一些实施例所示的用于更新建筑物的3D模型的示例性过程的示意图。
图10A示出了建筑物的一部分。如图10A所示，建筑物中的栏杆可包括两个星形符号(即，左侧是正常星形符号1010，右侧是反向星形符号1020)。
图10B示出了建筑物的3D模型(例如，栏杆的3D模型)。如图10B所示，栏杆的3D模型可以是点云模型，其包括与环境细节相应的至少两个目标参考特征点(例如，栏杆，正常星形符号1015，反向星形符号1025)。正常星形符号1015(或反向星形符号1025)是建筑物中的正常星形符号1010(或反向星形符号1020)的3D模型。
图10C示出了用户设备拍摄的照片(即，当前的环境数据)。如图10C所示，照片中的栏杆可包括普通星形符号1030和月亮符号1040。月亮符号1040可于近期安装在了栏杆上，并且3D模型尚未更新，3D模型不包括月亮符号。
图10D示出了将照片(如图10C所示)与建筑物的3D模型(如图10B所示)匹配的过程。处理引擎112可以识别与照片(例如，与3D模型的左侧相关联的参照位置，其包括与照片中的环境细节(例如，正常的星形1030)的相似的最高数量的环境细节(例如，正常的星形1015))相对应的栏杆的3D模型的左侧。处理引擎112可以通过将至少两个当前特征点(例如，特征点1030-a、1030-b)与至少两个目标参考特征点(例如，特征点1015-a，1015-b)进行比较，来将照片与栏杆的3D模型的左侧进行比较。在一些实施例中，处理引擎112可以确定照片与3D模型的左侧不匹配。处理引擎112可以基于照片，通过更新3D模型的左侧来更新栏杆的3D模型。在一些实施例中，处理引擎112可以将包括正常星形符号1030的区域确定为匹配区域，并且将包括月亮符号1040的区域确定为不匹配区域。处理引擎112可以首先在配对的3D模型中将相应的区域标记为匹配区域，并且基于标记的匹配区域，将相应的区域标记为不匹配区域，以更新栏杆的3D模型。
图10E示出了栏杆的更新后的3D模型。如图10E所示，栏杆的更新后的3D模型中的栏杆可包括月亮符号1045(即，月亮符号1040的3D模型)。
图11是根据本申请的一些实施例所示的具有室内定位和导航服务应用的用户设备的示例性屏幕的示意图。如图11所示，当用户正在使用室内定位和导航服务时，用户设备可以连续拍摄当前环境数据的照片(例如，拍摄视频)。用户设备(例如，用户设备130中的处理器)可以将照片与存储在用户设备中的建筑物的3D模型进行比较，并确定用户设备的位置。用户设备可以提供AR导航服务(例如，在照片中显示引导箭头)，用于引导用户到达目的地。在一些实施例中，用户设备可以将当前环境数据(例如，一个或以上照片)发送到处理引擎112(例如，实时地，或者当无线信号强时)。如果当前环境数据与建筑物的3D模型不匹配，则基于当前环境数据，处理引擎112可以更新建筑物的3D模型。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改良。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“块”、“模块”、“设备”、“单元”、“组件”或“系统”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括面向对象程序设计语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化程序设计语言如C程序设计语言、Visual Basic、Fortran1703、Perl、COBOL1702、PHP、ABAP，动态程序设计语言如Python、Ruby和Groovy，或其他程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网络(LAN)或广域网络(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本文件中使用的术语以本文件为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。因此，本申请的实施例不限于精确地如所示和所述的那些。

Claims (35)

1.一种系统，包括：
至少一个存储介质，所述存储介质包括用于更新建筑物的模型的一组指令；
至少一个处理器，与所述至少一个存储介质通信，其特征在于，当执行所述一组指令时，指示所述至少一个处理器：
获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据；
从用户设备获取与所述建筑物的当前位置相应的当前环境数据；在所述3D模型中，从所述建筑物的所述至少两个参照位置中识别出与所述当前位置相应的目标参照位置，其中，
所述目标参照位置对应于目标参照环境数据；以及
所述当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置关联的目标参照环境数据；
比较所述当前环境数据与所述目标参照环境数据；
当所述当前环境数据与所述目标参照环境数据相匹配时，将所述目标参照位置发送至所述用户设备；以及
当所述当前环境数据在统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型，其中，进一步指示所述至少一个处理器：
在紧接当前时间之前的预定时间内，从至少两个其他用户设备接收所述当前位置的环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与所述当前环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与相应的参照环境数据；以及
当来自不同用户设备的所述环境数据都与所述当前环境数据匹配且超过第三阈值，但来自不同用户设备的所述环境数据和所述当前环境数据，与所述目标参照环境数据不匹配且超过第四阈值时，确定所述当前位置的当前环境数据在统计上与所述目标参照环境数据不匹配。
2.根据权利要求1所述的系统，其特征在于，所述建筑物的所述3D模型是点云模型或网格模型，其中所述目标参照环境数据包括与所述目标参照位置的环境细节相应的至少两个目标参考特征点；以及
所述当前环境数据包括与所述当前位置的环境细节相应的至少两个当前特征点。
3.根据权利要求2所述的系统，其特征在于，为了将所述当前环境数据与所述目标参照环境数据进行比较，进一步指示所述至少一个处理器：
比较所述至少两个当前特征点与所述目标参考特征点；
当比较返回大于第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据匹配；以及
当比较返回小于或等于所述第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据不匹配。
4.根据权利要求3所述的系统，其特征在于，为了比较所述至少两个当前特征点与所述至少两个目标参考特征点，进一步指示所述至少一个处理器：
将所述至少两个当前特征点的每一个与所述至少两个目标参考特征点中的一个相匹配；
确定所述至少两个当前特征点中的每一个的色彩或灰度值与所述至少两个目标参考特征点中的匹配点的色彩或灰度值之间的差异；以及
基于所述差异，生成所述建筑物的所述当前环境数据和所述建筑物的所述3D模型的所述目标参照环境数据之间的所述匹配度。
5.根据权利要求4所述的系统，其特征在于，在确定所述当前环境数据在统计上与所述目标参照环境数据不匹配后，进一步指示所述至少一个处理器：
确定至少两个不匹配的特征点，其中至少两个不匹配点的每一个的色彩或灰度值与相应的所述目标参考特征点的色彩或灰度值不同；
从所述至少两个不匹配的特征点中选择一些或全部不匹配的特征点；以及
基于选择的所述一些或全部不匹配的特征点，确定所述当前环境数据中的不匹配区域。
6.根据权利要求5所述的系统，其特征在于，为了用所述当前环境数据更新所述建筑物的所述3D模型，进一步指示所述至少一个处理器：
确定在所述建筑物的所述3D模型的所述目标参照环境数据中的第一区域，所述第一区域对应于所述当前环境数据中的所述不匹配区域；以及
基于所述当前环境数据中的所述不匹配区域，更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，以生成更新的所述建筑物的所述3D模型。
7.根据权利要求6所述的系统，其特征在于，使用多点透视方法确定所述建筑物的所述3D模型中的所述第一区域。
8.根据权利要求6所述的系统，其特征在于，基于所述当前环境数据中的所述不匹配区域，为了更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，进一步指示所述至少一个处理器：
确定所述当前环境数据中的匹配区域；
确定所述建筑物的所述3D模型的所述目标参照环境数据中对应于所述匹配区域的第二区域；
将所述当前环境数据中所述匹配区域标记为所述建筑物的所述3D模型中的所述第二区域；以及
将在所述当前环境数据中所述不匹配区域标记为所述建筑物的所述3D模型中的所述第一区域，基于标记为所述第二区域的所述匹配区域，更新所述建筑物的所述3D模型的所述第一区域。
9.根据权利要求1所述的系统，其特征在于，所述建筑物是封闭的或半封闭的，所述建筑物的图像由在所述建筑物中的所述用户设备拍摄。
10.一种在计算设备上实现的方法，其具有至少一个存储设备，其存储用于更新建筑物的模型的一组指令，以及至少一个与所述至少一个存储设备通信的处理器，所述方法包括：
获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据；
从用户设备获取与所述建筑物的当前位置相应的当前环境数据；
在所述3D模型中，从所述建筑物的所述至少两个参照位置中识别出与所述当前位置相应的目标参照位置，其中，
所述目标参照位置对应于目标参照环境数据；以及
所述当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置关联的所述目标参照环境数据；
比较所述当前环境数据与所述目标参照环境数据；
当所述当前环境数据与所述目标参照环境数据相匹配时，将所述目标参照位置发送到所述用户设备；以及
当所述当前环境数据在统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型，其中，所述方法进一步包括：
在紧接当前时间之前的预定时间内，从至少两个其他用户设备接收所述当前位置的环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与所述当前环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与相应的参照环境数据；以及
当来自不同用户设备的所述环境数据都与所述当前环境数据匹配且超过第三阈值，但来自不同用户设备的所述环境数据和所述当前环境数据，与所述目标参照环境数据不匹配且超过第四阈值时，确定所述当前位置的所述当前环境数据在统计上与所述目标参照环境数据不匹配。
11.根据权利要求10所述的方法，其特征在于，所述建筑物的所述3D模型是点云模型或网格模型，其中所述目标参照环境数据包括与所述目标参照位置的环境细节相应的至少两个目标参考特征点；以及
所述当前环境数据包括与所述当前位置的环境细节相应的至少两个当前特征点。
12.根据权利要求11所述的方法，其特征在于，将所述当前环境数据与所述目标参照环境数据进行比较，包括：
比较所述至少两个当前特征点与所述目标参考特征点；
当比较返回大于第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据匹配；以及
当比较返回小于或等于所述第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据不匹配。
13.根据权利要求12所述的方法，其特征在于，为了比较所述至少两个当前特征点与所述至少两个目标参考特征点，进一步包括：
将所述至少两个当前特征点与所述至少两个目标参考特征点中的一个相匹配；
确定所述至少两个当前特征点中的每一个的色彩或灰度值与所述至少两个目标参考特征点中的匹配点的色彩或灰度值之间的差异；以及
基于所述差异，生成所述建筑物的所述当前环境数据和所述建筑物的所述3D模型的目标参照环境数据之间的所述匹配度。
14.根据权利要求13所述的方法，其特征在于，在确定所述当前环境数据在统计上与所述目标参照环境数据不匹配之后，进一步包括：
确定至少两个不匹配的特征点，其中至少两个不匹配点的每一个的色彩或灰度值与相应的所述目标参考特征点的色彩或灰度值不同；
从所述至少两个不匹配的特征点中选择一些或全部不匹配的特征点；以及
基于选择的所述一些或全部不匹配的特征点，在所述当前环境数据中确定不匹配区域。
15.根据权利要求14所述的方法，其特征在于，更新所述建筑物的所述3D模型的所述当前环境数据，进一步包括：
确定在所述建筑物的3D模型的所述目标参照环境数据中的第一区域，所述第一区域对应于所述当前环境数据中的所述不匹配区域；以及
基于所述当前环境数据中的所述不匹配区域，更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，以生成更新的所述建筑物的所述3D模型。
16.根据权利要求15所述的方法，其特征在于，使用多点透视的方法确定所述建筑物的所述3D模型中的所述第一区域。
17.根据权利要求15所述的方法，其特征在于，基于所述当前环境数据中的所述不匹配区域，更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，包括：
确定所述当前环境数据中的匹配区域；
确定所述建筑物的所述3D模型的所述目标参照环境数据中对应于所述匹配区域的第二区域；
将所述当前环境数据中的所述匹配区域标记为所述建筑物的所述3D模型中的所述第二区域；以及
将所述当前环境数据中的所述不匹配区域标记为所述建筑物的所述3D模型中的所述第一区域，基于标记为所述第二区域的所述匹配区域，更新所述建筑物的所述3D模型的所述第一区域。
18.一种系统，包括：
至少一个存储介质，包括用于更新建筑物的模型的一组指令；
至少一个处理器，与所述至少一个存储介质通信，其中当执行所述一组指令时，所述至少一个处理器用于：
获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据；
接收并接受来自用户设备的连接请求；
检测在所述用户设备上执行的客户应用程序，所述客户应用程序从所述用户设备的一个或以上传感器收集所述用户设备的环境信息并通过网络自动与所述系统通信；
与在所述用户设备上执行的所述客户应用程序通信以接收定位请求；
基于所述用户设备的所述一个或以上传感器检测到的所述环境信息，从所述用户设备的所述客户应用程序获取与所述建筑物的当前位置相应的当前环境数据；
在所述3D模型中，从所述建筑物的所述至少两个参照位置识别出与所述当前位置相应的目标参照位置，其中，
所述目标参照位置对应于目标参照环境数据；以及
所述当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置相关联的所述目标参照环境数据；
比较所述当前环境数据与所述目标参照环境数据；
当所述当前环境数据与所述目标参照环境数据匹配时向所述用户设备发送通信信号，其中所述通信信号被构造为包括命令和所述目标参照位置，所述命令被配置为使用户终端在所述用户设备的显示器上呈现生成的所述目标参照位置；以及
当所述当前环境数据在统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型，其中，所述至少一个处理器还用于：
在紧接当前时间之前的预定时间内，从至少两个其他用户设备接收所述当前位置的环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与所述当前环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与相应的参照环境数据；以及
当来自不同用户设备的所述环境数据都与所述当前环境数据匹配且超过第三阈值，但来自不同用户设备的所述环境数据和所述当前环境数据，与所述目标参照环境数据不匹配且超过第四阈值时，确定所述当前位置的所述当前环境数据在统计上与所述目标参照环境数据不匹配。
19.根据权利要求18所述的系统，其特征在于，所述建筑物的所述3D模型是点云模型或网格模型，其中，所述目标参照环境数据包括与所述目标参照位置的环境细节相应的至少两个目标参考特征点；以及
所述当前环境数据包括与所述当前位置的环境细节相应的至少两个当前特征点。
20.根据权利要求19所述的系统，其特征在于，比较所述当前环境数据与所述目标参照环境数据，所述至少一个处理器用于：
比较所述至少两个当前特征点与所述目标参考特征点；
当比较返回大于第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据匹配；以及
当比较返回小于或等于所述第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据不匹配。
21.根据权利要求20所述的系统，其特征在于，为了比较所述至少两个当前特征点与所述至少两个目标参考特征点，所述至少一个处理器进一步指示：
将所述至少两个当前特征点中的每一个与所述至少两个目标参考特征点中的一个相匹配；
确定所述至少两个当前特征点中的每一个的色彩或灰度值与所述至少两个目标参考特征点中的匹配点的色彩或灰度值之间的差异；以及
基于所述差异，生成所述建筑物的所述当前环境数据和所述建筑物的所述3D模型的所述目标参照环境数据之间的所述匹配度。
22.根据权利要求21所述的系统，其特征在于，在确定所述当前环境数据在统计上与所述目标参照环境数据不匹配之后，所述至少一个处理器进一步指示：
确定至少两个不匹配的特征点，其中至少两个不匹配点的每一个的色彩或灰度值与相应的所述目标参考特征点的色彩或灰度值不同；
从所述至少两个不匹配的特征点中选择一些或全部不匹配的特征点；以及
基于选择的所述一些或全部不匹配的特征点，确定所述当前环境数据中的不匹配区域。
23.根据权利要求22所述的系统，其特征在于，更新所述建筑物的所述3D模型的所述当前环境数据，所述至少一个处理器进一步指示：
确定在所述建筑物的所述3D模型的所述目标参照环境数据中的第一区域，所述第一区域对应于所述当前环境数据中的所述不匹配区域；以及
基于所述当前环境数据中的所述不匹配区域，更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，以生成更新的所述建筑物的所述3D模型。
24.根据权利要求23所述的系统，其特征在于，使用多点透视方法确定所述建筑物的所述3D模型中的所述第一区域。
25.根据权利要求23所述的系统，其特征在于，基于所述当前环境数据中的所述不匹配区域，为了更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，所述至少一个处理器指示：
确定所述当前环境数据中的匹配区域；
确定所述建筑物的所述3D模型的所述目标参照环境数据中对应于所述匹配区域的第二区域；
将所述当前环境数据中的所述匹配区域标记为所述建筑物的所述3D模型中的所述第二区域；以及
将所述当前环境数据中的所述不匹配区域标记为所述建筑物的所述3D模型中的所述第一区域，基于标记为所述第二区域的所述匹配区域，更新所述建筑物的所述3D模型的所述第一区域。
26.根据权利要求18所述的系统，其特征在于，所述建筑物是封闭或半封闭的，所述建筑物的图像由所述建筑物内的所述用户设备拍摄。
27.一种在计算设备上实现的方法，其具有至少一个存储设备，其存储用于更新建筑物的模型的一组指令，以及至少一个与所述至少一个存储设备通信的处理器，所述方法包括：
获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据；
接收和接受来自用户设备的连接请求；
检测在所述用户设备上执行的客户应用程序，所述客户应用程序从所述用户设备的一个或以上传感器收集所述用户设备的环境信息并通过网络自动与所述计算设备通信；
与在所述用户设备上执行的所述客户应用程序通信以接收定位请求；
基于所述用户设备的所述一个或以上传感器检测到的所述环境信息，从所述用户设备的所述客户应用程序获取与所述建筑物的当前位置相应的当前环境数据；
在所述3D模型中，从所述建筑物的所述至少两个参照位置识别出与所述当前位置相应的目标参照位置，其中，
所述目标参照位置对应于目标参照环境数据；以及
所述当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置相关联的目标参照环境数据；
比较所述当前环境数据与所述目标参照环境数据；
当所述当前环境数据与所述目标参照环境数据匹配时，向所述用户设备发送通信信号，其中所述通信信号被构造为包括命令和所述目标参照位置，所述命令被配置为使用户终端在所述用户设备的显示器上呈现生成的所述目标参照位置；以及
当所述当前环境数据在统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型，其中，所述方法进一步包括：
在紧接当前时间之前的预定时间内，从至少两个其他用户设备接收所述当前位置的环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与所述当前环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与相应的所述参照环境数据；以及
当来自不同用户设备的所述环境数据都与所述当前环境数据匹配且超过第三阈值，但来自不同用户设备的所述环境数据和所述当前环境数据，与所述目标参照环境数据不匹配且超过第四阈值时，确定所述当前位置的所述当前环境数据在统计上与所述目标参照环境数据不匹配。
28.根据权利要求27所述的方法，其特征在于，所述建筑物的所述3D模型是点云模型或网格模型，其中，所述目标参照环境数据包括与所述目标参照位置的环境细节相应的至少两个目标参考特征点；以及
所述当前环境数据包括与所述当前位置的环境细节相应的至少两个当前特征点。
29.根据权利要求28所述的方法，其特征在于，将所述当前环境数据与所述目标参照环境数据进行比较，包括：
比较所述至少两个当前特征点与所述目标参考特征点；
当比较返回大于第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据匹配；以及
当比较返回小于或等于所述第一阈值的匹配度时，确定所述当前环境数据与所述目标参照环境数据不匹配。
30.根据权利要求29所述的方法，其特征在于，为了比较所述至少两个当前特征点与所述至少两个目标参考特征点，进一步包括：
将所述至少两个当前特征点中的每一个与所述至少两个目标参考特征点中的一个相匹配；
确定所述至少两个当前特征点中的每一个的色彩或灰度值与所述至少两个目标参考特征点中的匹配点的色彩或灰度值之间的差异；以及
基于所述差异，生成所述建筑物的所述当前环境数据和所述建筑物的所述3D模型的所述目标参照环境数据之间的所述匹配度。
31.根据权利要求30所述的方法，其特征在于，确定所述当前环境数据在统计上与所述目标参照环境数据不匹配后，进一步包括：
确定至少两个不匹配的特征点，其中，所述至少两个不匹配点的每一个的色彩或灰度值不同于相应的目标参考特征点的所述色彩或灰度值；
从所述至少两个不匹配的特征点中选择一些或全部不匹配的特征点；以及
基于选择的所述一些或全部不匹配的特征点，在所述当前环境数据中确定不匹配区域。
32.根据权利要求31所述的方法，其特征在于，用所述当前环境数据更新所述建筑物的所述3D模型，进一步包括：
确定在所述建筑物的所述3D模型的所述目标参照环境数据中的第一区域，所述第一区域对应于所述当前环境数据中的所述不匹配区域；以及
基于所述当前环境数据中的所述不匹配区域，更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，以生成更新的所述建筑物的所述3D模型。
33.根据权利要求32所述的方法，其特征在于，使用多点透视方法确定所述建筑物的所述3D模型中的所述第一区域。
34.根据权利要求32所述的方法，其特征在于，基于所述当前环境数据中的所述不匹配区域，为了更新所述建筑物的所述3D模型的所述目标参照环境数据中的所述第一区域，包括：
确定所述当前环境数据中的匹配区域；
确定所述建筑物的所述3D模型的所述目标参照环境数据中对应于所述匹配区域的第二区域；
将所述当前环境数据中的所述匹配区域标记为所述建筑物的所述3D模型中的所述第二区域；以及
将所述当前环境数据中的所述不匹配区域标记为所述建筑物的所述3D模型中的所述第一区域，基于标记为所述第二区域的所述匹配区域，更新所述建筑物的所述3D模型的所述第一区域。
35.一种非暂时性计算机可读介质，包括至少一组用于更新建筑物的模型的指令，其中当由电子终端的至少一个处理器执行时，至少一组所述指令指示所述至少一个处理器执行动作：
获取建筑物的3D模型，包括与所述建筑物的至少两个参照位置相关联的参照环境数据；
从用户设备获取与所述建筑物的当前位置相应的当前环境数据；
在所述3D模型中，从所述建筑的所述至少两个参照位置中识别出与所述当前位置相应的目标参照位置，其中，
所述目标参照位置对应于目标参照环境数据；以及
所述当前环境数据对应于所述3D模型的所述参照环境数据中的与所述目标参照位置关联的目标参照环境数据；
比较所述当前环境数据与所述目标参照环境数据；
当所述当前环境数据与所述目标参照环境数据匹配时，向所述用户设备发送包括所述目标参照位置的通信信号；以及
当所述当前环境数据在统计上与所述目标参照环境数据不匹配时，用所述当前环境数据更新所述3D模型，其中，至少一组所述指令进一步指示所述至少一个处理器执行动作：
在紧接当前时间之前的预定时间内，从至少两个其他用户设备接收所述当前位置的环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与所述当前环境数据；
比较来自所述至少两个其他用户设备的不同用户设备的所述环境数据与相应的所述参照环境数据；以及
当来自不同用户设备的所述环境数据都与所述当前环境数据匹配且超过第三阈值，但来自不同用户设备的所述环境数据和所述当前环境数据，与所述目标参照环境数据不匹配且超过第四阈值时，确定所述当前位置的所述当前环境数据在统计上与所述目标参照环境数据不匹配。
CN201880092597.3A 2018-04-27 2018-04-27 用于更新建筑物的3d模型的系统和方法 Active CN112020630B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/084736 WO2019205069A1 (en) 2018-04-27 2018-04-27 Systems and methods for updating 3d model of building

Publications (2)

Publication Number Publication Date
CN112020630A CN112020630A (zh) 2020-12-01
CN112020630B true CN112020630B (zh) 2024-06-28

Family

ID=68294627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092597.3A Active CN112020630B (zh) 2018-04-27 2018-04-27 用于更新建筑物的3d模型的系统和方法

Country Status (3)

Country Link
US (1) US11841241B2 (zh)
CN (1) CN112020630B (zh)
WO (1) WO2019205069A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
US20200320334A1 (en) * 2019-04-05 2020-10-08 Ent. Services Development Corporation Lp Systems and methods for digital image-based object authentication
CN112381923A (zh) * 2020-11-11 2021-02-19 深圳供电局有限公司 一种数据中心的三维可视化管理方法、装置及电子设备
CN113776520B (zh) * 2021-09-28 2024-05-17 上海擎朗智能科技有限公司 地图构建、使用方法、装置、机器人和介质
CN114353795B (zh) * 2021-12-06 2025-03-11 中南建筑设计院股份有限公司 一种基于uwb设备的室内三维定位系统与方法
CN114297749A (zh) * 2021-12-14 2022-04-08 万翼科技有限公司 建筑信息模型检测方法、装置、设备及存储介质
CN115037998A (zh) * 2022-06-21 2022-09-09 浙江冠石建筑科技有限公司 一种基于物联网的建筑物内部安防监控系统
CN115311574B (zh) * 2022-10-12 2023-02-07 山东乾元泽孚科技股份有限公司 一种建筑物监测方法、设备及介质
US12393168B1 (en) * 2025-02-10 2025-08-19 Address Robotics Limited, Uk Adaptive manufacturing method for building components

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447585A (zh) * 2016-09-21 2017-02-22 武汉大学 城市地区和室内高精度视觉定位系统及方法

Family Cites Families (223)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187731A (ja) * 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20010081894A (ko) * 2000-02-18 2001-08-29 구자홍 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7565008B2 (en) * 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US7899243B2 (en) * 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
EP1530157B1 (en) * 2002-07-10 2007-10-03 NEC Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
TWI245557B (en) * 2003-09-11 2005-12-11 Matsushita Electric Industrial Co Ltd Image compensation apparatus and method for the same
US8155451B2 (en) * 2004-11-12 2012-04-10 Kitakyushu Foundation For The Advancement Of Industry, Science And Technology Matching apparatus, image search system, and histogram approximate restoring unit, and matching method, image search method, and histogram approximate restoring method
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
TWI273509B (en) * 2005-09-13 2007-02-11 Ind Tech Res Inst Method for rapidly building image space relation using plane filtering limitation
JP2007133489A (ja) * 2005-11-08 2007-05-31 Sony Corp 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体
JP2007206920A (ja) * 2006-02-01 2007-08-16 Sony Corp 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
JP2007206919A (ja) * 2006-02-01 2007-08-16 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP5170961B2 (ja) * 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
IL179582A0 (en) * 2006-11-26 2007-05-15 Algotec Systems Ltd Comparison workflow automation by registration
US7751620B1 (en) * 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods
WO2008147877A1 (en) * 2007-05-22 2008-12-04 Trimble Navigation Limited Handling raster image 3d objects
US7995055B1 (en) * 2007-05-25 2011-08-09 Google Inc. Classifying objects in a scene
US20080310757A1 (en) * 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
US8209152B2 (en) * 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
JP5505410B2 (ja) * 2009-04-06 2014-05-28 日本電気株式会社 データ処理装置、画像照合方法、プログラムおよび画像照合システム
US8897541B2 (en) * 2009-09-14 2014-11-25 Trimble Navigation Limited Accurate digitization of a georeferenced image
US9091553B2 (en) * 2009-12-22 2015-07-28 Honeywell International Inc. Systems and methods for matching scenes using mutual relations between features
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
WO2011144966A1 (en) * 2010-05-19 2011-11-24 Nokia Corporation Crowd-sourced vision and sensor-surveyed mapping
US20120162372A1 (en) 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for converging reality and virtuality in a mobile environment
CN102647542B (zh) * 2011-02-22 2014-07-09 株式会社理光 图像处理设备和图像处理方法
US9507885B2 (en) * 2011-03-17 2016-11-29 Aditazz, Inc. System and method for realizing a building using automated building massing configuration generation
ITTO20110686A1 (it) * 2011-07-28 2013-01-29 Sisvel Technology Srl Metodo per garantire la continuità di servizio di un dispositivo di navigazione personale e relativo dispositivo
US8938257B2 (en) * 2011-08-19 2015-01-20 Qualcomm, Incorporated Logo detection for indoor positioning
WO2013029675A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
US8897554B2 (en) * 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
US8750613B2 (en) * 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897553B2 (en) * 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
WO2013141923A2 (en) 2011-12-20 2013-09-26 Sadar 3D, Inc. Scanners, targets, and methods for surveying
ITMI20120003A1 (it) * 2012-01-02 2013-07-03 Telecom Italia Spa Analisi d'immagine
CN104160409B (zh) * 2012-01-02 2017-12-19 意大利电信股份公司 用于图像分析的方法和系统
US10663294B2 (en) * 2012-02-03 2020-05-26 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area and producing a wall estimation report
US12140419B2 (en) * 2012-02-03 2024-11-12 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area and producing a wall estimation report
US11263823B2 (en) * 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
JP5758831B2 (ja) * 2012-03-30 2015-08-05 楽天株式会社 情報提供装置、情報提供方法、情報提供プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体
JP5924091B2 (ja) * 2012-04-13 2016-05-25 株式会社リコー 画像処理装置、画像処理システム、プログラム
US8941752B2 (en) * 2012-04-30 2015-01-27 Hewlett-Packard Development Company, L.P. Determining a location using an image
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US20150185992A1 (en) * 2012-09-27 2015-07-02 Google Inc. Providing geolocated imagery related to a user-selected image
US9183460B2 (en) * 2012-11-30 2015-11-10 Google Inc. Detecting modified images
US9648297B1 (en) * 2012-12-28 2017-05-09 Google Inc. Systems and methods for assisting a user in capturing images for three-dimensional reconstruction
US9196096B2 (en) * 2013-03-11 2015-11-24 Adobe Systems Incorporated 3D-consistent 2D manipulation of images
US8705893B1 (en) * 2013-03-14 2014-04-22 Palo Alto Research Center Incorporated Apparatus and method for creating floor plans
US20140310630A1 (en) * 2013-04-12 2014-10-16 Navteq B.V. Method and apparatus for providing interactive three-dimensional indoor environments
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
US11670046B2 (en) * 2013-07-23 2023-06-06 Hover Inc. 3D building analyzer
US10861224B2 (en) * 2013-07-23 2020-12-08 Hover Inc. 3D building analyzer
US11721066B2 (en) * 2013-07-23 2023-08-08 Hover Inc. 3D building model materials auto-populator
CN103424113B (zh) * 2013-08-01 2014-12-31 毛蔚青 移动终端基于图像识别技术的室内定位与导航方法
US8818081B1 (en) * 2013-10-16 2014-08-26 Google Inc. 3D model updates using crowdsourced video
US10311633B2 (en) * 2014-01-17 2019-06-04 Nokia Technologies Oy Method and apparatus for visualization of geo-located media contents in 3D rendering applications
WO2015120188A1 (en) * 2014-02-08 2015-08-13 Pictometry International Corp. Method and system for displaying room interiors on a floor plan
DE102014002150B3 (de) * 2014-02-15 2015-07-23 Audi Ag Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit
US20150243035A1 (en) 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
US9396586B2 (en) * 2014-03-14 2016-07-19 Matterport, Inc. Processing and/or transmitting 3D data
US9230188B2 (en) * 2014-03-31 2016-01-05 Verizon Patent And Licensing Inc. Objective metric relating to perceptual color differences between images
US9953111B2 (en) * 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US11182712B2 (en) * 2014-09-26 2021-11-23 The Sherwin-Williams Company System and method for determining coating requirements
CN104574386B (zh) * 2014-12-26 2017-05-17 速感科技（北京）有限公司 一种基于三维环境模型匹配的室内定位方法
EP3251347A4 (en) * 2015-01-28 2018-09-19 Matterport, Inc. Classifying, separating and displaying individual stories of a three-dimensional model of a multi-story structure based on captured image data of the multi-story structure
JP6584093B2 (ja) * 2015-02-26 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US10255302B1 (en) * 2015-02-27 2019-04-09 Jasmin Cosic Systems, methods, apparatuses, and/or interfaces for associative management of data and inference of electronic resources
US9916508B2 (en) * 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
US10469828B2 (en) * 2015-07-13 2019-11-05 Texas Instruments Incorporated Three-dimensional dense structure from motion with stereo vision
US9754182B2 (en) * 2015-09-02 2017-09-05 Apple Inc. Detecting keypoints in image data
CN106560840B (zh) * 2015-09-30 2019-08-13 腾讯科技（深圳）有限公司 一种图像信息识别处理方法及装置
EP3387623A4 (en) * 2015-12-09 2019-07-10 Geomni, Inc. SYSTEM AND METHOD FOR GENERATING COMPUTERIZED MODELS OF STRUCTURES USING GEOMETRY EXTRACTION AND RECONSTRUCTION TECHNIQUES
CN106875467B (zh) * 2015-12-11 2020-11-03 中国科学院深圳先进技术研究院 三维城市模型快速更新方法
WO2017114581A1 (en) 2015-12-30 2017-07-06 Telecom Italia S.P.A. System for generating 3d images for image recognition based positioning
US10217207B2 (en) * 2016-01-20 2019-02-26 Ez3D, Llc System and method for structural inspection and construction estimation using an unmanned aerial vehicle
JP6757913B2 (ja) * 2016-02-26 2020-09-23 国立研究開発法人情報通信研究機構 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム
JP6775969B2 (ja) * 2016-02-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN105973236A (zh) * 2016-04-26 2016-09-28 乐视控股（北京）有限公司 室内定位或导航方法、装置以及地图数据库生成方法
US10109051B1 (en) * 2016-06-29 2018-10-23 A9.Com, Inc. Item recommendation based on feature match
US10871782B2 (en) * 2016-07-01 2020-12-22 Uatc, Llc Autonomous vehicle control using submaps
US20180005015A1 (en) * 2016-07-01 2018-01-04 Vangogh Imaging, Inc. Sparse simultaneous localization and matching with unified tracking
US10127434B2 (en) * 2016-07-15 2018-11-13 Tyco Fire & Security Gmbh Techniques for built environment representations
US10210285B2 (en) * 2016-08-10 2019-02-19 Indoor Reality Inc. Methods for generating a floor plan from a building scan
US10169914B2 (en) * 2016-08-26 2019-01-01 Osense Technology Co., Ltd. Method and system for indoor positioning and device for creating indoor maps thereof
US10706516B2 (en) * 2016-09-16 2020-07-07 Flir Systems, Inc. Image processing using histograms
CN106767812B (zh) * 2016-11-25 2017-12-08 郭得科 一种基于语义信息提取的室内语义地图更新方法与系统
US10694325B2 (en) * 2016-12-31 2020-06-23 Google Llc Determining position of a device in three-dimensional space and corresponding calibration techniques
US10535156B2 (en) * 2017-02-03 2020-01-14 Microsoft Technology Licensing, Llc Scene reconstruction from bursts of image data
US10248744B2 (en) * 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
WO2018181249A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
JP6440043B1 (ja) * 2017-06-27 2018-12-19 株式会社マーケットヴィジョン 商品特定システム
US20180300552A1 (en) * 2017-06-27 2018-10-18 Structionsite Inc. Differential Tracking for Panoramic Images
US10375306B2 (en) * 2017-07-13 2019-08-06 Zillow Group, Inc. Capture and use of building interior data from mobile devices
US10530997B2 (en) * 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
US10915114B2 (en) * 2017-07-27 2021-02-09 AI Incorporated Method and apparatus for combining data to construct a floor plan
US10600194B2 (en) * 2017-08-24 2020-03-24 General Electric Company Image and video capture architecture for three-dimensional reconstruction
US10655970B2 (en) * 2017-09-07 2020-05-19 Wichita State University Beacon-based indoor wayfinding system with automated beacon placement
US10546387B2 (en) * 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
EP3489627B1 (en) * 2017-11-24 2020-08-19 Leica Geosystems AG True to size 3d-model conglomeration
US10515293B2 (en) * 2017-12-14 2019-12-24 Here Global B.V. Method, apparatus, and system for providing skip areas for machine learning
US20190236732A1 (en) * 2018-01-31 2019-08-01 ImageKeeper LLC Autonomous property analysis system
US10791268B2 (en) * 2018-02-07 2020-09-29 Structionsite Inc. Construction photograph integration with 3D model images
US11263361B1 (en) * 2018-02-08 2022-03-01 Layer, Llc System for creating and maintaining dynamic multidimensional virtual building environments
CN110360999B (zh) * 2018-03-26 2021-08-27 京东方科技集团股份有限公司 室内定位方法、室内定位系统和计算机可读介质
US11721028B2 (en) * 2018-05-28 2023-08-08 Universiteit Gent Motion segmentation in video from non-stationary cameras
WO2019228520A1 (en) * 2018-06-01 2019-12-05 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for indoor positioning
US10573025B2 (en) * 2018-06-03 2020-02-25 CUSEUM, Inc. Method and system for generating indoor wayfinding instructions
US10890663B2 (en) * 2018-06-28 2021-01-12 Zoox, Inc. Loading multi-resolution maps for localization
US10937150B2 (en) * 2018-06-28 2021-03-02 General Electric Company Systems and methods of feature correspondence analysis
US10467758B1 (en) * 2018-07-13 2019-11-05 Structionsite Inc. Imagery-based construction progress tracking
WO2020017677A1 (ko) * 2018-07-20 2020-01-23 엘지전자 주식회사 영상 출력 장치
CN112655279B (zh) * 2018-08-02 2023-11-21 路创技术有限责任公司 使用移动装置来调试照明控制系统的方法
US10832437B2 (en) * 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
EP3853532B1 (en) * 2018-09-21 2024-08-21 Eagle View Technologies, Inc. Method and system for determining solar access of a structure
US11200650B1 (en) * 2018-09-26 2021-12-14 Apple Inc. Dynamic image re-timing
JP7534311B2 (ja) * 2018-10-09 2024-08-14 レソナイ インコーポレイテッド ３ｄシーン拡張及び再構築のためのシステム及び方法
US12014433B1 (en) * 2018-10-09 2024-06-18 Corelogic Solutions, Llc Generation and display of interactive 3D real estate models
CA3058602C (en) * 2018-10-11 2023-01-24 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US10708507B1 (en) * 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
EP3678108A4 (en) * 2018-10-25 2020-07-08 Beijing Didi Infinity Technology and Development Co., Ltd. METHOD AND SYSTEM FOR DETERMINING THE EXISTENCE OF A TARGET ROAD DEVICE AT A CROSSOVER
US11215462B2 (en) * 2018-10-26 2022-01-04 Here Global B.V. Method, apparatus, and system for location correction based on feature point correspondence
JP7326720B2 (ja) * 2018-10-26 2023-08-16 富士通株式会社 移動体位置推定システムおよび移動体位置推定方法
CN113348338A (zh) * 2018-11-26 2021-09-03 御眼视觉技术有限公司 车道建图和导航
WO2020110576A1 (ja) * 2018-11-27 2020-06-04 キヤノン株式会社 情報処理装置
WO2020123686A1 (en) * 2018-12-14 2020-06-18 Pcms Holdings, Inc. System and method for procedurally colorizing spatial data
US20200273071A1 (en) * 2019-02-27 2020-08-27 Point Inside, Inc. Listener SDK-Based Enrichment of Indoor Positioning
US10949707B2 (en) * 2019-02-27 2021-03-16 Here Global B.V. Method, apparatus, and system for generating feature correspondence from camera geometry
US20200304375A1 (en) * 2019-03-19 2020-09-24 Microsoft Technology Licensing, Llc Generation of digital twins of physical environments
US11176374B2 (en) * 2019-05-01 2021-11-16 Microsoft Technology Licensing, Llc Deriving information from images
US11361505B2 (en) * 2019-06-06 2022-06-14 Qualcomm Technologies, Inc. Model retrieval for objects in images using field descriptors
EP3983941B1 (en) * 2019-06-14 2025-08-27 Magic Leap, Inc. Scalable three-dimensional object recognition in a cross reality system
US11087543B1 (en) * 2019-06-20 2021-08-10 Snap Inc. Crowd sourced mapping system
US11830163B2 (en) * 2019-07-01 2023-11-28 Geomagical Labs, Inc. Method and system for image generation
JP7407428B2 (ja) * 2019-07-09 2024-01-04 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置
US11216969B2 (en) * 2019-07-23 2022-01-04 Obayashi Corporation System, method, and computer-readable medium for managing position of target
IT201900012813A1 (it) * 2019-07-24 2021-01-24 Ambarella Int Lp Switchable display during parking maneuvers
US11544900B2 (en) * 2019-07-25 2023-01-03 General Electric Company Primitive-based 3D building modeling, sensor simulation, and estimation
US10825243B1 (en) * 2019-08-15 2020-11-03 Autodesk, Inc. Three-dimensional (3D) model creation and incremental model refinement from laser scans
US11243656B2 (en) * 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings
US12014120B2 (en) * 2019-08-28 2024-06-18 MFTB Holdco, Inc. Automated tools for generating mapping information for buildings
US11080889B2 (en) * 2019-09-24 2021-08-03 Shanghai United Imaging Intelligence Co., Ltd. Methods and systems for providing guidance for adjusting an object based on similarity
JP7338369B2 (ja) * 2019-09-27 2023-09-05 富士通株式会社 環境地図調整値算出方法および環境地図調整値算出プログラム
US11164368B2 (en) * 2019-10-07 2021-11-02 Zillow, Inc. Providing simulated lighting information for three-dimensional building models
KR102814112B1 (ko) * 2019-10-25 2025-05-29 삼성전자주식회사 위치를 탐지하는 전자 장치 및 그 방법
US11164361B2 (en) * 2019-10-28 2021-11-02 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US11348310B2 (en) * 2019-11-13 2022-05-31 Raytheon Company Building mask generation from 3D point set
US11636618B2 (en) * 2019-11-14 2023-04-25 Samsung Electronics Co., Ltd. Device and method with simultaneous implementation of localization and mapping
US11328476B2 (en) * 2019-11-14 2022-05-10 Qualcomm Incorporated Layout estimation using planes
US11158090B2 (en) * 2019-11-22 2021-10-26 Adobe Inc. Enhanced video shot matching using generative adversarial networks
US11074701B2 (en) * 2019-12-13 2021-07-27 Reconstruct Inc. Interior photographic documentation of architectural and industrial environments using 360 panoramic videos
US11380078B2 (en) * 2019-12-13 2022-07-05 Hover, Inc. 3-D reconstruction using augmented reality frameworks
WO2021121306A1 (zh) * 2019-12-18 2021-06-24 北京嘀嘀无限科技发展有限公司 视觉定位方法和系统
KR20210081576A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 실내 측위를 제공하는 전자 장치 및 그 방법
KR102823384B1 (ko) * 2020-01-02 2025-06-20 삼성전자주식회사 위치를 탐지하는 전자 장치 및 그 방법
CN116026345B (zh) * 2020-01-03 2024-08-16 御眼视觉技术有限公司 用于车辆导航的系统和方法
EP4089361B1 (en) * 2020-01-10 2025-08-27 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional model generation method, information processing device, and program
US11315346B2 (en) * 2020-01-16 2022-04-26 Square Enix Co., Ltd. Method for producing augmented reality image
US20210232819A1 (en) * 2020-01-28 2021-07-29 Lenovo (Singapore) Pte. Ltd. Method and system of determining a recommended pathway through a physical structure environment
US11676018B2 (en) * 2020-01-30 2023-06-13 Mediatek Inc. Feature extraction with keypoint resampling and fusion (KRF)
JP7537095B2 (ja) * 2020-02-18 2024-08-21 株式会社リコー 情報処理装置、プログラム、情報生成方法、情報処理システム
US20220215622A1 (en) * 2020-02-28 2022-07-07 Aurora Solar Inc. Automated three-dimensional building model estimation
EP4115392A4 (en) * 2020-03-04 2023-08-23 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR EFFICIENT GENERATION OF FLOOR PLANS FROM 3D SCANS OF INTERIOR SCENES
US11521273B2 (en) * 2020-03-06 2022-12-06 Yembo, Inc. Identifying flood damage to an indoor environment using a virtual representation
JP7546653B2 (ja) * 2020-03-16 2024-09-06 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2023062217A (ja) * 2020-03-26 2023-05-08 ソニーセミコンダクタソリューションズ株式会社 データ生成方法、学習方法及び推定方法
WO2021242407A2 (en) * 2020-04-01 2021-12-02 Nec Laboratories America, Inc. Near real-time reconstruction using drones
US11741728B2 (en) * 2020-04-15 2023-08-29 Toyota Research Institute, Inc. Keypoint matching using graph convolutions
KR102776445B1 (ko) * 2020-04-28 2025-03-07 삼성전자주식회사 카메라를 이용하여 공간의 깊이를 획득하는 디바이스 및 방법
US12477229B2 (en) * 2020-05-26 2025-11-18 Hover Inc. Systems and methods for image capture
US11405549B2 (en) * 2020-06-05 2022-08-02 Zillow, Inc. Automated generation on mobile devices of panorama images for building locations and subsequent use
CN111858996B (zh) * 2020-06-10 2023-06-23 北京百度网讯科技有限公司 室内定位方法、装置、电子设备及存储介质
WO2021256103A1 (ja) * 2020-06-19 2021-12-23 日本電気株式会社 測位装置、推定方法、及び非一時的なコンピュータ可読媒体
WO2022000469A1 (en) * 2020-07-03 2022-01-06 Nokia Technologies Oy Method and apparatus for 3d object detection and segmentation based on stereo vision
US20220013012A1 (en) * 2020-07-10 2022-01-13 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle parking assistance
US12469293B2 (en) * 2020-07-14 2025-11-11 The Chamberlain Group Llc. Object monitoring system and methods
CN113971628B (zh) * 2020-07-24 2025-05-06 株式会社理光 图像匹配方法、装置和计算机可读存储介质
US11847739B2 (en) * 2020-08-26 2023-12-19 Hover Inc. Systems and methods for pitch determination
US11514674B2 (en) * 2020-09-04 2022-11-29 Zillow, Inc. Automated analysis of image contents to determine the acquisition location of the image
CN112052503B (zh) * 2020-09-04 2021-04-13 东南大学 一种基于人工智能的商业街区建筑体块生成的方法
US11645779B1 (en) * 2020-09-21 2023-05-09 Ambarella International Lp Using vehicle cameras for automatically determining approach angles onto driveways
US20220092227A1 (en) * 2020-09-22 2022-03-24 Zillow, Inc. Automated Identification And Use Of Building Floor Plan Information
US11592969B2 (en) * 2020-10-13 2023-02-28 MFTB Holdco, Inc. Automated tools for generating building mapping information
KR20220049304A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치
US20220130064A1 (en) * 2020-10-25 2022-04-28 Nishant Tomar Feature Determination, Measurement, and Virtualization From 2-D Image Capture
US11481925B1 (en) * 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
WO2022147068A1 (en) * 2020-12-29 2022-07-07 OPAL AI Inc. Systems and methods to generate a floorplan of a building
JP7427615B2 (ja) * 2021-01-04 2024-02-05 株式会社東芝 情報処理装置、情報処理方法およびプログラム
CA3142154A1 (en) * 2021-01-08 2022-07-08 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
EP4275192A4 (en) * 2021-01-08 2025-05-21 Mobileye Vision Technologies Ltd. Systems and methods for mapping and navigation at common speed
US11790648B2 (en) * 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11836973B2 (en) * 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
US11507713B2 (en) * 2021-03-05 2022-11-22 Flyreel, Inc. Semi-supervised 3D indoor layout estimation from a single 360 degree panorama
US11831931B2 (en) * 2021-04-14 2023-11-28 Microsoft Technology Licensing, Llc Systems and methods for generating high-resolution video or animated surface meshes from low-resolution images
CN112884894B (zh) * 2021-04-28 2021-09-21 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
US11881129B2 (en) * 2021-04-30 2024-01-23 Microsoft Technology Licensing, Llc Systems and methods for adding persistence to single photon avalanche diode imagery
US11651533B2 (en) * 2021-05-07 2023-05-16 Tencent America LLC Method and apparatus for generating a floor plan
EP4314884A1 (en) * 2021-05-21 2024-02-07 Innovusion, Inc. Movement profiles for smart scanning using galvonometer mirror inside lidar scanner
US11625553B2 (en) * 2021-06-01 2023-04-11 Buildingestimates.Com Limited Rapid and accurate modeling of a building construction structure including estimates, detailing, and take-offs using artificial intelligence
US20220394213A1 (en) * 2021-06-03 2022-12-08 Not A Satellite Labs, LLC Crowdsourced surveillance platform
US11501492B1 (en) * 2021-07-27 2022-11-15 Zillow, Inc. Automated room shape determination using visual data of multiple captured in-room images
US12056900B2 (en) * 2021-08-27 2024-08-06 MFTB Holdco, Inc. Automated mapping information generation from analysis of building photos
US11842464B2 (en) * 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
US12182934B2 (en) * 2021-10-18 2024-12-31 Faro Technologies, Inc. Four-dimensional data platform using automatic registration for different data sources
US20230125295A1 (en) * 2021-10-22 2023-04-27 MFTB Holdco, Inc. Automated Analysis Of Visual Data Of Images To Determine The Images' Acquisition Locations On Building Floor Plans
US11655893B1 (en) * 2021-10-25 2023-05-23 Ambarella International Lp Efficient automatic gear shift using computer vision
US20230138762A1 (en) * 2021-10-28 2023-05-04 MFTB Holdco, Inc. Automated Building Floor Plan Generation Using Visual Data Of Multiple Building Images
US12322129B2 (en) * 2021-11-15 2025-06-03 Microsoft Technology Licensing, Llc Camera localization
US12353803B2 (en) * 2021-11-29 2025-07-08 Speed of Light Ops, LLC Systems and methods to propose a project
US20230206763A1 (en) * 2021-12-24 2023-06-29 Here Global B.V. Systems and methods for determining utilization of an area for vehicle parking
US12045951B2 (en) * 2021-12-28 2024-07-23 MFTB Holdco, Inc. Automated building information determination using inter-image analysis of multiple building images
CN118829954A (zh) * 2022-01-04 2024-10-22 移动眼视觉科技有限公司 众包的转弯指示器
US20230236608A1 (en) * 2022-01-24 2023-07-27 Nanyang Technological University Method and system for inspecting a building construction site using a mobile robotic system
US12505618B2 (en) * 2022-02-02 2025-12-23 Tencent America LLC Manhattan layout estimation using geometric and semantic information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447585A (zh) * 2016-09-21 2017-02-22 武汉大学 城市地区和室内高精度视觉定位系统及方法

Also Published As

Publication number Publication date
US20210043003A1 (en) 2021-02-11
CN112020630A (zh) 2020-12-01
WO2019205069A1 (en) 2019-10-31
US11841241B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
CN112020630B (zh) 用于更新建筑物的3d模型的系统和方法
US12307562B2 (en) Device location based on machine learning classifications
US10068373B2 (en) Electronic device for providing map information
AU2015354933B2 (en) Electronic device and method for providing map service
US20180184240A1 (en) System for providing location information and electronic device and method supporting the same
WO2021121306A1 (zh) 视觉定位方法和系统
CN106153047A (zh) 一种室内定位方法、装置及终端
CN110019599A (zh) 获取兴趣点poi信息的方法、系统、装置及电子设备
US20170039450A1 (en) Identifying Entities to be Investigated Using Storefront Recognition
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
CN110207701A (zh) 室内导航的方法、装置、终端设备及计算机存储介质
CN107480173B (zh) Poi信息的展示方法及装置、设备及可读介质
WO2023051383A1 (zh) 一种设备定位方法、设备及系统
TWI749532B (zh) 一種定位方法及定位裝置、電子設備和電腦可讀儲存媒介
US20220157032A1 (en) Multi-modality localization of users
CN106774910A (zh) 基于虚拟现实的街景实现方法和装置
CN113647092A (zh) 向应用提供与图像相关联的内容的电子装置和方法
US12243167B2 (en) Three-dimensional mapping using disparate visual datasets
CN115527000B (zh) 一种用于无人机倾斜摄影模型批量单体化的方法及装置
CN115760985A (zh) 一种基于ar应用的室内空间定位方法和装置
CN117128959A (zh) 寻车导航方法、电子设备、服务器及系统
CN104596509B (zh) 一种定位方法和系统、移动终端
US20230354258A1 (en) Data processing method and apparatus
CN115391648A (zh) 兴趣点地理信息搜索方法、装置及电子设备
TW201717164A (zh) 使用點雲的室內地圖構建裝置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant