[go: up one dir, main page]

CN116664684B - 定位方法、电子设备及计算机可读存储介质 - Google Patents

定位方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116664684B
CN116664684B CN202211603109.5A CN202211603109A CN116664684B CN 116664684 B CN116664684 B CN 116664684B CN 202211603109 A CN202211603109 A CN 202211603109A CN 116664684 B CN116664684 B CN 116664684B
Authority
CN
China
Prior art keywords
image
electronic device
matched
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211603109.5A
Other languages
English (en)
Other versions
CN116664684A (zh
Inventor
赵渊
曹鹏蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211603109.5A priority Critical patent/CN116664684B/zh
Publication of CN116664684A publication Critical patent/CN116664684A/zh
Application granted granted Critical
Publication of CN116664684B publication Critical patent/CN116664684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种定位方法、电子设备及计算机可读存储介质。定位方法包括:获取电子设备拍摄的第一图像;识别第一图像中的第一标识图像;根据第一标识图像对应的位置数据以及预设时段内电子设备的位姿变化信息,确定第一图像对应的位置区域;对数据库中对应位置位于位置区域内的图像进行搜索,确定第一图像的待匹配图像;根据第一图像以及待匹配图像对应的地图信息,确定电子设备的目标位姿。通过确定第一图像对应的位置区域,缩小了图像的搜索范围,进而缩短了确定电子设备的目标位姿所需要消耗的时间。

Description

定位方法、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理领域,尤其涉及一种定位方法、电子设备及计算机可读存储介质。
背景技术
在定位领域,常见的定位技术有超宽带定位、蓝牙定位、WIFI定位、视觉定位(Visual Positioning System,VPS)等。其中,视觉定位成本低、定位精度高,因此得到了广泛应用。
视觉定位一般需要将电子设备拍摄的图像与数据库中大量的图像进行检索和匹配,以确定电子设备拍摄图像时的位姿。而图像搜索和对比的过程需要耗费较长的时间,进而导致电子设备的定位过程需要消耗较长时间。
发明内容
本申请提供一种定位方法、电子设备及计算机可读存储介质,解决了现有技术中电子设备的定位过程需要消耗较长时间的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供一种定位方法,应用于电子设备,包括:
获取所述电子设备拍摄的第一图像;识别所述第一图像中的第一标识图像;根据所述第一标识图像对应的位置数据以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域;对数据库中对应位置位于所述位置区域内的图像进行搜索,确定所述第一图像的待匹配图像;根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿。
上述实施例中,在获取电子设备拍摄的第一图像后,首先识别第一图像中的第一标识图像,根据第一标识图像对应的位置数据以及预设时段内电子设备的位姿变化信息,确定第一图像对应的位置区域,再对数据库中位于位置区域内的图像进行搜索,得到第一图像的待匹配图像,从而可以缩小图像的搜索范围。之后,再根据第一图像以及待匹配图像对应的地图信息,确定电子设备的目标位姿,缩短了确定电子设备的目标位姿所需要消耗的时间。
在一实施例中,所述根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿,包括:从所述待匹配图像中确定目标匹配图像,所述目标匹配图像包括所述第一标识图像;根据所述第一图像以及所述目标匹配图像对应的地图信息,确定所述电子设备的目标位姿。
通过确定目标匹配图像,可以提高匹配精度,减少图像匹配数量,进而提高了目标位姿的计算速度和计算精度。
在一实施例中,所述从所述待匹配图像中确定目标匹配图像,包括:根据所述数据库中存储的每个所述待匹配图像对应的标识图像信息,从所述待匹配图像中确定目标匹配图像。通过预先存储数据库中的图像的标识图像信息,提高了图像搜索的速度,进而提高了计算效率。
在一实施例中,所述根据所述第一图像以及所述目标匹配图像对应的地图信息,确定所述电子设备的目标位姿,包括:对所述第一图像以及所述目标匹配图像进行特征点匹配,根据所述特征点匹配的结果以及所述目标匹配图像对应的地图信息,确定所述电子设备的目标位姿。通过特征点匹配,提高了确定出的电子设备的目标位姿的准确度。
在一实施例中,在所述对数据库中对应位置位于所述位置区域内的图像进行搜索之前,所述方法还包括:获取所述电子设备的第一定位信息;确定与所述第一定位信息对应的第一数据库标识;对应地,所述对数据库中对应位置位于所述位置区域内的图像进行搜索,包括:对所述第一数据库标识对应的数据库中,所述位置区域内的图像进行搜索。通过确定图像所在的数据库,提高了后续图像搜索的效率。
在一实施例中,所述根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿,包括:根据所述待匹配图像对应的地图信息,对所述待匹配图像进行分组;根据所述第一图像以及每组待匹配图像对应的地图信息,确定与每组待匹配图像对应的候选位姿;从所述候选位姿中确定所述电子设备的目标位姿,从而提高了确定出的目标位姿的准确度。
在一实施例中,所述预设时段是第一时间与第二时间之间的时段,所述第一时间是上一次确定所述电子设备的目标位姿的时间,所述第二时间是当前次获取所述电子设备拍摄的第一图像的时间;所述根据所述第一标识图像对应的位置数据以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域,包括:根据所述第一标识图像对应的位置数据、所述电子设备上一次的目标位姿以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域。通过记录上一次的目标位姿,结合电子设备的位姿变化信息以及第一标识图像对应的位置数据来确定位置区域,缩小了位置区域的范围,进而减少了图像搜索的数量,提高了计算效率。
在一实施例中,在所述获取电子设备拍摄的第一图像之前,所述方法还包括:响应于用户输入的定位指令,输出拍摄标识图像的提示信息,从而可以提示用户拍摄带有标识图像的图像,以提高后续的定位效率。
第二方面,提供一种定位装置,应用于电子设备,包括:
存储模块,用于获取所述电子设备拍摄的第一图像;
处理模块,用于识别所述第一图像中的第一标识图像;根据所述第一标识图像对应的位置数据以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域;对数据库中对应位置位于所述位置区域内的图像进行搜索,确定所述第一图像的待匹配图像;
输出模块,用于根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿。
在一实施例中,所述输出模块具体用于:
从所述待匹配图像中确定目标匹配图像,所述目标匹配图像包括所述第一标识图像;
根据所述第一图像以及所述目标匹配图像对应的地图信息,确定所述电子设备的目标位姿。
在一实施例中,所述输出模块具体用于:
根据所述数据库中存储的每个所述待匹配图像对应的标识图像信息,从所述待匹配图像中确定目标匹配图像。
在一实施例中,所述输出模块具体用于:
对所述第一图像以及所述目标匹配图像进行特征点匹配,根据所述特征点匹配的结果以及所述目标匹配图像对应的地图信息,确定所述电子设备的目标位姿。
在一实施例中,所述处理模块具体用于:
获取所述电子设备的第一定位信息;
确定与所述第一定位信息对应的第一数据库标识;
对应地,所述对数据库中对应位置位于所述位置区域内的图像进行搜索,包括:
对所述第一数据库标识对应的数据库中,所述位置区域内的图像进行搜索。
在一实施例中,所述输出模块具体用于:
根据所述待匹配图像对应的地图信息,对所述待匹配图像进行分组;
根据所述第一图像以及每组待匹配图像对应的地图信息,确定与每组待匹配图像对应的候选位姿;
从所述候选位姿中确定所述电子设备的目标位姿。
在一实施例中,所述预设时段是第一时间与第二时间之间的时段,所述第一时间是上一次确定所述电子设备的目标位姿的时间,所述第二时间是当前次获取所述电子设备拍摄的第一图像的时间;所述处理模块具体用于:
根据所述第一标识图像对应的位置数据、所述电子设备上一次的目标位姿以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域。
在一实施例中,所述存储模块具体用于:
响应于用户输入的定位指令,输出拍摄标识图像的提示信息。
第三方面,提供一种电子设备,包括处理器,所述处理器用于执行存储在存储器中的计算机程序,以实现如上述第一方面所述的定位方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的定位方法。
第五方面,提供一种芯片,所述芯片包括处理器,所述处理器和存储器耦合,所述处理器执行所述存储器中存储的计算机程序或指令,以实现如上述第一方面所述的定位方法。
第六方面,提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面所述的定位方法。
可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为本申请实施例提供的一种视觉定位的流程图;
图2为本申请实施例提供的定位方法的一种场景图;
图3为本申请实施例提供的一种定位方法的另一种场景图;
图4为本申请实施例提供的定位方法的流程示意图;
图5为本申请实施例提供的标识识别模型的算法流程图;
图6为本申请实施例提供的一种确定目标位姿的流程图;
图7为本申请实施例提供的电子设备的软件架构图;
图8为本申请实施例提供的电子设备的结构图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
视觉定位一般需要将电子设备拍摄的图像与数据库中大量的图像进行对比,以确定电子设备拍摄图像时的位姿。示例性地,如图1所示,视觉定位的流程一般包括获取拍摄的图像,根据拍摄的图像从数据库中检索待匹配的图像,从拍摄的图像以及待匹配的图像中提取特征点,对特征点进行匹配,根据特征点匹配结果以及待匹配图像对应的地图信息计算电子设备的位姿,最后输出电子设备的位姿。
由于数据库中一般包括大量的图片,因此在位姿计算的过程中需要进行大量的图片搜索,因此确定电子设备的位姿需要消耗较长时间。
为此,本申请提供一种定位方法,通过识别电子设备拍摄的第一图像中的第一标识图像,根据第一标识图像对应的位置数据以及预设时段内所述电子设备的位姿变化信息,确定第一图像对应的位置区域,再对数据库中位于位置区域内的图像进行搜索,得到第一图像的待匹配图像,从而可以缩小图像的搜索范围。之后,再根据第一图像以及待匹配图像对应的地图信息,确定电子设备的目标位姿,缩短了确定电子设备的位姿所需要消耗的时间。
下面对本申请实施例提供的定位方法进行示例性说明。
本申请实施例提供的定位方法可以执行于电子设备,也可以执行于与电子设备通信的服务器。下面以执行于电子设备为例,对本申请实施例提供的定位方法进行说明。
示例性的,本申请实施例中所述的电子设备可以是手机、平板电脑、手持计算机、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、媒体播放器、穿戴设备等可单手握持/操作的设备,本申请实施例对该电子设备的具体形态/类型不作特殊限制。上述电子设备包括但不限于搭载鸿蒙系统(Harmony OS)或者其他操作系统的设备。
首先对本申请实施例提供的定位方法的应用场景进行介绍。
示例性地,在一种应用场景中,当用户在商场时,打开手机的“智慧生活”(可以理解为一个业务呈现模块),在“智慧生活”页面输入视觉定位指令。手机响应于用户输入的视觉定位指令,获取手机的第一定位信息,第一定位信息可以是手机实时的定位信息,也可以是在预设时间(例如根据预设的电子围栏信息确定手机进入预设区域时或手机的信号强度大于预设值时)手机的定位信息。例如,手机根据定位信息在显示界面上显示当前位置是××商场,手机也可以响应用户切换位置信息的指令,在显示界面上显示用户输入的位置信息。之后,手机在检测到用户的确认位置信息的指令后,打开手机上的相机。如图2所示,手机在检测到用户的拍摄指令时,拍摄带有第一标识图像(例如“HONOR”图像)的第一图像。如图3所示,在检测到用户点击确认按键的操作时,手机根据第一图像中的第一标识图像确定手机当前所在的位置并输出。例如,手机输出当前位置:××商场××层××号。示例性地,手机还可以输出导航选项,例如输出“餐饮”、“电梯”、“卫生间”选项,之后根据用户选择的导航选项显示对应的位置,并根据用户选择的位置为用户规划对应的路径并在手机上显示。
在另一种场景中,当用户在景区时,手机响应于用户输入的视觉定位指令,获取手机的第一定位信息。例如,手机在显示界面显示当前位置是××景区。之后,手机根据用户指令拍摄带有景点标识(例如“××凉亭”的图像)的第一图像,根据第一图像中的景点标识确定手机当前所在的位置并输出。例如,手机输出当前位置:××景区南门旅客服务区。
在另一种应用场景中,机器人在确认当前位置为××路,且信号强度小于预设值的情况下,指示机器人的摄像头拍摄一张带有指示牌或者路标的第一图像,根据第一图像中的指示牌或者路标确定机器人当前所在的位置。例如,机器人确定当前位置为××路××号。之后机器人可以根据当前位置进行路径规划或者执行相应操作。
下面对本申请实施例提供的定位方法进行详细说明。
如图4所示,本申请一实施例提供的定位方法包括:
S401:获取电子设备拍摄的第一图像。
在一实施例中,电子设备响应于用户输入的定位指令(可以是在电子设备的显示界面上的操作指令,也可以是语音输入指令),启动电子设备上的相机,获取相机拍摄的第一图像。
其中,电子设备在启动相机后,可以输出拍摄带有标识的图像的提示信息,例如若当前位置是商场,可以语音提示或者在拍摄界面显示“请拍摄带有商标的图像”,若当前位置是道路,则可以语音提示或者在拍摄界面显示“请拍摄带有路标的图像”,以提示用户拍摄带有标识的第一图像,从而提高后续的视觉定位效率。
在另一实施例中,用户也可以在拍摄第一图像后,输入定位指令,电子设备根据用户输入的定位指令确定用于定位的第一图像。
S402:识别所述第一图像中的第一标识图像。
在一实施例中,电子设备将第一图像输入标识识别模型,得到标识识别模型输出的第一标识图像的标签。第一标识图像的标签用于表示第一标识图像的内容,可以是第一标识图像的名称或者编号。其中,标识识别模型是将多种标识图像作为训练样本,对预设的分类模型进行训练得到的模型。标识图像可以是商标图像(例如“HONOR”的图像、“荣耀”的图像、的图像、中国移动的商标图像),也可以是路标的图像、指示牌的图像、建筑物的图像等。分类模型可以是基于神经网络算法、深度学习算法、聚类算法等人工智能算法的模型。
例如,标识识别模型的算法流程如图5所示。标识识别模型包括全局特征提取网络、区域候选网络、区域池化网络、区域特征提取网络、分类网络以及边界框修正网络。将拍摄的原始图像输入标识识别模型,全局特征提取网络提取原始图像的图像特征。区域候选网络根据原始图像的图像特征从原始图像中确定多个候选框,每个候选框所在的位置表示标识图像所在的候选位置。区域池化网络根据原始图像的图像特征以及每个候选框从原始图像中分割出每个候选框内的图像。区域特征提取网络提取每个候选框内的图像的图像特征。分类网络根据每个候选框内的图像的图像特征确定置信度最高的候选框内的图像,以及确定置信度最高的候选框内的图像的类别。边界框修正网络确定置信度最高的候选框的准确位置,最终输出标识图像(例如“HONOR”图像)在原始图像中的位置以及标识图像的类别。
在一实施例中,若根据识别结果确定第一图像中存在标识图像的部分区域,则电子设备提取该部分区域的图像特征,将该图像特征与数据库中存储的各标识图像的图像特征进行对比,确定该部分区域所对应的第一标识图像。
在一实施例中,若根据识别结果确定第一图像中不存在第一标识图像,则输出重新拍摄的提示信息,从而提示用户拍摄带有第一标识的图像,以提高后续的图像匹配效率。
在另一实施例中,若根据识别结果确定第一图像中不存在第一标识图像,电子设备也可以在后续的计算过程中直接从数据库中搜索第一图像的待匹配图像,进而确定电子设备的目标位姿。
在一实施例中,若第一图像中包括一个第一标识图像,则输出一个第一标识图像的标签。若第一图像中包括多个第一标识图像,则同时确定多个第一标识图像的标签。
在另一实施例中,若第一图像中包括多个标识图像,则可以选取尺寸较大的标识图像作为第一标识图像,也可以选取对应的位置数据较少的标识图像作为第一标识图像。例如,若第一图像中的标识图像包括电梯的标识图像以及“HONOR”图像,“HONOR”图像对应的位置数据为2个,电梯的标识图像对应的位置数据为10个,则确定第一标识图像为“HONOR”图像。
S403:根据所述第一标识图像对应的位置数据以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域。
具体地,数据库中预先存储每个标识图像对应的位置数据,电子设备对数据库进行查询,即可确定第一标识图像对应的位置数据。第一标识图像对应的位置数据表示第一标识图像所在的位置。例如,商场包括多家商铺,商铺的门口或墙面上存在商标的图像,每家商铺对应一个位置。数据库中存储商标的图像和位置的对应关系,其中,位置可以是坐标(例如经度和纬度)或者在商场中的商铺编号。例如,A商场对应的数据库中存储的标识图像与位置数据的对应信息如表1所示。
编号 标识图像 地址 楼层 经度 纬度 分类
1 扶梯1 ××路 1楼 ×× ×× 通行设施
2 HONOR ××路 1楼 ×× ×× 购物服务
3 ××餐饮 ××路 1楼 ×× ×× 购物服务
4 ××饮品 ××路 1楼 ×× ×× 购物服务
5 扶梯2 ××路 2楼 ×× ×× 通行设施
6 ××珠宝 ××路 2楼 ×× ×× 购物服务
7 ××眼镜 ××路 2楼 ×× ×× 购物服务
表1
第一图像对应的位置区域表示对电子设备进行粗定位所得的电子设备所在的位置区域。
电子设备拍摄的第一图像中包括第一标识图像,说明电子设备位于第一标识图像所在的位置的附近,因此,第一标识图像对应的位置数据可以反映第一图像对应的位置区域。通过第一标识图像对应的位置数据确定第一图像对应的位置区域,可以降低相似场景导致的匹配错误的概率,提高了后续图像搜索以及特征匹配的精度。
预设时段内电子设备的位姿变化信息反映电子设备的运动轨迹,根据预设时段之前电子设备的位姿,以及预设时段内电子设备累积的位姿变化,可以反映电子设备所在的位置区域。其中,电子设备的位姿可以从电子设备上的惯性测量单元(InertialMeasurement Unit,IMU)、陀螺仪传感器或者六轴传感器等组件获取。
在一实施例中,根据第一标识图像对应的位置数据确定第一位置区域,根据预设时段内电子设备的位姿变化信息确定第二位置区域。电子设备结合第一位置区域和第二位置区域,确定第一图像对应的位置区域。
在一实施例中,将第一标识图像所在的位置周围的区域作为第一位置区域。示例性地,第一标识图像对应的位置数据为所述第一标识图像的坐标(在空间地图中的坐标或者经度和纬度),将与第一标识图像对应的坐标的距离在预设范围(例如20米)内的坐标所在的区域,作为第一位置区域。或者第一标识图像对应的位置数据是第一标识图像所在的商铺的楼层,将该楼层所在的区域作为第一位置区域。
可以理解,若第一标识图像的数量为多个,则第一标识图像对应的位置数据也可以为多组,根据多组位置数据确定的第一位置区域可以为一个或多个。
在一实施例中,预设时段是第一时间与第二时间之间的时段,第二时间是获取电子设备拍摄的第一图像的时间。电子设备记录第一时间电子设备的位姿,再根据预设时段内电子设备的位姿变化信息,即可确定获取第一图像的时间(第二时间)时电子设备的第一位姿,根据第一位姿可以确定第二位置区域。例如,根据第二位姿确定电子设备的高度信息,根据电子设备的高度信息可以确定电子设备所在的楼层,将确定出的楼层的所有区域作为第二位置区域。又例如,根据第二位姿确定电子设备在水平方向的坐标,将与该坐标的距离在预设范围内的坐标所在的区域作为第二位置区域。又例如,根据第二位姿确定电子设备的三维坐标,将空间中与该三维坐标的距离在预设范围内的坐标所在的区域作为第二位置区域。
其中,第一时间可以是上一次确定电子设备的目标位姿的时间。例如,上一次电子设备确定目标位姿后,记录目标位姿。之后,根据预设时段内电子设备的位姿变化信息确定第二位置区域。
第一时间也可以是电子设备获取第一定位信息的时间。例如,电子设备首先获取第一定位信息,根据第一定位信息确定当前位于A商场,之后根据在A商场内拍摄的第一图像确定电子设备的目标位姿(即在A商场内的具体位置)。当电子设备根据第一定位信息确定电子设备位于A商场附近时,同时记录电子设备当前的位姿,其中,当前的位姿可以根据电子设备连接的WIFI信息、蓝牙信息、基站信息或者气压传感器采集的信息中的多种信息综合确定,也可以为预设值,例如,预设值为A商场一楼。之后,电子设备根据预设时段内电子设备的位姿变化信息确定第二位置区域。
电子设备可以将第一位置区域和第二位置区域重合的区域作为第一图像对应的位置区域,也可以在确定第一位置区域后,根据第二位置区域从第一位置区域中筛选出第一图像对应的位置区域。例如,第一位置区域为A商场2楼的商铺S1至商铺S5的区域,第二位置区域为A商场2楼的商铺S2至商铺S6的区域,则第一图像对应的位置区域为A商场二楼的商铺S2至S5的区域。又例如,第一位置区域为A商场2楼的商铺S3的区域、5楼的商铺S8的区域,第二位置区域为A商场5楼,则确定第一图像对应的位置区域为A商场5楼商铺S8的区域。
通过确定第一图像对应的位置区域,后续仅对位于位置区域内的图像进行搜索,从而可以缩小图像搜索范围,提升图像搜索性能。
S404:对数据库中对应位置位于所述位置区域内的图像进行搜索,确定所述第一图像的待匹配图像。
具体地,数据库中存储在预设区域(例如整个A商场)内拍摄的所有图像,每张图像对应一个位置,每张图像的对应位置是拍摄该图像时的相机位姿,相机位姿是相机在空间地图中的位姿。其中,空间地图为预先构建的地图,第一图像对应的位置区域是空间地图中的坐标范围。根据每张图像的对应位置,可以确定出位于位置区域内的图像。
对对应位置位于位置区域内的图像以及第一图像分别进行特征提取,根据提取的特征确定对应位置位于位置区域内的图像与第一图像的相似度,将相似度大于预设相似度的图像作为第一图像的待匹配图像。其中,相似度大于预设相似度的图像可以是相似度大于设定值的图像,也可以是对应位置位于位置区域内的图像中,相似度排序为前N(例如30)的图像。示例性地,电子设备提取对应位置位于位置区域内的图像的图像特征以及第一图像的图像特征,根据图像特征确定对应位置位于位置区域内的图像的图像描述符以及第一图像的图像描述符。图像描述符是一个向量,反映图像的全局特征。电子设备计算位于位置区域内的图像的图像描述符以及第一图像的图像描述符的相似度,该相似度即为位于位置区域内的图像与第一图像的相似度。
在一实施例中,电子设备对数据库中位于预设区域的图像进行搜索之前,还获取电子设备的第一定位信息,根据第一定位信息确定第一数据库标识,将第一数据库标识所对应的数据库作为用于搜索的数据库,从该数据库中确定位于位置区域内的图像,进而对位于位置区域内的图像进行搜索。例如,服务器中存储多个场所(例如商场、办公楼、高铁站)对应的数据库。电子设备首先获取第一定位信息,根据第一定位信息确定当前位于A商场时,从服务器下载A商场对应的数据库或者将服务器中A商场对应的数据库作为后续进行图像搜索以及匹配的数据库。之后,在信号强度小于预设值时,若用户有定位需求,电子设备拍摄第一图像,确定第一图像对应的位置区域,对A商场对应的数据库中对应位置在位置区域内的图像进行搜索,从而可以在信号较差的情况下仍然可以实现准确的定位。
其中,第一定位信息可以根据电子设备的全球定位系统(Global PositioningSystem,GPS)的定位信息、电子设备所连接的WIFI信息、电子设备所连接的蓝牙信息、电子设备与基站的通信信息等中的任意一项或多项确定。
在另一实施例中,电子设备可以根据用户的输入信息确定用于图像搜索的数据库。例如,在用户输入定位指令时,电子设备输出预设范围内的建筑物标识(例如A商场、B商场、C办公楼、D地铁站)供用户选择,将用户选择的建筑物标识所对应的数据库作为用户搜索的数据库。其中,预设范围可以根据电子设备最近一次的定位信息确定,从而可以在电子设备通过网络、基站等信息无法实现准确定位时,仍然可以通过视觉定位的方式得到电子设备准确的位姿信息。
S405:根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿。
在一实施例中,待匹配图像对应的地图信息是待匹配图像中的部分特征点或者全部特征点所对应的空间中的位置。提取第一图像的图像特征,得到第一图像的特征点,提取待匹配图像的图像特征,得到待匹配图像的特征点。电子设备将第一图像中的特征点与待匹配图像中的特征点进行匹配,若两个特征点对应的描述信息一致,则两个特征点匹配,待匹配图像中的特征点在空间中的位置为第一图像中的特征点在空间中的位置。通过特征匹配可以确定第一图像中的全部特征点或者部分特征点在空间中的位置。其中,待匹配的图像有多张,对应的,第一图像中的同一个特征点可以与多张图像中的特征点匹配,则根据多张图像分别对应的匹配结果确定第一图像中的特征点在空间中的位置。例如,对于第一图像中的第一特征点,多张图像的匹配结果不同,每张图像中与第一特征点匹配的特征点所对应的空间位置不同,则对多个位置求平均,或者根据多个空间位置的分布情况选取其中一个空间位置作为第一特征点所对应的空间位置(在空间中的位置)。之后,根据第一图像中的特征点所对应的空间位置以及电子设备的相机坐标系与地图坐标系的对应关系,即可确定电子设备的位姿。
在一实施例中,在确定待匹配图像后,从待匹配图像中确定包括第一标识图像的目标匹配图像,即将不包括第一标识图像或者没有标识图像的待匹配图像过滤,再根据第一图像以及目标匹配图像对应的地图信息,确定电子设备的位姿,从而可以提高后续图像匹配的效率。
由于电子设备位于第一标识图像附近,因此若在第一标识图像附近进行拍照,图像中很可能会包括第一标识图像,若待匹配图像中不包括第一标识图像,说明该带匹配图像的拍摄位置与第一图像的拍摄位置的差异较大,该待匹配图像中的特征点与第一图像中的特征点的重合度较少,将该带匹配图像与第一图像进行特征点匹配对定位的贡献较小,因此,过滤掉不包括第一标识图像以及没有标识图像的待匹配图像,仅对包括第一标识图像的待匹配图像以及第一图像进行特征匹配,可以进一步降低图像匹配数量,减少匹配次数,进而提高匹配精度,缩短了确定电子设备的位姿所需要消耗的时间,且提高了后续计算出的目标位姿的精度。
在一实施例中,对于数据库中存储的预设区域内拍摄的所有图像,预先确定每张图像的标识图像信息,标识图像信息包括图像中是否存在标识以及标识的名称。在确定出待匹配图像后,根据数据库中存储的待匹配图像对应的标识图像信息,即可从待匹配图像中确定出目标匹配图像,进而提高筛选效率。例如,第一图像中的第一标识图像为“HONOR”的图像,则筛选出带有“HONOR”的图像的待匹配图像,将其作为目标匹配图像。
其中,可以将数据库中存储的预设区域内拍摄的所有图像输入标识识别模型,得到标识识别模型输出的每张图像对应的标识图像信息。
在另一实施例中,在确定待匹配图像后,从待匹配图像中确定包括第一标识图像以及包括部分第一标识图像的目标匹配图像。即过滤完全不包括第一标识图像以及没有标识图像的待匹配图像,从而在降低匹配数量的同时,提高后续图像匹配的精度。
在一实施例中,根据第一标识图像对应的位置数据以及预设时段内电子设备的位姿变化信息,确定出第一图像对应的位置区域是一个区域,可以直接将第一图像和对应的目标匹配图像进行匹配。例如,第一图像对应的位置区域为A商场3楼S5商铺周围的区域,则直接将第一图像和从位置区域中确定出的待匹配图像进行匹配。
在另一实施例中,根据第一标识图像对应的位置数据以及预设时段内电子设备的位姿变化信息,确定出第一图像对应的位置区域是多个区域,可以从多个区域中确定目标匹配图像,将第一图像和多个区域中所有的目标匹配图像进行匹配。例如,第一图像对应的位置区域为A办公楼10层1001门口附近、12层1205门口附近以及20层2001门口附近,则将第一图像和这些区域中所有的目标匹配图像进行匹配。
在另一实施例中,根据第一标识图像对应的位置数据以及预设时段内电子设备的位姿变化信息,确定出第一图像对应的位置区域是多个区域,可以根据待匹配图像对应的地图信息,将待匹配图像分为多组,从每组待匹配图像中确定目标匹配图像。其中,待匹配图像对应的地图信息表示待匹配图像对应的空间中的位置。例如,第一图像对应的位置区域为A办公楼10层1001门口附近、12层1205门口附近以及20层2001门口附近。则将数据库中对应位置位于A办公楼10层1001门口附近的图像中确定出的待匹配图像作为一组,12层1205门口附近的图像中确定出的待匹配图像作为一组,20层2001门口附近的图像中确定出的待匹配图像作为一组。之后,从每组待匹配图像中确定目标匹配图像,根据第一图像以及每组目标匹配图像对应的地图信息,确定与每组目标匹配图像对应的候选位姿。例如,将第一图像中的特征点与每组目标匹配图像中的特征点进行匹配,根据每组目标匹配图像中的特征点在空间中的位置,确定对应的第一图像中的特征点在空间中的位置,进而得到每组目标匹配图像对应的电子设备的候选位姿。之后,从候选位姿中确定电子设备的目标位姿。示例性地,每个候选位姿是根据对应的特征点信息(特征点在空间中的位置)确定的,对于每个候选位姿,将对应的特征点信息重投影至第一图像所在的平面,得到重投影后的特征点坐标,确定重投影后的特征点坐标与第一图像的坐标的差值。每个候选位姿对应一个重投影后的差值,将最小差值所对应的候选位姿作为目标位姿。示例性地,也可以确定每个候选位姿对应的置信度,将置信度最高的候选位姿作为目标位姿。例如,多组目标匹配图像确定的候选位姿中,对应位置位于12层1205门口附近的图像中确定出的目标匹配图像所对应的重投影后的差值最小,则将该组待匹配图像确定出的候选位姿作为目标位姿。
目标位姿为三维坐标,电子设备在确定目标位姿后,可以根据预先存储的建筑物或者道路的布局信息,确定目标位姿对应的位置信息并输出。例如,根据目标位姿对应的高度分量以及A商场每层的高度,确定当前位置是3楼,进一步根据目标位姿对应的水平分量以及3楼的布局信息(即每个商铺、电梯、出口对应的位置区域)确定当前位置是3楼的安全出口,则电子设备输出:当前位置是3楼安全出口。
在一实施例中,在确定目标位姿后,电子设备可以进一步输出输入目的地的提示信息,在接收到用户通过语音或者文本的方式输入的目的地后,根据目标位姿和目的地为用户规划路径,输出路径信息或者在地图上显示规划后的路径,以引导用户前往目的地。
在一实施例中,若多个候选位姿中,最小差值的候选位姿的数量为两个以上,或者最大置信度的候选位姿的数量为两个以上,电子设备输出定位不成功的提示信息,或者电子设备输出两个候选位姿对应的位置信息供用户选择,将用户选择的候选位姿作为目标位姿。
在另一实施例中,在确定目标匹配图像后,可以确定目标匹配图像中与第一图像相似度最高的图像,将该相似度最高的图像对应的地图信息作为第一图像的地图信息。
上述实施例中,在获取电子设备拍摄的第一图像后,首先识别第一图像中的第一标识图像,根据第一标识图像对应的位置数据以及预设时段内电子设备的位姿变化信息,确定第一图像对应的位置区域,再对数据库中位于位置区域内的图像进行搜索,得到第一图像的待匹配图像,从而可以缩小图像的搜索范围。之后,再根据第一图像以及待匹配图像对应的地图信息,确定电子设备的目标位姿,缩短了确定电子设备的目标位姿所需要消耗的时间。
在一实施例中,确定电子设备的目标位姿的流程如图6所示。
首先获取电子设备的第一定位信息,确定与第一定位信息对应的数据库。之后,获取电子设备拍摄的第一图像,识别第一图像中的第一标识图像。根据第一标识图像对应的位置数据以及预设时段内电子设备的位姿变化信息,对电子设备进行粗定位,得到第一图像对应的位置区域。之后,对数据库中位于位置区域内的图像进行搜索,确定第一图像的待匹配图像。根据待匹配图像对应的标识图像信息,从待匹配图像中确定包括第一标识图像的目标匹配图像。之后,对第一图像进行特征提取,确定第一图像中的特征点,对第一图像中的特征点以及目标匹配图像中的特征点进行特征匹配,根据特征匹配的结果以及目标匹配图像对应的地图信息计算电子设备的目标位姿并输出。若目标匹配图像分布于多个区域,则按照区域将目标匹配图像分为多组,分布计算每组目标匹配图像对应的候选位姿,将重投影后差值最小的候选位姿作为目标位姿。
例如,在信号强度大于预设值时,通过GPS的定位信息、电子设备所连接的WIFI信息、电子设备所连接的蓝牙信息或者电子设备与基站的通信信息,确定电子设备的第一定位信息,根据第一定位信息确定当前位置是A大厦。之后,电子设备检测到用户输入的定位指令,获取第一图像,识别第一图像中的第一标识图像是“HONOR”图像。由于是在获取第一定位信息后首次进行定位,因此不存在上一次的目标位姿,则直接根据第一标识图像对应的位置数据确定第一图像对应的位置区域。电子设备将服务器中存储的与A大厦对应的数据库作为图像搜索的数据库,通过查询数据库确定与“HONOR”图像对应的位置数据是2楼、15楼、16楼、17楼,将2楼、15楼、16楼、17楼作为第一图像对应的位置区域。之后,电子设备对数据库中位置为2楼、15楼、16楼、17楼的图像进行搜索,确定第一图像的待匹配图像是位置为15楼、16楼、17楼的图像。之后,从位置为15楼、16楼、17楼的图像中确定带有“HONOR”图像的目标匹配图像。将15楼对应的目标匹配图像、16楼对应的目标匹配图像、17楼对应的目标匹配图像分别作为一组,确定各组目标匹配图像对应的候选位姿,确定每个候选位姿对应的重投影后的差值。若15楼的目标匹配图像对应的候选位姿的差值最小,则将15楼对应的候选位姿作为目标位姿。电子设备记录目标位姿,并实时采集电子设备的位姿变化信息。
当再次检测到用户输入的定位指令时,获取第一图像,识别第一图像中的第一标识图像是“扶梯2”。通过查询数据库确定与“扶梯2”对应的位置数据是1楼、2楼、3楼、4楼,根据上一次记录的目标位姿以及电子设备实时的位姿变化信息,确定电子设备位于2楼或3楼,则确定第一图像对应的位置区域为2楼和3楼。之后,对数据库中对应位置位于2楼和3楼的图像进行搜索,确定第一图像的待匹配图像是位置为2楼的图像。之后,从待匹配图像中确定带有“扶梯2”的目标匹配图像。将第一图像与目标匹配图像进行特征匹配,确定电子设备的目标位姿,根据目标位姿确定电子设备位于2楼安全出口的位置,则在电子设备上显示当前位置是2楼安全出口。
通过先获取第一定位信息,确定用于视觉定位的数据库,再根据第一图像中的第一标识图像以及电子设备的位姿变化信息进行粗定位,得到第一图像对应的位置区域,再对数据库中位于位置区域内的图像进行搜索,确定待匹配图像,再从待匹配图像中确定包括第一标识图像的目标匹配图像,最后对目标匹配图像以及第一图像进行特征匹配,从而可以缩小用于图像搜索以及图像匹配的图像的数量,进而可以提高电子设备的位姿的计算效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图7是本发明实施例的电子设备的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图7所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图7所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
示例性的,图8示出了电子设备100的一种结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种定位方法,应用于电子设备,其特征在于,包括:
获取所述电子设备拍摄的第一图像;
将所述第一图像输入标识识别模型,得到所述标识识别模型输出的第一标识图像的标签,所述第一标识图像的标签表示所述第一标识图像的内容;
根据所述第一标识图像对应的位置数据以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域;所述预设时段是第一时间与第二时间之间的时段,所述第一时间是上一次确定所述电子设备的目标位姿的时间,所述第二时间是当前次获取所述电子设备拍摄的第一图像的时间;
对数据库中对应位置位于所述位置区域内的图像进行搜索,确定所述第一图像的待匹配图像;
根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿;所述根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿,包括:根据所述数据库中存储的每个所述待匹配图像对应的标识图像信息,从所述待匹配图像中确定目标匹配图像,所述目标匹配图像包括所述第一标识图像;
对所述第一图像以及所述目标匹配图像进行特征点匹配,根据所述特征点匹配的结果以及所述目标匹配图像对应的地图信息,确定所述电子设备的目标位姿。
2.根据权利要求1所述的方法,其特征在于,在所述对数据库中对应位置位于所述位置区域内的图像进行搜索之前,所述方法还包括:
获取所述电子设备的第一定位信息;
确定与所述第一定位信息对应的第一数据库标识;
对应地,所述对数据库中对应位置位于所述位置区域内的图像进行搜索,包括:
对所述第一数据库标识对应的数据库中,对应位置位于所述位置区域内的图像进行搜索。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像以及所述待匹配图像对应的地图信息,确定所述电子设备的目标位姿,包括:
根据所述待匹配图像对应的地图信息,对所述待匹配图像进行分组;
根据所述第一图像以及每组待匹配图像对应的地图信息,确定与每组待匹配图像对应的候选位姿;
从所述候选位姿中确定所述电子设备的目标位姿。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一标识图像对应的位置数据以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域,包括:
根据所述第一标识图像对应的位置数据、所述电子设备上一次的目标位姿以及预设时段内所述电子设备的位姿变化信息,确定所述第一图像对应的位置区域。
5.根据权利要求1所述的方法,其特征在于,在所述获取电子设备拍摄的第一图像之前,所述方法还包括:
响应于用户输入的定位指令,输出拍摄标识图像的提示信息。
6.一种电子设备,其特征在于,包括处理器,所述处理器用于执行存储在存储器中的计算机程序,以实现如权利要求1至5任一项所述的定位方法。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的定位方法。
CN202211603109.5A 2022-12-13 2022-12-13 定位方法、电子设备及计算机可读存储介质 Active CN116664684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211603109.5A CN116664684B (zh) 2022-12-13 2022-12-13 定位方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211603109.5A CN116664684B (zh) 2022-12-13 2022-12-13 定位方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116664684A CN116664684A (zh) 2023-08-29
CN116664684B true CN116664684B (zh) 2024-04-05

Family

ID=87722984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211603109.5A Active CN116664684B (zh) 2022-12-13 2022-12-13 定位方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116664684B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784174A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 确定位姿的方法、装置和系统
WO2021125578A1 (ko) * 2019-12-16 2021-06-24 네이버랩스 주식회사 시각 정보 처리 기반의 위치 인식 방법 및 시스템
CN113112478A (zh) * 2021-04-15 2021-07-13 深圳市优必选科技股份有限公司 一种位姿的识别方法及终端设备
WO2022017261A1 (zh) * 2020-07-24 2022-01-27 华为技术有限公司 图像合成方法和电子设备
CN114119758A (zh) * 2022-01-27 2022-03-01 荣耀终端有限公司 获取车辆位姿的方法、电子设备和计算机可读存储介质
CN114466128A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质
CN114545426A (zh) * 2022-01-20 2022-05-27 北京旷视机器人技术有限公司 定位方法、装置、移动机器人和计算机可读介质
CN114812381A (zh) * 2021-01-28 2022-07-29 华为技术有限公司 电子设备的定位方法及电子设备
WO2022161386A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种位姿确定方法以及相关设备
CN114998629A (zh) * 2022-06-24 2022-09-02 四川腾盾科技有限公司 卫星地图与航拍图像模板匹配方法、无人机定位方法
CN115205383A (zh) * 2022-06-17 2022-10-18 深圳市优必选科技股份有限公司 相机位姿的确定方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784174A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 确定位姿的方法、装置和系统
WO2021125578A1 (ko) * 2019-12-16 2021-06-24 네이버랩스 주식회사 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2022017261A1 (zh) * 2020-07-24 2022-01-27 华为技术有限公司 图像合成方法和电子设备
CN114466128A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质
CN114812381A (zh) * 2021-01-28 2022-07-29 华为技术有限公司 电子设备的定位方法及电子设备
WO2022161386A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种位姿确定方法以及相关设备
CN113112478A (zh) * 2021-04-15 2021-07-13 深圳市优必选科技股份有限公司 一种位姿的识别方法及终端设备
CN114545426A (zh) * 2022-01-20 2022-05-27 北京旷视机器人技术有限公司 定位方法、装置、移动机器人和计算机可读介质
CN114119758A (zh) * 2022-01-27 2022-03-01 荣耀终端有限公司 获取车辆位姿的方法、电子设备和计算机可读存储介质
CN115205383A (zh) * 2022-06-17 2022-10-18 深圳市优必选科技股份有限公司 相机位姿的确定方法、装置、电子设备及存储介质
CN114998629A (zh) * 2022-06-24 2022-09-02 四川腾盾科技有限公司 卫星地图与航拍图像模板匹配方法、无人机定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multi-spacecraft collaborative attitude determination of space tumbling target with experimental verification;Zhao, Di 等;《ACTA ASTRONAUTICA》;第1-13页 *
分层分区域管理的实时图像跟踪算法;孙延奎;苗菁华;;计算机辅助设计与图形学学报(04);第65-71页 *
基于双目视觉的目标识别与定位研究;蒋萌;王尧尧;陈柏;;机电工程(04);第86-91页 *
定位图像匹配尺度与区域的摄像机位姿实时跟踪;苗菁华;孙延奎;;中国图象图形学报(07);第99-110页 *

Also Published As

Publication number Publication date
CN116664684A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111652678B (zh) 物品信息显示方法、装置、终端、服务器及可读存储介质
CN115103106B (zh) 一种拍摄控制系统
US12197498B2 (en) Method, apparatus, and system for determining pose
JP7058760B2 (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
CN116051640B (zh) 用于同时定位和映射的系统和方法
WO2020253657A1 (zh) 视频片段定位方法、装置、计算机设备及存储介质
CN109189879B (zh) 电子书籍显示方法及装置
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
KR20220154816A (ko) 대규모 증강 현실을 위한 위치 매핑
CN111983559A (zh) 室内定位导航方法及装置
CN112560612B (zh) 确定业务算法的系统、方法、计算机设备及存储介质
CN114330374B (zh) 融合场景感知机器翻译方法、存储介质及电子设备
CN113313966A (zh) 一种位姿确定方法以及相关设备
CN113538321B (zh) 基于视觉的体积测量方法及终端设备
WO2022048398A1 (zh) 多媒体数据拍摄方法及终端
US20250111533A1 (en) Target Localization Method and System, and Electronic Device
KR20210130953A (ko) 딥러닝 기반 가상 이미지 생성방법 및 시스템
KR20180121273A (ko) 객체에 대응하는 콘텐트를 출력하기 위한 방법 및 그 전자 장치
US20230368417A1 (en) Pose determining method and related device
CN114359335B (zh) 一种目标跟踪方法及电子设备
KR101995799B1 (ko) 상황 인지 서비스를 제공하기 위한 장소 인식 장치 및 방법
CN116664684B (zh) 定位方法、电子设备及计算机可读存储介质
WO2022179271A1 (zh) 反馈搜索结果的方法、装置及存储介质
CN113270101A (zh) 一种虚拟人物自动讲解的方法、系统、装置和介质
CN115437601B (zh) 图像排序方法、电子设备、程序产品及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee after: Honor Terminal Co.,Ltd.

Country or region after: China

Address before: 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong

Patentee before: Honor Device Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address