[go: up one dir, main page]

CN105336005B - 一种获取目标物体体征数据的方法、装置及终端 - Google Patents

一种获取目标物体体征数据的方法、装置及终端 Download PDF

Info

Publication number
CN105336005B
CN105336005B CN201410301461.2A CN201410301461A CN105336005B CN 105336005 B CN105336005 B CN 105336005B CN 201410301461 A CN201410301461 A CN 201410301461A CN 105336005 B CN105336005 B CN 105336005B
Authority
CN
China
Prior art keywords
target object
model
pixel
depth
graph outline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410301461.2A
Other languages
English (en)
Other versions
CN105336005A (zh
Inventor
唐卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201410301461.2A priority Critical patent/CN105336005B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to KR1020177001223A priority patent/KR101922039B1/ko
Priority to BR112016030027-0A priority patent/BR112016030027B1/pt
Priority to EP15810950.4A priority patent/EP3144900B1/en
Priority to JP2016575462A priority patent/JP6549620B2/ja
Priority to PCT/CN2015/082539 priority patent/WO2015197026A1/zh
Publication of CN105336005A publication Critical patent/CN105336005A/zh
Priority to US15/391,068 priority patent/US9984461B2/en
Application granted granted Critical
Publication of CN105336005B publication Critical patent/CN105336005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431Frequency domain transformation; Autocorrelation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • G06V2201/121Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供一种获取目标物体体征数据的方法,包括:获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离;在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例;获取所述目标物体的至少一个真实尺寸;根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。从而为广大用户实现“所见即所得”的体验。

Description

一种获取目标物体体征数据的方法、装置及终端
技术领域
本发明涉及数据获取领域,尤其涉及一种获取目标物体体征数据的方法、装置及终端。
背景技术
智能终端能实现“所见即所得”一直是大多数用户的梦想,比如谷歌公司2009年推出的居于街景的导航和地理定位服务“Google Maps Navigation”,但这个服务需要后台强大的地理图像数据、搜索计算能力以及无处不在的高速网络链接支持,在很多网络覆盖尚不广的地区这样的服务几乎无法实现。
发明内容
本发明实施例提供一种获取目标物体体征数据的方法、装置及终端,通过将拍摄的目标物体图像还原出目标物体的图形及骨架,再结合本地或云端各类搜索应用将该目标物体的体征数据呈现给用户,从而为广大用户实现“所见即所得”的体验。
第一方面,本发明提供了一种获取目标物体体征数据的方法,包括:
获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;
根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离;
在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例;
获取所述目标物体的至少一个真实尺寸;
根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物 体的体征数据。
结合第一方面,在第一方面的第一种可能的实施方式中:所述获取目标物体的3D深度图像包括:
向所述目标物体发射参考图案;
接收所述参考图案经所述目标物体反射得到的二次图案;
计算所述二次图案相对于所述参考图案的偏移值;
对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
结合第一方面或第一方面的第一种可能的实施方式,在第一方面的第二种可能的实施方式中:
所述根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓包括:
对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
结合第一方面至第一方面的第二种可能的实施方式中的任一一种实施方式,在第一方面的第三种可能的实施方式中:
在所述获取目标物体的3D深度图像之后,所述方法还包括:
对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
结合第一方面的第三种可能的实施方式,在第一方面的第四种可能的实施方式中:所述对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像,包括:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
结合第一方面的第四种可能的实施方式,在第一方面的第五种可能的实施方式中:在所述获取所述第一3D目标深度图像之后,所述方法还包括:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
结合第一方面的第五种可能的实施方式,在第一方面的第六种可能的实施方式中:所述对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像包括:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
结合第一方面至第一方面的第六种可能的实施方式中的任一一种实施方式,在第一方面的第七种可能的实施方式中:所述根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的骨架参数包括:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中心轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
结合第一方面的第七种可能的实施方式,在第一方面的第八种可能的实施方式中:所述在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例,包括:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模 型的骨架参数;
将所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
结合第一方面的第八种可能的实施方式,在第一方面的第九种可能的实施方式中:所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
结合第一方面的第九种可能的实施方式,在第一方面的第十种可能的实施方式中:所述将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓包括:
采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
结合第一方面至第一方面的第十种可能的实施方式中的任一一种实施方式,在第一方面的第十一种可能的实施方式中:所述获取所述目标物体的至少一个真实尺寸,包括:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到 所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
第二方面,本发明提供了一种获取目标物体体征数据的装置,包括:成像模块,用于获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;
图形轮廓和骨架参数获取模块,用于根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离;
参数比例获取模块,用于在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例;
真实尺寸获取模块,用于获取所述目标物体的至少一个真实尺寸;
体征数据获取模块,用于根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
结合第二方面,在第二方面的第一种可能的实施方式中:所述成像模块包括:
发射单元,用于向所述目标物体发射参考图案;
接收单元,用于接收所述参考图案经所述目标物体反射得到的二次图案;
计算单元,用于计算所述二次图案相对于所述参考图案的偏移值;
图像获取单元,用于对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
结合第二方面或者第二方面的第一种可能的实施方式,在第二方面的第二种可能的实施方式中:所述图形轮廓和骨架参数获取模块具体用于:对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四 个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
结合第二方面至第二方面的第二种可能的实施方式中任一一种可能的实施方式,在第二方面的第三种可能的实施方式中:所述装置还包括:去噪模块;
所述去噪模块用于:
对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
结合第二方面的第三种可能的实施方式,在第二方面的第四种可能的实施方式中:所述去噪模块具体用于:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
结合第二方面的第四种可能的实施方式,在第二方面的第五种可能的实施方式中:所述去噪模块还用于:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度 图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
结合第二方面的第五种可能的实施方式,在第二方面的第六种可能的实施方式中:所述去噪模块具体用于:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
结合第二方面至第二方面的第六种可能的实施方式中的任一一种实施方式,在第二方面的第七种可能的实施方式中:所述图形轮廓和骨架参数获取模块具体用于:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中心轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
结合第二方面的第七种可能的实施方式,在第二方面的第八种可能的实施方式中:所述参数比例获取模块具体用于:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行 匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
结合第二方面的第八种可能的实施方式,在第二方面的第九种可能的实施方式中:所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
结合第二方面的第九种可能的实施方式,在第二方面的第十种可能的实施方式中:所述参数比例获取模块具体用于:
采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
结合第二方面至第二方面的第十种可能的实施方式中的任一一种实施方式,在第二方面的第十一种可能的实施方式中:所述真实尺寸获取模块具体用 于:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
第三方面,本发明提供一种获取目标物体体征数据的终端,包括:
3D传感器,用于获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;
处理器,用于根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离,所述处理器还用于在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例,所述处理器还用于获取所述目标物体的至少一个真实尺寸,并根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
结合第三方面,在第三方面的第一种可能的实施方式中:所述3D传感器具体用于:
向所述目标物体发射参考图案,并接收所述参考图案经所述目标物体反射得到的二次图案,计算所述二次图案相对于所述参考图案的偏移值,并对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
结合第三方面或第三方面的第一种可能的实施方式,在第三方面的第二种 可能的实施方式中:所述处理器具体用于对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
结合第三方面至第三方面的第二种可能的实施方式中任一一种实施方式,在第三方面的第三种可能的实施方式中:所述处理器还用于:对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
结合第三方面的第三种可能的实施方式,在第三方面的第四种可能的实施方式中:所述处理器具体用于:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
结合第三方面的第四种可能的实施方式,在第三方面的第五种可能的实施方式中:所述处理器还用于:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
结合第三方面的第五种可能的实施方式,在第三方面的第六种可能的实施方式中:所述处理器具体用于:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
结合第三方面至第三方面的第六中可能的实施方式中任一一种实施方式,在第三方面的第七种可能的实施方式中:所述处理器具体用于:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中心轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
结合第三方面的第七种可能的实施方式,在第三方面的第八种可能的实施 方式中:所述处理器具体用于:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
结合第三方面的第八种可能的实施方式,在第三方面的第九种可能的实施方式中:所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
结合第三方面的第九种可能的实施方式,在第三方面的第十种可能的实施方式中:所述处理器具体用于:采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
结合第三方面至第三方面的第十种可能的实施方式中的任一一种实施方 式,在第三方面的第十一种可能的实施方式中:所述处理器具体用于:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
本发明实施例通过获取目标物体的3D深度图像,根据该目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数,在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例,并获取所述目标物体的至少一个真实尺寸,从而根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。本发明结合终端的即时获取以及本地或者云端的3D模型库为人们即时呈现目标物体的体征数据,实现人们“所见即所得”的梦想。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的获取目标物体体征数据方法的流程示意图;
图2为本发明实施例提供的获取目标物体体征数据方法的具体步骤参考图;
图3为本发明实施例提供的获取目标物体体征数据方法的具体步骤另一个 参考图;
图4为本发明实施例提供的获取目标物体体征数据方法的具体步骤又一个参考图;
图5为本发明实施例提供的获取目标物体体征数据装置的第一示意图;
图6为本发明实施例提供的获取目标物体体征数据装置的第二示意图;
图7为本发明实施例提供的获取目标物体体征数据终端的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例旨在提供一种获取目标物体体征数据的方法,通过将拍摄的目标物体图像还原出目标物体的图形及骨架,再结合本地或云端各类搜索应用将该目标物体的体征数据呈现给用户,以实现人们“所见即所得”的梦想。
实施例一
请参考图1,图1是本发明实施例中获取目标物体体征数据的方法100,包括:
S101,获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离。
在具体的实现中,可以使用终端摄像头对目标物体进行拍摄从而获取3D深度图像,可选的,这个获取过程可以按如下方式实现:
首先,由该终端向上述的目标物体发射参考图案,这里的参考图案可以有很多种选择,比如四方栅格图案、蜂窝栅格图案、或者也可以是分散的光斑点形成的图案,此处不做限制,并且出于对目标对象的保护,这个参考图案的光 发生光源是可以进行光束功率控制的红外光束发生器,因此当目标对象为人体或动物体时,参考图案的发生光源不至于对人体或动物体造成伤害。
如上所述,该终端向目标物体发射参考图案,这些参考图案的特征尺寸参数是预先设定好的,比如当参考图案为栅格图案时,栅格的形状和间距都是可以预先设定好的。
然后,接收所述参考图案经所述目标物体反射得到的二次图案;此处的接收可以是由该终端通过其内置的或者外连的摄像头对该目标对象进行拍摄,从而获得上述参考图案经所述目标物体反射回来的二次图案,并且一并获取的还有该目标图像的二维图像,由于摄像头获取物体的二维平面图像是比较成熟的技术,故此处不对该技术的实现方法做铺陈和限定。
进一步,计算所述二次图案相对于所述参考图案的偏移值;由于参考图案的特征尺寸参数都是预设的,则在获取到二次图案之后计算该二次图案相对于参考图案的偏移值,这个偏移值也可以叫做形变值,即通过该值反映出二次图案相对于参考图案产生的形变量。
最后,对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
基于上述获取的偏移值,用傅立叶变换对其进行处理从而获取距离信息,此处的距离信息用于描述该成像的摄像头与被拍摄的目标物体之间的距离,具体可以体现为该目标物体的二维图像上每一个像素距离成像摄像头的距离,基于这个距离信息再结合上面拍摄获取的目标物体的二维图像,则可以得到带有距离信息的3D深度图像。
S102,根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离。
目标物体的3D深度图像中包含组成该图像的所有像素,根据S101获取到的距离信息可以用来描述这些像素距离成像摄像头的距离信息,即此处的像素 深度值,进一步的,根据该像素深度值获取目标物体的图形轮廓和骨架参数,在具体的实现过程中,根据像素深度值获取目标物体的图形轮廓可以按照如下方法予以实现:
对3D深度图像中像素的深度值进行差值计算从而获取所述目标物体的图形轮廓;具体地,这里的差值计算可以包括如下步骤:
首先,分别计算3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;这里的第一像素可以是该3D深度图像中任取的一个像素。该四个相连邻近像素与第一像素之间的位置关系可以分别是左、右、上、下。
然后,当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;这里的第一深度差异阈值可以根据经验预先设定好。
接着,查询3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;这里的第二深度差异阈值可以根据经验预先设定好的。当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;这里的第二像素也可以是该3D深度图像中的任一像素,当它的八个相连邻近像素中显示有被标记为轮廓位置的像素时则把显示被标记为轮廓像素之外的像素分别与该第二像素的像素深度值进行差值计算,一旦计算获得的差值计算结果大于第二差异阈值则将这个第二像素标记为轮廓位置。
最后,根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。基于上面的步骤,将上述3D深度图像中的像素区分为被标记为轮廓位置的像素和没有被标记为轮廓位置的像素,将所有被标记为轮廓位置的像素组成目标物体的图形轮廓。另外,根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的骨架参数。首先需要理解的是骨架参数的原理,以人体骨架参数为 例,即人体解剖学骨架结构是满足一定的自然比例特点的,无论是西方人还是和东方人、男性和女性、未成年人和成年人的骨骼长度都是存在差别的,但是骨骼的基本结构是一样的。如图2所示是18节点的人体骨架模型,以此为例,如果任何两个人体骨架模型中,所有相同的人体部位包括前臂、上臂、躯干、头部、腰部、臀部、大腿、小腿,相邻并互相连接的节点间的距离与该骨架基准(中轴)的比例相同,我们可以认为这两个人体骨架完全相同。如图2所示,假设重构出人体骨架模型1601各部位任意相邻并互相连接的节点间距离与该骨架基准(中轴)的比例与标准人体骨架模型1602相同部位同一个骨架与该骨架基准(中轴)的比例相同或者高度相似,则我们可以认为骨架1601和骨架1602是同一个3D模型。即:
此处Z是指目标物体的骨架长度,Base是指目标物体的骨架基准长度,是指3D模型库中的编号为i的模型的骨架长度,是指3D模型库中的编号为i的模型的骨架基准长度,是可以允许的差异,所述可以允许的差异值可以根据经验值获取,也可以根据具体情况选择。
在具体实现过程中,根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的骨架参数可以具体由下面步骤实现:
首先,根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴。当上述目标物体为人体时,这个中轴通常为人体的脊椎。
然后,沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度。如上所述,当该中轴为人体的脊椎时,垂直于脊椎的多个第一线延展出人体横向的骨架。
沿着平行于所述中心轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度。如上所述,当该中轴为人体的脊椎时,平行于脊椎的多个第二线延展出人体纵向的骨架。
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
S103,在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例。
基于上述获取的目标物体的图形轮廓及骨架参数,在3D模型库中检索与该目标物体的图形轮廓及骨架参数均相匹配的3D模型。此处的3D模型库可以是云端服务器存储的标准模型库,也可以是本地存储的标准模型库,从这样的标准模型库中检索出来与上述获取的目标物体的图形轮廓及骨架参数匹配度最高的模型。这些预存的模型库数据可以来源于第三方数据供应商提供的社会统计的人体3D数据,这些数据通常包括了全球各个国家、地区以及种族的各类典型的体型3D数据。可选的,这些预存的模型库数据还可以来自机器的自学习成果,比如智能终端的机主可以对一个特定目标在一段时间内测量、计算和调整得到自学习3D模型数据。可以理解的是,除了人体3D数据,还可以有动物体或者别的可视目标体的3D数据,此处不做赘述。
在本发明技术领域内,3D模型检索与匹配有许多相关算法支撑,但为了简化终端和云端的计算,提高响应速度,在本发明实施例中,预先存储的3D模型至少包括图形轮廓和骨架参数这样两个参数。如图3所示,示例中是一头牛的3D模型的2D轮廓参数,分别表示从目标的各个方位投影记录目标的图形轮廓,包括1侧面、2正面和4左前侧、5左后侧、6右前侧、7的右后侧的投影轮廓,3正上方的投影轮廓通常不是必须的,为了增加匹配的准确性,图形轮廓也可以包括从目标左正前侧、左正后侧、右正前侧、右正后侧等各个角度记录的目标的投影图形轮廓(图中未示出)。在匹配计算时,采用chen算法,即2D Zernke矩描述子和傅立叶描述子(FD-Fourier Descriptor)来比较同一个目标体的一张或者多张目标物体的图形轮廓和3D模型库的各个方向图形轮廓之间的相似性,检索出相似度最高的图形轮廓,返回该图形轮廓所对应的3D标准模型的投影的视觉角度值。如图3所示,某目标物体的图形轮廓和3D数 据库中的牛的3D模型的图形轮廓相似度最高,返回的观察结果是:该目标物体的图形轮廓是沿着牛的3D模型的X坐标的负方向的投影。
具体的,在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例,具体包括:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
如上文所述,所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
进一步的,所述将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓包括:
采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差 预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
如图3,需要将标准3D模型库中的骨架数据旋转到投影为X轴的负方向,以实现准确的骨架相似度检索和匹配。
本检索方法当环境变化时也能得到较理想的的效果,一般而言人体目标穿戴的服装、姿势的不同会影响3D深度图像计算得到的人体的图形轮廓,比如夏季穿轻薄的服装和冬季社会穿厚重的服装,计算出的人体的图形轮廓会有较大差异,如果只根据人体的图形轮廓进行相似度检索得到的3D模型会有较大偏差,因此此处引入了骨架参数,当目标物体的图形轮廓和骨架参数都确定的情况下,得到的3D模型的准确性是比较高的。
S104、在获取所述目标物体的至少一个真实尺寸。
经过步骤S103检索得到的目标物体的3D模型的参数比例是标准单位模型,还需要乘以目标的至少一个真实的几何参数(比如用户实际身高或者臂长),进行同比例放大后,才能到与目标物体完全匹配的3D模型。在具体的操作中,可以通过如下步骤获取该目标物体的至少一个真是尺寸:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
具体的,由于大多数使用的情况下,用户和拍摄者并不了解目标物体真实的几何参数,这就需要通过实时测量的方式来获取目标物体的至少一个真实的几何参数,此处也称作真实尺寸。一种可选的方式是通过摄像头记录目标物体 图像的方法来测算目标的高度,如图4所示,当移动终端启动拍照和3D深度测量应用时,手机的扬声器组件周期性向目标发射一个声波信号,该发射动作可以与3D传感器的检测动作保持同步。该声波信号可以在人体听觉的频率范围(20HZ~20KHZ)之上,以避免对用户和人体目标造成干扰。当该声波信号遇到目标物体返回时,将被麦克风组件接收,通过计算声波的传播时间△t,即可以计算出目标距离拍摄者的距离D1=1/2×V×△t,其中V为该频率声波在环境空气中传播的速率。而同时目标物体的图像将记录在摄像头组件上,通过图像轮廓识别技术即可计算出目标物体的图像像素的高度h,而对于确定的移动终端而言,摄像头组件的像距D2是唯一确定的硬件参数,这样就可以根据以下公式计算出目标物体的真实高度H。
同样的原理,也可以将该方案应用于测量目标的长度、宽度等其他几何参数,此处不再赘述。
除了上述测量方法外,还有其它方法可以用于测量所述目标物体的至少一个真是尺寸,比如:
用户操作移动终端对目标物体进行拍摄和3D测量的时候,移动终端会同时记录2张以上的目标物体的照片,这些照片采用不同的焦距参数的摄像头组件捕获。如图4所示的实施例中,终端摄像头以3个不同的焦距获得获得3张不同像距的照片,以其中两张为例:该两张照片分别对应的相距为D21、D22,成像的高度为h1、h2,两组拍摄参数的镜头距离变化为△,由于目标物体的真实高度是唯一确定,照片显然满足以下的几何公式:
D11=D12+△
D22=D21+△
在照相机模块硬件参数确定的情况下,D21、D22都是已知的参数,而h1、h2可以通过像素法计算得到。那么目标物体的高度H可以根据以下公式计算得到。
S105、根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
在具体的操作中,可以将检索得到的匹配度最高的3D模型参数比例乘以目标的真实身高H,即可得到目标的真实的骨架模型。
在本实施例另一些可行的方案中,也可以通过手机I/O接口的触摸屏直接输入目标的一个真实的几何参数,可以是身高、臂长、肩宽等数据中的一个,来进一步计算出人体目标物体的体征数据。用户也可以对输入的目标的真实几何参数进行动态调整以计算得出相对准确的目标物体的体征数据。进一步可选的,本实施例还可以根据体征特性参数库中的具体参数(比如密度)计算出人体目标420的体重、三围尺寸,臂长,肩宽等各类体征参数,在用户输入输出界面上显示出来,结合各类商业数据库和用户的习惯设置,也可以用于服装的尺寸、搭配建议和广告推送等。
需要说明的是本实施例不但可以应用于对目标物体拍照过程中的体征数据测量,也可以应用于视频拍摄移动目标物体的3D测量和体征数据获取过程。
本发明实施例通过获取目标物体的3D深度图像,并根据该3D深度图像还原出该目标物体的图形轮廓和骨架参数,从而基于该图形轮廓和骨架参数检索出对应该目标物体的3D模型,并进一步由该3D模型获取到该目标物体的体征数据,从而使得广大用户可以随时随地通过终端进行虚拟重建获取所见物体的体征参数,实现“所见即所得”的用户体验。
需要说明的是在大部分的拍照应用中,如果主要的目标是一个人体,这种计算得到的结果相对比较准确,但是如果真实场景中有两个或者多个人出现并 相互重叠或遮蔽的时候,需要在处理时将不同的人体对象分开处理,一种简单方法是利用图像深度过滤算法将重叠的人体目标按背景噪音方式处理,另一些可行的做法是将重叠图像进行计算分离。需要说明的是在本实施例中所涉及的技术方案中,主要涉及单个目标物体或者已经分离后的独立的目标物体。
在一个新的实施例中,为了使获取的目标物体的图形轮廓更加精确,本实施例基于背景去噪处理对3D深度图像进行背景去噪音从而获得第一3D目标深度图像,从而获得一个独立的目标物体图形轮廓,具体包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
具体的,所述对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像,包括:
设置一个深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
进一步的,在一个新的实施例中,可以对上述获取的第一3D目标深度图形进行进一步处理,即:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
由此可以获取一个独立且边缘清晰的图形轮廓。
具体的,对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像包括:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
实施例二
请参考图5,图5是本发明实施例中获取目标物体体征数据的装置300,包括:
成像模块302,用于获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离。图形轮廓和骨架参数获取模块304,用于根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离。参数比例获取模块306,用于在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例。
真实尺寸获取模块308,用于获取所述目标物体的至少一个真实尺寸。
体征数据获取模块310,用于根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
本发明实施例中,通过成像设备获取目标物体的3D深度图像,图形轮廓和骨架参数获取模块根据该3D深度图像还原出该目标物体的图形轮廓和骨架参数,参数比例获取模块基于该图形轮廓和骨架参数检索出对应该目标物体的3D模型,并由体征数据获取模块根据该3D模型获取到该目标物体的体征数据,从而使得广大用户可以随时随地通过终端进行虚拟重建获取所见物体的体征参数,实现“所见即所得”的用户体验。
在实施例二的基础上,进一步的,在另一个实施例中,成像模块302可以 具体包括:
发射单元,用于向所述目标物体发射参考图案;
接收单元,用于接收所述参考图案经所述目标物体反射得到的二次图案;
计算单元,用于计算所述二次图案相对于所述参考图案的偏移值;
图像获取单元,用于对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
在上述实施例的基础上,进一步的,在另一个实施例中,图形轮廓和骨架参数获取模块具体用于:对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
在上述实施例的基础上,进一步的,请参阅图6,在另一个实施例中,上述装置300还包括:去噪模块312;
所述去噪模块312用于:
对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所 述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
进一步的,所述去噪模块312具体用于:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
进一步的,所述去噪模块312还可以用于:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
进一步可选的,所述去噪模块312具体用于:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
在上述实施例的基础上,进一步的,在另一个实施例中,图形轮廓和骨架参数获取模块304具体用于:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中心轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
在上述实施例的基础上,进一步的,在另一个实施例中,参数比例获取模块306具体用于:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
其中,所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
在上述实施例的基础上,进一步的,在另一个实施例中,参数比例获取模块306具体用于:
采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形 轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
在上述实施例的基础上,进一步的,在另一个实施例中,真实尺寸获取模块308具体用于:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
实施例三
请参考图7,图7是本发明实施例中获取目标物体体征数据的终端400,包括:
3D传感器402,用于获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;
处理器404,用于根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离,所述处理器还用于在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例,所述处理器还用于获取所述目标物体的至少一个真 实尺寸,并根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
在实施例三的基础上,可选的,3D传感器402具体可以用于:
向所述目标物体发射参考图案,并接收所述参考图案经所述目标物体反射得到的二次图案,计算所述二次图案相对于所述参考图案的偏移值,并对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
在上述实施例的基础上,进一步可选的,处理器404具体用于对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
在上述实施例的基础上,进一步可选的,处理器404具体还可以用于:对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
进一步的,处理器404具体可以用于:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
在上述实施例的基础上,进一步可选的,处理器404具体还可以用于:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
进一步的,处理器404具体可以用于:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
进一步的,处理器404具体可以用于:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中心轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的 所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
进一步的,处理器404具体可以用于:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
其中,所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
进一步的,处理器404具体可以用于:采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
进一步的,处理器404具体可以用于:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
需要说明的是,以上各实施例均属于同一发明构思,各实施例的描述各有侧重,在个别实施例中描述未详尽之处,可参考其他实施例中的描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上对本发明实施例所提供的活动识别方法和系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (36)

1.一种获取目标物体体征数据的方法,其特征在于,包括:
获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;
根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离;
在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例;
获取所述目标物体的至少一个真实尺寸;
根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
2.根据权利要求1所述的方法,其特征在于,所述获取目标物体的3D深度图像包括:
向所述目标物体发射参考图案;
接收所述参考图案经所述目标物体反射得到的二次图案;
计算所述二次图案相对于所述参考图案的偏移值;
对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓包括:
对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
4.根据权利要求1至3任一项所述的方法,其特征在于,在所述获取目标物体的3D深度图像之后,所述方法还包括:
对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
5.根据权利要求4所述的方法,其特征在于,所述对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像,包括:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
6.根据权利要求5所述的方法,其特征在于,在所述获取所述第一3D目标深度图像之后,所述方法还包括:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
7.根据权利要求6所述的方法,其特征在于,所述对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像包括:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
8.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的骨架参数包括:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
9.根据权利要求8所述的方法,其特征在于,所述在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例,包括:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
10.根据权利要求9所述的方法,其特征在于,所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
11.根据权利要求10所述的方法,其特征在于,所述将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓包括:
采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
12.根据权利要求1至3任一项所述的方法,其特征在于,所述获取所述目标物体的至少一个真实尺寸,包括:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
13.一种获取目标物体体征数据的装置,其特征在于,包括:
成像模块,用于获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;
图形轮廓和骨架参数获取模块,用于根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离;
参数比例获取模块,用于在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例;
真实尺寸获取模块,用于获取所述目标物体的至少一个真实尺寸;
体征数据获取模块,用于根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
14.根据权利要求13所述的装置,其特征在于,所述成像模块包括:
发射单元,用于向所述目标物体发射参考图案;
接收单元,用于接收所述参考图案经所述目标物体反射得到的二次图案;
计算单元,用于计算所述二次图案相对于所述参考图案的偏移值;
图像获取单元,用于对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
15.根据权利要求13所述的装置,其特征在于,所述图形轮廓和骨架参数获取模块具体用于:对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
16.根据权利要求13至15任一项所述的装置,其特征在于,所述装置还包括:去噪模块;
所述去噪模块用于:
对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
17.根据权利要求16所述的装置,其特征在于,所述去噪模块具体用于:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
18.根据权利要求17所述的装置,其特征在于,所述去噪模块还用于:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
19.根据权利要求18所述的装置,其特征在于,所述去噪模块具体用于:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
20.根据权利要求13至15任一项所述的装置,其特征在于,所述图形轮廓和骨架参数获取模块具体用于:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
21.根据权利要求20所述的装置,其特征在于,所述参数比例获取模块具体用于:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
22.根据权利要求21所述的装置,其特征在于,所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
23.根据权利要求22所述的装置,其特征在于,所述参数比例获取模块具体用于:
采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
24.根据权利要求13至15任一项所述的装置,其特征在于,所述真实尺寸获取模块具体用于:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
25.一种获取目标物体体征数据的终端,其特征在于,包括:
3D传感器,用于获取目标物体的3D深度图像;所述3D深度图像为带有距离信息的二维图像,所述距离信息包括所述目标物体到成像设备之间的距离;
处理器,用于根据所述目标物体的3D深度图像中像素的深度值获取所述目标物体的图形轮廓和骨架参数;所述深度值为根据所述距离信息获取的所述目标物体上某一点到所述成像设备之间的距离,所述处理器还用于在3D模型库中检索与所述目标物体的图形轮廓及骨架参数相匹配的3D模型,获取所述3D模型的参数比例,所述处理器还用于获取所述目标物体的至少一个真实尺寸,并根据所述3D模型的参数比例和所述的至少一个真实尺寸获取所述目标物体的体征数据。
26.根据权利要求25所述的终端,其特征在于,所述3D传感器具体用于:
向所述目标物体发射参考图案,并接收所述参考图案经所述目标物体反射得到的二次图案,计算所述二次图案相对于所述参考图案的偏移值,并对所述偏移值进行傅立叶变换获取所述距离信息,由所述距离信息得到所述3D深度图像。
27.根据权利要求25所述的终端,其特征在于,所述处理器具体用于对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓;
具体地,所述对所述3D深度图像中像素的深度值进行差值计算包括:
分别计算所述3D深度图像中第一像素的像素深度值与所述第一像素的四个相连的邻近像素的像素深度值之间的深度值差异,获取四个第一深度差异值;
当所述四个第一深度差异值中至少一个第一深度差异值大于第一差异阈值时,将所述的至少一个第一深度差异值对应的邻近像素标记为轮廓位置;
查询所述3D深度图像中第二像素的八个相连的邻近像素中是否有被标记为轮廓位置的像素;
若有,则将所述八个相连的邻近像素中非轮廓位置的像素的像素深度值分别与所述第二像素的像素深度值进行差值计算,获取第二深度差异值;
当至少一个所述第二深度差异值大于第二差异阈值时,将所述第二像素标记为轮廓位置;
根据所述标记为轮廓位置的像素获取所述目标物体的图形轮廓。
28.根据权利要求25至27任一项所述的终端,其特征在于,所述处理器还用于:对所述3D深度图像进行背景去噪处理,获取第一3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第一3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
29.根据权利要求28所述的终端,其特征在于,所述处理器具体用于:
设置深度阈值;
比较所述3D深度图像中的各个像素深度值与所述深度阈值的大小,将所述3D深度图像中像素深度值大于所述深度阈值的像素滤除,获取剩余像素形成所述第一3D目标深度图像。
30.根据权利要求29所述的终端,其特征在于,所述处理器还用于:
对所述第一3D目标深度图像进行边缘去噪处理,获取第二3D目标深度图像;
对应地,所述对所述3D深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓包括:对所述第二3D目标深度图像中像素的深度值进行差值计算,获取所述目标物体的图形轮廓。
31.根据权利要求30所述的终端,其特征在于,所述处理器具体用于:
将所述第一3D目标深度图像分割成多个像素块;
设置像素深度分段区间;
分别对每块所述像素块内所有像素的像素深度值做均值处理,获取所述每块像素块的像素均值;
将所述像素均值映射至所述像素深度分段区间中的对应区间,并将同一区间内的所有像素均值对应的像素块进行合并,获取所述第二3D目标深度图像。
32.根据权利要求25至27任一项所述的终端,其特征在于,所述处理器具体用于:
根据所述目标物体的3D深度图像中所有像素的像素深度值,用线性最小二乘法获取所述目标物体的中轴;
沿着垂直于所述中轴的多个第一线计算所述目标物体的图形轮廓的横向厚度;
沿着平行于所述中轴的多个第二线计算所述目标物体的图形轮廓的纵向厚度;
由所述第一线和所述第二线限定的区域构成所述目标物体的骨架,对应的所述横向厚度和所述纵向厚度为所述目标物体的骨架参数。
33.根据权利要求32所述的终端,其特征在于,所述处理器具体用于:
将所述目标物体的图形轮廓与所述3D模型库中3D模型的图形轮廓进行匹配,获取匹配度最高的3D模型的图形轮廓;
当所述3D模型的图形轮廓不是所述3D模型的正视图形轮廓时,则根据所述3D模型的图形轮廓获取所述3D模型的正视图形轮廓;
根据所述3D模型的图形轮廓与所述3D模型的正视图形轮廓计算所述3D模型的视角参数,所述视角参数为所述3D模型的图形轮廓基于所述3D模型的正视图形轮廓的视觉角度;
将所述3D模型的正视图形轮廓基于所述视角参数旋转,获取所述3D模型的骨架参数;
将所述所述目标物体的骨架参数与所述3D模型的骨架参数进行相似度比较,当所述相似度小于预设值时,则所述3D模型为所述与所述目标物体的图形轮廓及骨架参数相匹配的3D模型;
通过所述3D模型获取所述3D模型的参数比例。
34.根据权利要求33所述的终端,其特征在于,所述3D模型库中包括所述3D模型的各视角图形轮廓,其中至少包括所述3D模型的正视角图形轮廓。
35.根据权利要求34所述的终端,其特征在于,所述处理器具体用于:采用Zernike矩描述子和傅里叶描述子对所述目标物体的图形轮廓进行描述,获取第一描述信息;
采用Zernike矩描述子和傅里叶描述子对所述3D模型库中3D模型的图形轮廓进行描述,获取第二描述信息;
比较所述第一描述信息与所述第二描述信息,将与所述第一描述信息相差预设阈值的第二描述信息对应的3D模型的图形轮廓作为所述匹配度最高的3D模型的图形轮廓。
36.根据权利要求25至27任一项所述的终端,其特征在于,所述处理器具体用于:
向所述目标物体发射声波信号;
接收被所述目标物体反射回来的声波信号;
获取所述声波信号的传输时间;所述传输时间为所述发射声波信号和所述接收声波信号的时间差;
利用所述传输时间和所述声波信号的传播速率,计算所述目标物体表面到所述成像设备的距离;
通过所述距离和所述成像设备的相距,计算所述目标物体的至少一个真实尺寸。
CN201410301461.2A 2014-06-27 2014-06-27 一种获取目标物体体征数据的方法、装置及终端 Active CN105336005B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201410301461.2A CN105336005B (zh) 2014-06-27 2014-06-27 一种获取目标物体体征数据的方法、装置及终端
BR112016030027-0A BR112016030027B1 (pt) 2014-06-27 2015-06-26 Método e terminal para obter dados de sinal de um objeto alvo
EP15810950.4A EP3144900B1 (en) 2014-06-27 2015-06-26 Method and terminal for acquiring sign data of target object
JP2016575462A JP6549620B2 (ja) 2014-06-27 2015-06-26 ターゲットオブジェクトのサインデータを取得するための方法、装置、および端末
KR1020177001223A KR101922039B1 (ko) 2014-06-27 2015-06-26 목표 물체의 증상 데이터를 획득하기 위한 방법, 장치, 및 단말
PCT/CN2015/082539 WO2015197026A1 (zh) 2014-06-27 2015-06-26 一种获取目标物体体征数据的方法、装置及终端
US15/391,068 US9984461B2 (en) 2014-06-27 2016-12-27 Method, apparatus, and terminal for obtaining vital sign data of target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410301461.2A CN105336005B (zh) 2014-06-27 2014-06-27 一种获取目标物体体征数据的方法、装置及终端

Publications (2)

Publication Number Publication Date
CN105336005A CN105336005A (zh) 2016-02-17
CN105336005B true CN105336005B (zh) 2018-12-14

Family

ID=54936983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410301461.2A Active CN105336005B (zh) 2014-06-27 2014-06-27 一种获取目标物体体征数据的方法、装置及终端

Country Status (7)

Country Link
US (1) US9984461B2 (zh)
EP (1) EP3144900B1 (zh)
JP (1) JP6549620B2 (zh)
KR (1) KR101922039B1 (zh)
CN (1) CN105336005B (zh)
BR (1) BR112016030027B1 (zh)
WO (1) WO2015197026A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
JP2018136896A (ja) * 2017-02-24 2018-08-30 キヤノン株式会社 情報処理装置、システム、情報処理方法、および物品の製造方法
CN107270829B (zh) * 2017-06-08 2020-06-19 南京华捷艾米软件科技有限公司 一种基于深度图像的人体三围测量方法
CN109658515B (zh) * 2017-10-11 2022-11-04 阿里巴巴集团控股有限公司 点云网格化方法、装置、设备及计算机存储介质
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
FR3076028B1 (fr) * 2017-12-21 2021-12-24 Commissariat Energie Atomique Methode de reconnaissance d'objets dans une scene observee en trois dimensions
TWI672937B (zh) * 2018-02-05 2019-09-21 廣達電腦股份有限公司 三維影像處理之裝置及方法
CN112639731A (zh) 2018-07-24 2021-04-09 奇跃公司 应用共享
CN110910393B (zh) * 2018-09-18 2023-03-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
JP2023514573A (ja) * 2020-02-14 2023-04-06 マジック リープ, インコーポレイテッド ツールブリッジ
CN111768878A (zh) * 2020-06-30 2020-10-13 杭州依图医疗技术有限公司 可视化指引病灶的方法及计算机可读存储介质
CN115130077A (zh) * 2021-03-25 2022-09-30 上海肇观电子科技有限公司 用于身份识别的方法、电子电路、电子设备和介质
CN114842147A (zh) * 2022-05-16 2022-08-02 聚好看科技股份有限公司 一种测量人体参数的方法及电子设备
KR102773162B1 (ko) * 2023-06-01 2025-02-28 주식회사 케이씨 모바일 로봇을 포함하는 자동화 가스 공급 시스템
EP4509057A1 (en) * 2023-08-17 2025-02-19 Koninklijke Philips N.V. Method and system for visualizing change in position

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
WO2013189058A1 (en) * 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
WO2014022608A2 (en) * 2012-08-02 2014-02-06 Microsoft Corporation Avatar-based virtual dressing room
CN103718175A (zh) * 2011-07-27 2014-04-09 三星电子株式会社 检测对象姿势的设备、方法和介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US7113217B2 (en) * 2001-07-13 2006-09-26 Xenogen Corporation Multi-view imaging apparatus
US7298415B2 (en) * 2001-07-13 2007-11-20 Xenogen Corporation Structured light imaging apparatus
KR100488366B1 (ko) 2002-03-13 2005-05-11 주식회사 에스알에스텍 초음파를 이용한 수소유기균열 및 부식 측정 시스템과안전성 평가 방법
US7128024B2 (en) * 2003-07-15 2006-10-31 Doyle Ii John Conan System and method for measuring animals
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
KR101640039B1 (ko) * 2009-09-22 2016-07-18 삼성전자주식회사 영상 처리 장치 및 방법
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8810565B2 (en) 2010-08-27 2014-08-19 Broadcom Corporation Method and system for utilizing depth information as an enhancement layer
US20120050480A1 (en) 2010-08-27 2012-03-01 Nambi Seshadri Method and system for generating three-dimensional video utilizing a monoscopic camera
US8994792B2 (en) 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
JP5597087B2 (ja) * 2010-10-04 2014-10-01 パナソニック株式会社 仮想物体操作装置
CN103294996B (zh) * 2013-05-09 2016-04-27 电子科技大学 一种3d手势识别方法
CN103745218B (zh) * 2014-01-26 2017-02-15 清华大学 一种深度图像中的姿势识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
CN103718175A (zh) * 2011-07-27 2014-04-09 三星电子株式会社 检测对象姿势的设备、方法和介质
WO2013189058A1 (en) * 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
WO2014022608A2 (en) * 2012-08-02 2014-02-06 Microsoft Corporation Avatar-based virtual dressing room

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Range and Contour Fused Environment Recognition for Mobile Robot;Kyung-Hcon Kim 等;《Multisensor Fusion and Integration for Intelligent Systems》;20010822;183-188 *

Also Published As

Publication number Publication date
WO2015197026A1 (zh) 2015-12-30
BR112016030027A2 (pt) 2017-08-22
EP3144900B1 (en) 2023-04-05
BR112016030027B1 (pt) 2023-10-10
US9984461B2 (en) 2018-05-29
KR101922039B1 (ko) 2018-11-26
EP3144900A1 (en) 2017-03-22
JP2017525029A (ja) 2017-08-31
KR20170019430A (ko) 2017-02-21
US20170109885A1 (en) 2017-04-20
CN105336005A (zh) 2016-02-17
EP3144900A4 (en) 2017-07-26
JP6549620B2 (ja) 2019-07-24

Similar Documents

Publication Publication Date Title
CN105336005B (zh) 一种获取目标物体体征数据的方法、装置及终端
CN107564012B (zh) 面向未知环境的增强现实方法及装置
CN105844696B (zh) 基于射线模型三维重构的图像定位方法以及装置
Liang et al. Image based localization in indoor environments
Alexiadis et al. An integrated platform for live 3D human reconstruction and motion capturing
JP2024056955A (ja) 光学式捕捉によるパーソナライズされたhrtf
CN103971408B (zh) 三维人脸模型生成系统及方法
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
Meshram et al. P-HRTF: Efficient personalized HRTF computation for high-fidelity spatial sound
US20160239976A1 (en) Photogrammetric methods and devices related thereto
US11315313B2 (en) Methods, devices and computer program products for generating 3D models
WO2020063987A1 (zh) 三维扫描方法、装置、存储介质和处理器
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
TW202309834A (zh) 模型重建方法及電子設備和電腦可讀儲存介質
CN112132950B (zh) 一种基于众包图像的三维点云场景更新方法
KR20160002510A (ko) 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법
WO2021100681A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN107240149A (zh) 基于图像处理的物体三维模型构建方法
WO2024083010A9 (zh) 一种视觉定位方法及相关装置
CN110021035A (zh) Kinect深度相机的标记物及基于该标记物的虚拟标记物跟踪方法
CN119152134A (zh) 一种道岔三维可视化方法、装置、设备及介质
JP2003271928A (ja) 三次元モデリング装置及びその方法及びそのプログラム
CN112465890A (zh) 深度检测方法、装置、电子设备和计算机可读存储介质
CN115546829B (zh) 基于zed立体相机的行人空间信息感知方法及装置
CN119919501A (zh) 一种虚拟相机的标定参数生成方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant