[go: up one dir, main page]

CN107749070B - 深度信息的获取方法和获取装置、手势识别设备 - Google Patents

深度信息的获取方法和获取装置、手势识别设备 Download PDF

Info

Publication number
CN107749070B
CN107749070B CN201710952564.9A CN201710952564A CN107749070B CN 107749070 B CN107749070 B CN 107749070B CN 201710952564 A CN201710952564 A CN 201710952564A CN 107749070 B CN107749070 B CN 107749070B
Authority
CN
China
Prior art keywords
infrared
infrared image
image
pixel
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710952564.9A
Other languages
English (en)
Other versions
CN107749070A (zh
Inventor
王鹏鹏
王海生
丁小梁
郑智仁
韩艳玲
刘伟
曹学友
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710952564.9A priority Critical patent/CN107749070B/zh
Publication of CN107749070A publication Critical patent/CN107749070A/zh
Priority to US15/915,016 priority patent/US10643340B2/en
Application granted granted Critical
Publication of CN107749070B publication Critical patent/CN107749070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种深度信息的获取方法和获取装置、手势识别设备。深度信息的获取方法，包括：向目标物体投射红外光谱；在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像；利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息。本发明利用红外图像中不同波长的红外光响应不同的特点，提出了利用红外光谱响应特性进行匹配的方案，在两个红外图像中查找相同波长的像素点即可完成匹配，匹配处理简单，易于实现，极大地减小了计算量，深度信息生成速度快，可以真正实现实时获取。

Description

深度信息的获取方法和获取装置、手势识别设备
技术领域
本发明涉及视觉技术领域，具体涉及一种深度信息的获取方法和获取装置、手势识别设备。
背景技术
随着智能电子设备的增多，人机交互技术的发展，手势交互技术逐渐成为人们研究的热点。手势交互是利用计算机图形学等技术识别人的肢体语言，并转化为命令来操作设备，手势交互是继鼠标、键盘和触屏之后新的人机交互方式。且随着虚拟现实增强现实(Virtual Reality Augmented Reality，VRAR)的空前火热，手势交互技术在未来几年将有快速的发展。
手势交互技术中，手势识别是关键技术。现有技术提出的基于深度信息的手势识别方法中，需要获取视野内目标的深度信息。目前，获取深度信息主要有三种方法，分别是双目(Multi-camera)视觉法、飞行时间法(Time of Fly，TOF)和结构光(Structure Light)法。其中，双目视觉法使用两个镜头的立体视觉来进行场景深度的测量，相机发射主动光波照射三维场景，光波经过三维场景反射后回到深度相机，获得深度信息的精度随着到目标的距离增加而快速地降低，且精度还取决于目标的表面状态，在物体纹理较少的情况下识别精度较低。飞行时间法是利用光波的发射与反射的时间差(相位差)获取三维场景的深度信息，存在分辨率较低、边缘不准确等问题。结构光法的基本原理是，将一幅或多幅编码图案投影到目标场景中，通过计算摄像机设备接收到的编码结构光信息的形变或者位移相对变化，反推出照射物体的空间坐标。虽然结构光法是一种有效的测量方法，但由于需要对投影进行编解码，不仅整体方案复杂，并且算法的复杂度高、运算量大，深度信息生成速度较慢，无法真正实现实时获取。同时，采用这些方法的深度相机由于复杂的光学和电子器件，往往很难小型化，并且价格昂贵，难以被普通消费者接受。
发明内容
本发明实施例所要解决的技术问题是，提供一种深度信息的获取方法和获取装置、手势识别设备，以克服现有获取深度信息方法存在算法复杂和运算量大等技术缺陷。
为了解决上述技术问题，本发明实施例提供了一种深度信息的获取方法，包括：
向目标物体投射红外光谱；
在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像；
利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息。
可选地，所述向目标物体投射红外光谱，包括：
发射红外光；
将所述红外光按波长进行色散，转换成红外光谱向目标物体投射。
可选地，所述在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像，包括：
分别在第一位置和第二位置采集从所述目标物体反射的红外光谱；
根据所述目标物体反射的红外光谱分别生成第一红外图像和第二红外图像；
其中，所述第一红外图像和第二红外图像对不同波长的红外光响应不同，红外图像中相对响应最大的波长与红外光源中能量最高的波长相同。
可选地，所述利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息，包括：
对所述第一红外图像和第二红外图像进行图像矫正处理，使所述第一红外图像和第二红外图像水平对齐；
利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点；
根据多个匹配点的二维坐标获取目标物体的空间三维坐标。
可选地，所述利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点，包括：
对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点。
可选地，所述向目标物体投射的红外光谱为连续的红外光谱；所述对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点，包括：
在所述第一红外图像的像素行内，确定最大强度值的第一图像第1像素点，在所述第二红外图像的像素行内，确定最大强度值的第二图像第1像素点，将所述第一图像第1像素点和第二图像第1像素点作为匹配点；
在所述第一红外图像的像素行内，在所述第一图像第1像素点的左侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的左侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点；
在所述第一红外图像的像素行内，在所述第一图像第1像素点的右侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的右侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点。
可选地，所述向目标物体投射的红外光谱为离散的红外光谱；所述对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点，包括：
在所述第一红外图像的像素行内，确定最大平均强度值的第一图像第1波长段，在所述第二红外图像的像素行内，确定最大平均强度值的第二图像第1波长段，将所述第一图像第1波长段和第二图像第1波长段作为匹配段；
在所述第一红外图像的像素行内，在所述第一图像第1波长段的左侧，按照与所述第一图像第1波长段的邻近程度，依次选定多个左邻近波长段，在所述第二图像第1波长段的左侧，按照与所述第二图像第1波长段的邻近程度，依次选定多个左邻近波长段，将所述第一图像的多个左邻近波长段与第二图像的多个左邻近波长段相应匹配，作为匹配段；
在所述第一红外图像的像素行内，在所述第一图像第1波长段的右侧，按照与所述第一图像第1波长段的邻近程度，依次选定多个右邻近波长段，在所述第二图像第1波长段的右侧，按照与所述第二图像第1波长段的邻近程度，依次选定多个右邻近波长段，将所述第一图像的多个右邻近波长段与第二图像的多个右邻近波长段相应匹配，作为匹配段。
为了解决上述技术问题，本发明实施例还提供了一种深度信息的获取装置，包括：
红外光谱投射器，用于向目标物体投射红外光谱；
红外采集器，用于在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像；
处理器，用于利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息。
可选地，所述红外光谱投射器包括：
红外光源，用于发出红外光；
衍射器，用于将所述红外光按波长进行色散，转换成红外光谱向目标物体投射。
可选地，所述红外采集器包括设置在同一水平面上的第一红外采集器和第二红外采集器，所述第一红外采集器和第二红外采集器之间具有设定的距离，用于分别在第一位置和第二位置采集从目标物体反射的红外光谱，根据所述目标物体反射的红外光谱生成第一红外图像和第二红外图像；所述第一红外采集器和第二红外采集器对不同波长的红外光响应不同，所采集红外图像中相对响应最大的波长与红外光源中能量最高的波长相同。
可选地，所述处理器包括：
图像矫正模块，用于对所述第一红外图像和第二红外图像进行图像矫正处理，使所述第一红外图像和第二红外图像水平对齐；
图像匹配模块，用于利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点；
坐标转换模块，用于根据多个匹配点的二维坐标获取目标物体的空间三维坐标。
可选地，所述图像匹配模块包括：
匹配单元，用于对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点。
可选地，所述向目标物体投射的红外光谱为连续的红外光谱；所述匹配单元包括：
最大强度值像素匹配子单元，用于在所述第一红外图像的像素行内，确定最大强度值的第一图像第1像素点，在所述第二红外图像的像素行内，确定最大强度值的第二图像第1像素点，将所述第一图像第1像素点和第二图像第1像素点作为匹配点；
左像素匹配子单元，用于在所述第一红外图像的像素行内，在所述第一图像第1像素点的左侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的左侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点；
右像素匹配子单元，用于在所述第一红外图像的像素行内，在所述第一图像第1像素点的右侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的右侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点。
可选地，所述向目标物体投射的红外光谱为离散的红外光谱；所述匹配单元包括：
最大强度值波段匹配子单元，用于在所述第一红外图像的像素行内，确定最大平均强度值的第一图像第1波长段，在所述第二红外图像的像素行内，确定最大平均强度值的第二图像第1波长段，将所述第一图像第1波长段和第二图像第1波长段作为匹配段；
左波段匹配子单元，在所述第一红外图像的像素行内，在所述第一图像第1波长段的左侧，按照与所述第一图像第1波长段的邻近程度，依次选定多个左邻近波长段，在所述第二图像第1波长段的左侧，按照与所述第二图像第1波长段的邻近程度，依次选定多个左邻近波长段，将所述第一图像的多个左邻近波长段与第二图像的多个左邻近波长段相应匹配，作为匹配段。
本发明实施例还提供了一种手势识别设备，包括前述的深度信息的获取装置。
本发明实施例所提供的深度信息的获取方法和获取装置、手势识别设备，利用红外图像中不同波长的红外光响应不同的特点，提出了利用红外光谱响应特性进行匹配的方案，在两个红外图像中查找相同波长的像素点即可完成匹配，匹配处理简单，易于实现，极大地减小了计算量，深度信息生成速度快，可以真正实现实时获取。由于红外光谱为连续光谱，所获得的深度信息连续，边缘具有同样的精度，因此具有很高的分辨率和匹配精度。同时，采用本实施例方法的深度相机结构简单，不仅易于实现小型化，并且成本低。本发明实施例还可以应用于立体显示、机器视觉、卫星遥感等方面，可以适用各种应用场景，测量范围不受局限，具有广泛的应用前景。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。本发明的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本发明内容。
图1为现有结构光方法的原理图；
图2为本发明实施例深度信息的获取装置的结构示意图；
图3为本发明实施例红外传感器的光谱响应曲线；
图4为本发明实施例深度信息的获取方法的流程图；
图5为三角测量原理的示意图；
图6为本发明实施例深度信息的获取装置的另一结构示意图；
图7为本发明手势识别设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为现有结构光方法的原理图。如图1所示，结构光方法的基本原理是通过计算摄像机设备接收到的编码结构光信息的形变或者位移相对变化从而反推出照射物体的空间坐标，主要包括两个核心部件，一个为投射结构光的投影设备，另一个为接收从物体上反射回编码结构光的摄像设备。从图1所示的基本原理可以看出，对结构光的编解码并且最终反推出空间坐标是该技术的关键。现有算法中，通常都是通过算法找到图像中的特定点与空间点的对应关系，或者通过间接的方法得到，但是无论选择何种方式，算法的复杂度和运算量都很大。
针对现有结构光方法存在算法复杂度和运算量大等技术缺陷，本申请提供了一种基于红外结构光的深度信息的获取方法和获取装置，通过将红外光谱投射到立体空间中去，获取从目标物体反射的光谱图样，利用红外光谱响应特性获取目标的深度信息，具有分辨率高、算法简单、运算量小等优点。
图2为本发明实施例深度信息的获取装置的结构示意图。如图2所示，基于红外结构光的深度信息的获取装置的主体结构包括第一红外采集器1、第二红外采集器2、红外光源3、衍射器4和处理器(未示出)，其中，第一红外采集器1和第二红外采集器2在同一水平面上，之间具有设定的距离。红外光源3设置在第一红外采集器1和第二红外采集器2之间，用于发出设定波长范围的红外光。衍射器4设置在红外光源3与目标物体之间，用于将红外光源3发出的红外光转换成发散的红外光谱5，并向目标物体6投射。第一红外采集器1和第二红外采集器2用于从不同角度采集从目标物体6反射的红外光谱，分别得到了第一红外图像和第二红外图像。处理器分别与第一红外采集器1和第二红外采集器2连接，从第一红外采集器1和第二红外采集器2分别接收第一红外图像和第二红外图像，利用红外光谱响应特性对第一红外图像和第二红外图像进行处理，获得目标物体的深度信息。需要说明的是，图2中为了便于是显示红外光谱，将红外光谱用可见光光谱方式示意出。
本发明实施例中，红外光源可以采用波长范围为λ1～λ2nm的近红外光源，能量最高点对应的波长为λ0nm。例如，可以采用波长范围为900nm～1800nm，能量主要分布在λ0＝1300nm左右。衍射器作为一种衍射光学器件，可以采用二维衍射光栅，将入射到二维衍射光栅上的红外光按波长的不同进行色散﹐再经成像镜聚焦而形成红外光谱向目标物体投射。第一红外采集器和第二红外采集器可以采用红外摄像头，红外摄像头的波长范围与红外光源相应，红外摄像头(红外传感器)对不同波长的红外光的响应不同，并在波长λ0处具有相对响应最大值。图3为本发明实施例红外传感器的光谱响应曲线。如图3所示，在中心波长λ0处，红外传感器的光谱相对响应最大，而在中心波长λ0两侧，相对响应都是单调递减的。由于红外传感器的这一特性，因而红外摄像头所采集的红外图像具有与图3所示光谱响应曲线同样的趋势。
本发明实施例中，处理器通过图像处理获得目标物体的深度信息的主要处理包括图像矫正、图像匹配和坐标转换，其中图像矫正用于使第一红外采集器采集的第一红外图像和第二红外采集器采集的第二红外图像在水平方向的对齐，图像匹配用于在第一红外图像和第二红外图像中确定多个匹配点，坐标转换用于根据多个匹配点的二维坐标获取目标物体的空间三维坐标。
下面通过具体实施例详细说明本发明实施例的技术方案。
第一实施例
基于上述深度信息的获取装置的系统架构，本实施例提供了一种深度信息的获取方法。图4为本发明实施例深度信息的获取方法的流程图，如图4所示，深度信息的获取方法包括：
S1、向目标物体投射红外光谱；
S2、在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像；
S3、利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息。
其中，步骤S1包括：
S11、发射红外光；
S12、将所述红外光按波长进行色散，转换成红外光谱向目标物体投射。
本实施例中，步骤S11具体为，发射设定波长范围的红外光，使得向目标物体投射具有设定波长范围的红外光谱，且向目标物体投射的红外光谱为连续的红外光谱。
其中，步骤S2包括：
S21、分别在第一位置和第二位置采集从所述目标物体反射的红外光谱；
S22、根据所述目标物体反射的红外光谱分别生成第一红外图像和第二红外图像。
本实施例中，第一红外图像和第二红外图像对不同波长的红外光响应不同，红外图像中相对响应最大的波长与红外光源中能量最高的波长相同。
其中，步骤S3包括：
S31、对所述第一红外图像和第二红外图像进行图像矫正处理，使所述第一红外图像和第二红外图像水平对齐；
S32、利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点；
S33、根据多个匹配点的二维坐标获取目标物体的空间三维坐标。
步骤S31实际是对两个红外采集器进行标定和校正，使两个红外采集器的光轴完全平行。本实施例中，虽然将两个红外采集器设置在同一水平面上，但考虑到结构设计和安装等方面的误差，实际实施时，两个红外采集器仍会存在水平方向的误差，使得第一红外图像和第二红外图像中目标物体的位置不在同一高度。本实施例通过图像矫正处理，可以实现第一红外图像和第二红外图像在水平方向上对齐，即第一红外图像中目标物体的位置与第二红外图像中目标物体的位置处于同一水平线上，相当于两个光轴完全平行的红外采集器采集的两个红外图像。实际实施时，红外图像矫正处理可以采用现有算法，如bouguet算法，处理方式和方法为本领域技术人员熟知，这里不再赘述。此外，步骤S31中还可以包括对红外图像进行相应的预处理。例如，为了剔除环境中的红外光，可以先拍摄环境中的红外光作为基础红外图像，在获得目标红外图像后，目标红外图像与基础红外图像进行运算(如相减)，实现环境红外光的补偿处理。
针对现有基于结构光获取深度信息方法存在算法复杂度大和运算量大的缺陷，本实施例提供了一种利用红外光谱响应特性进行匹配的方法，匹配方法的分辨率高、算法简单、运算量小。
其中，步骤S32包括：
步骤S321、对所述第一红外图像和第二红外图像的所有像素值进行归一化处理；
步骤S322、对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点。
实际上，步骤S321的归一化处理是为了提高匹配的精度，并不是匹配处理所必需的，在实际实施时可以不进行该处理。
其中，步骤S322包括：
步骤S3221、在所述第一红外图像的像素行内，确定最大强度值的第一图像第1像素点，在所述第二红外图像的像素行内，确定最大强度值的第二图像第1像素点，将所述第一图像第1像素点和第二图像第1像素点作为匹配点；
步骤S3222、在所述第一红外图像的像素行内，在所述第一图像第1像素点的左侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的左侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点；
步骤S3223、在所述第一红外图像的像素行内，在所述第一图像第1像素点的右侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的右侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点。
其中，步骤S3222和步骤S3223可以同步进行，也可以先执行步骤S3223，再执行步骤S3222。
对于红外采集器所采集的红外图像，每个像素点的值即为该像素点的红外强度值。假设第一红外图像的第M1像素行与第二红外图像的第M1′像素行处于同一水平线上，先在第一红外图像的第M1像素行内，确定最大强度值的第一图像第1像素点，其坐标为(M1，N1)，然后在第二红外图像的第M1′像素行内，确定最大强度值的第二图像第1像素点，其坐标为(M1′，N1′)，将两个最大强度值的第一图像第1像素点和第二图像第1像素点作为第1匹配点。其中，N1为所述第一红外图像中第一图像第1像素点所在的列，N1′为所述第二红外图像中第二图像第1像素点所在的列。
最大强度值的像素点匹配完成后，可以依据该点完成左侧像素点和右侧像素点的匹配。对于左侧，先在第一红外图像的第M1像素行内，选定第i像素点(M1，N1-i)，确定第i像素点的强度值Pi，然后在第二红外图像的第M1′像素行内，在像素点(M1′，1)～(M1′，N1′-i)范围内查找具有强度值Pi的第i′像素点，将第i像素点和第i′像素点作为第i匹配点。其中，i＝1～N1-1。对于右侧，先在第一红外图像的第M1像素行内，选定第j像素点(M1，N1+j)，确定所述第j像素点的强度值Pj，然后在第二红外图像的第M2像素行内，在像素点(M1′，N1′+j)～(M1′，N′)范围内查找具有强度值Pj的第j′像素点，将第j像素点和第j′像素点作为第j匹配点。其中，j＝N1+1～N，N为第一红外图像的列数，N′为第二红外图像的列数。这样，就可以完成第一红外图像的第M1像素行和第二红外图像的第M1′像素行所有像素点的匹配。
本发明实施例中，在第一红外图像和第二红外图像水平对齐后，两个图像在水平方向上已经处于同一水平线上，因此可以基于同一水平线进行匹配，在同一像素行上寻找匹配点。例如，经水平对齐后，第一红外图像的第M1像素行与第二红外图像的第M1′像素行处于同一水平线上，因此基于同一水平线的第M1像素行和第M1′像素行进行匹配。由于本申请的红外传感器对不同波长的红外光的响应不同，并在中心波长处具有相对响应最大值，因此第一红外图像和第二红外图像也具有该特点。基于红外图像的光谱响应特性可以确定，第M1像素行内强度值最大的第一图像第1像素点所对应的波长即为中心波长，第M1′像素行内强度值最大的第二图像第1像素点所对应的波长也为中心波长。由于红外光谱中不同波长的红外光投射到目标物体上的位置不同，但同一个波长的红外光投射到目标物体上的位置是唯一的，因而只有同一位置才会反射相同波长的红外光，即第一红外图像中强度值最大的第一图像第1像素点和第二红外图像中强度值最大的第二图像第1像素点对应目标物体上的同一位置。
同样，由于本申请红外传感器的光谱响应曲线是在中心波长处光谱相对响应最大，而在中心波长两侧相对响应单调递减，因此可以基于该特点快速找到同一像素行的其它匹配点。在确定了具有中心波长的第1匹配点(第一图像第1像素点和第二图像第1像素点)后，只需在第一图像第1像素点和第二图像第1像素点的同侧范围内寻找其它匹配点。具体地，先在第一红外图像第M1像素行中选定位于第一图像第1像素点(M1，N1)左侧且与第一图像第1像素点邻近的第2像素点(M1，N1-1)，确定第2像素点的强度值P2；然后在第二红外图像第M1′像素行中，在第二图像第1像素点(M1′，1)～(M1′，N1′-1)范围内查找具有强度值P2的第2′像素点，找到后，第2像素点和第2′像素点即作为第2匹配点，对应目标物体上的同一点。以此类推，可以找到其它的匹配点，右侧同理。一个像素行匹配完成后，进行其它像素行的匹配，最终完成两个红外图像整体的匹配。
通过上述处理可以看出，利用红外图像中不同波长的红外光响应不同的特点，本发明实施例提出了利用红外光谱响应特性进行匹配的方法，先通过两个红外图像中的最大强度值确定中心波长所在的第1匹配点，然后基于第1匹配点可以快速确定其它匹配点，随着确定匹配点数量的增加，匹配的范围逐渐减小，计算量逐渐减小。与现有匹配方法相比，本发明实施例红外光谱响应特性匹配方法具有算法简单、运算量小的特点，极大地减小了计算量。在实际实施时，在确定了第1匹配点后，进行其它匹配点处理的步长可以根据实际需要确定，步长最小为1个像素。由此可见，本发明实施例方案的匹配点数量最大可以达到红外图像中的像素点数量，具有分辨率高的特点。
在实际实施时，对红外图像的所有像素值进行归一化处理可以采用现有成熟的处理方法，根据匹配点的二维坐标获取目标物体的空间三维坐标也可以采用现有成熟的处理方法，如三维重建技术中较为常用的三角测量原理。
图5为三角测量原理的示意图。如图5所示，对于目标物体的一特征点P(xc,yc,zc)，两个红外采集器在同一时刻采集的图像中，特征点P在两图像中的图像坐标分别为pleft＝(Xleft,Yleft),pright＝(Xright,Yright),。两图像经过图像矫正处理后水平对齐，即两图像在同一个水平线上，则特征点P的两个图像坐标中的Y坐标相同，即Yleft＝Yright＝Y。
由三角几何关系得到：
Figure BDA0001433185890000141
Figure BDA0001433185890000142
Figure BDA0001433185890000143
则视差Disparity为：Disparity＝Xleft-Xright，由此可计算出特征点P在空间坐标系下的三维坐标为：
Figure BDA0001433185890000144
Figure BDA0001433185890000145
Figure BDA0001433185890000146
其中B为基线距，为两红外采集器的投影中心连线的距离，f为红外采集器焦距。
因此，只要在第一红外图像和第二红外图像中找到匹配点，就可以知道匹配点在两个红外图像中的二维坐标，根据该匹配点的二维坐标，就可以确定出目标物体上该点的空间三维坐标。这种计算是点对点运算，目标物体上任一点，都可以利用上述运算，从而获取其空间三维坐标。
本实施例提供了一种深度信息的获取方法，利用红外图像中不同波长的红外光响应不同的特点，提出了利用红外光谱响应特性进行匹配的方案，在两个红外图像中查找相同波长的像素点即可完成匹配，匹配处理简单，易于实现，极大地减小了计算量，深度信息生成速度快，可以真正实现实时获取。由于红外光谱为连续光谱，所获得的深度信息连续，边缘具有同样的精度，因此具有很高的分辨率和匹配精度。同时，采用本实施例方法的深度相机结构简单，不仅易于实现小型化，并且成本低。
实际上，随着3D技术的发展，立体显示、机器视觉、卫星遥感等方面的技术应用也越来越多地需要获取场景的深度信息，而本发明深度信息的获取方法也可以应用于上述技术领域，可以适用各种应用场景，测量范围不受局限，具有广泛的应用前景。
第二实施例
基于前述第一实施例的技术方案，本实施例提供了一种深度信息的获取装置。本实施例深度信息的获取装置包括：
红外光谱投射器，用于向目标物体投射红外光谱；
红外采集器，用于在不同位置获取从所述目标物体反射的第一红外图像和第二红外图像；
处理器，用于利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息。
其中，红外光谱投射器包括红外光源和衍射器，红外光源用于发出红外光，衍射器用于将红外光源发出的红外光按波长进行色散，转换成红外光谱向目标物体投射。
其中，红外采集器包括第一红外采集器和第二红外采集器，第一红外采集器和第二红外采集器设置在同一水平面上，之间具有设定的距离，用于分别在第一位置和第二位置采集从目标物体反射的红外光谱，根据所述目标物体反射的红外光谱生成第一红外图像和第二红外图像。进一步地，第一红外采集器和第二红外采集器中的红外摄像头，对不同波长的红外光响应不同，所采集红外图像中相对响应最大的波长与红外光源中能量最高的波长相同。
其中，处理器分别与第一红外采集器和第二红外采集器连接，用于从第一红外采集器和第二红外采集器接收第一红外图像和第二红外图像，利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息。具体地，处理器包括：
图像矫正模块，用于对所述第一红外图像和第二红外图像进行图像矫正处理，使所述第一红外图像和第二红外图像水平对齐；
图像匹配模块，用于利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点；
坐标转换模块，用于根据多个匹配点的二维坐标获取目标物体的空间三维坐标。
其中，图像匹配模块包括：
均化单元，用于对所述第一红外图像和第二红外图像的所有像素值进行归一化处理；
匹配单元，用于对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点。
实际上，均化单元的归一化处理是为了提高匹配的精度，并不是图像匹配模块所必需的，在实际实施时可以不包括该单元。
其中，匹配单元包括：
最大强度值像素匹配子单元，用于在所述第一红外图像的像素行内，确定最大强度值的第一图像第1像素点，在所述第二红外图像的像素行内，确定最大强度值的第二图像第1像素点，将所述第一图像第1像素点和第二图像第1像素点作为匹配点；
左像素匹配子单元，用于在所述第一红外图像的像素行内，在所述第一图像第1像素点的左侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的左侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点；
右像素匹配子单元，用于在所述第一红外图像的像素行内，在所述第一图像第1像素点的右侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二图像第1像素点的右侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点。
第三实施例
图6为本发明实施例深度信息的获取装置的另一结构示意图。如图6所示，本实施例是关于前述第一、第二实施例技术方案的一种改进，不同的是，本实施例所投射的红外光谱为离散型红外光谱。本实施例采用离散型红外光谱，可以进一步降低计算量，并提高匹配的精度。由于投射到目标物体上的红外光谱为离散型红外光谱，因此从目标物体反射回的红外光谱亦为离散的红外光谱，第一红外图像和第二红外图像具有离散型特性。在匹配时，只需对每一波长段进行匹配即可，而不需要像前述实施例中的逐个像素匹配，因此可以大大降低计算量。同时，由于每个波长段之间采用黑暗段隔开，因此可以大大提高匹配处理的误差，提高匹配的精度。
本实施例中，处理流程和结构主体与前述第一、第二实施例技术方案相同，所不同的是，本实施例的步骤S322包括：
步骤S3221′、在所述第一红外图像的像素行内，确定最大平均强度值的第一图像第1波长段，在所述第二红外图像的像素行内，确定最大平均强度值的第二图像第1波长段，将所述第一图像第1波长段和第二图像第1波长段作为匹配段；
步骤S3222′、在所述第一红外图像的像素行内，在所述第一图像第1波长段的左侧，按照与所述第一图像第1波长段的邻近程度，依次选定多个左邻近波长段，在所述第二图像第1波长段的左侧，按照与所述第二图像第1波长段的邻近程度，依次选定多个左邻近波长段，将所述第一图像的多个左邻近波长段与第二图像的多个左邻近波长段相应匹配，作为匹配段；
步骤S3223′、在所述第一红外图像的像素行内，在所述第一图像第1波长段的右侧，按照与所述第一图像第1波长段的邻近程度，依次选定多个右邻近波长段，在所述第二图像第1波长段的右侧，按照与所述第二图像第1波长段的邻近程度，依次选定多个右邻近波长段，将所述第一图像的多个右邻近波长段与第二图像的多个右邻近波长段相应匹配，作为匹配段。
其中，步骤S3222′和步骤S3223′可以同步进行，也可以先执行步骤S3223′，再执行步骤S3222′。本实施例所说的相应匹配是指(以左侧匹配为例)，在所述第一红外图像的像素行内，在所述第一图像第1波长段的左侧按照与所述第一图像第1波长段的邻近程度，依次选定第1左邻近波长段、第2左邻近波长段……；在所述第二图像第1波长段的左侧按照与所述第二图像第1波长段的邻近程度，依次选定第1′左邻近波长段、第2′左邻近波长段……，将所述第1左邻近波长段和第1′左邻近波长段作为匹配段，将所述第2左邻近波长段和第2′左邻近波长段作为匹配段……。
相应地，本实施例的匹配单元包括：
最大强度值波段匹配子单元，用于在所述第一红外图像的像素行内，确定最大平均强度值的第一图像第1波长段，在所述第二红外图像的像素行内，确定最大平均强度值的第二图像第1波长段，将所述第一图像第1波长段和第二图像第1波长段作为匹配段；
左波段匹配子单元，在所述第一红外图像的像素行内，在所述第一图像第1波长段的左侧，按照与所述第一图像第1波长段的邻近程度，依次选定多个左邻近波长段，在所述第二图像第1波长段的左侧，按照与所述第二图像第1波长段的邻近程度，依次选定多个左邻近波长段，将所述第一图像的多个左邻近波长段与第二图像的多个左邻近波长段相应匹配，作为匹配段；
右像素匹配子单元，用于在所述第一红外图像的像素行内，在所述第一图像第1波长段的右侧，按照与所述第一图像第1波长段的邻近程度，依次选定多个右邻近波长段，在所述第二图像第1波长段的右侧，按照与所述第二图像第1波长段的邻近程度，依次选定多个右邻近波长段，将所述第一图像的多个右邻近波长段与第二图像的多个右邻近波长段相应匹配，作为匹配段。
第四实施例
基于前述实施例的技术构思，本实施例提供了一种手势识别设备，手势识别设备包括显示设备和本申请前述实施例的深度信息的获取装置。
近年来，随着科学技术的发展，万物互联的物联网时代即将来临，在物联网体系中，实现万物互联所需的数据无疑会通过各种传感器进行采集，因此低成本、高集成度、易用的传感器将是未来科技的宠儿。而移动设备如手机的普及，已经使得现代社会进入了全民读屏时代，显示屏可以说是人们最不可或缺的，因此显示屏与各种传感器集成在一起，同时作为信息的输出终端和输入终端，可能是未来科技产品的终极形态。为此，本发明提出了一种将手势识别传感装置与显示屏集成一体的具有手势识别功能的显示设备。
图7为本发明手势识别设备的结构示意图。如图7所示，手势识别设备包括显示屏，处理器设置在显示屏内，红外光谱投射器和红外采集器设置在显示屏的上方边框上，其中第一红外采集器1和第二红外采集器2设置在红外光谱投射器的两侧，之间具有较大的间距，可以较大程度上保证手势识别的精度。
实际实施时，红外光谱投射器和红外采集器也可以设置在显示屏的下方位置，或第一红外采集器1和第二红外采集器2分别设置在显示屏的两侧，以适应不同用户的不同使用需求，这里不做具体限定。同时，考虑到一个深度信息的获取装置在空间中投射是一个倒梯形的范围，用户的操作空间中可能会有一些盲区，为了提高手势识别的准确性和精度，增加用户体验，可以在一个显示设备中同时设置多个深度信息的获取装置。
在本发明实施例的描述中，需要理解的是，术语“中部”、“上”、“下”、“前”、“后”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序请求实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序请求到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理设备的处理器执行的请求产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序请求也可存储在能引导计算机或其他可编程信息处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的请求产生包括请求装置的制造品，该请求装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序请求也可装载到计算机或其他可编程信息处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的请求提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (13)

1.一种深度信息的获取方法，其特征在于，包括：
向目标物体投射红外光谱；
在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像；
利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息，包括：
对所述第一红外图像和第二红外图像进行图像矫正处理，使所述第一红外图像和第二红外图像水平对齐；
利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点；
根据多个匹配点的二维坐标获取目标物体的空间三维坐标。
2.根据权利要求1所述的获取方法，其特征在于，所述向目标物体投射红外光谱，包括：
发射红外光；
将所述红外光按波长进行色散，转换成红外光谱向目标物体投射。
3.根据权利要求1所述的获取方法，其特征在于，所述在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像，包括：
分别在第一位置和第二位置采集从所述目标物体反射的红外光谱；
根据所述目标物体反射的红外光谱分别生成第一红外图像和第二红外图像；
其中，所述第一红外图像和第二红外图像对不同波长的红外光响应不同，红外图像中相对响应最大的波长与红外光源中能量最高的波长相同。
4.根据权利要求1所述的获取方法，其特征在于，所述利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点，包括：
对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点。
5.根据权利要求4所述的获取方法，其特征在于，所述向目标物体投射的红外光谱为连续的红外光谱；所述对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点，包括：
在所述第一红外图像的像素行内，确定最大强度值的第一红外图像第1像素点，在所述第二红外图像的像素行内，确定最大强度值的第二红外图像第1像素点，将所述第一红外图像第1像素点和第二红外图像第1像素点作为匹配点；
在所述第一红外图像的像素行内，在所述第一红外图像第1像素点的左侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二红外图像第1像素点的左侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点；
在所述第一红外图像的像素行内，在所述第一红外图像第1像素点的右侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二红外图像第1像素点的右侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点。
6.根据权利要求4所述的获取方法，其特征在于，所述向目标物体投射的红外光谱为离散的红外光谱；所述对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点，包括：
在所述第一红外图像的像素行内，确定最大平均强度值的第一红外图像第1波长段，在所述第二红外图像的像素行内，确定最大平均强度值的第二红外图像第1波长段，将所述第一红外图像第1波长段和第二红外图像第1波长段作为匹配段；
在所述第一红外图像的像素行内，在所述第一红外图像第1波长段的左侧，按照与所述第一红外图像第1波长段的邻近程度，依次选定多个左邻近波长段，在所述第二红外图像第1波长段的左侧，按照与所述第二红外图像第1波长段的邻近程度，依次选定多个左邻近波长段，将所述第一红外图像的多个左邻近波长段与第二红外图像的多个左邻近波长段相应匹配，作为匹配段；
在所述第一红外图像的像素行内，在所述第一红外图像第1波长段的右侧，按照与所述第一红外图像第1波长段的邻近程度，依次选定多个右邻近波长段，在所述第二红外图像第1波长段的右侧，按照与所述第二红外图像第1波长段的邻近程度，依次选定多个右邻近波长段，将所述第一红外图像的多个右邻近波长段与第二红外图像的多个右邻近波长段相应匹配，作为匹配段。
7.一种深度信息的获取装置，其特征在于，包括：
红外光谱投射器，用于向目标物体投射红外光谱；
红外采集器，用于在不同位置采集从所述目标物体反射的第一红外图像和第二红外图像；
处理器，用于利用红外光谱响应特性对所述第一红外图像和第二红外图像进行处理，获得目标物体的深度信息；所述处理器包括：
图像矫正模块，用于对所述第一红外图像和第二红外图像进行图像矫正处理，使所述第一红外图像和第二红外图像水平对齐；
图像匹配模块，用于利用红外光谱响应特性，在所述第一红外图像和第二红外图像中确定多个匹配点；
坐标转换模块，用于根据多个匹配点的二维坐标获取目标物体的空间三维坐标。
8.根据权利要求7所述的获取装置，其特征在于，所述红外光谱投射器包括：
红外光源，用于发出红外光；
衍射器，用于将所述红外光按波长进行色散，转换成红外光谱向目标物体投射。
9.根据权利要求7所述的获取装置，其特征在于，所述红外采集器包括设置在同一水平面上的第一红外采集器和第二红外采集器，所述第一红外采集器和第二红外采集器之间具有设定的距离，用于分别在第一位置和第二位置采集从目标物体反射的红外光谱，根据所述目标物体反射的红外光谱生成第一红外图像和第二红外图像；所述第一红外采集器和第二红外采集器对不同波长的红外光响应不同，所采集红外图像中相对响应最大的波长与红外光源中能量最高的波长相同。
10.根据权利要求7所述的获取装置，其特征在于，所述图像匹配模块包括：
匹配单元，用于对所述第一红外图像和第二红外图像中处于同一水平线上的像素行进行像素点匹配，确定多个匹配点。
11.根据权利要求10所述的获取装置，其特征在于，所述向目标物体投射的红外光谱为连续的红外光谱；所述匹配单元包括：
最大强度值像素匹配子单元，用于在所述第一红外图像的像素行内，确定最大强度值的第一红外图像第1像素点，在所述第二红外图像的像素行内，确定最大强度值的第二红外图像第1像素点，将所述第一红外图像第1像素点和第二红外图像第1像素点作为匹配点；
左像素匹配子单元，用于在所述第一红外图像的像素行内，在所述第一红外图像第1像素点的左侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二红外图像第1像素点的左侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点；
右像素匹配子单元，用于在所述第一红外图像的像素行内，在所述第一红外图像第1像素点的右侧选定像素点，确定所选定像素点的强度值，在所述第二红外图像的像素行内，在所述第二红外图像第1像素点的右侧查找到与所选定像素点的强度值相同的像素点，将所选定像素点和所查找到像素点作为匹配点。
12.根据权利要求11所述的获取装置，其特征在于，所述向目标物体投射的红外光谱为离散的红外光谱；所述匹配单元包括：
最大强度值波段匹配子单元，用于在所述第一红外图像的像素行内，确定最大平均强度值的第一红外图像第1波长段，在所述第二红外图像的像素行内，确定最大平均强度值的第二红外图像第1波长段，将所述第一红外图像第1波长段和第二红外图像第1波长段作为匹配段；
左波段匹配子单元，在所述第一红外图像的像素行内，在所述第一红外图像第1波长段的左侧，按照与所述第一红外图像第1波长段的邻近程度，依次选定多个左邻近波长段，在所述第二红外图像第1波长段的左侧，按照与所述第二红外图像第1波长段的邻近程度，依次选定多个左邻近波长段，将所述第一红外图像的多个左邻近波长段与第二红外图像的多个左邻近波长段相应匹配，作为匹配段。
13.一种手势识别设备，其特征在于，包括权利要求7～12任一所述的深度信息的获取装置。
CN201710952564.9A 2017-10-13 2017-10-13 深度信息的获取方法和获取装置、手势识别设备 Active CN107749070B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710952564.9A CN107749070B (zh) 2017-10-13 2017-10-13 深度信息的获取方法和获取装置、手势识别设备
US15/915,016 US10643340B2 (en) 2017-10-13 2018-03-07 Method and device for acquiring depth information and gesture recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710952564.9A CN107749070B (zh) 2017-10-13 2017-10-13 深度信息的获取方法和获取装置、手势识别设备

Publications (2)

Publication Number Publication Date
CN107749070A CN107749070A (zh) 2018-03-02
CN107749070B true CN107749070B (zh) 2020-06-02

Family

ID=61252760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710952564.9A Active CN107749070B (zh) 2017-10-13 2017-10-13 深度信息的获取方法和获取装置、手势识别设备

Country Status (2)

Country Link
US (1) US10643340B2 (zh)
CN (1) CN107749070B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210781A1 (en) * 2016-06-07 2017-12-14 Airy3D Inc. Light field imaging device and method for depth acquisition and three-dimensional imaging
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
CN108833884B (zh) * 2018-07-17 2020-04-03 Oppo广东移动通信有限公司 深度校准方法及装置、终端、可读存储介质及计算机设备
TWI657264B (zh) * 2018-07-19 2019-04-21 香港商印芯科技股份有限公司 結構光投射裝置
CN108958490B (zh) * 2018-07-24 2021-09-17 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN109120861A (zh) * 2018-09-29 2019-01-01 成都臻识科技发展有限公司 一种极低照度下的高质量成像方法及系统
CN109783488B (zh) * 2018-12-12 2024-03-12 平安科技（深圳）有限公司 项目管理信息处理方法、装置、服务器及存储介质
JP7394323B2 (ja) * 2018-12-14 2023-12-08 パナソニックＩｐマネジメント株式会社 カメラシステム
CN111815754B (zh) * 2019-04-12 2023-05-30 Oppo广东移动通信有限公司 一种三维信息确定方法、三维信息确定装置及终端设备
CN111292410B (zh) * 2020-01-19 2022-04-12 华中科技大学同济医学院附属协和医院 一种静脉显影照相装置及其三维全景模型的生成方法
CN114187246B (zh) * 2021-11-29 2025-01-24 哈尔滨工程大学 一种激光打标机焦距测量方法
US12406522B2 (en) * 2021-12-10 2025-09-02 International Business Machines Corporation Filtered images for 3D body tracking

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462238B2 (en) * 2008-11-04 2013-06-11 Ecole Polytechnique Fëdërale de Lausanne (EPFL) Camera design for the simultaneous capture of near-infrared and visible images
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
KR101901586B1 (ko) * 2011-12-23 2018-10-01 삼성전자주식회사 로봇 위치 추정 장치 및 그 방법
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
EP3088839B1 (en) * 2013-12-27 2018-12-26 Sony Corporation Image processing device and image processing method
KR102041191B1 (ko) * 2014-03-03 2019-11-06 한국전자통신연구원 손 동작 인식 방법 및 장치
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US9454820B1 (en) * 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9554063B2 (en) * 2015-06-12 2017-01-24 Google Inc. Using infrared images of a monitored scene to identify windows
CN105554470B (zh) * 2016-01-16 2018-12-25 上海图漾信息科技有限公司 深度数据监控系统
CA2991811A1 (en) * 2015-07-13 2017-01-19 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
US9661298B2 (en) * 2015-08-06 2017-05-23 Intel Corporation Depth image enhancement for hardware generated depth images
CN204944450U (zh) * 2015-09-18 2016-01-06 上海图漾信息科技有限公司 深度数据测量系统
US9794545B2 (en) * 2015-09-25 2017-10-17 Intel Corporation Single view feature-less depth and texture calibration
US20170096144A1 (en) * 2015-10-05 2017-04-06 Ford Global Technologies, Llc System and Method for Inspecting Road Surfaces
WO2017084009A1 (en) * 2015-11-16 2017-05-26 Intel Corporation Disparity search range compression
US9703374B1 (en) * 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
US11218688B2 (en) * 2016-01-04 2022-01-04 Occipital, Inc. Apparatus and methods for three-dimensional sensing
CN106996922B (zh) * 2016-01-25 2019-08-23 杭州海康威视数字技术股份有限公司 一种目标物体红外反射率测量方法及装置
CN105929939A (zh) * 2016-04-06 2016-09-07 四川东鼎里智信息技术有限责任公司 一种远距离手势控制终端
CN106530343A (zh) * 2016-10-18 2017-03-22 深圳奥比中光科技有限公司 一种基于目标深度图像的投影装置和投影方法
CN106934394B (zh) * 2017-03-09 2024-01-19 奥比中光科技集团股份有限公司 双波长图像采集系统及方法
CN106954058B (zh) * 2017-03-09 2019-05-10 深圳奥比中光科技有限公司 深度图像获取系统和方法
US10521920B2 (en) * 2017-09-21 2019-12-31 Intel Corporation Reducing textured IR patterns in stereoscopic depth sensor imaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Infrared-Based Depth Camera for Gesture-Based Control of Virtual Environments;Dan Ionescu et al.;《2013 IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA)》;20131003;第1-6页 *
复杂环境中多信息融合的手势识别;赵爱芳 等;《计算机工程与应用》;20141231;第50卷(第5期);第180-184页 *

Also Published As

Publication number Publication date
US10643340B2 (en) 2020-05-05
US20190114794A1 (en) 2019-04-18
CN107749070A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
CN107749070B (zh) 深度信息的获取方法和获取装置、手势识别设备
EP3650807B1 (en) Handheld large-scale three-dimensional measurement scanner system simultaneously having photography measurement and three-dimensional scanning functions
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
JP7687790B2 (ja) 映像復元装置及び方法
US9030529B2 (en) Depth image acquiring device, system and method
JP5872818B2 (ja) 測位処理装置、測位処理方法、および画像処理装置
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US9836483B1 (en) Using a mobile device for coarse shape matching against cloud-based 3D model database
CN105574525B (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
US20170059305A1 (en) Active illumination for enhanced depth map generation
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN107783353B (zh) 用于捕捉立体影像的装置及系统
WO2022001590A1 (zh) 摄像系统、移动终端以及三维图像获取方法
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN108924408B (zh) 一种深度成像方法及系统
Haefner et al. Photometric depth super-resolution
US20170018114A1 (en) Video imaging to assess specularity
CN108881717B (zh) 一种深度成像方法及系统
CN113052884A (zh) 信息处理方法、信息处理装置、存储介质与电子设备
CN108711186B (zh) 目标物体制图的方法与装置、身份识别装置和电子设备
CN103873773B (zh) 基于主辅协同双光路设计的全向成像方法
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
CN109389631B (zh) 深度计算系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant