[go: up one dir, main page]

CN119316732B - 景深探测系统、景深探测方法、图像处理方法及电子设备 - Google Patents

景深探测系统、景深探测方法、图像处理方法及电子设备

Info

Publication number
CN119316732B
CN119316732B CN202310848034.5A CN202310848034A CN119316732B CN 119316732 B CN119316732 B CN 119316732B CN 202310848034 A CN202310848034 A CN 202310848034A CN 119316732 B CN119316732 B CN 119316732B
Authority
CN
China
Prior art keywords
depth
light
detection system
controller
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310848034.5A
Other languages
English (en)
Other versions
CN119316732A (zh
Inventor
鄢晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202310848034.5A priority Critical patent/CN119316732B/zh
Publication of CN119316732A publication Critical patent/CN119316732A/zh
Application granted granted Critical
Publication of CN119316732B publication Critical patent/CN119316732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供了一种景深探测系统、景深探测方法、图像处理方法及电子设备。景深探测系统包括:激光发生器、数字微镜装置、光电探测器、鉴相器和控制器;数字微镜装置位于激光发生器的出光路径上,数字微镜装置与控制器电性连接;光电探测器用于接收被反射回的反射光;鉴相器分别与激光发生器和光电探测器电性连接,鉴相器分别接收激光发生器反馈的发射光的第一相位信息,以及光电探测器反馈的反射光的第二相位信息,根据第一相位信息和第二相位信息确定发射光和反射光的相位差;控制器接收鉴相器反馈的相位差,并根据相位差确定景深信息。本申请的景深探测系统,可以获得目标区域的全景深度信息,这有利于提高图像的景深效果。

Description

景深探测系统、景深探测方法、图像处理方法及电子设备
技术领域
本申请涉及激光测量技术领域,特别涉及一种景深探测系统、景深探测方法、图像处理方法及电子设备。
背景技术
在成像光学系统中,待成像的物体或其部分通常仅在特定的距离范围内由光学系统进行基本清晰的成像。该距离范围的范围称为景深。在该特定的距离范围之外,该物体的其他部分或其他物体可能以模糊的方式成像。
相关技术的电子设备(如智能手机、运行相机等)的摄像头只能实现单点测距,无法获知全景深度信息,获取的图像普遍存在景深效果较差的问题。
发明内容
本申请提供了一种景深探测系统、景深探测方法、图像处理方法及电子设备,能够解决摄像头单点测距,图像景深效果较差的问题。
所述技术方案如下:
一方面,提供了一种景深探测系统,所述景深探测系统包括:激光发生器、数字微镜装置、光电探测器、鉴相器和控制器;
所述激光发生器用于产生发射光;
所述数字微镜装置位于所述激光发生器的出光路径上,所述数字微镜装置与所述控制器电性连接,所述数字微镜装置用于在所述控制器的控制下朝向不同方向反射所述发射光;
所述光电探测器用于接收被反射回的反射光;
所述鉴相器分别与所述激光发生器和所述光电探测器电性连接,所述鉴相器分别接收所述激光发生器反馈的所述发射光的第一相位信息,以及所述光电探测器反馈的所述反射光的第二相位信息,根据所述第一相位信息和所述第二相位信息确定所述发射光和所述反射光的相位差;
所述鉴相器与所述控制器电性连接,所述控制器接收所述鉴相器反馈的所述相位差,并根据所述相位差确定景深信息。
在一些实施例中,所述数字微镜装置包括多个反射阵元,多个反射阵元呈阵列式活动布置,每个所述反射阵元均包括初始状态和至少一个工作状态;
所述初始状态下,所述反射阵元不向目标区域内反射所述发射光;
所述至少一个工作状态下,所述反射阵元将所述发射光朝向所述目标区域的其中一个目标方向反射。
在一些实施例中,所述景深探测系统还包括吸光装置,所述吸光装置用于吸收所述反射阵元在所述初始状态下反射的所述发射光。
在一些实施例中,所述吸光装置包括以下一项或多项:吸光泡棉、吸光涂层、碳纳米管黑体。
在一些实施例中,所述景深探测系统还包括扩束镜,所述扩束镜位于所述激光发生器和所述数字微镜装置之间,所述扩束镜用于对所述发射光进行非平行扩束,使得所述发射光能够覆盖至所述数字微镜装置的反射表面。
在一些实施例中,所述扩束镜和所述数字微镜装置之间还设有光阑元件,所述光阑元件用于约束所述发射光的边界范围。
另一方面,提供了一种景深探测方法,应用于本申请所述的景深探测系统,所述景深探测方法包括:
所述控制器确定目标区域,以及所述目标区域内的至少一个目标方向;
所述控制器根据所述至少一个目标方向与所述数字微镜装置的映射关系,确定所述数字微镜装置中至少一个反射阵元的目标工作状态,并向所述数字微镜装置发出第一控制指令;
所述数字微镜装置响应于所述第一控制指令,控制所述至少一个反射阵元调整至所述目标工作状态;
所述控制器向所述激光发生器发出产生所述发射光的第二控制指令,所述激光发生器响应于所述第二控制指令产生所述发射光,并将所述发射光的所述第一相位信息输入所述鉴相器;
所述控制器向所述光电探测器发出接收所述反射光的第三控制指令,所述光电探测器响应于所述第三控制指令接收所述反射光,并将所述反射光的所述第二相位信息输入所述鉴相器;
所述鉴相器根据所述第一相位信息和所述第二相位信息确定所述发射光和所述反射光的相位差;
所述控制器接收所述鉴相器反馈的所述相位差,并根据所述相位差确定所述至少一个目标方向上的景深信息。
在一些实施例中,所述第二控制指令和所述第三控制指令为所述控制器同时发出。
另一方面,提供了一种图像处理方法,所述图像处理方法包括:
图像处理单元获取目标区域的二维图像;
所述图像处理单元获取本申请所述的景深探测系统输出的所述目标区域的景深信息;
所述图像处理单元根据将所述景深信息对所述目标区域进行景深域划分,并确定每个所述景深域的深度参数;
所述图像处理单元将所述景深域与所述二维图像重合,并根据所述景深域的深度参数对所述二维图像的重合区域进行深度处理。
另一方面,提供了一种电子设备,所述电子设备包括本申请任一项所述的景深探测系统,或者采用本申请所述的景深探测方法,或者本申请所述的图像处理方法。
本申请提供的技术方案带来的有益效果至少包括:
本申请的景深探测系统,在激光发生器的出光路径上设置数字微镜装置,数字微镜装置能够利用自身的可活动的反射特性将激光反射到不同的方向,能够实现对整个目标区域的景深扫描,从不同方向反射回来的反射光被光电探测器接收,鉴相器将反射光的相位信息与发射光的相位信息进行比较确定相位差,控制器根据该相位差就可以确定对应方向的景深信息,整合目标区域的所有景深信息,就可以获得目标区域的全景深度信息,这有利于提高图像的景深效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的景深探测系统的结构示意图;
图2是本申请实施例提供的数字微镜装置的结构示意图;
图3是本申请实施例提供的景深探测方法的流程示意图;
图4是本申请实施例提供的图像处理方法的流程示意图。
图中的附图标记分别表示为:
1、激光发生器;
2、数字微镜装置;21、反射阵元;
3、光电探测器;
4、鉴相器;
5、控制器;
6、吸光装置;
7、扩束镜;
8、光阑元件;
100、目标区域。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图1所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
应理解,在本申请中“电连接”可理解为元器件物理接触并电导通;也可理解为线路构造中不同元器件之间通过印制电路板(printedcircuitboard,PCB)铜箔或导线等可传输电信号的实体线路进行连接的形式。“通信连接”可以指电信号传输,包括无线通信连接和有线通信连接。无线通信连接不需要实体媒介,且不属于对产品构造进行限定的连接关系。“连接”、“相连”均可以指一种机械连接关系或物理连接关系,即A与B连接或A与B相连可以指,A与B之间存在紧固的构件(如螺钉、螺栓、铆钉等),或者A与B相互接触且A与B难以被分离。
除非另有定义,本申请实施例所用的所有技术术语均具有与本领域普通技术人员通常理解的相同的含义。
景深(DOF),是指在摄影机镜头或其他成像器材前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。光圈、镜头、及焦平面到拍摄物的距离是影响景深的重要因素。
相关技术中的电子设备(如智能手机、运动相机等)的摄像头实现景深摄像采用的测距方法通常为光飞行时间法(TOF)、结构光、RGB双目法,但是这些测距方法通常只能实现单点测距,无法获知全景深度信息,图像的景深效果较差。
因此,本申请提供了一种景深探测系统、景深探测方法、图像处理方法及电子设备,可以获得目标区域的全景深度信息,这有利于提高图像的景深效果。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
一方面,结合图1所示,本实施例提供了一种景深探测系统,景深探测系统包括:激光发生器1、数字微镜装置2、光电探测器3、鉴相器4和控制器5。
激光发生器1用于产生发射光。
数字微镜装置2位于激光发生器1的出光路径上,数字微镜装置2与控制器5电性连接,数字微镜装置2用于在控制器5的控制下朝向不同方向反射发射光。
光电探测器3用于接收被反射回的反射光。
鉴相器4分别与激光发生器1和光电探测器3电性连接,鉴相器4分别接收激光发生器1反馈的发射光的第一相位信息,以及光电探测器3反馈的反射光的第二相位信息,根据第一相位信息和第二相位信息确定发射光和反射光的相位差。
鉴相器4与控制器5电性连接,控制器5接收鉴相器4反馈的相位差,并根据相位差确定景深信息。
本申请的景深探测系统,在激光发生器1的出光路径上设置数字微镜装置2,数字微镜装置2能够利用自身的可活动的反射特性将激光反射到不同的方向,能够实现对整个目标区域100的景深扫描,从不同方向反射回来的反射光被光电探测器3接收,鉴相器4将反射光的相位信息与发射光的相位信息进行比较确定相位差,控制器5根据该相位差就可以确定对应方向的景深信息,整合目标区域100的所有景深信息,就可以获得目标区域100的全景深度信息,这有利于提高图像的景深效果。
在一些可能的实现方式中,数字微镜装置2,或称数字微镜器件(DigitalMicromirrorDevice,DMD)是一种由多个高速数字式光反射开光组成的阵列。是光开关的一种,利用旋转反射镜实现光开关的开合,开闭时间稍长,为微秒量级。当DMD打开的时候,反射镜处于一定角度,反射光可进入目标光路,当DMD关闭的时候,即DMD的反射镜产生一个小的旋转,光经过反射后,无法进入目标光路,也就达到了光开关关闭的效果。
在一些可能的实现方式中,光学探测器为单电子雪崩二极管(SinglePhotonAvalancheDiode,SPAD),又称为工作在盖革模式下的APD(AvalanchePhotonDiode),能够用于检测反射激光并产生电信号,该SAPD的数量可以采用单个,也可采用多个。SPAD作为光电检测的传感器件,在本实施例的景深探测系统中扮演模拟转数字的角色,即将模拟的光信号号转换为可以识别的数字信号,标记信号到来的时间。
在一些可能的实现方式中,鉴相器4(phasedetector)指的是能够鉴别出输入信号的相位差的器件,是使输出电压与两个输入信号之间的相位差有确定关系的电路。
本实施例中的鉴相器4能够对发射光和反射光的相位进行鉴定比对,从而确定两种光线的相位差异,从而控制器5可以根据TOF等算法,确定障碍物的距离,也即景深信息。
结合图2所示,在一些实施例中,数字微镜装置2包括多个反射阵元21,多个反射阵元21呈阵列式活动布置,每个反射阵元21均包括初始状态和至少一个工作状态。初始状态下,反射阵元21不向目标区域100内反射发射光;至少一个工作状态下,反射阵元21将发射光朝向目标区域100的其中一个目标方向反射。
本实施例中的数字微镜装置2的多个反射阵元21呈阵列式活动布置,反射阵元21的数量和面积决定了数字微镜装置2的分辨率,分辨率越高数字微镜装置2能够实现的目标方向的数量越多,从而也就能够对目标区域100进行执行更加精细的景深探测,获得的全景深度信息更加贴近实际情况,基于该全景深度信息处理的图像景深效果更加真实,成像质量更高。
在一些可能的实现方式中,反射阵元21处于该工作状态时,发射光能够在发射阵元的表面反射,之后沿目标方向射出,相当于该目标方向的光路导通。反射阵元21处于初始状态时,发射光无法被发射阵元反射,或者即便被反射,也无法沿目标方向射出,相当于目标方向的光路关闭。
当多个反射阵元21在控制器5的控制下,按照控制指令规律的在初始状态和工作状态之间进行切换,能够使得发射光按照一定的规律射向目标区域100,实现对目标区域100内的扫描。
参考图2所示,沿横向将反射阵元21划分为多列:X1、X2、X3……Xn,沿竖向将反射阵元21划分为多行Y1、Y2、Y3……Yn。
本实施例的数字微镜装置2可以进行点位照射的方式进行景深探测。
示例性地,控制X1列Y1行反射阵元21(左上角的反射阵元21)调整至工作状态,其余反射阵元21调整至初始状态。激光发生器1产生的激光中只有照射在X1列Y1行反射阵元21的发射光被反射向目标区域100,从而能够实现目标区域100内单点的景深探测。
需要说明的,单点景深探测模式可以应用在数字微镜装置2中的任意一个反射阵元21。
示例性地,控制X1列Y1行反射阵元21和Xn列Yn行反射阵元21调整至工作状态,其余反射阵元21调整至初始状态。激光发生器1产生的激光中只有照射在X1列Y1行反射阵元21和Xn列Yn行反射阵元21的发射光被反射向目标区域100,从而能够实现目标区域100内两点的景深探测。
需要说明的,双点景深探测模式可以应用在数字微镜装置2中的任意两个反射阵元21。
进一步的,还可以控制数字微镜装置2中的任意三个、四个等的反射阵元21调整至工作状态,其余反射阵元21调整至初始状态。
本实施例的数字微镜装置2还可以以线束扫描的方式进行景深探测。
示例性地,控制X1列的反射阵元21调整至工作状态,其余X2、X3……Xn列调整至初始状态。激光发生器1产生的激光中只有照射在X1列反射阵元21被反射向目标区域100,从而能够在目标区域100内形成一字型线束光斑,被该线束光斑照射的区域的景深信息均可被探测到。
进一步的,可以控制X1列的反射阵元21调整至初始状态,控制X2列的反射阵元21调整至工作状态,其余X3……Xn列维持在初始状态,待X2列的反射阵元21对应的目标区域100景深信息探测完成,再依次调整X3列的反射阵元21调整至工作状态,依次类推,目标区域100内的一字型线束光斑沿横向扫过整个目标区域100,从而实现目标区域100的横向扫描。
另一示例性地,控制竖向的Y1、Y2、Y3……Yn行的反射阵元21依次调整至工作状态,目标区域100内的一字型线束光斑沿竖向扫过整个目标区域100,从而实现目标区域100的横向扫描。
再一示例性地,同时控制竖向Y1、Y2、Y3……Yn行的反射阵元21和横向X1、X2、X3……Xn列的反射阵元21依次调整至工作状态,目标区域100内同时形成一横一竖的两个一字型线束光斑,并分别沿横向和竖向扫过整个目标区域100,实现了目标区域100的交叉扫描。这种交叉扫描有利于提高景深信息的探测精准度。
结合图1所示,在一些实施例中,景深探测系统还包括吸光装置6,吸光装置6用于吸收反射阵元21在初始状态下反射的发射光。
为了防止系统内部的光污染,对不参与景深探测的发射光采取主动吸收的策略,即在反射阵元21处于初始状态的反射光路上布置吸光装置6,这部分发射光能够被吸光装置6吸收,避免造成光污染。此外,主动吸收不参与工作的发射光,还有利于保护系统结构,防止长时间照射造成结构损伤。
在一些实施例中,吸光装置6包括以下一项或多项:吸光泡棉、吸光涂层、碳纳米管黑体。其中,泡棉是塑料粒子发泡过的材料,简称泡棉。泡棉具有有弹性、重量轻、快速压敏固定、使用方便、弯曲自如、体积超薄、性能可靠等一系列特点。例如,聚氯乙烯PVC泡棉。吸光涂层可以吸收全部可见光和红外光,例如纳米微粒化学复合镀层膜。纳米碳管黑体,即碳纳米管黑体(Vantablack),由垂直排列生成的碳纳米管组成,常温下本体不发射可见光,而且吸收最高达99.965%的可见光波段电磁辐射。因为当光线入射碳纳米管黑体时几乎不会反射出去,而是会局限于管壁之中不断偏折,直到最后转换成热能为止。
结合图1所示,在一些实施例中,景深探测系统还包括扩束镜7,扩束镜7位于激光发生器1和数字微镜装置2之间,扩束镜7用于对发射光进行非平行扩束,使得发射光能够覆盖至数字微镜装置2的反射表面。
利用扩束镜7将发射光进行非平行扩束,发射光的照射范围随着照射距离的增加而逐渐增大,经数字微镜装置2反射后,能够对较大的目标区域100进行全覆盖,这有利于缩小数字微镜装置2的尺寸,进一步缩小景深探测系统的尺寸,有利于提高景深探测系统在电子设备中的集成。
另一方面,扩束镜7位于数字微镜装置2的入射一侧,照射在数字微镜装置2的发射光为扩束后形成,数字微镜装置2反射出的发射光的光斑直径取决于数字微镜装置2中的反射阵元21的大小。相较于扩散镜位于数字微镜装置2的出射一侧,本方案形成的发射光得光斑直径更小,景深探测的分辨力更高,更利于对目标区域100进行精准的景深探测。
结合图1所示,在一些实施例中,扩束镜7和数字微镜装置2之间还设有光阑元件8,光阑元件8用于约束发射光的范围。通过光阑元件8对照射在数字微镜装置2的发射光进行边界筛除,有利于提高数字微镜装置2的工作效率,避免边界光的干扰。
结合图1所示,在一些实施例中,景深探测系统中的用电器件,如激光发生器1、光电探测器3、鉴相器4和数字微镜装置2分别与控制器5电性连接,控制器5对上述器件进行供电。
进一步的,激光发生器1和光电探测器3与控制器5的供电连接为同步使用设置,即控制器5对激光发生器1供电的同时向光电探测器3供电。这有利于降低两个器件的无效待机时间,节省电能,还能够控制两个器件同步工作,提高输入到鉴相器4内的第一相位信息和第二相位信息的同步性。
另一方面,结合图3所示,本实施例提供了一种景深探测方法,应用于本申请的景深探测系统(参考图1),景深探测方法包括:
步骤S1,控制器5确定目标区域100,以及目标区域100内的至少一个目标方向。
步骤S2,控制器5根据至少一个目标方向与数字微镜装置2的映射关系,确定数字微镜装置2中至少一个反射阵元21的目标工作状态,并向数字微镜装置2发出第一控制指令。
步骤S3,数字微镜装置2响应于第一控制指令,控制至少一个反射阵元21调整至目标工作状态。
步骤S4,控制器5向激光发生器1发出产生发射光的第二控制指令,激光发生器1响应于第二控制指令产生发射光,并将发射光的第一相位信息输入鉴相器4。
步骤S5,控制器5向光电探测器3发出接收反射光的第三控制指令,光电探测器3响应于第三控制指令接收反射光,并将反射光的第二相位信息输入鉴相器4。
步骤S6,鉴相器4根据第一相位信息和第二相位信息确定发射光和反射光的相位差。
步骤S7,控制器5接收鉴相器4反馈的相位差,并根据相位差确定至少一个方向上的景深信息。
本实施例的景深探测方法基于本申请的景深探测系统,具有本文所有实施例的全部有益技术效果。
本实施例的景深探测方法能够利用数字微镜装置2的工作特性,实现对目标区域100内不同方向的景深探测,可以实现单点、多点、单线束扫描、交叉线束扫描等景深探测方式,能够提高目标区域100的景深信息探测效率,实现全景深度探测,有利于提高图像的景深效果。
在一些实施例中,第二控制指令和第三控制指令为控制器5同时发出。这有利于确保激光发生器1和光电探测器3同时供电使能,同步启动,节约能量的同时提高第一相位信息和第二相位信息的同步性。
另一方面,结合图4所示,本实施例提供了一种图像处理方法,图像处理方法包括:
步骤一,图像处理单元获取目标区域100的二维图像。
可选地,图像处理单元连接有RGB摄像头,利用RGB摄像头对目标区域100进行拍摄,可以获得目标区域100的二维图像。该二维图像是RGB摄像头在相同焦距、曝光度等参数下对整个目标区域100进行图像采集活动,不包括景深信息,或者目标区域100内的全部点位的景深参数相同。
步骤二,图像处理单元获取本申请的景深探测系统输出的目标区域100的景深信息。可选地,景深探测系统应用本申请的景深探测方法获取目标区域100内的多个目标方向上的景深信息,目标方向的数量可以小于或等于数字微镜装置2中反射阵元21的数量,即每个反射阵元21分别完成一个目标方向的景深探测。
步骤三,图像处理单元根据将景深信息对目标区域100进行景深域划分,并确定每个景深域的深度参数。
可选地,根据景深信息的数值大小进行景深域划分,其中景深数值相同的区域划分为同一景深域。
步骤四,图像处理单元将景深域与二维图像重合,并根据景深域的深度参数对二维图像的重合区域进行深度处理。
可选地,深度处理包括根据不同的深度参数,调整图像的锐化值、虚化值、对比度、亮度、模糊处理等图像参数。
在一些可能的实现方式中,将二维图像和深度参数基于虚拟现实技术(VirtualReality,VR)进行融合,还原生成固定视角的3D影像。
本实施例的图像处理方法采用了本申请的景深探测系统获得的景深信息,能够对目标区域100进行多点或者全景深度探测,借助景深信息能够对图像进行更加精准的深度处理,使得图像的深度效果更加精准,图像质量更好。
另一方面,提供了一种电子设备,电子设备包括本申请任一项的景深探测系统,或者采用本申请的景深探测方法,或者本申请的图像处理方法。
本实施例的电子设备采用了本申请的景深探测系统、景深探测方法或图像处理方法,具有本文所有实施例的全部有益技术效果。
具体地,该电子设备可以为移动或便携式并执行图像采集的各种类型的计算机系统设备中的任何一种。具体地,电子设备可以为搭载摄像头的移动电话或智能电话(例如,基于 iPhoneTM,基于 AndroidTM 的电话),便携式游戏设备(例如 NintendoDSTM,PlayStationPortableTM,GameboyAdvanceTM,iPhoneTM)、膝上型电脑、PDA、便携式互联网设备以及数据存储设备,电子设备还可以为其他的需要图像采集的可穿戴设备(例如,诸如电子手镯、电子项链、电子设备或智能手表的头戴式设备(HMD))。
电子设备还可以是多个电子设备中的任何一个,多个电子设备包括但不限于蜂窝电话、智能电话、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEGG-2)音频层3(MP3)播放器,便携式医疗设备以及数码相机及其组合等设备。
在一些情况下,电子设备可以执行多种功能(例如,播放音乐,显示视频,存储图片以及接收和发送电话呼叫)。如果需要,电子设备可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备或其他紧凑型便携式的设备。
需要指出的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。
以上所述仅为本申请的实施例,并不用以限制本申请,凡在本申请的原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种景深探测系统,其特征在于,所述景深探测系统包括:激光发生器(1)、数字微镜装置(2)、光电探测器(3)、鉴相器(4)和控制器(5);
所述激光发生器(1)用于产生发射光;
所述数字微镜装置(2)位于所述激光发生器(1)的出光路径上,所述数字微镜装置(2)与所述控制器(5)电性连接,所述数字微镜装置(2)包括多个反射阵元(21),所述控制器(5)能够控制多个所述反射阵元(21)朝向不同方向反射所述发射光;
所述光电探测器(3)用于接收被反射回的反射光;
所述鉴相器(4)分别与所述激光发生器(1)和所述光电探测器(3)电性连接,所述鉴相器(4)分别接收所述激光发生器(1)反馈的所述发射光的第一相位信息,以及所述光电探测器(3)反馈的所述反射光的第二相位信息,根据所述第一相位信息和所述第二相位信息确定所述发射光和所述反射光的相位差;
所述鉴相器(4)与所述控制器(5)电性连接,所述控制器(5)接收所述鉴相器(4)反馈的所述相位差,并根据所述相位差确定景深信息。
2.根据权利要求1所述的景深探测系统,其特征在于,多个所述反射阵元(21)呈阵列式活动布置,每个所述反射阵元(21)均包括初始状态和至少一个工作状态;
所述初始状态下,所述反射阵元(21)不向目标区域(100)内反射所述发射光;
所述至少一个工作状态下,所述反射阵元(21)将所述反射光朝向所述目标区域(100)的其中一个目标方向反射。
3.根据权利要求2所述的景深探测系统,其特征在于,所述景深探测系统还包括吸光装置(6),所述吸光装置(6)用于吸收所述反射阵元(21)在所述初始状态下反射的所述发射光。
4.根据权利要求3所述的景深探测系统,其特征在于,所述吸光装置(6)包括以下一项或多项:吸光泡棉、吸光涂层、碳纳米管黑体。
5.根据权利要求1至4中任一项所述的景深探测系统,其特征在于,所述景深探测系统还包括扩束镜(7),所述扩束镜(7)位于所述激光发生器(1)和所述数字微镜装置(2)之间,所述扩束镜(7)用于对所述发射光进行非平行扩束,使得所述发射光能够覆盖至所述数字微镜装置(2)的反射表面。
6.根据权利要求5所述的景深探测系统,其特征在于,所述扩束镜(7)和所述数字微镜装置(2)之间还设有光阑元件(8),所述光阑元件(8)用于约束所述发射光的边界范围。
7.一种景深探测方法,其特征在于,应用于权利要求1至6中任一项所述的景深探测系统,所述景深探测方法包括:
所述控制器(5)确定目标区域,以及所述目标区域内的至少一个目标方向;
所述控制器(5)根据所述至少一个目标方向与所述数字微镜装置(2)的映射关系,确定所述数字微镜装置(2)中至少一个反射阵元的目标工作状态,并向所述数字微镜装置(2)发出第一控制指令;
所述数字微镜装置(2)响应于所述第一控制指令,控制所述至少一个反射阵元从初始状态调整至所述目标工作状态,并能够使得反射光射向所述目标区域,对所述目标区域进行扫描;
所述控制器(5)向所述激光发生器(1)发出产生所述发射光的第二控制指令,所述激光发生器(1)响应于所述第二控制指令产生所述发射光,并将所述发射光的所述第一相位信息输入所述鉴相器(4);
所述控制器(5)向所述光电探测器(3)发出接收所述反射光的第三控制指令,所述光电探测器(3)响应于所述第三控制指令接收所述反射光,并将所述反射光的所述第二相位信息输入所述鉴相器(4);
所述鉴相器(4)根据所述第一相位信息和所述第二相位信息确定所述发射光和所述反射光的相位差;
所述控制器(5)接收所述鉴相器(4)反馈的所述相位差,并根据所述相位差确定所述至少一个目标方向上的景深信息。
8.根据权利要求7所述的景深探测方法,其特征在于,所述第二控制指令和所述第三控制指令为所述控制器(5)同时发出。
9.一种图像处理方法,其特征在于,所述图像处理方法包括:
图像处理单元获取目标区域的二维图像;
所述图像处理单元获取权利要求1至6中任一项所述的景深探测系统输出的所述目标区域的景深信息;
所述图像处理单元根据所述景深信息的数值大小对所述目标区域进行景深域划分,并确定每个所述景深域的深度参数;
所述图像处理单元将所述景深域与所述二维图像重合,并根据所述景深域的深度参数对所述二维图像的重合区域进行深度处理,所述深度处理包括根据不同的深度参数,调整图像的锐化值、虚化值、对比度、亮度和模糊处理中的至少一种参数。
10.一种电子设备,其特征在于,所述电子设备包括权利要求1至6中任一项所述的景深探测系统,或者包括摄像头,所述摄像头能够运行权利要求7或8所述的景深探测方法,或者运行权利要求9所述的图像处理方法。
CN202310848034.5A 2023-07-11 2023-07-11 景深探测系统、景深探测方法、图像处理方法及电子设备 Active CN119316732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310848034.5A CN119316732B (zh) 2023-07-11 2023-07-11 景深探测系统、景深探测方法、图像处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310848034.5A CN119316732B (zh) 2023-07-11 2023-07-11 景深探测系统、景深探测方法、图像处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN119316732A CN119316732A (zh) 2025-01-14
CN119316732B true CN119316732B (zh) 2025-11-11

Family

ID=94186663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310848034.5A Active CN119316732B (zh) 2023-07-11 2023-07-11 景深探测系统、景深探测方法、图像处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN119316732B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107655569A (zh) * 2017-08-02 2018-02-02 合肥美亚光电技术股份有限公司 高光谱相机、高光谱成像装置及控制方法
CN114460020A (zh) * 2022-01-30 2022-05-10 清华大学深圳国际研究生院 一种基于数字微反射镜的高光谱扫描系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014200589A2 (en) * 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
CN112825139A (zh) * 2019-11-20 2021-05-21 三赢科技(深圳)有限公司 结构光发射模组及图像采集装置
CN115913360A (zh) * 2022-11-09 2023-04-04 北京理工大学 基于结构激光束的一对多自由空间光通信系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107655569A (zh) * 2017-08-02 2018-02-02 合肥美亚光电技术股份有限公司 高光谱相机、高光谱成像装置及控制方法
CN114460020A (zh) * 2022-01-30 2022-05-10 清华大学深圳国际研究生院 一种基于数字微反射镜的高光谱扫描系统及方法

Also Published As

Publication number Publication date
CN119316732A (zh) 2025-01-14

Similar Documents

Publication Publication Date Title
JP7146004B2 (ja) 同期スピニングlidarおよびローリングシャッターカメラシステム
US11889046B2 (en) Compact, low cost VCSEL projector for high performance stereodepth camera
US11328446B2 (en) Combining light-field data with active depth data for depth map generation
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
JP2008541161A (ja) 三角測量オートフォーカスシステムを有するデジタルカメラ、及び関連する方法
US20030043277A1 (en) Imaging system, photographing device and three-dimensional measurement auxiliary unit used for the system
WO2021212916A1 (zh) 一种tof深度测量装置、方法及电子设备
JP2005128611A (ja) プロジェクタ並びにプロジェクタを使用した電子黒板システム及び指示位置取得方法
US10855896B1 (en) Depth determination using time-of-flight and camera assembly with augmented pixels
WO2021169531A1 (zh) 一种ToF深度测量装置、控制ToF深度测量装置的方法及电子设备
US9109886B1 (en) Time-of-flight of light calibration
US20200259989A1 (en) High dynamic range camera assembly with augmented pixels
US20210208283A1 (en) Efficient algorithm for projecting world points to a rolling shutter image
US12014509B2 (en) Optical device, camera device, and electronic apparatus including the same
CN109743505B (zh) 基于激光测距的视频拍摄方法、装置及电子设备
KR102794864B1 (ko) 카메라를 포함하는 전자 장치 및 그의 방법
CN119316732B (zh) 景深探测系统、景深探测方法、图像处理方法及电子设备
US20190364226A1 (en) Dot projector and method for capturing image using dot projector
TW201710772A (zh) 影像擷取裝置及方法
CN113191976B (zh) 图像拍摄方法、装置、终端及存储介质
US20250076036A1 (en) Three-Dimensional Information Measurement Apparatus, Measurement Method, and Electronic Device
US20220239871A1 (en) Projector Focusing Method and Projector Focusing System Capable of Projecting High Resolution Images at Arbitrary Positions
WO2025103219A1 (zh) 摄像模组、电子设备、对焦方法、装置及可读存储介质
CN113747141A (zh) 一种电子设备和深度图像的拍摄方法
US6297881B1 (en) Three-dimensional measurement method and three-dimensional measurement device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant