用于控制曝光的方法、装置、视觉测量设备及无人飞行器
技术领域
本申请涉及无人飞行器领域,具体地涉及一种用于控制视觉测量设备的曝光的方法、处理装置、视觉测量设备、无人飞行器和机器可读存储介质。
背景技术
当前社会,无人飞行器的应用越来越广泛,目前无人飞行器已经应用到航拍、农业、植保、快递运输和灾难救援等领域。为了实现更加丰富的功能,很多无人飞行器安装有摄像装置以进行视觉测量,然而无人飞行器的螺旋桨等结构可能会遮挡摄像装置的视场,从而影响摄像装置的视场角和成像质量。
发明内容
本申请实施方式的目的是提供一种用于控制视觉测量设备的曝光的方法、处理装置、视觉测量设备、无人飞行器和机器可读存储介质,以至少解决无人飞行器在工作时,其螺旋桨对摄像装置的遮挡问题。
为了实现上述目的,在本申请的第一方面,提供一种用于控制视觉测量设备的曝光的方法,所述视觉测量设备应用于无人飞行器,所述视觉测量设备包括摄像装置,所述方法包括:获取所述无人飞行器的螺旋桨在转动时的位置;至少根据所述位置控制所述摄像装置进行曝光,以使得所述摄像装置在所述摄像装置的视场被所述螺旋桨遮挡的程度在可接受范围内的情况下曝光。
可选地,所述方法还包括获取所述螺旋桨在转动时的转速,所述根据至少所述位置控制所述摄像装置进行曝光包括:根据所述螺旋桨的当前位置和所述转速确定在随后的预定时间段内所述螺旋桨的位置;根据在所述预定时间段内所述螺旋桨的位置确定曝光周期,其中在所述曝光周期内所述视场被所述螺旋桨遮挡的程度在所述可接受范围内;以及控制所述摄像装置在所述曝光周期内曝光。
可选地,所述控制所述摄像装置在所述曝光周期内曝光包括:在所述曝光周期的起始位置控制所述摄像装置开始曝光。
可选地,所述方法还包括:获取所述转速控制指令,所述转速控制指令用于控制所述螺旋桨的转速,其中,在所述预定时间段内所述螺旋桨的位置进一步根据所述转速控制指令来确定。
可选地,所述方法还包括:如果在所述预定时间段中不存在所述曝光周期,则降低所述螺旋桨的转速,以重新确定所述曝光周期。
可选地,所述螺旋桨包括第一螺旋桨和第二螺旋桨;所述根据在所述预定时间段内所述螺旋桨的位置确定曝光周期包括:根据在所述预定时间段内所述第一螺旋桨的位置确定第一曝光周期,其中在所述第一曝光周期内所述视场被所述第一螺旋桨遮挡的程度在第一可接受范围内;根据在所述预定时间段内所述第二螺旋桨的位置确定第二曝光周期,其中在所述第二曝光周期内所述视场被所述第二螺旋桨遮挡的程度在第二可接受范围内;根据所述第一曝光周期和所述第二曝光周期确定期望曝光周期,其中所述期望曝光周期位于所述第一曝光周期内且位于所述第二曝光周期内,且所述期望曝光周期不小于所述摄像装置的曝光时间;所述控制所述摄像装置在所述曝光周期内曝光包括:控制所述摄像装置在所述期望曝光周期内曝光。
可选地,所述控制所述摄像装置在所述期望曝光周期内曝光包括:在所述期望曝光周期的初始时刻,控制所述摄像装置开始曝光。
可选地,所述方法还包括:如果在所述预定时间段中不存在所述期望曝光周期,则降低所述第一螺旋桨和/或所述第二螺旋桨的转速,以重新确定所述期望曝光周期。
可选地,所述摄像装置包括同时曝光的多个摄像装置,所述摄像装置的视场为所述同时曝光的多个摄像装置的视场相叠加的视场。
可选地,所述方法还包括:如果在所述预定时间段中不存在所述曝光周期或期望曝光周期,则降低所述螺旋桨的转速,以重新确定所述曝光周期或期望曝光周期。
可选地,所述摄像装置包括第一摄像装置和第二摄像装置,所述螺旋桨包括第一螺旋桨和第二螺旋桨;所述根据在所述预定时间段内所述螺旋桨的位置确定曝光周期包括:根据在所述预定时间段内所述第一螺旋桨的位置确定第一曝光周期,其中在所述第一曝光周期内所述第一摄像装置的视场被所述第一螺旋桨遮挡的程度在第一可接受范围内;根据在所述预定时间段内所述第二螺旋桨的位置确定第二曝光周期,其中在所述第二曝光周期内所述第二摄像装置的视场被所述第二螺旋桨遮挡的程度在第二可接受范围内;根据所述第一曝光周期和所述第二曝光周期确定期望曝光周期,其中所述期望曝光周期位于所述第一曝光周期内且位于所述第二曝光周期内,且所述期望曝光周期不小于所述第一摄像装置和所述第二摄像装置的曝光时间;所述控制所述摄像装置在所述曝光周期内曝光包括:控制所述第一摄像装置和所述第二摄像装置在所述期望曝光周期内曝光。
可选地,所述控制所述第一摄像装置和所述第二摄像装置在所述期望曝光周期内曝光包括:在所述期望曝光周期的初始时刻,控制所述第一摄像装置和所述第二摄像装置同时开始曝光。
可选地,在所述预定时间段内不存在所述期望曝光周期的情况下,所述方法还包括:根据所述第一曝光周期和所述第二曝光周期确定所述第一摄像装置和所述第二摄像装置的曝光时机,其中所述第一摄像装置和所述第二摄像装置在该曝光时机进行曝光的曝光时间的第一部分和第二部分分别与在时间上重叠或连续的所述第一曝光周期和所述第二曝光周期在时间上重叠;控制所述第一摄像装置和所述第二摄像装置在所述曝光时机进行曝光。
可选地,所述第一部分是所述曝光时间的一半。
可选地,所述方法还包括:在上一次曝光之后,在所述第一曝光周期的起始时刻、结束时刻、所述第二曝光周期的起始时刻、结束时刻中最先出现的一者之前且与该一者间隔不小于所述第一部分的时间点开始确定所述期望曝光周期。
可选地,在所述预定时间段内不存在所述期望曝光周期的情况下,所述方法还包括:根据所述第一曝光周期和所述第二曝光周期确定在时间上连续的第一曝光周期和第二曝光周期;控制所述第一摄像装置和所述第二摄像装置分别在对应的第一曝光周期和第二曝光周期中在时间上较早的一者的末尾部分和较晚的另一者的开始部分曝光。
可选地,所述第一摄像装置和所述第二摄像装置在所述末尾部分和所述开始部分曝光的曝光时间在时间上是连续的。
可选地,所述方法还包括:在上一次曝光之后,在所述第一曝光周期的起始时刻、结束时刻、所述第二曝光周期的起始时刻、结束时刻中最先出现的一者之前且与该一者间隔不小于所述曝光时间的时间点开始确定所述期望曝光周期。
可选地,所述方法还包括:在曝光优先的情况下,如果在所述预定时间段内不存在所述期望曝光周期,则降低所述第一螺旋桨和/或所述第二螺旋桨的转速,以重新确定所述期望曝光周期。
在本申请的第二方面,提供一种处理装置,该处理装置被配置成执行上述的用于控制视觉测量设备的曝光的方法。
在本申请的第三方面,提供一种视觉测量设备,应用于无人飞行器,所述视觉测量设备包括:摄像装置;位置检测装置,被配置成检测所述无人飞行器的至少一个螺旋桨的位置;以及上述的处理装置。
在本申请的第四方面,提供一种无人飞行器,该无人飞行器包括根据上述的视觉测量设备。
在本申请的第五方面,提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于在被处理器执行时使得所述处理器能够执行上述的用于控制视觉测量设备的曝光的方法。
通过本申请的上述技术方案,可以使得无人飞行器的摄像装置的曝光时间与螺旋桨的位置相适应,从而能够降低螺旋桨对摄像装置的影响,改善摄像装置的成像质量。
本申请实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施方式的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本申请实施方式,但并不构成对本申请实施方式的限制。在附图中:
图1示例性示出了本申请一种实施方式提供的无人飞行器可以为四旋翼无人机的示意图;
图2示例性示出了本申请一种实施方式提供的无人飞行器可以为单桨直升机的右视图;
图3示例性示出了本申请一种实施方式提供的无人飞行器可以为单桨直升机的俯视图;
图4示例性示出了本申请一种实施方式提供的用于控制视觉测量设备的曝光的方法的流程图;
图5示例性示出了本申请一种实施方式提供的表示螺旋桨位置的横向柱状图;
图6示例性示出了本申请一种可选实施方式提供的用于控制视觉测量设备的曝光的方法的流程图;
图7示例性示出了本申请一种可选实施方式提供的无人飞行器可以为单桨直升机的俯视图;
图8示例性示出了本申请一种可选实施方式提供的无人飞行器可以为四旋翼无人机的示意图;
图9示例性示出了图8中四旋翼无人机的螺旋桨对摄像装置的遮挡区域的示意图;
图10示例性示出了本申请一种可选实施方式提供的无人飞行器可以为双桨直升机的右视图;
图11示例性示出了本申请一种实施方式提供的无人飞行器可以为双桨直升机的俯视图;
图12示例性示出了本申请一种可选实施方式提供的表示螺旋桨对摄像装置的视场的遮挡情况的横向柱状图;
图13示例性示出了本申请一种可选实施方式提供的四旋翼无人机的螺旋桨对摄像装置的遮挡区域的示意图;
图14示例性示出了本申请一种实施方式提供的无人飞行器可以为双桨直升机的俯视图;
图15示例性示出了本申请一种可选实施方式提供的无人飞行器可以为四旋翼无人机的示意图;
图16示例性示出了本申请一种可选实施方式提供的表示螺旋桨对摄像装置的视场的遮挡情况的横向柱状图;
图17示例性示出了本申请一种可选实施方式提供的用于控制视觉测量设备的曝光的方法的流程图;
图18示例性示出了本申请一种可选实施方式提供的表示螺旋桨对摄像装置的视场的遮挡情况的横向柱状图;
图19示例性示出了本申请一种可选实施方式提供的用于控制视觉测量设备的曝光的方法的流程图;以及
图20示例性示出了本申请一种可选实施方式提供的表示螺旋桨对摄像装置的视场的遮挡情况的横向柱状图。
附图标记说明
1 机身 2 机臂
3 摄像装置 4 螺旋桨
5 电机 21 第一机臂
22 第二机臂 31 第一摄像装置
32 第二摄像装置 41 第一螺旋桨
42 第二螺旋桨 51 第一电机
52 第二电机
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请实施方式,并不用于限制本申请实施方式。
在本申请实施方式中,在未作相反说明的情况下,使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
另外,若本申请实施方式中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施方式之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
图1示例性示出了本申请一种实施方式提供的无人飞行器可以为四旋翼无人机的示意图。图2至图3示例性示出了本申请一种实施方式提供的无人飞行器可以为单桨直升机的示意图。如图1至图3所示,在本发明实施方式中,无人飞行器可以例如为四旋翼无人机、单桨直升机等,该无人飞行器可以包括机身1、机臂2、螺旋桨4和用于驱动螺旋桨的电机5(图2和图3中未示出)。无人飞行器还可以包括视觉测量设备,该视觉测量设备可以包括摄像装置3、位置检测装置(图中未示出)和处理装置(图中未示出)。位置检测装置可以安装在电机5上,可以用于检测(例如实时检测)无人飞行器的螺旋桨4在旋转时螺旋桨4的位置。处理装置可以安装在机身1内。位置检测装置可以包括但不限于,例如编码器、光电触发器和电子调速器。摄像装置3可以包括摄像头、相机等。处理装置可以包括但不限于,通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。
在无人飞行器工作时,电机5驱动螺旋桨4旋转以使得无人飞行器在空中飞行,摄像装置3通过不断曝光来获取图像数据。如图1至图3所示,在螺旋桨4旋转过程中,会对摄像装置3的视场造成遮挡,为了降低螺旋桨4对摄像装置3的影响,本申请实施方式提供一种用于控制视觉测量设备的曝光的方法,以下通过实施方式对上述方法进行说明。
如图4所示,本申请实施方式提供一种用于控制视觉测量设备的曝光的方法,可以包括以下步骤。
步骤S11,获取无人飞行器的螺旋桨在转动时的位置;
步骤S12,根据螺旋桨的位置控制摄像装置进行曝光,以使得摄像装置在摄像装置的视场被螺旋桨遮挡的程度在可接受范围内的情况下曝光。其中,摄像装置的视场被螺旋桨遮挡的程度在可接受范围内的情况可以包括螺旋桨完全不遮挡摄像装置的视场的情况和摄像装置的视场被螺旋桨遮挡的程度小于预设阈值的情况。
具体地,如图5所示,螺旋桨在旋转时会对摄像装置造成遮挡,但螺旋桨在旋转过程中,存在螺旋桨位置不遮挡摄像装置的时间段,因此可以预先根据螺旋桨和摄像装置的位置关系,确定螺旋桨处于不同位置时,对摄像装置的视场的遮挡程度,随后根据对摄像装置的视场的遮挡程度将螺旋桨的位置划分为遮挡程度在可接受范围内的不遮挡位置和遮挡程度不在可接受范围内的遮挡位置。由此当获取螺旋桨在转动时的位置时,即可根据螺旋桨的位置确定摄像装置的视场被螺旋桨的遮挡程度是否在可接受范围内,并使得摄像装置在其视场被螺旋桨的遮挡程度在可接受范围内的情况下进行曝光。例如,如图5所示,可以控制摄像设备在图5中的A时间段或B时间段进行曝光,即将A时间段或B时间段作为摄像设备的曝光时间。其中,螺旋桨的位置可以例如通过安装在螺旋桨的电机上的位置检测装置确定。
需要说明的是,摄像装置的视场被螺旋桨遮挡的程度在可接受范围内的情况可以包括螺旋桨完全不遮挡摄像装置的视场的情况和摄像装置的视场被螺旋桨遮挡的程度小于预设阈值的情况。举例而言,在一种情况下,可以将螺旋桨处于完全不遮挡摄像装置的视场时的位置划归为遮挡程度在可接受范围内的不遮挡位置,将螺旋桨的其余位置划归为遮挡程度不在可接受范围内的遮挡位置。例如,如图3所示,当螺旋桨处于X区域时,会对摄像装置产生遮挡,因此可以设定当螺旋桨的位置位于X区域内时为遮挡位置,而当螺旋桨处于Y区域时,不会对摄像装置产生遮挡,因此可以设定当螺旋桨的位置位于Y区域内时为不遮挡区域。在另一种情况下,可以将螺旋桨对摄像装置的视场的遮挡程度小于预设阈值(例如遮挡摄像装置的视场的比例小于5%)时的位置划归为遮挡程度在可接受范围内的不遮挡位置,将螺旋桨的其余位置划归为遮挡程度不在可接受范围内的遮挡位置。
如此,通过本实施方式上述技术方案,可以使得摄像装置的曝光时间与螺旋桨的位置相适应,从而能够降低螺旋桨对摄像装置的影响,改善摄像装置的成像质量。
如图6所示,在本申请一种可选实施方式中,用于控制视觉测量设备的曝光的方法包括以下步骤:
步骤S21,获取无人飞行器的螺旋桨在转动时的位置和转速。
步骤S22,根据螺旋桨的当前位置和转速确定在随后的预定时间段内螺旋桨的位置。
步骤S23,根据在预定时间段内螺旋桨的位置确定曝光周期,其中在曝光周期内摄像装置的视场被螺旋桨遮挡的程度在可接受范围内。
步骤S24,控制摄像装置在曝光周期内曝光。
具体地,无人飞行器还可以通过安装在电机上的位置检测装置来确定螺旋桨的转速,随后可以根据螺旋桨当前的位置和转速预测随后的预定时间段内螺旋桨的位置,从而可以根据随后预定时间段内的螺旋桨的位置来确定摄像装置的曝光周期。可以理解的是,根据螺旋桨当前的位置能够确定在预定时间段内的螺旋桨处于遮挡位置和不遮挡位置的分布情况,根据螺旋桨的转速能够确定在预定时间段内螺旋桨处于遮挡位置和不遮挡位置的持续时间。举例而言,可以选择在预定时间段内的摄像装置的视场被螺旋桨遮挡的程度在可接受范围内的一段连续时间作为曝光周期,该连续时间可以例如大于摄像装置的曝光时间,从而使得摄像装置在曝光周期内完成曝光过程时,完全不会受到螺旋桨的遮挡。优选地,摄像装置可以在该曝光周期的起始位置控制摄像装置开始曝光,以确保在摄像装置曝光时,螺旋桨对摄像装置的视场的影响最小。其中,上述的预定时间段可以例如根据摄像装置所要求的曝光频率进行确定。
如此,通过获取螺旋桨的转速,可以基于螺旋桨的当前位置对螺旋桨在随后时间的位置进行预测,从而可以在较优的时间段控制摄像装置进行曝光。
进一步地,用于控制视觉测量设备的曝光的方法还可以包括获取转速控制指令,该转速控制指令用于控制螺旋桨的转速。具体而言,转速控制指令可能会影响到螺旋桨在预定时间段内的转速,因此可以根据螺旋桨的当前位置、转速和转速控制指令共同来确定在随后的预定时间段内螺旋桨的位置,从而更为准确的确定预定时间段内的螺旋桨的位置。
另外,上述无人飞行器的摄像装置不限于一个摄像装置的情况,也可以为需要同时曝光的多个摄像装置。例如,如图7所示,无人飞行器包括第一摄像装置41和第二摄像装置42,第一摄像装置41和第二摄像装置42需要同时进行曝光,螺旋桨4在旋转过程中对第一摄像装置31和第二摄像装置32均会造成遮挡,此时可以将第一摄像装置41和第二摄像装置42视为一个总摄像装置,并将第一摄像装置41的视场与第二摄像装置42的视场进行叠加以得到总摄像装置的视场,例如在图7中,当螺旋桨4旋转至X区域时,会对总摄像装置的视场造成遮挡,而当螺旋桨4旋转至Y区域时,不会对总摄像装置的视场造成遮挡。因此,在这种情况下,由于可以将两个摄像装置视为一个总摄像装置,上述图4和图6中所示的用于控制视觉测量设备的曝光的方法也同样适用。
在本发明一种可选实施方式中,如果根据螺旋桨的当前位置、转速和/或转速控制指令确定在随后的预定时间段中不存在曝光周期,则可以例如通过转速控制指令来降低螺旋桨的转速,并在螺旋桨转速降低后重新确定曝光周期。具体地,在夜间或者光线较暗的场景中,为了满足曝光质量,摄像装置的曝光过程往往需要足够长的曝光时间。当螺旋桨的转速过快时,摄像装置的视场被螺旋桨遮挡的程度在可接受范围内的时长可能均短于摄像装置所需的曝光时间,从而在预定时间段内不存在满足要求的曝光周期。此时,如果摄像装置根据例如用户指令确定需要进行曝光,则可以通过转速控制指令来降低螺旋桨的转速至一预定转速值,随后再根据螺旋桨的当前位置、转速和/或转速控制指令确定在随后的预定时间段内的曝光周期。其中,该预定转速值可以根据摄像装置所需的曝光时间预先确定。另外,也可以每次将螺旋桨的转速降低预定值,并根据螺旋桨的当前位置、转速和/或转速控制指令确定在随后的预定时间段中是否存在曝光周期。如果存在曝光周期,则在控制摄像装置在曝光周期内曝光,如果仍然不存在曝光周期,则再将螺旋桨的转速降低该预定值,直至在随后的预定时间段内存在曝光周期。
在一些情况下,对摄影装置造成遮挡的螺旋桨可能不止一个。例如,如图8至图9所示,无人飞行器可以例如为四旋翼无人机,该四旋翼无人机具有四个机臂,其中第一机臂21和第二机臂22上分别安装有第一螺旋桨41和第二螺旋桨42,当该四旋翼无人机工作时,第一螺旋桨41和第二螺旋桨42分别被第一电机51和第二电机52驱动而旋转,第一螺旋桨41和第二螺旋桨42在旋转过程中均会对摄像装置3的视场造成遮挡。具体地,如图9所示,Z区域为两个螺旋桨的旋转范围与摄像装置3的视场的交集,当任意螺旋桨旋转至Z区域范围内时,均会对摄像装置3造成遮挡。另外,如图10至图11所示,无人飞行器还可以例如为双桨直升机,该双桨直升机的机臂2竖直设置,并且在该机臂2上安装有竖向高度不同的第一螺旋桨41和第二螺旋桨42,当第一螺旋桨41和第二螺旋桨42旋转至Y区域时,不会对摄像装置3的视场造成遮挡,但当第一螺旋桨41和第二螺旋桨42旋转至X区域时,均会对摄像装置3的视场造成遮挡。
对于上述两个螺旋桨对摄像装置均能造成遮挡的情况,作为本申请一种可选实施方式,上述的步骤S23具体可以包括:
根据在预定时间段内第一螺旋桨的位置确定第一曝光周期,其中在第一曝光周期内摄像装置的视场被第一螺旋桨遮挡的程度在第一可接受范围内;根据在预定时间段内第二螺旋桨的位置确定第二曝光周期,其中在第二曝光周期内摄像装置的视场被第二螺旋桨遮挡的程度在第二可接受范围内;
根据第一曝光周期和第二曝光周期确定期望曝光周期,其中期望曝光周期位于第一曝光周期内并且也位于第二曝光周期内,且期望曝光周期不小于摄像装置的曝光时间。
上述的步骤S24具体可以包括:控制摄像装置在期望曝光周期内曝光。
其中,第一可接受范围和第二可接受范围可以相同也可以不同。
具体地,如图12所示,图12中横轴T为时间轴,图中竖直虚线为第一螺旋桨和/或第二螺旋桨在遮挡位置与不遮挡位置之间进行切换的状态分界线,t0为当前时刻(即开始确定期望曝光周期的时刻),t0至tn之间时间段为预定时间段,由上至下的三个横向柱状图分别表示第一螺旋桨在预定时间段内的位置、第二螺旋桨在预定时间段内的位置以及在预定时间段内第一螺旋桨和第二螺旋对摄像装置的遮挡情况。其中,当有两个螺旋桨在旋转过程中对摄像装置的视场造成遮挡时,可以分别根据每个螺旋桨的位置确定在随后的预定时间段内的每个螺旋桨的至少一个曝光周期,并选取两个螺旋桨的曝光周期相重合并且不小于摄像装置的曝光时间的部分作为摄像装置的期望曝光周期(即图12中第一螺旋桨和第二螺旋桨都不遮挡的时间段),并控制摄像装置在期望曝光周期内曝光,即控制摄像装置的曝光过程在期望曝光周期内完成,例如可以选择图12中的C时间段或D时间段作为摄像装置的曝光时间。如此,可以保证在摄像装置曝光过程中,两个螺旋桨对摄像装置的视场的遮挡程度均在可接受范围内,从而提高摄像装置的成像质量。
更为优选地,当确定期望曝光周期后,可以在该期望曝光周期的初始时刻,控制摄像装置开始曝光,即将图12中示出的C时间段作为摄像装置的曝光时间,从而保证在摄像装置的整个曝光过程中,两个螺旋桨对摄像装置的视场的遮挡程度均在可接受的范围内。
另外,需要说明的是,无人飞行器的摄像装置可以包括需要同时曝光的多个摄像装置,第一螺旋桨41和第二螺旋桨42在旋转过程中,对需要同时曝光的多个摄像装置均会产生遮挡。此时可以将该多个需要同时曝光的摄像装置视为一个总摄像装置,并将该多个摄像装置的视场相叠加作为该总摄像装置的视场。例如,如图13和图14所示,无人飞行器包括两个摄像装置,并且两个摄像装置需要同时进行曝光,此时可以将两个摄像装置视为一个总摄像装置,并将两个摄像装置的视场进行叠加以作为总摄像装置的视场。在图13中,当无人飞行器的任意螺旋桨旋转至Z区域时,会对总摄像装置的视场造成影响,而在图14中,当无人飞行器的任意螺旋桨旋转至X区域时,会对总摄像装置的视场造成影响。在这种情况下,由于可以将两个摄像装置视为一个总摄像装置,因此可以通过上述的用于确定第一螺旋桨41和第二螺旋桨42对一个摄像装置造成遮挡的情况下的摄像装置曝光时间的方法来计算总摄像装置的曝光时间。
在小概率的情况下,在预定时间段内可能不存在期望曝光周期,这种情况下,如果根据摄像装置测量的实际要求(例如对图像测量要求实时性较高)需要在预定时间段内至少进行一次曝光,则可以依据摄像装置对曝光频率的要求在预定时间段内选择曝光时间,并把两个螺旋桨在曝光时刻的位置发送给处理装置,处理装置可以例如包括图像处理单元,从而处理装置可以根据螺旋桨的位置对摄像装置通过曝光获得的图形进行屏蔽处理。
可选地,在预定时间段内不存在期望曝光周期时,还可以例如通过转速控制指令来降低第一螺旋桨和/或第二螺旋桨的转速,并在螺旋桨转速降低后重新确定期望曝光周期。具体地,当第一螺旋桨和/或第二螺旋桨的转速过快时,可能在预定时间段内找不到期望曝光周期,此时可以降低第一螺旋桨和第二螺旋桨中至少一者的转速,并在降低螺旋桨转速后再次确定是否存在期望曝光周期。举例而言,当第一螺旋桨和第二螺旋桨的转速相同并且均过快(例如转速高于预定转速值)时,可以同时降低第一螺旋桨和第二螺旋桨的转速至预定转速值,随后再根据第一螺旋桨和第二螺旋桨的当前位置、转速和/或转速控制指令确定在随后的预定时间段内的曝光周期。另外,也可以每次将第一螺旋桨和第二螺旋桨同时降低预定值,并确定在随后的预定时间段中是否存在曝光周期,如果存在曝光周期,则在控制摄像装置在曝光周期内曝光,如果仍然不存在曝光周期,则将第一螺旋桨和第二螺旋桨的转速再降低该预定值,直至在随后的预定时间段内存在曝光周期。此外,当两个螺旋桨转速不一致并且其中一者的转速过快时,可以降低该转速过快的螺旋桨的转速,以使得在降低螺旋桨的转速后的预定时间段内存在期望曝光周期。其中,可以将该转速过快的螺旋桨的转速直接降低至一预定转速值,也可以逐渐降低该转速过快的螺旋桨的转速,其转速降低的具体过程与上述同时降低两个螺旋桨转速的过程类似,因此于此不再赘述。此外,当两个螺旋桨的转速一致时,也有可能由于两个螺旋桨的相对位置原因,使得在后续的预定时间段内不存在期望曝光周期,此时可以降低其中一个螺旋桨的转速,以调整两个螺旋桨的相对位置,从而使得在调整螺旋桨相对位置之后的预定时间段内存在期望曝光周期。
在一些情况下,无人飞行器可以包括多个摄影装置。例如,如图15所示,无人飞行器可以例如为四旋翼无人机,该四旋翼无人机包括四个螺旋桨,其中第一螺旋桨41位于第一机臂21上,第二螺旋桨42位于第二机臂22上,机身1前端包括由第一摄像装置31和第二摄像装置32组成的双目相机。当无人飞行器工作时,第一螺旋桨41和第二螺旋桨42分别被第一电机51和第二电机52驱动而旋转,其中第一螺旋桨41在旋转过程中会对摄像装置31产生遮挡,第二螺旋桨42在旋转过程中会对摄像装置32产生遮挡。无人飞行器的第一摄像装置31和第二摄像装置32的曝光时间相同并能够相互配合来共同完成图像采集。
对于上述无人飞行器,作为本申请一种可选实施方式,步骤S23具体可以包括:
根据在预定时间段内第一螺旋桨的位置确定第一曝光周期,根据在预定时间段内第二螺旋桨的位置确定第二曝光周期,其中在第一曝光周期内第一摄像装置的视场被第一螺旋桨遮挡的程度在第一可接受范围内,在第二曝光周期内第二摄像装置的视场被第二螺旋桨遮挡的程度在第二可接受范围内。
根据第一曝光周期和第二曝光周期确定期望曝光周期,其中期望曝光周期位于第一曝光周期内且位于第二曝光周期内,且期望曝光周期不小于第一摄像装置和第二摄像装置的曝光时间。
步骤S24具体可以包括:控制第一摄像装置和第二摄像装置在期望曝光周期内曝光。
具体地,可以通过安装在第一电机的位置检测装置和第二电机上的位置检测装置分别获取第一螺旋桨和第二螺旋桨在旋转时的位置和速度,并结合两个螺旋桨各自的转速控制指令来确定在随后的预设时间段内两个螺旋桨的位置,根据对摄像装置的遮挡程度,将第一螺旋桨和第二螺旋桨在预定时间段内的位置划分为遮挡程度在可接受范围内的不遮挡位置和遮挡程度不在可接受范围内的遮挡位置。如图16所示,图16中横轴T为时间轴,图中竖直虚线为第一螺旋桨和/或第二螺旋桨在遮挡位置与不遮挡位置之间进行切换的状态分界线,t0为当前时刻(即开始确定期望曝光周期的时刻),t0至tn之间时间段为预定时间段,由上至下的三个横向柱状图分别表示第一螺旋桨在预定时间段内的位置、第二螺旋桨在预定时间段内的位置以及在预定时间段内第一螺旋桨和第二螺旋对第一摄像装置和第二摄像装置的遮挡情况。其中,当第一螺旋桨和第二螺旋桨都处于不遮挡位置且第一螺旋桨和第二螺旋桨都处于不遮挡位置的持续时间不小于曝光时间的时间段为期望曝光周期(即图16中螺旋桨51和螺旋桨52都处于不遮挡位置的时长大于摄像装置的曝光时间的时间段),第一摄像装置和第二摄像装置可以同时在期望曝光周期内完成曝光。例如,可以将图16中的E时间段、F时间段或G时间段作为第一摄像装置和第二摄像装置共同曝光的曝光时间,从而降低螺旋桨对摄像装置产生的影响,其中E时间段、F时间段和G时间段的时长与第一摄像装置和第二摄像装置的曝光时间相等。优选地,可以控制第一摄像装置和第二摄像装置在期望曝光周期的初始时刻同时开始曝光,即将E时间段或G时间段作为第一摄像装置和第二摄像装置共同曝光的曝光时间。
如图17所示,对于图15示出的实施方式中的无人飞行器,在小概率情况下,在预定时间段内可能不存在期望曝光周期,在这种情况下,用于控制视觉测量设备的曝光的方法还可以包括以下步骤:
步骤S31,根据第一曝光周期和第二曝光周期确定第一摄像装置和第二摄像装置的曝光时机,其中第一摄像装置和第二摄像装置在该曝光时机进行曝光的曝光时间的第一部分和第二部分分别与在时间上重叠或连续的第一曝光周期和第二曝光周期在时间上重叠;
步骤S32,控制第一摄像装置和第二摄像装置在曝光时机进行曝光。
具体地,在较低概率情况下,当预定时间段内没有出现符合期望曝光周期的时间段,并且根据摄像装置测量的实际要求(例如对图像测量要求实时性较高)需要在预定时间段内进行至少一次曝光时,可以选择两个摄像装置的视场被遮挡面积较小时进行曝光。如图18所示,图18中横轴T为时间轴,图中竖直虚线为第一螺旋桨和/或第二螺旋桨在遮挡位置与不遮挡位置之间进行切换的状态分界线,t0为当前时刻(即开始确定期望曝光周期的时刻),t0至tn之间时间段为预定时间段,由上至下的三个横向柱状图分别表示第一螺旋桨在预定时间段内的位置、第二螺旋桨在预定时间段内的位置以及在预定时间段内第一螺旋桨和第二螺旋对第一摄像装置和第二摄像装置的遮挡情况。由图18可知,为了使得两个摄像装置在曝光时,视场被遮挡面积较少,可以选择两个螺旋桨在遮挡位置与不遮挡位置之间进行切换附近的时间段控制两个摄像装置同时曝光,此时螺旋桨刚刚进入遮挡位置或刚刚离开遮挡位置,因此对摄像装置的视场的遮挡较少。具体而言,可以选择图18中在状态分界线附近的时间段(例如包括状态分界线所在时刻的时间段)来控制两个摄像装置同时曝光,并且在该时间段内不存在两个螺旋桨都遮挡的情况。举例而言,可以选择图18中H时间段、I时间段、J时间段作为两个摄像装置的曝光时间,在图18中螺旋桨51和螺旋桨52各自处于不遮挡位置的持续时长均大于曝光时间,因此螺旋桨51处于不遮挡位置的时间段即为第一曝光周期,螺旋桨52处于不遮挡位置的时间段即为第二曝光周期。H时间段、I时间段、J时间段的时长与两个摄像装置的曝光时间相等,并且可以以螺旋桨的状态分界线为分界线,在状态分界线之前的部分为第一部分,在状态分界线之后的部分为第二部分。由图18可知,H时间段的第一部分与螺旋桨51的第一曝光周期和螺旋桨52的第二曝光周期均重叠,因此在H时间段的第一部分时,螺旋桨51和螺旋桨52均处于不遮挡位置,H时间段的第二部分与螺旋桨51的第一曝光周期重叠,因此在在H时间段的第二部分时,螺旋桨51处于不遮挡位置,从而当以H时间段作为两个摄像装置的曝光时间时,可以保证在曝光过程中的任意时间点,至少有一个摄像装置的视场被螺旋桨遮挡的程度在可接受范围内。同样地,I时间段的第一部分与螺旋桨52的第二曝光周期重叠,因此在I时间段的第一部分时,螺旋桨52处于不遮挡位置,I时间段的第二部分与螺旋桨51的第一曝光周期重叠,因此在I时间段的第二部分时,螺旋桨51处于不遮挡位置;J时间段的第一部分与螺旋桨51的第一曝光周期重叠,因此在J时间段的第一部分时,螺旋桨51处于不遮挡位置,J时间段的第二部分与螺旋桨51的第一曝光周期和螺旋桨52的第二曝光周期均重叠,因此在J时间段的第二部分时,螺旋桨51和螺旋桨52均处于不遮挡位置,因此在以I时间段或J时间段作为两个摄像装置的曝光时间时,在曝光过程中的任意时间点,也可保证至少有一个摄像装置的视场被螺旋桨遮挡的程度在可接受范围内。如此,由于在螺旋桨的状态分界线位置,两个螺旋桨均处于遮挡摄像装置的视场较小的位置,因此选择在状态分界线位置附近进行曝光时,能够降低曝光过程中,摄像装置的视场被遮挡的面积。
优选地,D时间段、E时间段和F时间段的第一部分可以是曝光时间的一半。举例而言,如图18所示,D时间段、E时间段和F时间段的时长为曝光时间t,其中D时间段、E时间段和F时间段以螺旋桨的状态分界线为中心线,在状态分界线两侧的时长相等,均为1/2t。如此,可以保证在选取上述时间段作为曝光时间时,第一摄像装置和第二摄像装置的视场受各自对应螺旋桨的影响较为均衡,使得在曝光过程中,不会出现某一摄像装置被其对应的螺旋桨遮挡时间过长的情况的发生。
进一步地,可以在上一次曝光之后,在第一曝光周期的起始时刻、结束时刻、第二曝光周期的起始时刻、结束时刻中最先出现的一者之前且与该一者间隔不小于H时间段、I时间段和J时间段中任意一者的第一部分的时间点开始确定期望曝光周期。具体地,在前一次曝光后,可以在第一螺旋桨和/或第二螺旋桨的状态分界线前dt时间开始确定后续预定时间段内是否有期望曝光周期,其中该dt可以为大于H时间段、I时间段和J时间段中任意一者的第一部分的时长,其中H时间段、I时间段和J时间段的第一部分可以相同,也可以不同。如果在后续的预定时间段内有期望曝光周期,则在控制第一摄像装置和第二摄像装置在期望曝光周期内完成曝光,如果在后续的预定时间段内没有期望曝光周期,则根据摄像装置的对曝光频率的要求,控制第一摄像装置和第二摄像装置在后续的预定时间段中的D时间段、E时间段或F时间段内进行曝光。在小概率情况下,如果在预定时间段内没有D时间段、E时间段和F时间段,则依据摄像装置对曝光频率的要求在预定时间段内选择曝光时间,并把两个螺旋桨在曝光时刻的位置发送给处理装置,处理装置可以例如包括图像处理单元,从而处理装置可以根据螺旋桨的位置对摄像装置通过曝光获得的图形进行屏蔽处理。
如图19所示,对于图15示出的实施方式中的无人飞行器,在小概率情况下,在预定时间段内可能不存在期望曝光周期,如果此时无人飞行器的移动速度较低(即无人飞行器处于低动态状态),则用于控制视觉测量设备的曝光的方法还可以包括以下步骤:
步骤S41,根据第一曝光周期和第二曝光周期确定在时间上连续的第一曝光周期和第二曝光周期;
步骤S42,控制第一摄像装置和第二摄像装置分别在对应的第一曝光周期和第二曝光周期中在时间上较早的一者的末尾部分和较晚的另一者的开始部分曝光。
具体地,在较低概率情况下,预定时间段内可能没有出现符合期望曝光周期的时间段。在这种情况下,如果根据摄像装置测量的实际要求(例如对图像测量要求实时性较高)需要在预定时间段内进行至少一次曝光,并且无人飞行器处于低动态状态时,两个摄像装置可以在其各自的视场被遮挡程度较小时分别进行曝光。但为了保持两个摄像装置的同步性,两个摄像装置在各自分别曝光时,需要使得两个摄像装置的曝光时间之间的间隔不能过大。如图20所示,图20中横轴T为时间轴,图中竖直虚线为第一螺旋桨和/或第二螺旋桨在遮挡位置与不遮挡位置之间进行切换的状态分界线,t0为当前时刻(即开始确定期望曝光周期的时刻),t0至tn之间时间段为预定时间段,由上至下的三个横向柱状图分别表示第一螺旋桨在预定时间段内的位置、第二螺旋桨在预定时间段内的位置以及在预定时间段内第一螺旋桨和第二螺旋对第一摄像装置和第二摄像装置的遮挡情况。由图20可知,为了使得两个摄像装置在曝光时,视场被遮挡面积较小并且满足两个摄像装置的曝光时间之间的间隔较小,可以选择在状态分界线的两端分别控制两个摄像装置各自进行曝光,并且每个摄像装置在曝光时间内,其所对应的螺旋桨处于不遮挡位置。在图20中,螺旋桨51和螺旋桨52各自处于不遮挡位置的持续时长均大于曝光时间,因此螺旋桨51处于不遮挡位置的时间段即为第一曝光周期,螺旋桨52处于不遮挡位置的时间段即为第二曝光周期。因而,可以选择在时间上连续的第一曝光周期和第二曝光周期,控制第一摄像装置和第二摄像装置分别在对应的第一曝光周期和第二曝光周期中在时间上较早的一者的末尾部分和较晚的另一者的开始部分曝光。举例而言,可以将图20中K1时间段作为第二摄像装置的曝光时间、K2时间段作为第一装置的曝光时间来控制第一摄像装置和第二摄像装置分别进行曝光,或者将图20中L1时间段作为第二摄像装置的曝光时间、L2时间段作为第一装置的曝光时间来控制第一摄像装置和第二摄像装置分别进行曝光,再或者将图20中M1时间段作为第一摄像装置的曝光时间、M2时间段作为第二装置的曝光时间来控制第一摄像装置和第二摄像装置分别进行曝光。其中,K1时间段与K2时间段之间、L1时间段与L2时间段之间、M1时间段与M2时间段之间可以具有很小的时间间隔的,但更为优选地,K1时间段与K2时间段之间、L1时间段与L2时间段之间、M1时间段与M2时间段是连续的。如此,当两个摄像装置分别进行曝光时,各自对应的螺旋桨均处于不遮挡位置,并且由于两个摄像装置的曝光时间是连续的或者间隔很短,因此对成像质量的影响也很低。
进一步地,可以在上一次曝光之后,在第一曝光周期的起始时刻、结束时刻、第二曝光周期的起始时刻、结束时刻中最先出现的一者之前且与该一者间隔不小于曝光时间的时间点开始确定期望曝光周期。具体地,在前一次曝光后,可以在第一螺旋桨和/或第二螺旋桨的状态分界线前dt时间开始确定后续预定时间段内是否有期望曝光周期,其中该dt可以为大于t的时长,如果在后续的预定时间段内有期望曝光周期,则在控制第一摄像装置和第二摄像装置在期望曝光周期内完成曝光,如果在后续的预定时间段内没有期望曝光周期,则根据摄像装置的对曝光频率的要求,控制第一摄像装置和第二摄像装置分别在后续的预定时间段中的K1时间段和K2时间段、L1时间段和L2时间段或M1时间段和M2时间段进行曝光。在小概率情况下,如果在预定时间段内没有与第一摄像装置和第二摄像装置分别对应的K1时间段和K2时间段、L1时间段和L2时间段以及M1时间段和M2时间段,则依据摄像装置对曝光频率的要求在预定时间段内选择曝光时间,并把两个螺旋桨在曝光时候的位置发送给处理装置,处理装置可以例如包括图像处理单元,从而处理装置可以根据螺旋桨的位置对摄像装置通过曝光获得的图形进行屏蔽处理。
在本发明一种可选实施方式中,在曝光优先的情况下,如果在预定时间段内不存在期望曝光周期,还可以通过转速控制指令来降低第一螺旋桨和/或第二螺旋桨的转速,以重新确定期望曝光周期。具体地,当第一螺旋桨和/或第二螺旋桨的转速过快时,可能在预定时间段内找不到期望曝光周期。此时如果根据用户的设定,需要保证摄像装置能够进行曝光(即曝光优先)时,则可以降低第一螺旋桨和第二螺旋桨中至少一者的转速,并在螺旋桨的转速降低后重新确定期望曝光周期。举例而言,当第一螺旋桨和第二螺旋桨的转速相同并且均过快(例如转速高于预定转速值)时,可以同时降低第一螺旋桨和第二螺旋桨的转速至预定转速值,随后再根据第一螺旋桨和第二螺旋桨的当前位置、转速和/或转速控制指令确定在随后的预定时间段内的曝光周期。另外,也可以每次将第一螺旋桨和第二螺旋桨同时降低预定值,并确定在随后的预定时间段中是否存在曝光周期,如果存在曝光周期,则在控制第一摄像装置和第二摄像装置在曝光周期内曝光,如果仍然不存在曝光周期,则将第一螺旋桨和第二螺旋桨的转速再降低该预定值,直至在随后的预定时间段内存在曝光周期。另外,当两个螺旋桨转速不一致并且其中一者的转速过快时,可以降低该转速过快的螺旋桨的转速,以使得在降低螺旋桨的转速后的预定时间段内存在期望曝光周期。其中,可以将该转速过快的螺旋桨的转速直接降低至一预定转速值,也可以逐渐降低该转速过快的螺旋桨的转速,其转速降低的具体过程与上述同时降低两个螺旋桨转速的过程类似,因此于此不再赘述。此外,当两个螺旋桨的转速一致时,也有可能由于两个螺旋桨的相对位置原因,使得在后续的预定时间段内不存在期望曝光周期,此时可以降低其中一个螺旋桨的转速,以调整两个螺旋桨的相对位置,从而使得在调整螺旋桨相对位置之后的预定时间段内存在期望曝光周期。
需要说明的是,在上述实施方式中,用于控制视觉测量设备的曝光的方法可以通过位于机身1中的处理装置执行。此外,本申请实施方式还可以提供一种机器可读存储介质,该机器可读存储介质可以例如位于机身1的内部,并且该机器可读存储介质上可以存储有指令,该指令用于在被例如处理器执行时使得处理器能够执行上述的用于控制视觉测量设备的曝光的方法,其中该机器可读存储介质可以为处理装置的一部分,也可以为机身1内独立的存储单元。
如此,通过本申请上述技术方案,可以根据螺旋桨的位置来确定摄像装置的曝光时间,从而能够降低无人飞行器的螺旋桨在旋转过程中对摄像装置的视场的遮挡,提高摄像装置的成像质量,并且本申请实施方式不需要对无人飞行器进行结构上的调整,因此不会增加无人飞行器的硬件成本,经济性更好。
以上结合附图详细描述了本申请的可选实施方式,但是,本申请实施方式并不限于上述实施方式中的具体细节,在本申请实施方式的技术构思范围内,可以对本申请实施方式的技术方案进行多种简单变型,这些简单变型均属于本申请实施方式的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本申请实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请实施方式的思想,其同样应当视为本申请实施方式所公开的内容。