[go: up one dir, main page]

CN111213107B - 信息处理装置、拍摄控制方法、程序以及记录介质 - Google Patents

信息处理装置、拍摄控制方法、程序以及记录介质 Download PDF

Info

Publication number
CN111213107B
CN111213107B CN201980005048.2A CN201980005048A CN111213107B CN 111213107 B CN111213107 B CN 111213107B CN 201980005048 A CN201980005048 A CN 201980005048A CN 111213107 B CN111213107 B CN 111213107B
Authority
CN
China
Prior art keywords
shooting
path
flight
photographing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980005048.2A
Other languages
English (en)
Other versions
CN111213107A (zh
Inventor
顾磊
沈思杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuojian Intelligent Manufacturing Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111213107A publication Critical patent/CN111213107A/zh
Application granted granted Critical
Publication of CN111213107B publication Critical patent/CN111213107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/25Fixed-wing aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/35UAVs specially adapted for particular uses or applications for science, e.g. meteorology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

期望能够容易地设置适当的移动路线、拍摄位置和拍摄方向作为用于通过移动体拍摄被摄体的拍摄控制信息。信息处理装置的处理部获取被摄体的外形形状信息,基于与外形形状信息对应的拍摄距离生成用于拍摄被摄体的侧面的移动路径,设置移动路径上的拍摄位置,并基于被摄体侧面的法线方向设置拍摄位置处的拍摄方向。

Description

信息处理装置、拍摄控制方法、程序以及记录介质
【技术领域】
本公开涉及用于控制移动体的拍摄的信息处理设备、拍摄控制方法、程序以及记录介质。
【背景技术】
已知一种平台(例如,无人飞行体),其搭载拍摄设备,在沿预设飞行路径飞行的同时进行拍摄(例如,参见专利文献1)。该平台接收来自地面基地的飞行路径、拍摄指示等指令,根据指令飞行并进行拍摄,将获取图像发送到地面基地。当对拍摄对象进行拍摄时,平台在沿设置的固定路径的飞行同时基于平台和拍摄对象之间的位置关系,倾斜平台上的摄像设备并进行拍摄。
还已知:以往,基于由在空中飞行的无人飞行体(例如,UAV:Unmanned AerialVehicle:无人驾驶航空器)拍摄的航拍照片等摄像图像来推定建筑物等被摄体的三维形状。为了使无人飞行体的拍摄(例如航拍)自动化,使用预先生成无人飞行体的飞行路径的技术。因此,为了使用无人飞行体来推定建筑物等被摄体的三维形状,需要使无人飞行体按照预先生成的飞行路径飞行,并获取多张无人飞行体在飞行路线中的不同拍摄位置拍摄的被摄体的摄像图像。
专利文献1:日本特开2010-61216号公报
【发明内容】
【发明所要解决的技术问题】
在专利文献1所描述的平台中,虽然在通过固定路径的同时进行拍摄,但是没有充分考虑从固定路径位于垂直方向上的物体(例如建筑物)的存在。因此,难以充分获取物体侧面的摄像图像、从上空可观察到的物体的一部分中所隐藏的另一部分的摄像图像。
另外,当通过无人飞行体对特别指定的物体的侧面进行拍摄时,可以考虑预先手动确定无人飞行体飞行的飞行路径。当指定物体周围的期望位置作为拍摄位置时,可以考虑通过用户输入来指定三维空间的位置(纬度、经度、高度)。在这种情况下,由于各拍摄位置由用户输入确定,因此降低了用户的便利性。而且,为了确定飞行路径,预先需要关于物体的详细信息,准备工作比较麻烦。此外,当确定飞行路径时,可以考虑设置围绕物体侧面回旋的固定飞行路径。在这种情况下,如果在以固定飞行半径和固定飞行中心飞行的同时朝向物体进行拍摄,则存在不能获取适当状态(期望的拍摄距离、拍摄方向、分辨率)的摄像图像的可能性。另外,当将拍摄距离设置得较短时,若在物体侧面存在突出部分,则无人飞行体可能会与物体发生碰撞。
【用于解决问题的技术手段】
在一个方面中,一种信息处理装置,其生成用于通过移动体对被摄体进行拍摄的拍摄控制信息,其包含处理部,处理部获取被摄体的外形形状信息,基于与外形形状信息对应的拍摄距离生成用于拍摄被摄体的侧面的移动路径,设置移动路径上的拍摄位置,并基于被摄体侧面的法线方向设置拍摄位置处的拍摄方向。
处理部可以计算出与被摄体的侧面的外形形状间隔成具有预定的拍摄距离的外形路径,并将外形路径设置为移动路线,作为移动路径。
处理部可以根据被摄体的外形形状数据中的多边形顶点的内角或被摄体的外形形状的曲率来计算出拍摄距离,并计算出间隔成具有经算出的拍摄距离的外形路径,将外形路径设置为移动路线,作为移动路径。
处理部可以生成相对于被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为移动路径。
处理部可以生成相对于被摄体的侧面在预定高度的第一飞行路线,并生成以预定的垂直拍摄间隔来改变高度的第二飞行路径,作为移动路径。
处理部可以计算出将移动路径以预定的水平拍摄间隔进行划分而得到的点,并将各点设置为拍摄位置。
处理部可以计算出在拍摄位置的摄像范围内的被摄体的外形形状的法线方向的代表值,并通过代表值来设置拍摄方向。
处理部可以以预定间隔对被摄体的外形形状进行采样,根据到各采样点的拍摄位置的距离进行加权,并计算出各采样点的法线方向的角度相对于预定参考方向的加权平均值,并将基于加权平均值的方向设置为拍摄方向。
信息处理装置还可以包含通信部。处理部可以生成包括拍摄位置和拍摄方向的拍摄控制信息,通过通信部将包括拍摄控制信息的飞行控制信息发送到移动体,并使移动体执行与被摄体的侧面拍摄相关的飞行以及拍摄。
信息处理装置还可以包含通信部。处理部可以生成相对于被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为移动路径,并在预定高度的第一飞行路线上,生成包括拍摄位置和拍摄方向的拍摄控制信息,通过通信部将第一飞行路线中包括拍摄控制信息的飞行控制信息发送到移动体,使移动体执行第一飞行路线的飞行以及被摄体的侧面拍摄,生成相对于第一飞行路线,以预定的垂直拍摄间隔来改变高度的第二飞行路径,在第二飞行路线上,生成包括拍摄位置和拍摄方向的拍摄控制信息,通过通信部将第二飞行路线中包括拍摄控制信息的飞行控制信息发送到移动体,使移动体执行第二飞行路线的飞行以及被摄体的侧面拍摄。
在一个方面中,移动体可以是飞行体。
在一个方面中,一种生成用于通过移动体对被摄体进行拍摄的拍摄控制信息的信息处理装置的拍摄控制方法,其具有以下步骤:获取被摄体的外形形状信息,基于与外形形状信息对应的拍摄距离生成用于拍摄被摄体的侧面的移动路径,设置移动路径上的拍摄位置,并基于被摄体侧面的法线方向设置拍摄位置处的拍摄方向。
生成移动路径的步骤可以包括:计算出与被摄体的侧面的外形形状间隔成具有预定的拍摄距离的外形路径,并将外形路径设置为移动路线,作为移动路径的步骤。
生成移动路径的步骤可以包括:根据被摄体的外形形状数据中的多边形顶点的内角或被摄体的外形形状的曲率来计算出拍摄距离,并计算出间隔成具有经算出的拍摄距离的外形路径,将外形路径设置为移动路线,作为移动路径的步骤。
生成移动路径的步骤可以包括:生成相对于被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为移动路径的步骤。
生成移动路径的步骤可以包括:生成相对于被摄体的侧面在预定高度的第一飞行路线,并生成以预定的垂直拍摄间隔来改变高度的第二飞行路径,作为移动路径的步骤。
设置拍摄位置的步骤可以包括:计算出将移动路径以预定的水平拍摄间隔进行划分而得到的点,并将各点设置为拍摄位置的步骤。
设置拍摄位置的步骤可以包括:计算出在拍摄位置的摄像范围内的被摄体的外形形状的法线方向的代表值,并通过代表值来设置拍摄方向的步骤。
设置拍摄位置的步骤可以包括:以预定间隔对被摄体的外形形状进行采样,根据到各采样点的拍摄位置的距离进行加权,并计算出各采样点的法线方向的角度相对于预定参考方向的加权平均值,并将基于加权平均值的方向设置为拍摄方向的步骤。
拍摄控制方法还可以包括以下步骤:生成包括拍摄位置和拍摄方向的拍摄控制信息;将包括拍摄控制信息的飞行控制信息发送到移动体,并使移动体执行与被摄体的侧面拍摄相关的飞行以及拍摄。
拍摄控制方法还可以包括以下步骤:生成相对于被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为移动路径,并在预定高度的第一飞行路线上,生成包括拍摄位置和拍摄方向的拍摄控制信息;将第一飞行路线中包括拍摄控制信息的飞行控制信息发送到移动体,使移动体执行第一飞行路线的飞行以及被摄体的侧面拍摄;生成相对于第一飞行路线以预定的垂直拍摄间隔来改变高度的第二飞行路径,在第二飞行路线上,生成包括拍摄位置和拍摄方向的拍摄控制信息;并将第二飞行路线中包括拍摄控制信息的飞行控制信息发送到移动体,使移动体执行第二飞行路线的飞行以及被摄体的侧面拍摄。
在一个方面中,一种使生成用于通过移动体对被摄体进行拍摄的拍摄控制信息的信息处理装置执行以下步骤的程序:获取被摄体的外形形状信息;基于与外形形状信息对应的拍摄距离生成用于拍摄被摄体的侧面的移动路径;设置移动路径上的拍摄位置的步骤;并基于被摄体侧面的法线方向设置拍摄位置处的拍摄方向。
在一个方面中,一种计算机可读取的记录介质,其记录有用以使生成用于通过移动体对被摄体进行拍摄的拍摄控制信息的信息处理装置执行以下步骤的程序:获取被摄体的外形形状信息;基于与外形形状信息对应的拍摄距离生成用于拍摄被摄体的侧面的移动路径;设置移动路径上的拍摄位置;并基于被摄体侧面的法线方向设置拍摄位置处的拍摄方向。
另外,上述发明的内容中并未穷举本公开的全部特征。此外,这些特征组的子组合也可以构成发明。
【附图说明】
图1是示出实施方式中的飞行体系统的第一构成示例的示意图。
图2是示出实施方式中的飞行体系统的第二构成示例的示意图。
图3是示出无人驾驶航空器的具体外观的一个示例的图。
图4是示出无人驾驶航空器的硬件配置的一个示例的框图。
图5是示出终端的硬件配置的一个示例的框图。
图6是示出无人驾驶航空器的飞行路径的一个示例的图。
图7是用于说明在预定高度的水平面上的飞行路线的设置示例的第一示例的图。
图8是用于说明在预定高度的水平面上的飞行路线的设置示例的第二示例的图。
图9是用于说明在预定高度的飞行路线上的拍摄位置的设置示例的图。
图10是用于说明飞行路线上的拍摄位置处的拍摄方向的算出示例的图。
图11是示出实施方式中的拍摄控制操作的第一示例的流程图。
图12是示出实施方式中的拍摄控制操作的第二示例的流程图。
【符号说明】
10飞行体系统
80终端
81终端控制部
83操作部
85通信部
87内存
88显示部
89存储器
100无人驾驶航空器
110 UAV控制部
150通信接口
160内存
170存储器
200万向节
210旋翼机构
220,230摄像部
240 GPS接收器
250惯性测量装置
260磁罗盘
270气压高度计
280超声波传感器
290激光测量仪
【具体实施方式】
以下,通过发明的实施方式来对本公开进行说明本发明,但是以下实施方式并不限定权利要求书所涉及的发明。实施方式中所说明的特征组合并非全部是发明的解决方案所必须的。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制,著作权人就不会提出异议。但是,在除此以外的情况下,保留一切的著作权。
本公开所涉及的信息处理装置是包括在作为移动体的一个示例的飞行体和用于远程控制飞行体的操作或处理的平台中的至少一个中的计算机,并执行飞行体的操作所涉及的各种处理。本公开所涉及的移动体不限于飞行体,而包括车辆,船等其他移动体。
本公开所涉及的拍摄控制方法规定了信息处理装置(平台,移动体)中的各种处理(步骤)。
本公开所涉及的程序是用于使信息处理装置(平台,移动体)执行各种处理(步骤)的程序。
本公开所涉及的记录介质记录有程序(即,用于使信息处理装置(平台,移动体)执行各种处理(步骤)的程序)。
飞行体包括在空中移动的航空器(例如无人驾驶飞机,直升机)。飞行体可以是具有摄像装置的无人飞行体((UAV:Unmanned Aerial Vehicle)(也称为无人驾驶航空器)。为了对摄像范围内的被摄体(例如,在一定范围内的建筑物、道路、公园等的地面形状)进行拍摄,飞行体沿着预设的,作为移动路径的飞行路径飞行,并在设于飞行路径上的多个拍摄位置处拍摄被摄体。被摄体例如包括建筑物、道路等物体。
平台是计算机,例如是用于指示远程控制包括飞行体的移动的各种处理的发送器,或者与发送器或飞行体连接以便能够输入和输出信息、数据的通信终端。通信终端例如可以是便携式终端、PC等。另外,飞行体本身可以作为平台包括在内。
在以下的实施方式中,作为移动体的一个示例的飞行体,例示了无人驾驶航空器(UAV:Unmanned Aerial Vehicle)。在本说明书的附图中,无人驾驶航空器也被标记为“UAV”。在本实施方式中,信息处理装置设置作为移动路径的一个示例的飞行路径,该移动路径包括可以由飞行体拍摄物体的侧面的拍摄位置。另外,当移动体是车辆等时,设置在地面、道路等的移动范围内的移动路径。信息处理装置,例如可以以终端为例,但也可以是其他装置(例如发送器、服务器、无人驾驶航空器)。
[飞行体系统的构成示例]
图1是示出实施方式中的飞行体系统10的第1构成示例的示意图。飞行体系统10包含无人驾驶航空器100及终端80。无人驾驶航空器100和终端80之间可以通过有线通信或无线通信(例如,无线LAN(Local Area Network:局域网))彼此通信。在图1中,例示了终端80是PC的情况。
另外,飞行体系统的构成可以为包含无人驾驶航空器、发送器(比例控制器)和便携式终端。在包含发送器的情况下,使用飞行体系统的人(下文中称为“用户”)可以使用布置在发送器前面上的左右控制杆来指示控制无人驾驶航空器的飞行的控制。另外,在这种情况下,无人驾驶航空器、发送器以及便携式终端可以通过有线通信或无线通信彼此通信。
图2是示出实施方式中的飞行体系统10的第二构成示例的示意图。在图2中,例示了终端80是便携式终端(例如,智能手机、平板终端)的情况。在图1和图2的任意一个构成示例中,终端80具有的功能可以是相同的。
图3是示出无人驾驶航空器100的具体外观的一个示例的图。图3示出了无人驾驶航空器100在移动方向STV0上移动时的立体图。
如图3所示,将与地面平行且沿着移动方向STV0的方向定义为滚转轴(参照x轴)。在此情况下,将与地面平行且与滚转轴垂直的方向定义为俯仰轴(参照y轴),进而,将与地面垂直且与滚转轴及俯仰轴垂直的方向定义为偏航轴(参照z轴)。
无人驾驶航空器100的构成为包括UAV主体120、万向节200、摄像部220以及多个摄像部230。无人驾驶航空器100是包含摄像部220,230并移动的移动体的一个示例。无人驾驶航空器100的移动是指飞行,至少包括上升、下降、向左旋转、向右旋转、向左水平移动、向右水平移动的飞行。
UAV主体102包含多个旋翼(螺旋桨)。UAV主体102通过控制多个旋翼的旋转而使无人驾驶航空器100飞行。UAV主体102使用例如四个旋翼来使无人驾驶航空器100飞行。旋翼的数量并不限于四个。另外,无人驾驶航空器100也可以是没有旋翼的固定翼机。
摄像部220为对包含在期望的摄像范围内的被摄体(例如地面建筑物)进行拍摄的摄像用相机。此外,除了建筑物等物体,被摄体也可以包括作为无人驾驶航空器100的航拍目标的上空的景象、山川、河流等的景色。
多个摄像部230可以是为了控制无人驾驶航空器100的飞行而对无人驾驶航空器100的周围进行拍摄的传感用相机。两个摄像部230可以设置于无人驾驶航空器100的机头、即正面。并且,其它两个摄像部230可以设置于无人驾驶航空器100的底面。正面侧的两个摄像部230可以成对,起到所谓的立体相机的作用。底面侧的两个摄像部230也可以成对,起到立体相机的作用。可以基于由多个摄像部230拍摄的图像来生成无人驾驶航空器100周围的三维空间数据(三维形状数据)。另外,无人驾驶航空器100所包含的摄像部230的数量不限于四个。无人驾驶航空器100只要包含至少一个摄像部230即可。无人驾驶航空器100可以在无人驾驶航空器100的机头、机尾、侧面、底面及顶面分别包含至少一个摄像部230。摄像部230中可设置的视角可大于摄像部220中可设置的视角。摄像部230可以具有单焦点镜头或鱼眼镜头。
[无人驾驶航空器的构成示例]
图4是示出无人驾驶航空器100的硬件构成的一个示例的框图。无人驾驶航空器100的构成为包括UAV控制部110、通信接口150、内存160、存储器170、万向节200、旋翼机构210、摄像部220、摄像部230、GPS接收器240、惯性测量装置(IM U:Inertial MeasurementUnit)250、磁罗盘260、气压高度计270、超声波传感器280及激光测量仪290。
UAV控制部110由处理器,例如CPU(Central Processing Unit:中央处理器)、MPU(Micro Processing Unit:微处理器)或DSP(Digital Signal Processor:数字信号处理器)构成。UAV控制部110执行用于整体控制无人驾驶航空器100的各部分的操作的信号处理、与其他各部分之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
UAV控制部110按照储存在存储器160中的程序来控制无人驾驶航空器100的移动(即飞行)。UAV控制部110按照经由通信接口150从远程的发送器接收到的指令来控制无人驾驶航空器100的飞行。
UAV控制部110获取由摄像部220和摄像部230拍摄的被摄体的图像数据(在下文中,有时被称为“摄像图像”)。UAV控制部110可以通过摄像部220和摄像部230执行航拍,获取航拍图像作为摄像图像。
通信接口150与终端80进行通信。通信接口150是通信部的一个示例。通信接口150可以通过任意的无线通信方法进行无线通信。通信接口150可以通过任意的有线通信方法进行有线通信。通信接口150可以将摄像图像、与摄像图像相关的附加信息(元数据)发送到终端80。通信接口150可以从终端80获取飞行控制的指示信息。飞行控制的指示信息可以包括用于无人驾驶航空器100飞行的飞行路径、用于生成飞行路径的飞行位置(Waypoint,航点)、成为飞行路径生成基础的控制点等信息。
内存160为存储部的一个示例。内存160存储UAV控制部110对万向节200、旋翼机构210、摄像部220、摄像部230摄像部GPS接收器240、惯性测量装置250、磁罗盘260、气压高度计270、超声波传感器280和激光测量仪290进行控制所需的程序等。内存160可以是计算机可读记录介质,可以包括SRAM(Static Random Access Memory:静态随机存取存储器)、DRAM(Dynamic Random Access Memory:动态随机存取存储器)、EPROM(ErasableProgrammable Read Only Memory:可擦除可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory:电可擦除可编程只读存储器)、以及USB(Universal Serial Bus:通用串行总线)存储器等闪存中的至少一个。内存160可以设置于UAV主体102的内部。内存160可以从无人驾驶航空器100上拆卸下来。内存160可以记录由摄像部220,230拍摄的摄像图像。内存160可以作为作业用内存进行工作。
存储器170为存储部的一个示例。存储器170存储并保存各种数据、各种信息。存储器170可以包括HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态硬盘)、SD内存卡、USB存储器、其他的存储器中的至少一个。存储器170可以设置在UAV主体102的内部。存储器170可以从无人驾驶航空器100上拆卸下来。存储器170可以记录摄像图像。
万向节200以至少一个轴为中心可旋转地支持摄像部220。万向节200可以以偏航轴、俯仰轴以及滚转轴为中心可旋转地支持摄像部220。万向节200可以通过使摄像部220以偏航轴、俯仰轴以及滚转轴中的至少一个为中心旋转,来变更摄像部220的摄像方向。
旋翼机构210具有多个旋翼以及使多个旋翼旋转的多个驱动电机。旋翼机构210通过由UAV控制部110控制旋转,从而使无人驾驶航空器100飞行。
摄像部220对期望的摄像范围中的被摄体进行拍摄并生成摄像图像的数据。通过摄像部220进行拍摄而获取的图像数据(例如航拍图像)可以存储在摄像部220所具有的内存、内存160或存储器170中。
摄像部230对无人驾驶航空器100的周围进行拍摄并生成摄像图像的数据。摄像部230的图像数据可以存储在内存160或存储器170中。
GPS接收器240接收表示从多个导航卫星(即,GPS卫星)发送的时间以及各GPS卫星的位置(坐标)的多个信号。GPS接收器240根据所接收的多个信号来计算出GPS接收器240的位置(即无人驾驶航空器100的位置)。GPS接收器240将无人驾驶航空器100的位置信息输出到UAV控制部110。另外,可以由UAV控制部110代替GPS接收器240来执行GPS接收器240的位置信息的计算。在这种情况下,在UAV控制部110中输入由GPS接收器240接收的多个信号中包含的表示时间和各GPS卫星的位置的信息。
惯性测量装置250检测无人驾驶航空器100的姿势,并将检测结果输出至UAV控制部110。惯性测量装置250可以检测无人驾驶航空器100的前后、左右、以及上下三轴方向的加速度以及俯仰轴、滚转轴和偏航轴三轴方向的角速度,作为无人驾驶航空器100的姿势。
磁罗盘260检测无人驾驶航空器100的机头方位,并将检测结果输出至UAV控制部110。
气压高度计270检测无人驾驶航空器100的飞行高度,并将检测结果输出至UAV控制部110。
超声波传感器280发射超声波,检测由地面、物体反射的超声波,并将检测结果输出到UAV控制部110。检测结果例如可以示出从无人驾驶航空器100到地面的距离(即,高度)。检测结果例如可以示出从无人驾驶航空器100到物体(例如,被摄体)的距离。
激光测量仪290朝向物体照射激光,接收由物体反射的反射光,并通过反射光来测量无人驾驶飞机100与物体(例如,被摄体)之间的距离。距离测量结果被输入到UAV控制部110。作为基于激光的距离测量方法的一个示例,可以为飞行时间法。
接下来,对无人驾驶航空器100的UAV控制部110的功能的一个示例进行说明。
UAV控制部110获取示出无人驾驶航空器100的位置的位置信息。UAV控制部110可以从GPS接收器240获取表示无人驾驶航空器100所在的纬度、经度和高度的位置信息。UAV控制部110可以分别从GPS接收器240获取表示无人驾驶航空器100所在的纬度和经度的纬度经度信息,并从气压高度计270获取表示无人驾驶航空器100所在的高度的高度信息,作为位置信息。UAV控制部110可以获取超声波传感器280产生的超声波的放射点与超声波的反射点之间的距离,作为高度信息。
UAV控制部110可以从磁罗盘260获取表示无人驾驶航空器100的朝向的朝向信息。朝向信息可以用例如与无人驾驶航空器100的机头的朝向相对应的方位来表示。
UAV控制部110通过摄像部220或摄像部230在设置的飞行路径中存在的拍摄位置(包括在航点中),在水平方向、预定角度方向或垂直方向上对被摄体进行拍摄。预定角度方向是信息处理装置(无人飞行体或平台)在推定被摄体的三维形状的基础上适合的预设值的角度方向。
UAV控制部110可以获取表示在摄像部220对应该拍摄的摄像范围进行拍摄时无人驾驶航空器100所应该存在的位置的位置信息。UAV控制部110可以从内存160获取表示无人驾驶航空器100所应该存在的位置的位置信息。UAV控制部110可以经由通信接口150从其他装置获取表示无人驾驶航空器100所应该存在的位置的位置信息。为了对应该拍摄的摄像范围进行拍摄,UAV控制部110可以参照三维地图数据库,来特别指定无人驾驶航空器100所能够存在的位置,并获取该位置作为表示无人驾驶航空器100所应该存在的位置的位置信息。
UAV控制部110可以获取表示摄像部220和摄像部230各自的摄像范围的摄像范围信息。UAV控制部110可以从摄像部220和摄像部230获取表示摄像部220和摄像部230的视角的视角信息作为用于特别指定摄像范围的参数。UAV控制部110可以获取表示摄像部220和摄像部230的摄像方向的信息,作为用于特别指定摄像范围的参数。UAV控制部110可以从万向节200获取表示摄像部220的姿势状态的姿势信息,作为表示摄像部220的摄像方向等的信息。摄像部220的姿势信息例如可以以万向节200的俯仰轴和偏转轴从基准旋转角旋转的角度来表示。UAV控制部110可以获取表示无人驾驶航空器100的朝向的信息,作为摄像部220的摄像方向的信息。
UAV控制部110可以获取表示无人驾驶航空器100所在的位置的位置信息,作为用于特别指定摄像范围的参数。UAV控制部110可以基于摄像部220和摄像部230的视角和摄像方向、以及无人驾驶航空器100所在的位置,来划定表示摄像部220拍摄的地理范围的摄像范围,并生成摄像范围信息,从而获取摄像范围信息。
UAV控制部110可以从内存160获取摄像范围信息。UAV控制部110可以经由通信接口150获取摄像范围信息。
UAV控制部110控制万向节200、旋翼机构210、摄像部220以及摄像部230。UAV控制部110可以通过变更摄像部220的摄像方向或视角来控制摄像部220的像摄范围。UAV控制部110可以通过控制万向节200的旋转机构来控制由万向节200所支持的摄像部220的摄像范围。
摄像范围是指由摄像部220或摄像部230拍摄的地理范围。摄像范围由纬度、经度和高度定义。摄像范围可以是由纬度、经度和高度定义的三维空间数据的范围。摄像范围可以是由纬度和经度定义的二维空间数据的范围。摄像范围可以基于摄像部220或摄像部230的视角和摄像方向、以及无人驾驶航空器100所在的位置而特别指定。摄像部220和摄像部230的摄像方向可以由设置有摄像部220和摄像部230的摄像镜头的正面朝向的方位和俯角来定义。摄像部220的摄像方向可以是由无人驾驶飞机100的机头方位以及相对于万向节200的摄像部220的姿态状态而特别指定的方向。摄像部230的摄像方向可以是从无人驾驶航空器100的机头的方位和设置有摄像部230的位置而特别指定的方向。
UAV控制部110可以通过分析由多个摄像部230拍摄的多个图像,来特别指定无人驾驶航空器100的周围环境。UAV控制部110可以基于无人驾驶航空器100的周围环境,例如避开障碍物来控制飞行。UAV控制部110可以基于由多个摄像部230拍摄的多个图像,来生成无人驾驶航空器100周围的三维空间数据,并且可以基于三维空间数据来控制飞行。
UAV控制部110可以获取表示无人驾驶航空器100的周围存在的物体的立体形状(三维形状)的立体信息(三维信息)。物体例如可以是建筑物、道路、车辆、树木等风景的一部分。立体信息例如是三维空间数据。UAV控制部110可以通过生成表示存在于无人驾驶航空器100周围的物体的立体形状的立体信息,从由多个摄像部230获取的各个图像中获取立体信息。UAV控制部110可以通过参照存储在内存160或存储器170中的三维地图数据库,来获取表示存在于无人驾驶航空器100的周围的物体的立体形状的立体信息。UAV控制部110可以通过参照网络上存在的服务器所管理的三维地图数据库,来获取与存在于无人驾驶航空器100周围的物体的立体形状相关的立体信息。
UAV控制部110通过控制旋翼210来控制无人驾驶航空器100的飞行。即,UAV控制部110通过控制旋翼机构210来对包括无人驾驶航空器100的纬度、经度及高度的位置进行控制。UAV控制部110可以通过控制无人驾驶航空器100的飞行来控制摄像部220和摄像部230的摄像范围。UAV控制部110可以通过控制摄像部220所包含的变焦镜头来控制摄像部220的视角。UAV控制部110可以利用摄像部220的数字变焦功能,通过数字变焦来控制摄像部220的视角。
当摄像部220固定于无人驾驶航空器100并且不能移动摄像部220时,UAV控制部110可以通过使无人驾驶航空器100在特别指定的日期时间移动到特别指定的位置,来使摄像部220在期望的环境下拍摄期望的摄像范围。或者,即使当摄像部220不具有变焦功能并且不能变更摄像部220的视角时,UAV控制部110也可以通过使无人驾驶航空器100在特别指定的日期时间移动到特别指定的位置,来使摄像部220在期望的环境下拍摄期望的摄像范围。
UAV控制部110可以获取表示当前日期时间的日期时间信息。UAV控制部110可以从GPS接收器240获取表示当前日期时间的日期时间信息。UAV控制部110可以从搭载于无人驾驶航空器100的计时器(未示出)获取表示当前日期时间的日期时间信息。
[终端的构成示例]
图5是示出终端80的硬件构成的一个示例的框图。终端80的构成为包括终端控制部81、操作部83、通信部85、内存87、显示部88以及存储器89。终端80可以由期望指示无人驾驶航空器100的飞行控制的用户所持有。终端80具有作为信息处理装置的一个示例的功能,并且终端80的终端控制部81是信息处理装置的处理部的一个示例。
终端控制部81采用处理器,例如,CPU、MPU或DSP构成。终端控制部81进行用于整体控制终端80的各部分的操作的信号处理、与其他各部分之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
终端控制部81可以经由通信部85获取来自无人驾驶航空器100的数据、信息。终端控制部81也可以获取经由操作部83输入的数据、信息。终端控制部81也可以获取内存87中保存的数据、信息。终端控制部81可以经由通信部85向无人驾驶航空器100发送数据、信息。终端控制部81也可以将数据、信息发送到显示部88,并使显示部88显示基于数据、信息的显示信息。终端控制部81可以将数据、信息发送到存储器89并存储该数据、信息。终端控制部81可以获取存储在存储器89中的数据、信息。从终端控制部81输出的、由显示部88显示的信息、通过通信部85发送到无人驾驶航空器100的信息可以包括用于无人驾驶航空器100飞行的飞行路径、用于生成飞行路径的飞行位置(航点)、对被摄体进行拍摄的拍摄位置、成为飞行路径的生成的基础的控制点等信息。
终端控制部81也可以执行用于指示无人驾驶航空器100的控制的应用程序。终端控制部81也可以执行用于生成无人驾驶航空器100的飞行路径的应用程序。终端控制部81也可以生成在应用程序中使用的各种数据。
操作部83接收并获取由终端80的用户输入的数据、信息。操作部83也可以包括按钮、按键、触摸屏、麦克风等输入装置。此处,主要例示了操作部83与显示部88由触控面板构成的情况。在这种情况下,操作部83可以接收触摸操作、点击操作、拖动操作等。
通信部85通过各种无线通信方式与无人驾驶航空器100之间进行无线通信。该无线通信的无线通信方式例如可以包括经由无线LAN、Bluetooth(注册商标)、近距离无线通信、或公共无线线路进行的通信。通信部85可以通过任意的有线通信方式进行有线通信。通信部85可以通过与其他装置之间进行通信来发送和接收数据、信息。
内存87为存储部的一个示例。内存87例如可以具有规定终端80的操作的程序、存储设置值的数据的ROM、暂时保存终端控制部81进行处理时所使用的各种信息、数据的RAM。内存87可包括ROM及RAM以外的内存。内存87可以设置于终端80内部。内存87可设置成可从终端80上拆卸下来。程序可以包括应用程序。
显示部88例如由LCD(Liquid Crystal Display:液晶显示器)或有机EL(Electro-Luminescence:电致发光)显示器构成,并显示从终端控制部81输出的各种信息、数据。显示部88可以显示与应用程序的执行相关的各种数据、信息。显示部88可以显示由无人驾驶航空器100的摄像部220,230拍摄的摄像图像的数据。
存储器89为存储部的一个示例。存储器89存储并保存各种数据、信息。存储器89可以包括HDD、SSD、存储卡、USB存储器和其他存储器中的至少一个。存储器89可以设置在终端80内部。存储器89可以从终端80拆卸下来。存储器89可以记录从无人驾驶航空器100获取的摄像图像、附加信息。附加信息可以保存在存储器87中。
另外,当飞行体系统10包含发送器(比例控制器)时,终端80执行的处理也可以由发送器执行。由于发送器具有与终端80相同的构成部,因此将省略详细说明。发送器具有控制部、操作部、通信部、显示部、内存等。当飞行体系统10具有发送器时,也可以不设置终端80。
接着,作为终端80的终端控制部81所具有的功能,对与飞行路线的生成相关的功能进行说明。终端控制部81可以通过执行与包括能够对物体的侧面进行拍摄的拍摄位置的飞行路径的生成相关的处理,来执行与具有复杂形状的物体相对应的飞行路径的设置。
图6是示出无人驾驶航空器100的飞行路径的一个示例的图。在本实施方式中,假设将大楼等在垂直方向上具有高度的物体作为被摄体BL,例示了无人驾驶航空器100在被摄体BL的周围回旋并对侧面进行拍摄的飞行路径的设置。此时,无人驾驶航空器100面向水平方向(垂直方向的法线方向)从侧方对被摄体BL的侧面进行拍摄。终端控制部81输入并获取飞行范围、飞行高度、摄像图像的摄像范围、拍摄分辨率等信息作为与飞行路径设置有关的参数。终端控制部81可以获取初始摄像范围、高度、位置、拍摄距离、拍摄位置间隔、摄像部的视角、摄像范围的重叠率等。此外,终端控制部81可以获取成为被摄体BL的物体的形状信息。终端控制部81可以接收并获取被摄体的识别信息。终端控制部81可以基于特别指定的被摄体的识别信息,经由通信部与外部服务器进行通信,接收并获取与被摄体的识别信息相对应的被摄体的形状信息、被摄体的大小信息。对于被摄体的形状信息,可以利用终端80或服务器等其他装置所保存的三维地图数据库,通过三维地图数据库的地图信息中所包含的建筑物、道路等三维信息(例如多边形数据)来获取外形形状的三维形状数据。
作为飞行路径的设置方法的一个示例,终端控制部81相对于被摄体BL的垂直方向的高度,例如将对最高的高度的摄像范围进行拍摄的、在大致水平方向飞行的飞行路线设为初始飞行路线(第一飞行路线)FC1,并设置在被摄体BL的最高高度部分附近回旋的初始飞行路线FC1。飞行路线可以具有高度(拍摄高度)不同的多个飞行路线。飞行路线可以形成为以上空侧为起点,高度随着在飞行路径上前进而下降。终端控制部81设置下一飞行路线(第二飞行路线)FCx,该路线在被摄体BL的垂直方向上间隔垂直拍摄间隔,并按各垂直拍摄间隔Dv变更高度。这里,终端控制部81可以根据输入参数等设置的预定拍摄分辨率,来设置被摄体BL的垂直方向上的垂直拍摄间隔的Dv。终端控制部81可以根据无人驾驶航空器100的摄像部的垂直视角、拍摄分辨率等输入预设的垂直拍摄间隔Dv。各飞行路线为无人驾驶航空器100在被摄体BL的周围的水平方向(即飞行高度几乎没有改变)回旋飞行的飞行路径。各飞行路线的高度被布置成使得在垂直方向上相邻的飞行路线的拍摄位置处的摄像图像所涉及的摄像范围部分重叠。这样,作为无人驾驶航空器100的飞行路径,设置从被摄体BL的侧面的顶部到底部不同高度的水平飞行路线FC1,FCx...,使无人驾驶航空器100根据这些飞行路线飞行,并在被摄体BL侧面回旋的同时进行拍摄。另外,无人驾驶航空器100的飞行路线可以形成为以地面侧为起点,高度随着在飞行路径前进而上升。关于飞行路线,初始飞行路线FC1和其他飞行路线FCx的设置、飞行高度的顺序是任意的,例如从低于被摄体BL的高度开始飞行。
图7是说明作为移动路线的一个示例的,在预定高度的水平面上的飞行路线的设置例的第一示例的图。图7示出了预定高度处的被摄体BL的外形形状的横截面。作为飞行路线的设置方法的第一示例,终端控制部81获取被摄体BL的外形形状,计算出与外形形状间隔成具有预定拍摄距离DP的外侧路径,并将该外侧路径设置为飞行路线FCx1。这里,终端控制部81可以基于由输入参数等设置的预定拍摄分辨率来设置拍摄距离DP。终端控制部81可以输入预设的拍摄距离DP。被摄体BL的外形形状数据例如可以包括多边形数据。可以基于被摄体BL的外形形状数据,通过pair-wise offset法、polygon offsetting by computingwinding numbers等多边形偏移法(多边形扩展法)计算出外侧路径。
图8是用于说明作为移动路线的一个示例的,在预定高度的水平面上的飞行路线的设置示例的第二示例的图。第二示例是第一示例的变形例,示出了根据被摄体BL的外形形状的具有合适拍摄距离的飞行路线的计算示例。作为飞行路线的设置方法的第二示例,终端控制部81获取被摄体BL的外形形状,基于预定拍摄距离DP计算与外形形状对应的拍摄距离DPa,并计算出间隔成具有该拍摄距离DPa的外侧路径设定为飞行路线FCx2。在第二示例的飞行路线FCx2中,与第一示例的飞行路线FCx1相比,在被摄体BL的外形形状突出的部分处将拍摄距离设置得更短。
在第二示例中,根据被摄体BL的外形形状数据中的多边形顶点的内角θia,如下式(1)那样计算出拍摄距离DPa。
【式1】
Figure GPA0000287406280000171
在式(1)中,DP表示预先设定的拍摄距离,θia表示被摄体BL的外形形状数据中的多边形顶点的内角,*表示乘法的运算符。在这种情况下,当内角θia小于120°时,拍摄距离DPa比预定的拍摄距离DP短,并且在(1/2)DP到DP的范围内取与内角θia的大小相对应的值。也就是说,当外形形状的多边形顶点的内角或曲率较小时,拍摄距离DPa是较短的值。
另外,可以使用外形形状数据中的曲线的曲率来代替外形形状数据中的多边形顶点的内角θia,根据曲率类似地计算拍摄距离。
接下来,作为终端80的终端控制部81所具有的功能,对与拍摄控制信息的生成有关的功能进行说明。终端控制部81可以通过执行与拍摄控制信息的生成有关的处理,来执行与具有复杂形状的物体相对应的拍摄控制,该拍摄控制信息指示用于对物体的侧面进行拍摄的飞行路径上的拍摄位置和拍摄方向。
图9是用于说明在预定高度的飞行路线上的拍摄位置的设置示例的图。作为拍摄位置的设置方法的一个示例,终端控制部81在相对于被摄体BL的外形形状设置的飞行路线FCx上,在水平方向上间隔水平拍摄间隔Dh计算出以各水平拍摄间隔Dh划分飞行路径而得到的点,将各点设置为拍摄位置CP。这里,终端控制部81可以根据由输入参数等设置的预定拍摄分辨率,设置被摄体BL的水平方向上的水平拍摄间隔Dh。终端控制部81可以根据无人驾驶航空器100的摄像部的水平视角、拍摄分辨率等,输入预先设置的水平拍摄间隔Dh。设置拍摄位置CP时,终端控制部81确定并布置一个飞行路线FCx上的初始拍摄位置CP(最初拍摄位置CP),并以初始的拍摄位置CP作为基点,以各水平拍摄间隔Dh,按顺序在飞行路线FCx上等间隔地布置拍摄位置CP。在一个飞行路线中,最初拍摄位置和最后拍摄位置可以是比水平拍摄间隔Dh短的距离。水平拍摄间隔Dh可以是可变值,例如根据被摄体BL的外形形状设置不同的值。
拍摄位置间隔是空间上的拍摄间隔,并且是无人驾驶航空器100在飞行路径中应该拍摄图像的多个摄像位置中的相邻摄像位置之间的距离。终端控制部81将由摄像部220或230进行拍摄的摄像位置布置在飞行路径上。各个拍摄位置被布置成使得飞行路线中的相邻拍摄位置处的摄像图像所涉及的摄像范围部分重叠。这是为了能够使用多个摄像图像来推定三维形状。由于摄像部220或230具有预定视角,因此通过缩短拍摄位置间隔,两个摄像范围会有一部分重叠。
图10是用于说明飞行路线上的拍摄位置处的拍摄方向的算出示例的图。终端控制部81在每个设定的拍摄位置CP处,基于摄像范围中的被摄体BL的外形形状的侧面的法线方向来计算和设置适当的拍摄方向DIR。下面将描述拍摄方向DIR的计算方法的示例。首先,在包括拍摄位置CP的水平面中,对于位于摄像范围内的被摄体BL的外形形状BLS,考虑到从拍摄位置CP的视线被遮挡,以预定的间隔进行采样。对于采样点的个数、位置、间隔等,可以根据拍摄位置CP处的拍摄距离、被摄体BL的外形形状BLS等适当地设置。在图10的例子中,采样点为6个,以PS1、PS2、...PS6表示各采样点。然后,获取各采样点PS1~PS6的法线向量h1~h6,计算出当预定的参考方向(例如北)为0时的角度θ1~θ6(以θn表示)。然后,在每个采样点PS1~PS6处,根据式(2)计算出权重w1~W6(以wn表示)。
【式2】
Figure GPA0000287406280000181
在式(2)中,dn、dm表示从各采样点PS1~PS6到拍摄位置CP的距离,e-dn表示从每个采样点到拍摄位置CP的距离的负指数函数,∑e-dm是所有采样点PS1~PS6到拍摄位置CP的距离的负指数函数的总和。在这种情况下,对于每个采样点,距离越短,权重wn越大,重要性越高。
接下来,通过下式(3)计算出示出被摄体BL相对于拍摄位置CP的朝向的被摄体方向DIRsub。
【式3】
Figure GPA0000287406280000191
在式(3)中,wn表示通过上述式(2)求得的每个采样点的权重,e1θn表示每个采样点的法线向量的角度θn的复指数函数,M表示采样点的总数(图10中的示例为6)。在这种情况下,被摄体方向DIRsub相当于角度θn的加权平均值,其中,角度θn是对于被摄体BL的外形形状BLS的每个采样点PSn,法线向量相对于参考方向的角度。也就是说,每个采样点的法线向量的角度的加权平均值是从每个采样点面向拍摄位置CP的角度的代表值。
然后,通过下式(4)计算拍摄位置CP处的拍摄方向DIR。拍摄方向与被摄体方向DIRsub相反,并且是与被摄体BL的侧面相对的方向。
【式4】
DIR=DIRsub-180…(4)
通过根据式(4)计算出将根据式(3)求得的被摄体方向DIRsub反转180度而获取的相反方向,可以获取当从拍摄位置CP拍摄被摄体BL时的一个适当方向,即拍摄方向DIR。
上述拍摄方向的计算方法的一个示例示出了水平面上的拍摄方向的算出示例,并且可以根据飞行路线、拍摄位置、拍摄距离、被摄体的外形形状等考虑其他参数而适当地计算。另外,关于垂直方向上的拍摄方向,其不限于在与水平面一致的方向上设定,而是可以适当地设置,例如将拍摄方向设置为向上或向下倾斜预定角度。
终端控制部81可以根据生成的飞行路径控制无人驾驶航空器100的飞行。终端控制部81可以将包括所生成的飞行路径的飞行控制信息发送到无人驾驶航空器100,并使无人驾驶航空器100根据飞行路径飞行。终端控制部81或无人驾驶航空器100的UAV控制部110可以使摄像部220或摄像部230在飞行路径途中的拍摄位置处对被摄体进行拍摄。无人驾驶航空器100可以围绕被摄体的侧方旋转并沿着飞行路径飞行。因此,摄像部220,230可以在飞行路径中的拍摄位置处对被摄体的侧面进行拍摄。由摄像部220,230拍摄的摄像图像可以保存在无人驾驶航空器100的内存160或终端80的内存87中。
[拍摄控制操作的具体示例]
接下来,对利用终端80的拍摄控制的操作的具体示例进行说明。在以下操作示例中,示出了与上述图6至图10中的飞行路径以及拍摄控制信息的生成方法的一个示例相对应的处理操作。在本示例中,作为信息处理装置的处理部的一个示例的终端80的终端控制部81主动执行处理。
图11是示出实施方式中的拍摄控制操作的第一示例的流程图。终端80的终端控制部81输入并获取包括用于被摄体BL的拍摄的整体飞行范围、高度、位置等的信息作为飞行参数(S11)。终端控制部81可以根据获取对象的摄像图像的摄像范围、拍摄分辨率等信息来计算出并获取整体飞行范围、高度和位置。飞行参数可以通过用户的输入操作输入到终端80,或者可以从网络上的服务器等接收必要的信息来获取。
终端控制部81获取拍摄分辨率的信息,计算出根据飞行参数的飞行中拍摄所需的拍摄位置的间隔(前后方向(水平拍摄间隔Dh)和上下方向(垂直拍摄间隔Dv))(S12)。然后,终端控制部81获取初始飞行路线的高度、飞行范围(S13)。在本操作示例中,基于用于拍摄被摄体BL的整体飞行范围,将初始飞行路线的高度设置在被摄体BL的高度的上端附近。初始飞行高度(初始高度)可以由用户的输入操作指示终端控制部81,也可以获取预定的设置值,或者,也可以根据飞行参数、被摄体BL的外形形状等适当地确定。初始飞行路线的飞行范围(初始飞行范围)可以基于初始飞行路线的高度和被摄体BL的外形形状来适当地计算并获取。
然后,终端控制部81获取被摄体BL的外形形状的形状数据作为拍摄对象的形状(S14)。被摄体BL的外形形状例如可以从物体的设计图等设计数据获取,或者可以通过对预先粗略地拍摄物体的侧面而获取的摄像图像进行外形的形状推定来获取形状数据。摄像图像可以包括侧方的摄像图像以及垂直向下方向上详细拍摄物体得到的下方的摄像图像。可以从上空向下方拍摄被摄体BL的摄像图像来获取被摄体BL在水平面上的外形形状。
接下来,终端控制部81基于所获取的被摄体BL的外形形状来计算初始飞行路线的高度处的目标外周的飞行路线(外侧路线、初始飞行路线FC1)(S15)。终端控制部81可以计算出上述第一示例的飞行路线FCx1或第二示例的飞行路线FCx2作为飞行路线。
然后,终端控制部81基于前后方向上的拍摄间隔(水平拍摄间隔Dh)划分飞行路径来计算拍摄位置CP(S16)。接下来,终端控制部81计算出每个拍摄位置CP处的对应于被摄体BL的外形形状的适当的拍摄方向DIR(S17)。终端控制部81可以根据上述式(2)至(4)计算拍摄方向DIR。
接下来,终端控制部81基于上下方向上的拍摄间隔(垂直拍摄间隔Dv)计算下一飞行路线的高度,并设置下一飞行路线的飞行范围(S18)。然后,终端控制部81判定下一飞行路线的高度是否等于或小于预定的结束高度(S19)。基于用于拍摄被摄体BL的整体飞行范围,将结束高度设置在被摄体BL的高度的下端附近。
当下一飞行路线的高度高于结束高度时(S19,否),终端控制部81计算下一飞行路线的高度处的目标外周的飞行路线(外侧路线、飞行路线FCx)(S15)。此后,同样地,计算下一飞行路线FCx中的拍摄位置CP(S16),并且计算每个拍摄位置CP处的拍摄方向DIR(S17)。然后,终端控制部81还计算下一飞行路线的高度,并设置下一飞行路线的飞行范围(S18)。重复执行上述步骤S15至S19的处理,直到下一飞行路线的高度等于或小于结束高度。另外,对于每个飞行路线,可以获取飞行高度附近的被摄体BL的外形形状,进行下一飞行路线的计算以及飞行路线上的拍摄位置、拍摄方向的计算。
当下一飞行路线的高度等于或小于结束高度时(S19,是),终端控制部81将飞行路径设为终点,并设置为飞行结束(S20)。然后,终端控制部81结束飞行路径和拍摄控制信息的生成所涉及的拍摄控制操作的处理。
终端控制部81将包括飞行路线FC1,FCx、拍摄位置CP和拍摄方向DIR的飞行路径及拍摄控制信息作为飞行控制信息通过通信部85发送到无人驾驶航空器100,通过无人驾驶航空器100执行飞行以及拍摄。无人驾驶航空器100根据飞行控制信息沿飞行路线FC1,FCx飞行,并且在每个拍摄位置CP处设置的拍摄方向DIR上拍摄被摄体BL。
在上述第一示例中,终端控制部81在利用无人驾驶航空器100进行拍摄前,设置飞行路线、拍摄位置以及拍摄方向并生成拍摄控制信息,将包括拍摄控制信息的飞行控制信息发送到无人驾驶航空器100。然后,无人驾驶航空器100根据飞行控制信息飞过每个飞行路线并执行拍摄。由此,可以预先设置在所有高度的适当的飞行路径、拍摄位置和拍摄方向并执行拍摄。
图12是示出实施方式中的拍摄控制操作的第二示例的流程图。第二示例是第一示例的变形例,并且是在按每个预定高度的飞行路线飞行并进行拍摄的同时,计算出下一飞行路线,以及计算出飞行路线上的拍摄位置、拍摄方向的操作示例。
如在第一示例中那样,终端80的终端控制部81输入并获取包括用于被摄体BL的拍摄的整体飞行范围、高度、位置等的信息作为飞行参数(S31)。终端控制部81可以根据获取对象的摄像图像的摄像范围、拍摄分辨率等信息来计算出并获取整体飞行范围、高度和位置。飞行参数可以通过用户的输入操作输入到终端80,或者可以从网络上的服务器等接收必要的信息来获取。
终端控制部81获取拍摄分辨率的信息,计算出根据飞行参数的飞行中拍摄所需的拍摄位置的间隔(前后方向(水平拍摄间隔Dh)和上下方向(垂直拍摄间隔Dv))(S32)。然后,终端控制部81获取初始飞行路线的高度、飞行范围(S33)。在本操作示例中,基于用于拍摄被摄体BL的整体飞行范围,将初始飞行路线的高度设置在被摄体BL的高度的上端附近。初始飞行高度(初始高度)可以由用户的输入操作指示终端控制部81,也可以获取预定的设置值,或者,也可以根据飞行参数、被摄体BL的外形形状等适当地确定。初始飞行路线的飞行范围(初始飞行范围)可以基于初始飞行路线的高度和被摄体BL的外形形状来适当地计算并获取。
然后,终端控制部81获取被摄体BL的外形形状的形状数据作为拍摄目标的形状(S34)。被摄体BL的外形形状例如可以从物体的设计图等设计数据获取,或者可以通过对预先粗略地拍摄物体的侧面而获取的摄像图像进行外形的形状推定来获取形状数据。
接下来,终端控制部81基于所获取的被摄体BL的外形形状来计算初始飞行路线的高度处的目标外周的飞行路线(外侧路线、初始飞行路线FC1)(S35)。终端控制部81可以计算出上述第一示例的飞行路线FCx1或第二示例的飞行路线FCx2作为飞行路线。
然后,终端控制部81基于前后方向上的拍摄间隔(水平拍摄间隔Dh)划分飞行路径来计算拍摄位置CP(S36)。接下来,终端控制部81计算出每个拍摄位置CP处的对应于被摄体BL的外形形状的适当的拍摄方向DIR(S37)。终端控制部81可以根据上述式(2)至(4)计算拍摄方向DIR。
然后,终端控制部81将包括计算出的飞行路线(初始飞行路线FC1)、拍摄位置CP、拍摄方向DIR的飞行控制信息发送到无人驾驶航空器100,由无人驾驶航空器100执行初始飞行路线FC1的飞行,并使其在每个拍摄位置CP处设置的拍摄方向DIR上执行拍摄(S38)。无人驾驶航空器100根据飞行控制信息沿飞行路线FC1飞行,并且在每个拍摄位置CP处设置的拍摄方向DIR上拍摄被摄体BL。
接下来,终端控制部81基于上下方向上的拍摄间隔(垂直拍摄间隔Dv)计算下一飞行路线的高度,并设置下一飞行路线的飞行范围(S39)。然后,终端控制部81判定下一飞行路线的高度是否等于或小于预定的结束高度(S40)。基于用于拍摄被摄体BL的整体飞行范围,将结束高度设置在被摄体BL的高度的下端附近。
当下一飞行路线的高度高于结束高度时(S40,否),终端控制部81获取下一飞行路线的高度处飞行高度附近的被摄体BL的外形形状(S34)。然后,终端控制部81基于所获取的被摄体BL的外形形状,计算下一飞行路线的高度处的目标外周的飞行路线(外侧路线、飞行路线FCx)(S35)。此后,同样地,计算下一飞行路线FCx中的拍摄位置CP(S36),并且计算每个拍摄位置CP处的拍摄方向DIR(S37)。
终端控制部81可以基于多个拍摄图像,计算飞行路线FCx、拍摄位置CP、拍摄方向DIR,上述多个摄像图像是通过先前的飞行路线的下一拍摄所获取的被摄体的信息的一个示例。终端控制部81可以基于被摄体BL的外形形状的形状数据等来计算飞行路线FCx、拍摄位置CP、拍摄方向DIR。计算并设置飞行高度的飞行路线的方法并不限于使用通过无人驾驶航空器100的航拍获取的多个摄像图像这一方法。例如,可以使用来自无人驾驶航空器100所包含的红外线测距仪(未示出)的红外线或是来自激光测量仪290的激光束和GPS位置信息作为被摄体信息的一个示例,来算出并设置下一飞行高度的飞行路线。此外,终端控制部81可以使用最初获取的被摄体BL的外形形状信息,代替获取每个飞行路线的飞行高度附近的被摄体BL的外形形状,来计算每个飞行路线以及飞行路线上的拍摄位置、拍摄方向。
终端控制部81将包括已生成的下一飞行路线FCx、拍摄位置CP、拍摄方向DIR的飞行路径以及拍摄控制信息作为飞行控制信息通过通信部85发送到无人驾驶航空器100,并由无人驾驶航空器100执行下一飞行路线FCx的飞行,并在每个拍摄位置CP处设置的拍摄方向DIR上执行拍摄(S38)。无人驾驶航空器100根据飞行控制信息沿飞行路线FCx飞行,并且在每个拍摄位置CP处设置的拍摄方向DIR上拍摄被摄体BL。然后,终端控制部81还计算下一飞行路线的高度,并设置下一飞行路线的飞行范围(S39)。重复执行上述步骤S35至S40的处理,直到下一飞行路线的高度等于或小于结束高度。
当下一飞行路线的高度等于或小于结束高度时(S40,是),终端控制部81将飞行路径设为终点,并设置为飞行结束(S41)。然后,终端控制部81通过通信部85将飞行结束的飞行控制信息发送到无人驾驶航空器100,终止无人驾驶航空器100的飞行,并结束拍摄控制操作的处理。
在上述第二示例中,终端控制部81对每个预定高度的飞行路线,设置飞行路线、拍摄位置和拍摄方向并生成拍摄控制信息,并将包括拍摄控制信息的飞行控制信息发送到无人驾驶航空器100。当无人驾驶航空器100根据飞行控制信息沿相应的高度的飞行路线飞行并执行拍摄的同时,终端控制部81设置下一高度的飞行路线、拍摄位置和拍摄方向,并生成拍摄控制信息。由此,对于每个高度的每个飞行路线,可以设置适当的飞行路径、拍摄位置和拍摄方向并执行拍摄。例如,当被摄体是具有不规则形状的建筑物时,被摄体的中心位置或外形形状可以根据高度而进行多样地变化。即使在这种情况下,通过依次设置根据被摄体的外形形状的飞行路线并执行拍摄,也可以执行在最佳拍摄位置、拍摄方向上的对被摄体侧面的拍摄。
另外,可以由无人驾驶航空器100的UAV控制部110进行上述第一示例或第二示例中的飞行路线、拍摄位置、拍摄方向的计算和设置。可以在终端80、无人驾驶航空器100或其他具有信息处理装置的设备中执行本公开所涉及的拍摄控制操作。
终端控制部81可以通过上述第一示例或第二示例的拍摄控制操作,获取在每个飞行高度的飞行路线中拍摄被摄体BL的侧面而获取的多个摄像图像,并基于这些摄像图像推定被摄体BL的三维形状。终端控制部81可以基于多个摄像图像来生成示出物体(被摄体)的立体形状(三维形状)的立体信息(三维信息、三维形状数据)。摄像图像可以用作用于恢复三维形状数据的一个图像。用于恢复三维形状数据的摄像图像可以是静止图像。作为基于多个摄像图像的三维形状数据生成方法,可以使用已知方法。作为已知方法,例如包括MVS(Multi View Stereo,多视角立体视觉算法),PMVS(Patch-based MVS,基于面片的多视角立体视觉算法)和SfM(Structure from Motion,运动恢复结构算法)。被摄体BL的三维形状推定所涉及的处理可以在完成所有飞行路线中的拍摄之后进行,也可以在多个飞行路线中的每次拍摄时进行,也可以在各飞行路线中的每次拍摄时进行。被摄体BL的三维形状推定所涉及的处理可以在终端80、无人驾驶航空器100或其他具有信息处理装置的设备上进行。
在上述构成示例中,终端控制部81获取被摄体BL的外形形状信息,并且基于对应于外形形状信息的拍摄距离DP,DPa生成作为用于拍摄被摄体BL的侧面的移动路线的飞行路线FCx。终端控制部81设置飞行路线FCx上的拍摄位置CP,并基于被摄体侧面的法线方向设置拍摄位置CP处的拍摄方向DIR。由此,可以计算并设置用于拍摄被摄体的侧面的适当的飞行路线、拍摄位置和拍摄方向。换言之,可以设置摄像位置、拍摄方向,该摄像位置、拍摄方向可进行从侧方观察物体即被摄体的状态下的详细拍摄。即使是拍摄复杂形状的建筑物等作为被摄体时,也可以容易地设置用于获取被摄体侧面的详细摄像图像的合适的飞行路线、拍摄位置和拍摄方向。因此,可以获取为了进行高精度的三维形状推定所需的适当拍摄距离、拍摄方向、画质、分辨率的摄像图像。此外,可以省略由用户进行的路线设置、拍摄信息的指示等输入操作,可以使飞行路径和拍摄控制信息的设置操作自动化,能够容易地设置合适的飞行路径、拍摄位置、拍摄方向。此外,当拍摄距离设置地较短时,可以避免飞行体撞到物体。
终端控制部81可以计算出与被摄体BL的侧面的外形形状间隔成具有预定的拍摄距离DP的外形路径,并将外形路径设置为移动路线(飞行路线FCx)。由此,可以容易地计算并设置对应于被摄体的外形形状的适当的飞行路径。终端控制部81可以根据被摄体BL的外形形状数据中的多边形顶点的内角或外形形状的曲率来计算出拍摄距离DPa,并计算出间隔成具有经算出的拍摄距离DPa的外形路径,将外形路径设置为移动路线(飞行路线FCx)。由此,可以容易地计算并设置对应于被摄体的外形形状的适当的飞行路径。此外,当外形形状数据的多边形顶点的内角或外形的曲率较小时,即当外形形状中存在突出部分时,可以缩短拍摄距离,设置适当的飞行路径。在这种情况下,可以避免从拍摄位置看到的被摄体的侧面的角度变得太小,可以减小倾斜方向上的较小角度的拍摄,并且可以减少阴影部分、视线遮挡部分,并尽可能地在接近正面方向的方向上进行拍摄。因此,可以获取具有为了进行高精度的三维形状推定所需的适当信息量的摄像图像。
终端控制部81可以生成针对被摄体BL的侧面在预定高度沿大致水平方向飞行的飞行路线作为飞行路径。例如,可以设置在初始高度飞行的初始飞行路线FC1,然后设置以预定高度下降或上升的高度处的下一飞行路线FCx。终端控制部81可以生成针对被摄体的侧面的预定高度的第一飞行路线作为飞行路径,并且生成以预定的垂直拍摄间隔来改变高度的第二飞行路线。例如,可以设置在初始高度飞行的初始飞行路线FC1,然后设置以预定垂直拍摄间隔Dv下降或上升的高度处的下一飞行路线FCx。
终端控制部81可以计算将作为飞行路径的飞行路线FCx以预定的水平拍摄间隔Dh进行划分而得到的点,并将各点设置为拍摄位置CP。终端控制部81可以计算拍摄位置CP的摄像范围中被摄体BL的外形形状的法线方向的代表值,并且可以根据代表值来设置拍摄方向DIR。终端控制部81可以以预定间隔对被摄体BL的外形形状进行采样,根据到各采样点的拍摄位置CP的距离进行加权,并计算各采样点的法线方向的角度相对于预定参考方向的加权平均值,将基于加权平均值的方向设置为拍摄方向DIR。由此,可以根据每个拍摄位置处的被摄体的外形形状的方向以及位置关系来计算和设置适当的拍摄方向。因此,当拍摄被摄体的侧面时,可以减小阴影部分、视线遮挡部分,并且可以尽可能地在靠近正面方向的方向上拍摄,并可以获取具有为了进行高精度的三维形状推定所需的适当信息量的摄像图像。
终端控制部81生成包括拍摄位置CP和拍摄方向DIR的拍摄控制信息,并且通过通信部85将包括拍摄控制信息的飞行控制信息发送到飞行体,并执行与被摄体的侧面拍摄相关的飞行以及拍摄。由此,根据设置的飞行路径和拍摄控制信息来控制飞行体,使其在被摄体的侧部周围飞行,并适当地执行对被摄体侧面的拍摄。因此,可以使用于被摄体的侧面拍摄的飞行路径和拍摄控制信息的设置,以及使拍摄时的飞行和拍摄操作自动化,并容易地获取适当的摄像图像。
终端控制部81,可以生成针对被摄体的侧面的在预定高度沿大致水平方向飞行的飞行路线作为飞行路径,并在预定高度的第一飞行路线(例如,初始飞行路线FC1)中,生成包括拍摄位置CP以及拍摄方向DIR的拍摄控制信息,并将包含第一飞行路线中的拍摄控制信息的飞行控制信息通过通信部85发送到飞行体,使飞行体执行沿第一飞行路线的飞行以及对被摄体侧面的拍摄,并生成相对与第一飞行路线以预定的垂直拍摄间隔来改变高度的第二飞行路线(例如,下一飞行路线FCX),在第二飞行路线,生成包括拍摄位置CP和拍摄方向DIR的拍摄控制信息,并将包括第二飞行路线中的拍摄控制信息的飞行控制信息通过通信部85发送到飞行体,使飞行体执行沿第二飞行路线的飞行以及对被摄体的侧面拍摄。由此,能够生成在预定高度沿大致水平方向飞行的飞行路线以使飞行体飞行,并且在按每个飞行路线对被摄体的侧面进行拍摄的同时,进行下一飞行路线、拍摄位置以及拍摄方向的设置。因此,可以使用于被摄体的侧面拍摄的飞行路径和拍摄控制信息的设置,以及使拍摄时的飞行和拍摄操作自动化,并容易地获取适当的摄像图像。
另外,在上述实施方式中,执行拍摄控制方法中的步骤的信息处理装置已被示例为包括在终端80中,但是信息处理装置也可以设置在无人驾驶航空器100或其他平台(PC、服务器装置等)中,并执行拍摄控制方法中的步骤。
以上使用实施方式对本公开进行了说明,但是本公开所涉及的发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说,显然可以对上述实施方式加以各种变更或改良。从权利要求书的描述即可明白,加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书以及说明书附图中所示的装置、系统、程序以及方法中的操作、顺序、步骤以及阶段等各项处理的执行顺序,只要没有特别明示“在...之前”、“事先”等,且只要前面处理的输出并不用在后面的处理中,则可以以任意顺序实现。关于权利要求书、说明书以及附图中的操作流程,为方便起见而使用“首先”、“接着”等进行了说明,但并不意味着必须按照这样的顺序实施。

Claims (22)

1.一种信息处理装置,其生成用于通过移动体对被摄体进行拍摄的拍摄控制信息,其特征在于,包含处理部,
所述处理部获取所述被摄体的外形形状信息;
基于与所述外形形状信息对应的拍摄距离生成用于拍摄所述被摄体的侧面的移动路径;
设置所述移动路径上的拍摄位置;
并基于所述被摄体侧面的法线方向设置所述拍摄位置处的拍摄方向;
其中,与所述外形形状信息对应的拍摄距离是所述处理部根据所述被摄体的外形形状数据中的多边形顶点的内角或所述被摄体的外形形状的曲率来计算得到的。
2.根据权利要求1所述的信息处理装置,其特征在于:
所述处理部计算出与所述被摄体的侧面的外形形状间隔成具有预定的拍摄距离的外形路径,并将所述外形路径设置为移动路线,作为所述移动路径。
3.根据权利要求1或2所述的信息处理装置,其特征在于,
所述处理部根据所述被摄体的外形形状数据中的多边形顶点的内角或所述被摄体的外形形状的曲率来计算出拍摄距离,并计算出间隔成具有经算出的拍摄距离的外形路径,将所述外形路径设置为移动路线,作为所述移动路径。
4.根据权利要求1所述的信息处理装置,其特征在于,
所述处理部生成相对于所述被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为所述移动路径。
5.根据权利要求4所述的信息处理装置,其特征在于,
所述处理部生成相对于所述被摄体的侧面在预定高度的第一飞行路线,并生成以预定的垂直拍摄间隔来改变高度的第二飞行路线 ,作为所述移动路径。
6.根据权利要求1所述的信息处理装置,其特征在于,
所述处理部计算出将所述移动路径以预定的水平拍摄间隔进行划分而得到的点,并将各点设置为所述拍摄位置。
7.根据权利要求1所述的信息处理装置,其特征在于,
所述处理部计算出在所述拍摄位置的摄像范围内的所述被摄体的外形形状的法线方向的代表值,并通过所述代表值来设置所述拍摄方向。
8.根据权利要求7所述的信息处理装置,其特征在于,
所述处理部以预定间隔对所述被摄体的外形形状进行采样,根据到各采样点的所述拍摄位置的距离进行加权,计算出各采样点的法线方向的角度相对于预定参考方向的加权平均值,并将基于所述加权平均值的方向设置为所述拍摄方向。
9.根据权利要求1所述的信息处理装置,其特征在于,
还包含通信部,
所述处理部生成包括所述拍摄位置和所述拍摄方向的拍摄控制信息,通过所述通信部将包括所述拍摄控制信息的飞行控制信息发送到所述移动体,并使所述移动体执行与所述被摄体的侧面拍摄相关的飞行以及拍摄。
10.根据权利要求1所述的信息处理装置,其特征在于,
还包含通信部,
所述处理部生成相对于所述被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为所述移动路径,并在预定高度的第一飞行路线上,生成包括所述拍摄位置和所述拍摄方向的拍摄控制信息,通过所述通信部将所述第一飞行路线中包括拍摄控制信息的飞行控制信息发送到所述移动体,使所述移动体执行所述第一飞行路线的飞行以及所述被摄体的侧面拍摄,
生成相对于所述第一飞行路线,以预定的垂直拍摄间隔来改变高度的第二飞行路线 ,在所述第二飞行路线上,生成包括所述拍摄位置和所述拍摄方向的拍摄控制信息,通过所述通信部将所述第二飞行路线中包括拍摄控制信息的飞行控制信息发送到所述移动体,使所述移动体执行所述第二飞行路线的飞行以及所述被摄体的侧面拍摄。
11.根据权利要求1所述的信息处理装置,其特征在于,
所述移动体是飞行体。
12.一种生成用于通过移动体对被摄体进行拍摄的拍摄控制信息的信息处理装置的拍摄控制方法,其特征在于,具有以下步骤:
获取所述被摄体的外形形状信息;
基于与所述外形形状信息对应的拍摄距离生成用于拍摄所述被摄体的侧面的移动路径;
设置所述移动路径上的拍摄位置;
并基于所述被摄体侧面的法线方向设置所述拍摄位置处的拍摄方向;
其中,与所述外形形状信息对应的拍摄距离是处理部根据所述被摄体的外形形状数据中的多边形顶点的内角或所述被摄体的外形形状的曲率来计算得到的。
13.根据权利要求12所述的拍摄控制方法,其特征在于,
所述基于与所述外形形状信息对应的拍摄距离生成用于拍摄所述被摄体的侧面的移动路径包括:
计算出与所述被摄体的侧面的外形形状间隔成具有预定的拍摄距离的外形路径,并将所述外形路径设置为移动路线,作为所述移动路径的步骤。
14.根据权利要求12或13所述的拍摄控制方法,其特征在于,
所述基于与所述外形形状信息对应的拍摄距离生成用于拍摄所述被摄体的侧面的移动路径包括:
根据所述被摄体的外形形状数据中的多边形顶点的内角或所述被摄体的外形形状的曲率来计算出拍摄距离,并计算出间隔成具有经算出的拍摄距离的外形路径,将所述外形路径设置为移动路线,作为所述移 动路径的步骤。
15.根据权利要求12所述的拍摄控制方法,其特征在于,
所述基于与所述外形形状信息对应的拍摄距离生成用于拍摄所述被摄体的侧面的移动路径包括:
生成相对于所述被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为所述移动路径的步骤。
16.根据权利要求15所述的拍摄控制方法,其特征在于,
所述基于与所述外形形状信息对应的拍摄距离生成用于拍摄所述被摄体的侧面的移动路径包括:
生成相对于所述被摄体的侧面在预定高度的第一飞行路线,并生成以预定的垂直拍摄间隔来改变高度的第二飞行路线 ,作为所述移动路径的步骤。
17.根据权利要求12所述的拍摄控制方法,其特征在于,
所述设置所述移动路径上的拍摄位置包括:
计算出将所述移动路径以预定的水平拍摄间隔进行划分而得到的点,并将各点设置为所述拍摄位置的步骤。
18.根据权利要求12所述的拍摄控制方法,其特征在于,
所述设置所述移动路径上的拍摄位置包括:
计算出在所述拍摄位置的摄像范围内的所述被摄体的外形形状的法线方向的代表值,并通过所述代表值来设置所述拍摄方向的步骤。
19.根据权利要求18所述的拍摄控制方法,其特征在于,
所述设置所述移动路径上的拍摄位置包括:
以预定间隔对所述被摄体的外形形状进行采样,根据到各采样点的所述拍摄位置的距离进行加权,并计算出各采样点的法线方向的角度相对于预定参考方向的加权平均值,并将基于所述加权平均值的方向设置为所述拍摄方向的步骤。
20.根据权利要求12所述的拍摄控制方法,其特征在于,
还包括以下步骤:生成包括所述拍摄位置和所述拍摄方向的拍摄控制信息,将所述拍摄控制信息的飞行控制信息发送到所述移动体,并使所述移动体执行与所述被摄体的侧面拍摄相关的飞行与拍摄。
21.根据权利要求12所述的拍摄控制方法,其特征在于,还包括以下步骤:
生成相对于所述被摄体的侧面在预定高度的大致水平方向上飞行的飞行路线,作为所述移动路径,并在预定高度的第一飞行路线上,生成包括所述拍摄位置和所述拍摄方向的拍摄控制信息;
将所述第一飞行路线中包括拍摄控制信息的飞行控制信息发送到所述移动体,使所述移动体执行所述第一飞行路线的飞行以及所述被摄体的侧面拍摄;
生成相对于所述第一飞行路线,以预定的垂直拍摄间隔来改变高度的第二飞行路线,在所述第二飞行路线上,生成包括所述拍摄位置和所述拍摄方向的拍摄控制信息;
并将所述第二飞行路线中包括拍摄控制信息的飞行控制信息发送到所述移动体,使所述移 动体执行所述第二飞行路线的飞行以及所述被摄体的侧面拍摄。
22.一种计算机可读存储介质,其特征在于,其记录有用以使生成用于通过移动体对被摄体进行拍摄的拍摄控制信息的信息处理装置执行以下步骤的程序:
获取所述被摄体的外形形状信息;
基于与所述外形形状信息对应的拍摄距离生成用于拍摄所述被摄体的侧面的移动路径;
设置所述移动路径上的拍摄位置;
并基于所述被摄体侧面的法线方向设置所述拍摄位置处的拍摄方向;
其中,与所述外形形状信息对应的拍摄距离是处理部根据所述被摄体的外形形状数据中的多边形顶点的内角或所述被摄体的外形形状的曲率来计算得到的。
CN201980005048.2A 2018-08-29 2019-08-21 信息处理装置、拍摄控制方法、程序以及记录介质 Active CN111213107B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-160605 2018-08-29
JP2018160605A JP6940459B2 (ja) 2018-08-29 2018-08-29 情報処理装置、撮影制御方法、プログラム及び記録媒体
PCT/CN2019/101753 WO2020042980A1 (zh) 2018-08-29 2019-08-21 信息处理装置、拍摄控制方法、程序以及记录介质

Publications (2)

Publication Number Publication Date
CN111213107A CN111213107A (zh) 2020-05-29
CN111213107B true CN111213107B (zh) 2022-08-16

Family

ID=69645025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005048.2A Active CN111213107B (zh) 2018-08-29 2019-08-21 信息处理装置、拍摄控制方法、程序以及记录介质

Country Status (4)

Country Link
US (1) US20210185235A1 (zh)
JP (1) JP6940459B2 (zh)
CN (1) CN111213107B (zh)
WO (1) WO2020042980A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181553A1 (ja) * 2020-03-11 2021-09-16 日本電気株式会社 ルート設定装置、ルート設定方法、及びプログラム
JP6940670B1 (ja) * 2020-08-26 2021-09-29 株式会社エネルギア・コミュニケーションズ 無人飛行体の飛行経路作成方法及びシステム
WO2023086078A1 (en) * 2021-11-10 2023-05-19 Skydio, Inc. Contour scanning with an unmanned aerial vehicle
JP2023072353A (ja) * 2021-11-12 2023-05-24 株式会社Soken 移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
JP7785610B2 (ja) * 2022-05-16 2025-12-15 株式会社Nttドコモ 管理装置、及び画像表示システム
JPWO2024150626A1 (zh) * 2023-01-10 2024-07-18
JP7401068B1 (ja) * 2023-03-22 2023-12-19 株式会社センシンロボティクス 情報処理システム、情報処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108452A (ja) * 2000-10-03 2002-04-10 Nippon Sharyo Seizo Kaisha Ltd 無人搬送車の走行制御装置
CN104035446A (zh) * 2014-05-30 2014-09-10 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
CN106092054A (zh) * 2016-05-30 2016-11-09 广东能飞航空科技发展有限公司 一种电力线路识别精准定位导航方法
CN107463180A (zh) * 2016-06-02 2017-12-12 三星电子株式会社 电子设备及其操作方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4818748B2 (ja) * 2006-02-23 2011-11-16 公益財団法人鉄道総合技術研究所 長尺画像を用いた鉄道施設検査方法及びその装置
JP2011232825A (ja) * 2010-04-23 2011-11-17 Toyota Motor Corp カメラ位置決定方法
JP6581839B2 (ja) * 2015-08-11 2019-09-25 株式会社 ジツタ 構造物の状態検査方法
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
WO2018073879A1 (ja) * 2016-10-17 2018-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108452A (ja) * 2000-10-03 2002-04-10 Nippon Sharyo Seizo Kaisha Ltd 無人搬送車の走行制御装置
CN104035446A (zh) * 2014-05-30 2014-09-10 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
CN106092054A (zh) * 2016-05-30 2016-11-09 广东能飞航空科技发展有限公司 一种电力线路识别精准定位导航方法
CN107463180A (zh) * 2016-06-02 2017-12-12 三星电子株式会社 电子设备及其操作方法

Also Published As

Publication number Publication date
US20210185235A1 (en) 2021-06-17
JP6940459B2 (ja) 2021-09-29
WO2020042980A1 (zh) 2020-03-05
JP2020036163A (ja) 2020-03-05
CN111213107A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111213107B (zh) 信息处理装置、拍摄控制方法、程序以及记录介质
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP6962775B2 (ja) 情報処理装置、空撮経路生成方法、プログラム、及び記録媒体
CN110249281B (zh) 位置处理装置、飞行体、及飞行系统
JP6962812B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN111344650B (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
JP6675537B1 (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
US20210229810A1 (en) Information processing device, flight control method, and flight control system
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
JP6875269B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP7067897B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN111226093A (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体
WO2020119572A1 (zh) 形状推断装置、形状推断方法、程序以及记录介质
CN112313942A (zh) 一种进行图像处理和框架体控制的控制装置
WO2020108290A1 (zh) 图像生成装置、图像生成方法、程序以及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240515

Address after: Building 302 and 1402, Building 1, Senyang Electronic Science and Technology Park, Guangming High tech Park West Area, Tianliao Community, Yutang Street, Guangming District, Shenzhen City, Guangdong Province, 518132

Patentee after: Shenzhen Zhuojian Intelligent Manufacturing Co.,Ltd.

Country or region after: China

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right