[go: up one dir, main page]

WO2021039387A1 - 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム - Google Patents

制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021039387A1
WO2021039387A1 PCT/JP2020/030644 JP2020030644W WO2021039387A1 WO 2021039387 A1 WO2021039387 A1 WO 2021039387A1 JP 2020030644 W JP2020030644 W JP 2020030644W WO 2021039387 A1 WO2021039387 A1 WO 2021039387A1
Authority
WO
WIPO (PCT)
Prior art keywords
aerial vehicle
unmanned aerial
image
unit
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/030644
Other languages
English (en)
French (fr)
Inventor
辰吾 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US17/635,854 priority Critical patent/US12103663B2/en
Priority to CN202080058352.6A priority patent/CN114270284B/zh
Publication of WO2021039387A1 publication Critical patent/WO2021039387A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D25/00—Emergency apparatus or devices, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/20—Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/22—Arrangements for acquiring, generating, sharing or displaying traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/55—Navigation or guidance aids for a single aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/57—Navigation or guidance aids for unmanned aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Definitions

  • this technology reflects the user's intentions and makes it possible to reduce damage in the event of a failure of an unmanned aircraft.
  • Control devices, control methods, unmanned aircraft, information processing devices, information processing methods, and Regarding the program are included in the program.
  • Patent Document 1 describes a technique for estimating a fall range and detecting a person based on an image obtained by photographing the lower part of the machine, and controlling the machine so that the position of the person and the fall range do not overlap. Has been proposed.
  • Patent Document 1 it is necessary to determine the detection target in advance. Further, since the control of the airframe is entrusted to the self-sustaining control, it is not possible to reflect the values of the user who operates the unmanned aerial vehicle and the intention of the user according to the situation.
  • This technology was made in view of such a situation, and reflects the intention of the user so that the damage at the time of failure of the unmanned aerial vehicle can be reduced.
  • the control device on the first aspect of the present technology controls the movement of the unmanned aerial vehicle during a fall in response to a control command generated for an image showing the fall position taken by the unmanned aerial vehicle. It has a part.
  • the unmanned aerial vehicle which is the second aspect of the present technology, falls in response to an imaging unit that captures the surrounding situation and a control command that is generated for an image that captures the falling position, which is captured by the imaging unit. It is provided with a control unit that controls the movement of the unmanned aerial vehicle inside.
  • the information processing device on the third aspect of the present technology includes a display control unit that displays an image of the fall position captured by the unmanned aerial vehicle, and a control command used to control the movement of the unmanned aerial vehicle with respect to the image. It is provided with a generation unit for generating the above and a transmission unit for transmitting the control command to the unmanned aerial vehicle.
  • the movement of the unmanned aerial vehicle during the fall is controlled according to the control command generated for the image of the fall position captured by the unmanned aerial vehicle.
  • the movement of the unmanned aerial vehicle during the fall is controlled according to the control command generated for the image in which the surrounding situation is imaged and the fall position is captured.
  • an image showing the falling position captured by the unmanned aerial vehicle is displayed, and a control command used for controlling the movement of the unmanned aerial vehicle with respect to the image is generated, and the control command is generated. Is transmitted to the unmanned aerial vehicle.
  • FIG. 1 is a diagram showing a configuration example of a control system according to an embodiment of the present technology.
  • the control system of FIG. 1 is composed of an unmanned aerial vehicle 1 and a controller 2.
  • the unmanned aerial vehicle 1 is a so-called drone, and moves (flys) according to a signal from the controller 2.
  • the unmanned aerial vehicle 1 may be an autonomously moving vehicle. In FIG. 1, the unmanned aerial vehicle 1 is moving over the house O1 and the car O2 parked next to the house O1.
  • Unmanned aerial vehicle 1 is an aerial vehicle equipped with a camera. The image captured while the unmanned aerial vehicle 1 is moving is transmitted to the controller 2 by wireless communication as shown by the broken line arrow.
  • the image transmitted from the unmanned aerial vehicle 1 may be a moving image or a still image. Images may be transmitted by wired communication instead of wireless communication.
  • the controller 2 which is the radio of the unmanned aerial vehicle 1, receives the image transmitted from the unmanned aerial vehicle 1 and displays it on the smartphone 3.
  • the controller 2 is a device that uses the display of the smartphone 3 attached to the housing of the controller 2 as the display destination of the image captured by the camera of the unmanned aerial vehicle 1.
  • the user operates the controller 2 while viewing the image displayed on the smartphone 3 to control the unmanned aerial vehicle 1. be able to.
  • imaging is continued even while the unmanned aerial vehicle 1 is falling, and the falling image is presented to the user.
  • the user can control the movement of the unmanned aerial vehicle 1 by looking at the falling image.
  • FIG. 2 is a diagram showing a state at the time of falling.
  • the unmanned aerial vehicle 1 falls while rotating, for example, as shown by the dotted arrow A1.
  • the unmanned aerial vehicle 1 synthesizes information indicating the fall position with the image obtained by capturing the image with the camera at the time of the fall, and transmits the composite image to the controller 2.
  • the smartphone 3 attached to the controller 2 will display the composite image transmitted from the unmanned aerial vehicle 1.
  • the user can move the unmanned aerial vehicle 1 in the direction of avoiding the house O1 and the car O2 while looking at the composite image displayed on the smartphone 3.
  • the unmanned aerial vehicle 1 avoids the house O1 and the car O2 as shown by the solid line arrow A3 in response to the user performing an operation such as moving in the direction indicated by the white arrow A2. doing.
  • FIG. 3 is a diagram showing a display example of a composite image.
  • a composite image showing the falling position of the unmanned aerial vehicle 1 is displayed on the display 3A of the smartphone 3.
  • the drop position of the unmanned aerial vehicle 1 is an estimated position in consideration of surrounding environmental information such as wind speed.
  • the fall position of the unmanned aerial vehicle 1 is represented by the fall position image P.
  • the drop position image P is an image in which a cross is arranged in a circle. Fall position The center of the cross that constitutes the image P represents the fall position.
  • the drop position may be represented by a point or a region.
  • the drop position is the position on the house O1.
  • Car O2 is on the right side of house O1. If it falls as it is, the unmanned aerial vehicle 1 will collide with the house O1.
  • the user can avoid the object that is expected to collide while looking at the composite image, or even if it collides with the unmanned flying object 1, the damage is caused. It is possible to indicate the direction of movement of the unmanned vehicle 1 in the direction in which the number is considered to decrease. In the example of FIG. 3, the left direction on the composite image is the direction in which the object is considered to be avoided or the damage is reduced.
  • FIG. 4 is a diagram showing an example of user operation.
  • the user tilts the stick of the controller 2 to the left and instructs the left direction in the composite image, that is, the direction of avoiding the house O1 and the car O2 as the movement direction. It will be.
  • the arrow on the composite image shown with a hatch indicates the direction in which the unmanned aerial vehicle 1 is desired to be operated, and is not an image displayed superimposed on the composite image.
  • the image captured by the unmanned aerial vehicle 1 becomes an image whose imaging range continues to change at high speed. For this reason, it is difficult for the user to see only the captured image to confirm the position where the unmanned aerial vehicle 1 may fall and the object which may collide with the unmanned aerial vehicle 1.
  • the user can drop the unmanned aerial vehicle 1 to a position where the damage at the time of the fall is considered to be reduced according to his / her own values and the situation at the time of the fall. Can be done.
  • the user can specify the direction in which the unmanned aerial vehicle 1 is moved with reference to the direction in the composite image when the unmanned aerial vehicle 1 is dropped.
  • the direction specified by the user is converted into a direction in the coordinate system of the unmanned aerial vehicle 1 according to the attitude of the unmanned aerial vehicle 1 at that time, and the movement direction is controlled.
  • FIG. 5 is a diagram showing the relationship between the image captured by the unmanned aerial vehicle 1 and the composite image displayed on the smartphone 3.
  • FIG. 5 shows the state of the unmanned aerial vehicle 1 at each time T1 to T7.
  • the dotted arrow A11 indicating the direction directly below indicates the falling direction when there is no user operation.
  • the white triangle shown on the bottom side of the unmanned aerial vehicle 1 represents the angle of view of the camera provided on the unmanned aerial vehicle 1.
  • the angle of view of the camera at time T1 is directly below.
  • the angle of view of the camera overlaps with the display range of the composite image as a whole.
  • the rectangular frame F shown on the right side of FIG. 5 represents the display range of the composite image (the range displayed on the display 3A).
  • the display range of the composite image is set so that the drop position is at the center, for example.
  • the range indicated by the hatch represents the range of the angle of view of the camera.
  • the composite image is displayed using the image captured by the unmanned aerial vehicle 1 as it is.
  • the direction of the angle of view of the camera at time T2 is diagonally downward to the right. In this case, as shown at the tip of arrow # 2, the angle of view of the camera partially overlaps with the display range of the composite image.
  • the composite image is displayed using a part of the image captured by the unmanned aerial vehicle 1 that overlaps with the display range of the composite image.
  • a range other than the range displayed using the image captured at time T2 is displayed using, for example, an image captured at a time before time T2.
  • the direction of the angle of view of the camera at time T3 is diagonally upward to the right. In this case, as shown at the tip of arrow # 3, the angle of view of the camera does not overlap with the display range of the composite image.
  • a composite image is displayed using an image captured at a time before time T3.
  • the composite image may not be displayed.
  • the angle of view of the camera at times T4 and T5 does not overlap with the display range of the composite image, as shown at the tip of each of the arrows # 4 and # 5, like the angle of view of the camera at time T3.
  • the composite image is displayed using the images captured at the times before the times T4 and T5, respectively.
  • the angle of view of the camera at time T6 partially overlaps with the display range of the composite image, as shown at the tip of arrow # 6.
  • the composite image is displayed using a part of the image captured by the unmanned aerial vehicle 1 that overlaps with the display range of the composite image.
  • the angle of view of the camera at time T7 overlaps with the display range of the composite image as a whole, as shown at the tip of arrow # 7.
  • the composite image is displayed using the image captured by the unmanned aerial vehicle 1 as it is.
  • the display 3A of the smartphone 3 viewed by the user continues to display only the range including the drop position among the images captured during the fall.
  • the user can instruct the moving direction of the unmanned aerial vehicle 1 while looking at the composite image showing the falling position even when the unmanned aerial vehicle 1 is falling while rotating. ..
  • controller 2 is a controller in which the smartphone 3 is attached, but it may be a controller in another form.
  • FIG. 6 is a diagram showing another configuration example of the controller 2.
  • the controller 2 shown in A of FIG. 6 is a controller in which a display 2A is provided in a housing.
  • the user can steer the unmanned aerial vehicle 1 by looking at the composite image displayed on the display 2A.
  • the direction in which the user tilts the stick indicates the direction of movement
  • the size of tilting the stick indicates the amount of movement.
  • the smartphone 3 itself as a radio.
  • the user can steer the unmanned aerial vehicle 1 by performing a swipe operation or the like by looking at the composite image displayed on the display 3A or the like.
  • FIG. 7 is a block diagram showing a configuration example of the unmanned aerial vehicle 1.
  • the unmanned aerial vehicle 1 includes a sensor 11 and an information processing unit 12.
  • the sensor 11 is composed of a wind speed sensor 21, an imaging sensor 22, a position sensor 23, and an IMU (Inertial Measurement Unit) 24.
  • the image sensor 22 is provided in the camera mounted on the unmanned aerial vehicle 1.
  • the wind speed sensor 21 detects and outputs a wind speed vector including the direction of the wind and the wind speed (air volume).
  • the image sensor 22 is composed of an image sensor, a stereo camera, a ToF (Time of Flight) sensor, a LiDER (Light Detection and Ringing, Laser Imaging Detection and Ringing), and the like.
  • the image sensor constituting the image sensor 22 captures the surrounding situation and outputs image data.
  • a stereo camera constituting the image sensor 22 calculates the distance to each object reflected in the image based on the image obtained by imaging, and outputs the distance information.
  • the distance to the object may be detected by a ToF sensor or the like.
  • the position sensor 23 is composed of a GPS (Global Positioning System) sensor, a barometer, and the like.
  • the position sensor 23 receives radio waves from the satellite, performs positioning, and outputs position information of the unmanned aerial vehicle 1.
  • the IMU24 is composed of an acceleration sensor, a gyro sensor, a magnetic sensor, and the like.
  • the IMU 24 measures the speed, acceleration, magnetic field strength, etc. of the unmanned aerial vehicle 1 and outputs it as IMU information.
  • the information processing unit 12 includes a wind speed vector acquisition unit 31, an image acquisition unit 32, a position information acquisition unit 33, an IMU information acquisition unit 34, an internal state acquisition unit 35, a self-position / motion estimation unit 36, a fall position estimation unit 37, and a failure. It is composed of a drop determination unit 38, an image composition unit 39, a data transmission unit 40, a data reception unit 41, and an aircraft control unit 42.
  • the wind speed vector acquisition unit 31 acquires the wind speed vector output from the wind speed sensor 21, and outputs the wind speed information representing the acquired wind speed vector to the fall position estimation unit 37.
  • the image acquisition unit 32 acquires the image data and distance information output from the image sensor 22, and outputs the image data to the self-position / motion estimation unit 36. Further, the image acquisition unit 32 outputs the image data to the image composition unit 39.
  • the position information acquisition unit 33 acquires the position information output from the position sensor 23 and outputs it to the self-position / motion estimation unit 36.
  • the IMU information acquisition unit 34 acquires the IMU information output from the IMU 24 and outputs it to the self-position / motion estimation unit 36.
  • the internal state acquisition unit 35 acquires the output values of the current monitor, voltage monitor, encoder, etc. of the unmanned aerial vehicle 1 as information indicating the internal state, and outputs the output values to the failure / drop determination unit 38.
  • the self-position / motion estimation unit 36 is based on the image data and distance information supplied from the image acquisition unit 32, the position information supplied from the position information acquisition unit 33, and the IMU information supplied from the IMU information acquisition unit 34.
  • the flight state of the unmanned aerial vehicle 1 is calculated.
  • the flight state includes the position, attitude, speed, angular velocity, acceleration, angular acceleration, and the like of the unmanned airframe 1.
  • the self-position / motion estimation unit 36 estimates the inertial force and gravity applied to the unmanned aerial vehicle 1 based on the flight state.
  • the self-position / motion estimation unit 36 outputs information representing the flight state and the inertial force and gravity applied to the unmanned flying object 1 as the self-position / motion estimation result.
  • the self-position / motion estimation result output from the self-position / motion estimation unit 36 is supplied to the drop position estimation unit 37, the failure / fall determination unit 38, the image composition unit 39, and the aircraft control unit 42.
  • the fall position estimation unit 37 is based on the wind speed information supplied from the wind speed vector acquisition unit 31 and the self-position / motion estimation result supplied from the self-position / motion estimation unit 36. Estimate the drop position.
  • FIG. 8 is a diagram showing an example of a method of estimating the drop position.
  • an inertial force in a direction corresponding to the direction of movement up to that point is applied to the unmanned aerial vehicle 1 that has failed during flight, and downward gravity is applied.
  • wind force is applied according to the wind direction.
  • the inertial force, gravity, and wind force applied to an unmanned aerial vehicle are collectively referred to as external force.
  • the fall position estimation unit 37 estimates the fall position based on the flight state and the external force. In FIG. 8, the position C1 which is a position deviated from directly below the position where the failure occurred is estimated as the drop position.
  • the drop position estimation unit 37 sets a region having a predetermined shape centered on the estimated drop position as the drop position estimation range.
  • the drop position estimation range is gradually set as a narrow area as the unmanned aerial vehicle 1 approaches the ground.
  • the drop position estimation unit 37 outputs the drop position estimation result representing the estimated drop position and the drop position estimation range to the image synthesis unit 39.
  • the failure / fall determination unit 38 is an unmanned aircraft 1 based on the information representing the internal state supplied from the internal state acquisition unit 35 and the self-position / motion estimation result supplied from the self-position / motion estimation unit 36. Judge the failure or fall of the aircraft.
  • the failure / drop determination unit 38 diagnoses a failure such as a failure of the motor of the unmanned aerial vehicle 1, damage to the propeller, and wrapping of a foreign object by using the internal state. Further, the failure / drop determination unit 38 diagnoses the failure based on the amount of deviation between the actual internal state and the internal state assumed when there is no failure.
  • the failure / fall determination unit 38 detects that a failure that hinders movement has occurred and the unmanned aerial vehicle 1 cannot move as expected and begins to fall.
  • a rule-based determination may be performed, or a model obtained by machine learning may be used.
  • the failure / drop determination unit 38 outputs the failure / drop determination information to the image synthesis unit 39 and the aircraft control unit 42.
  • the failure / fall determination information includes, for example, information indicating whether or not a failure has occurred and information indicating a failed portion of the unmanned aerial vehicle 1.
  • the image synthesizing unit 39 generates a composite image by synthesizing the drop position image with the image showing the fall position.
  • the image data supplied from the image acquisition unit 32, the self-position / motion estimation result supplied from the self-position / motion estimation unit 36, the drop position estimation result supplied from the drop position estimation unit 37, And, the failure / drop determination information supplied from the failure / drop determination unit 38 is used.
  • FIG. 9 is a diagram showing an example of an image used for generating a composite image.
  • FIG. 9 shows the state of the unmanned aerial vehicle 1 at each time of time T1 to T3.
  • the unmanned aerial vehicle 1 is provided with one camera.
  • the range indicated by the broken line represents the range of the angle of view of the camera at each time.
  • a composite image is generated based on the captured images P11 to P13 captured in this way.
  • the drop position estimation range represented by the ellipse is estimated.
  • the region in which the estimated fall position and the position directly below the unmanned aerial vehicle 1 at time T3 are captured is used for generating the composite image.
  • FIG. 10 is a diagram showing an example of a method of synthesizing captured images.
  • FIG. 10 shows the shape of each image when viewed from directly above with respect to a plane representing the ground.
  • the captured images P11 to P13 are projected and converted with respect to the plane representing the ground by using the position and attitude of the unmanned airframe 1 and the internal and external parameters of the camera. ..
  • the captured images P11 to P13 after the projection conversion are combined so as to be stitched together, and a range including a position corresponding to directly below at time T3 and a fall position estimation range is cut out.
  • a range including a position corresponding to directly below at time T3 and a fall position estimation range is cut out.
  • an image showing the range shown by the broken line is cut out as the cut-out image P21.
  • a composite image is generated by synthesizing the drop position image representing the drop position estimation range and the position corresponding to the position directly below on the cutout image P21.
  • the composite image generated in this way is output from the image synthesis unit 39 to the data transmission unit 40 of FIG.
  • the captured image in which the drop position estimation range and the angle of view overlap is used to generate the composite image.
  • the data transmission unit 40 transmits the composite image supplied from the image composition unit 39 to the controller 2.
  • the composite image transmitted by the data transmission unit 40 is displayed on the display 3A of the smartphone 3 and is used to indicate the direction of movement of the unmanned aerial vehicle 1.
  • the data receiving unit 41 receives the control command that represents the content of the user's operation transmitted from the controller 2 and outputs it to the aircraft control unit 42.
  • the control command indicates, for example, the direction instructed by the user who viewed the composite image.
  • the aircraft control unit 42 determines whether or not a failure has occurred based on the failure / drop determination information supplied from the failure / drop determination unit 38, and sets the operation mode.
  • the operation mode of the unmanned aerial vehicle 1 includes a flying mode and a falling mode.
  • the in-flight mode is an operation mode set when a failure has not occurred
  • the falling mode is an operation mode set when a failure has occurred.
  • the aircraft control unit 42 controls the movement of the unmanned aerial vehicle 1 in response to the control command supplied from the data receiving unit 41.
  • the aircraft control unit 42 controls the position and attitude in the aircraft coordinate system.
  • the aircraft coordinate system represents the coordinate system of the unmanned aerial vehicle 1.
  • the operation mode is the in-flight mode
  • the user who operates the controller 2 performs an operation on the airframe coordinate system to control the movement of the unmanned aerial vehicle 1.
  • the aircraft control unit 42 receives the self-position / motion estimation result supplied from the self-position / motion estimation unit 36 and the failure / fall determination unit 38. Control is performed in consideration of the failure location based on the judgment information.
  • the airframe control unit 42 converts the direction of the user's instruction represented by the composite image coordinate system into the direction of the airframe coordinate system and controls it. Since the direction of the user's instruction represented by the control command is the direction in which the composite image is viewed, it is represented as the direction of the composite image coordinate system which is the coordinate system in the composite image.
  • the operation mode is the falling mode
  • the user who operates the controller 2 performs an operation on the composite image coordinate system to control the movement of the unmanned aerial vehicle 1.
  • FIG. 11 is a diagram showing an example of a direction on the composite image coordinate system represented by a control command.
  • the user unmanned flight a control command instructing the movement to the left with respect to the composite image by an operation such as tilting the stick of the controller 2 to the left. Send to body 1.
  • a control command instructing the movement to the left on the composite image coordinate system is transmitted to the unmanned aerial vehicle 1.
  • FIG. 12 is a diagram showing an example of controlling the movement of the unmanned aerial vehicle 1 that has received the control command.
  • the aircraft control unit 42 estimates the actual fall position as shown by the arrow A13 in FIG. Control the aircraft so that it is located to the left of the range.
  • the airframe control unit 42 uses a predetermined transformation matrix to convert the direction specified by the user into the direction on the airframe coordinate system at time T3, and controls the airframe.
  • the aircraft control unit 42 When it is not possible to move in any direction due to a motor failure or the like, the aircraft control unit 42 considers the position and orientation of the aircraft and the direction of rotation of the movable motor so that thrust is generated in the direction specified by the user. To control.
  • FIG. 13 is a diagram showing an example of the direction of rotation of the motor in the falling mode.
  • FIG. 13 shows the state of the unmanned aerial vehicle 1 that falls while rotating at each time of time T1 to T9. Further, as shown by the white arrow, it is assumed that the user who has viewed the composite image has specified the movement to the left.
  • the machine control unit 42 motors in a direction in which the inner product of the thrust vector generated when the motor is rotated and the direction vector pointing in the direction specified by the user becomes positive. To rotate.
  • the motor of the left propeller has a failure based on the direction of the correct time T1 in the vertical direction, and only the motor of the right propeller can operate. It shall be.
  • the solid arrow in the vicinity of the motor of the propeller on the right side represents the thrust vector generated by the forward rotation of the motor.
  • the dotted arrow represents the thrust vector generated by the reverse rotation of the motor.
  • forward rotation represents rotation in a direction in which buoyancy is generated in a normal state.
  • the airframe control unit 42 generates a thrust vector whose inner product with the direction vector pointing in the direction specified by the user is positive. Is rotated forward. As a result, the unmanned aerial vehicle 1 will fall while shifting to the left.
  • the machine control unit 42 At times T6 to T8 when the upper surface of the machine is facing to the right, the machine control unit 42 generates a thrust vector whose inner product is positive with the direction vector facing in the direction specified by the user. Is rotated in the reverse direction. As a result, the unmanned aerial vehicle 1 will fall while shifting to the left.
  • the airframe control unit 42 can shift the drop position to the left by controlling the direction of rotation of the motor that can operate so as to generate a thrust to the left specified by the user. It becomes.
  • FIG. 14 is a diagram showing a configuration example of the controller 2.
  • the smartphone 3 is connected to the controller 2 via wired or wireless communication.
  • the controller 2 includes an information processing unit 51 and an input unit 52.
  • the information processing unit 51 is composed of a data receiving unit 61, a data display control unit 62, an input acquisition unit 63, and a data transmission unit 64.
  • the data receiving unit 61 receives the composite image transmitted from the unmanned aerial vehicle 1 and outputs it to the data display control unit 62.
  • the data display control unit 62 outputs the composite image supplied from the data reception unit 61 to the display 3A of the smartphone 3 and displays it.
  • the input acquisition unit 63 acquires the instruction information output from the input unit 52 and outputs it to the data transmission unit 64.
  • the instruction information represents the direction and the amount of movement specified by the user.
  • the data transmission unit 64 transmits the instruction information supplied from the input acquisition unit 63 to the unmanned aerial vehicle 1 as a control command.
  • the input unit 52 is composed of a stick, a touch panel, or the like.
  • the input unit 52 detects the user's operation and outputs instruction information according to the detected user's operation.
  • the fall damage mitigation process of FIG. 15 is started, for example, when the flight of the unmanned aerial vehicle 1 is started.
  • the operation mode of the unmanned aerial vehicle 1 at the start of processing is the in-flight mode.
  • step S1 the information processing unit 12 acquires the sensor data supplied from the sensor 11. Specifically, the wind speed vector acquisition unit 31, the image acquisition unit 32, the position information acquisition unit 33, and the IMU information acquisition unit 34 acquire wind speed information, image data and distance information, position information, and IMU information, respectively.
  • step S2 the self-position / motion estimation unit 36 estimates the self-position / motion estimation result based on the image data, the distance information, the position information, and the IMU information.
  • step S3 the failure / fall determination unit 38 determines whether or not the aircraft of the unmanned aerial vehicle 1 is out of order or has fallen based on the information indicating the internal state and the self-position / motion estimation result. To do.
  • step S3 If it is determined in step S3 that the aircraft of the unmanned aerial vehicle 1 is out of order or has fallen, the process proceeds to step S4.
  • step S4 the fall position estimation unit 37 estimates the fall position of the unmanned aerial vehicle 1 during the fall based on the wind speed information and the self-position / motion estimation result.
  • step S5 the image synthesizing unit 39 synthesizes a composite image by synthesizing the fall position image with the image showing the fall position based on the image data, the self-position / motion estimation result, the fall position estimation result, and the failure / fall determination information. To generate.
  • step S6 the aircraft control unit 42 sets the operation mode to the falling mode based on the failure / fall determination information.
  • step S7 the data transmission unit 40 transmits the composite image to the controller 2.
  • step S7 If the composite image is transmitted to the controller 2 in step S7, or if it is determined in step S3 that the aircraft of the unmanned aerial vehicle 1 has neither failed nor dropped, the process proceeds to step S8.
  • step S8 the data receiving unit 41 determines whether or not the control command has been received from the controller 2.
  • step S8 If it is determined in step S8 that the control command has not been received, the process returns to step S1 and the subsequent processing is performed.
  • step S8 determines whether the control command has been received. If it is determined in step S8 that the control command has been received, the process proceeds to step S9. A control command is supplied from the data receiving unit 41 to the aircraft control unit 42.
  • step S9 the aircraft control unit 42 determines whether or not the operation mode is the falling mode.
  • step S9 If it is determined in step S9 that the operation mode is the falling mode, the process proceeds to step S10.
  • step S10 the aircraft control unit 42 converts the direction represented by the control command from the direction of the composite image coordinate system to the direction of the aircraft coordinate system based on the composite image.
  • step S11 the aircraft control unit 42 controls the motor of the unmanned airframe 1 in consideration of the failure location based on the self-position / motion estimation result and the failure / fall determination information, and the desired direction according to the control command. Move the unmanned aircraft 1 to.
  • step S9 determines whether the operation mode is the falling mode. If it is determined in step S9 that the operation mode is not the falling mode, the process proceeds to step S12.
  • step S12 the airframe control unit 42 controls the motor of the unmanned aerial vehicle 1, and moves the unmanned aerial vehicle 1 in a desired direction in response to the control command.
  • step S21 the data receiving unit 61 of the controller 2 receives the composite image transmitted from the unmanned aerial vehicle 1.
  • step S22 the data display control unit 62 outputs the composite image to the display 3A of the smartphone 3 and displays it.
  • step S23 the input unit 52 accepts the user's operation and generates instruction information.
  • step S24 the input acquisition unit 63 acquires instruction information.
  • step S25 the data transmission unit 64 transmits the instruction information as a control command to the unmanned aerial vehicle 1.
  • the user can drop the unmanned aerial vehicle 1 at a position where damage at the time of falling is considered to be reduced according to the user's own sense of values and the situation at the time of falling.
  • the drop position may be specified by the user instead of the drop direction.
  • the aircraft of the unmanned aerial vehicle 1 is controlled so as to drop it at a position designated by the user.
  • FIG. 17 is a diagram showing an example of a user's operation for designating a drop position.
  • the user specifies the drop position by touching on the display 3A having the touch panel.
  • the position where there is no house O1 or car O2, which is indicated by a white cross is specified by the user.
  • the smartphone 3 that functions as a radio transmits a control command indicating the position specified by the user to the unmanned aerial vehicle 1.
  • FIG. 18 is a diagram showing an example of movement of the unmanned aerial vehicle 1 that has received a control command.
  • the position C11 indicated by a white cross on the left side of FIG. 18 represents a position in the actual three-dimensional space corresponding to the position on the composite image specified by the user.
  • the unmanned aerial vehicle 1 that received the control command controls the aircraft so that it falls to the position C11 according to the control command, as shown by the broken line.
  • FIG. 19 is a block diagram showing a configuration example of an unmanned aerial vehicle 1 that receives a control command for designating a drop position.
  • the configuration of the unmanned aerial vehicle 1 shown in FIG. 19 is the same as the configuration described with reference to FIG. 7, except that the drop position estimation unit 37 and the aircraft control unit 42 are connected. Duplicate explanations will be omitted as appropriate.
  • the same information as the drop position estimation result supplied to the image composition unit 39 is supplied from the drop position estimation unit 37.
  • the aircraft control unit 42 calculates the drop position in the three-dimensional space specified by the user based on the control command for specifying the drop position supplied from the data reception unit 61.
  • the aircraft control unit 42 performs feedback control based on the difference between the drop position specified by the user and the drop position estimation result, and moves the aircraft of the unmanned aerial vehicle 1 to the drop position specified by the user.
  • the user can drop the unmanned aerial vehicle 1 at a designated position according to his / her own values and circumstances. For example, when it is desired to drop the unmanned aerial vehicle 1 between the objects shown in the composite image, the user can drop the unmanned aerial vehicle 1 to such a desired position.
  • the object detection result which is the result of detecting the object appearing in the composite image, may be combined with the composite image as information assisting the user.
  • FIG. 20 is a diagram showing an example of an object in the vicinity of the drop position of the unmanned aerial vehicle 1.
  • the drop position of the unmanned aerial vehicle 1 is the position on the house O1.
  • a car O2 is parked next to the house O1, and a person O3 stands next to the car O2.
  • the unmanned aerial vehicle 1 performs object detection on an image showing the fall position, and detects a house O1, a car O2, and a person O3. Certain objects such as houses, cars and people are detected.
  • the unmanned aerial vehicle 1 generates a composite image in which information representing the house O1, the car O2, and the person O3 is combined, and transmits it to the controller 2 to display it on the smartphone 3.
  • FIG. 21 is a diagram showing a display example of a composite image in which the object detection results are combined.
  • a composite image is displayed on the display 3A of the smartphone 3.
  • the house O1, the car O2, and the person O3 are shown side by side.
  • rectangular information R1 in which L-shaped lines are combined is displayed so as to surround the house O1.
  • the rectangular information R1 represents a region on the composite image in which the house is detected.
  • the character information of "House” indicating that there is a house is displayed above the rectangle information R1.
  • the rectangular information R2 is displayed so as to surround the car O2.
  • the rectangular information R2 represents a region on the composite image in which the vehicle is detected.
  • the character information of "Car” indicating that there is a car is displayed.
  • the rectangular information R3 is displayed so as to surround the person O3.
  • the rectangular information R3 represents a region on the composite image in which a person is detected. Character information of "Human” representing a person is displayed on the rectangle information R3.
  • the user can recognize the type of object that the unmanned aerial vehicle 1 may collide with by looking at the rectangular information and character information displayed on the composite image.
  • information indicating the moving direction recommended for the user may be displayed on the composite image.
  • FIG. 22 is a block diagram showing a configuration example of an unmanned aerial vehicle 1 that detects an object appearing in a composite image.
  • the configuration of the unmanned aerial vehicle 1 shown in FIG. 22 is the same as the configuration described with reference to FIG. 7, except that the object detection unit 101 is provided. Duplicate explanations will be omitted as appropriate.
  • the image synthesizing unit 39 outputs an image showing the falling position to the object detecting unit 101.
  • an image in which the falling position is captured which is generated by the image synthesis unit 39 as described with reference to FIG. 10, is supplied.
  • the image synthesizing unit 39 generates a composite image by synthesizing the rectangular information and the character information together with the falling position image into the image showing the falling position based on the object detection result supplied from the object detecting unit 101.
  • the object detection unit 101 detects an object on the image supplied from the image synthesis unit 39.
  • the object detection unit 101 outputs the object detection result to the image synthesis unit 39.
  • steps S51 to S56 are the same as the processes of steps S1 to S6 of FIG. 15, respectively. That is, when the aircraft of the unmanned aerial vehicle 1 breaks down, an image showing the falling position is combined, and the operation mode of the unmanned aerial vehicle 1 is set to the falling mode.
  • step S57 the object detection unit 101 detects the object on the image in which the falling position is captured.
  • step S58 the image synthesizing unit 39 generates a composite image by synthesizing the rectangular information and the character information together with the falling position image into the image showing the falling position based on the object detection result.
  • steps S59 to S64 are the same as the processes of steps S7 to S12 of FIG. 15, respectively. That is, the composite image is transmitted to the controller 2, and the movement of the unmanned aerial vehicle 1 is controlled according to the operation of the user.
  • the user recognizes the types of objects that the unmanned aerial vehicle 1 may collide with, and positions the unmanned aerial vehicle 1 at a position where damage during the fall is considered to be reduced according to its own values and the situation at the time of the fall.
  • the unmanned aerial vehicle 1 can be dropped.
  • An action plan may be performed on the unmanned aerial vehicle 1 based on an object detection result or the like, and the movement of the unmanned aerial vehicle 1 may be autonomously controlled according to the planned action. For example, the actions required to avoid collisions with objects in the composite image are planned.
  • FIG. 24 is a diagram showing an example of actions for avoiding a collision.
  • the unmanned aerial vehicle 1 detects the house O1, the car O2, and the person O3 based on the image showing the fall position, and these Plan the actions needed to avoid collisions with objects. For example, as indicated by an arrow with a hatch, an action of falling to a position in front of the house O1, the car O2, and the person O3 is planned, and autonomous avoidance is performed.
  • FIG. 25 is a diagram showing a display example of a composite image showing the direction of movement according to the plan.
  • FIG. 25 an arrow indicating the direction of movement according to the plan is displayed in the composite image.
  • the other display of the composite image shown in FIG. 25 is the same as the display of the composite image described with reference to FIG.
  • the user who sees the composite image may move in a direction different from the planned movement direction as shown in FIG. You may be able to instruct.
  • the direction of autonomous avoidance is presented as the downward direction indicated by the arrow with a hatch, whereas the user is instructed to move to the left.
  • a control command indicating the direction instructed by the user is transmitted to the unmanned aerial vehicle 1.
  • FIG. 27 is a diagram showing an example of movement of the unmanned aerial vehicle 1.
  • the unmanned aerial vehicle 1 When a direction different from the direction of autonomous avoidance is specified by the user as described with reference to FIG. 26, the unmanned aerial vehicle 1 prioritizes instructions by the user, as indicated by the white arrows in FIG. The aircraft will be controlled to move in the direction instructed by the user.
  • the user may be able to intervene in the autonomous avoidance by the unmanned aerial vehicle 1.
  • the instruction by the user is not simply prioritized, but the direction of autonomous avoidance and the direction instructed by the user may be combined so that a new action is planned.
  • information indicating the direction in which the unmanned aerial vehicle 1 can be easily moved may be displayed.
  • the wind direction and the air volume are displayed as information indicating the direction in which the unmanned aerial vehicle 1 can be easily moved.
  • the time until the unmanned aerial vehicle 1 falls may be displayed.
  • FIG. 28 is a block diagram showing a configuration example of an unmanned aerial vehicle 1 having an autonomous avoidance function.
  • the configuration of the unmanned aerial vehicle 1 shown in FIG. 28 is the same as the configuration described with reference to FIG. 22, except that the avoidance action generation unit 111 is provided. Duplicate explanations will be omitted as appropriate.
  • the aircraft control unit 42 controls the aircraft of the unmanned aerial vehicle 1 according to the action plan for autonomous avoidance supplied from the avoidance action generation unit 111.
  • the aircraft control unit 42 controls the aircraft of the unmanned aerial vehicle 1 with priority given to the user's operation, as described above.
  • the object detection unit 101 calculates the three-dimensional position of the detected object in the image in which the falling position is captured.
  • the distance information to the ground and the distance information to the object are appropriately used for calculating the three-dimensional position.
  • the object detection unit 101 outputs the information representing the three-dimensional position of the object and the object detection result to the avoidance action generation unit 111.
  • the self-position / motion estimation result is supplied from the self-position / motion estimation unit 36 to the avoidance action generation unit 111. Further, to the avoidance action generation unit 111, the fall position estimation result is supplied from the fall position estimation unit 37, and the failure / fall determination information is supplied from the failure / drop determination unit 38.
  • the avoidance action generation unit 111 plans the actions necessary to avoid a collision with an object shown in the composite image based on the information supplied from each unit. Information representing the action planned by the avoidance action generation unit 111 is supplied to the aircraft control unit 42.
  • the position of the moving object at the time when the unmanned aerial vehicle 1 collides with the ground or the object may be predicted by the avoidance action generation unit 111.
  • the action is planned using the predicted position of the moving body.
  • steps S101 to S109 are the same as the processes of steps S51 to S59 of FIG. 23, respectively. That is, the operation mode of the unmanned aerial vehicle 1 is set to the falling mode, and the composite image is transmitted to the controller 2.
  • step S110 the data receiving unit 41 determines whether or not the control command has been received from the controller 2.
  • step S110 If it is determined in step S110 that the control command has not been received, the process proceeds to step S111.
  • step S111 the aircraft control unit 42 determines whether or not the operation mode is the falling mode.
  • step S111 If it is determined in step S111 that the operation mode is not the falling mode, the process returns to step S101, and the subsequent processes are performed.
  • step S111 determines whether the operation mode is the falling mode. If it is determined in step S111 that the operation mode is the falling mode, the process proceeds to step S112.
  • step S112 the avoidance action generation unit 111 plans an action for autonomous avoidance. After the action for autonomous avoidance is planned, in step S115, the direction of movement of the unmanned aerial vehicle 1 is controlled according to the planned action.
  • step S110 determines whether the control command has been received. If it is determined in step S110 that the control command has been received, the process proceeds to step S113.
  • steps S113 to S116 are the same as the processes of steps S61 to S64 of FIG. 23, respectively. That is, it is determined whether or not the operation mode is the falling mode, and the movement of the unmanned aerial vehicle 1 is controlled according to the user's operation according to the determination result.
  • the unmanned aerial vehicle 1 can autonomously take actions to avoid collision with the object shown in the composite image.
  • ⁇ Modification example> About the system configuration
  • the sensor 11 and the information processing unit 12 are provided in the unmanned aerial vehicle 1 (Fig. 7), but for some functions of the information processing unit 12, either the controller 2 or the smartphone 3 device. It may be realized in.
  • FIG. 30 is a diagram showing a configuration example of the smartphone 3.
  • the information processing unit 151 is realized in the smartphone 3.
  • the configuration of the information processing unit 151 shown in FIG. 30 is an unmanned aerial vehicle described with reference to FIG. 7, except that a display unit 161, an input acquisition unit 162, a control command generation unit 163, and a data transmission unit 164 are provided.
  • the configuration is the same as that of the information processing unit 12 of 1. Duplicate explanations will be omitted as appropriate.
  • the information processing unit 151 acquires sensor data including captured images and the internal state from the sensor 11 provided in the unmanned aerial vehicle 1 and various devices.
  • the display unit 161 displays the composite image supplied from the image composition unit 39 on the display 3A.
  • the input acquisition unit 162 outputs instruction information indicating the content of the user's operation performed on the display 3A having the touch panel to the control command generation unit 163.
  • the self-position / motion estimation result is supplied from the self-position / motion estimation unit 36, and the failure / fall determination information is supplied from the failure / drop determination unit 38. Further, a composite image is supplied from the image synthesis unit 39 to the control command generation unit 163.
  • the control command generation unit 163 determines whether or not there is a failure based on the failure / fall determination information, and sets the operation mode of the smartphone 3. If a failure occurs in the unmanned aerial vehicle 1, the operation mode is set to the falling mode, and if no failure occurs, the operation mode is set to the in-flight mode.
  • the control command generation unit 163 generates a control command indicating the direction instructed by the user according to the instruction information supplied from the input acquisition unit 162.
  • the operation mode is the in-flight mode
  • the instruction information supplied from the input acquisition unit 162 is used as it is.
  • control command generation unit 163 converts the instruction information on the composite image coordinate system supplied from the input acquisition unit 162 into the aircraft coordinate system based on the composite image. Generate control commands.
  • the control command generation unit 163 outputs the self-position / motion estimation result, the failure / fall determination information, and the control command to the data transmission unit 164.
  • the data transmission unit 164 transmits the self-position / motion estimation result, the failure / fall determination information, and the control command supplied from the control command generation unit 163 to the unmanned aerial vehicle 1.
  • a part of the configuration of the unmanned aerial vehicle 1 shown in FIG. 7 may be provided on the smartphone 3 side.
  • FIG. 31 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker are connected to the input / output interface 1005.
  • the input / output interface 1005 is connected to a storage unit 1008 including a hard disk and a non-volatile memory, a communication unit 1009 including a network interface, and a drive 1010 for driving the removable media 1011.
  • the CPU 1001 loads and executes the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, thereby executing the above-mentioned series of processes. Is done.
  • the program executed by the CPU 1001 is recorded on the removable media 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that is processed in chronological order in the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a control device including a control unit that controls the movement of the unmanned aerial vehicle during a fall in response to a control command generated for an image of the falling position captured by the unmanned aerial vehicle.
  • the control according to (1) above further comprising a compositing unit that synthesizes information representing the fall position with an image captured by an image pickup device provided on the unmanned aerial vehicle and generates a composite image used for operation by the user. apparatus.
  • An estimation unit that estimates the flight state of the unmanned aerial vehicle based on the sensor data output by the sensor provided on the unmanned aerial vehicle.
  • the control device according to (2) above, further comprising a drop position estimation unit that estimates the fall position based on the flight state and an external force applied to the unmanned aerial vehicle.
  • the control device further comprising a determination unit for detecting a fall of the unmanned aerial vehicle based on at least one of the flight state and the internal state of the unmanned aerial vehicle.
  • the compositing unit projects an image captured by the imaging device onto a plane representing the ground, and the image obtained by the projecting conversion.
  • the control device according to (3) or (4) above, which generates the composite image by synthesizing information representing the drop position.
  • control device controls the movement of the unmanned aerial vehicle according to a direction or a position on an image designated by a user.
  • the control unit converts the direction specified by the user into a direction on the coordinate system of the unmanned aerial vehicle and controls the movement of the unmanned aerial vehicle.
  • the control unit controls the movement of the unmanned aerial vehicle based on the difference between the position designated by the user and the drop position.
  • a detection unit for detecting an object appearing in an image captured by the imaging device is provided.
  • the control device according to any one of (2) to (9) above, wherein the synthesis unit synthesizes object information representing the object detected by the detection unit into the composite image.
  • the control device Further provided with an action planning unit for planning the action of the unmanned aerial vehicle to avoid contact with the object detected by the detection unit.
  • the control device according to (10), wherein the control unit controls the movement of the unmanned aerial vehicle based on the planned action and the operation of the user.
  • the control device A control method for controlling the movement of the unmanned aerial vehicle during a fall in response to a control command generated for an image of the falling position captured by the unmanned aerial vehicle.
  • An information processing device including a transmission unit that transmits the control command to the unmanned aerial vehicle.
  • Information processing device Display an image showing the fall position captured by the unmanned aerial vehicle, Generate a control command used to control the movement of the unmanned aerial vehicle with respect to the image.
  • On the computer Display an image showing the fall position captured by the unmanned aerial vehicle, Generate a control command used to control the movement of the unmanned aerial vehicle with respect to the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本技術は、ユーザの意図を反映して、無人飛行体の故障時の被害を軽減することができるようにする制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラムに関する。 本技術の第１の側面の制御装置は、無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する装置である。本技術は、機体の故障時、落下位置をずらすように移動を制御するドローンを制御する装置に適用することができる。

Description

制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム
　本技術は、特に、ユーザの意図を反映して、無人飛行体の故障時の被害を軽減することができるようにした制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、ドローンと呼ばれる、遠隔操縦が可能な小型の無人飛行体が注目されている。無人飛行体が飛行中に故障して操縦不能となった場合、落下して大きな事故につながる可能性があることから、故障時の被害を軽減するための技術が各種提案されている。
　例えば、特許文献１には、機体の下方を撮影して得られた映像に基づいて落下範囲を推定するとともに人の検出を行い、人の位置と落下範囲が重ならないように機体を制御する技術が提案されている。
国際公開第２０１７／０３３９７６号
　特許文献１に記載の技術においては、検出対象をあらかじめ決めておく必要がある。また、機体の制御が自立制御に委ねられるため、無人飛行体を操縦するユーザの価値観や、状況に応じたユーザの意図を反映させることができない。
　本技術はこのような状況に鑑みてなされたものであり、ユーザの意図を反映して、無人飛行体の故障時の被害を軽減することができるようにするものである。
　本技術の第１の側面の制御装置は、無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する制御部を備える。
　本技術の第２の側面である無人飛行体は、周囲の状況を撮像する撮像部と、前記撮像部により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する制御部とを備える。
　本技術の第３の側面の情報処理装置は、無人飛行体により撮像された落下位置が写る画像を表示させる表示制御部と、前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドを生成する生成部と、前記制御コマンドを前記無人飛行体に送信する送信部とを備える。
　本技術の第１の側面においては、無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動が制御される。
　本技術の第２の側面においては、周囲の状況が撮像され、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動が制御される。
　本技術の第３の側面においては、無人飛行体により撮像された落下位置が写る画像が表示され、前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドが生成され、前記制御コマンドが前記無人飛行体に送信される。
本技術の一実施の形態にかかる制御システムの構成例を示す図である。 落下時の様子を示す図である。 合成画像の表示例を示す図である。 ユーザの操作の例を示す図である。 無人飛行体により撮像された画像と、スマートフォンに表示される合成画像との関係を示す図である。 コントローラの他の構成例を示す図である。 無人飛行体の構成例を示すブロック図である。 落下位置の推定方法の例を示す図である。 合成画像の生成に用いられる画像の例を示す図である。 撮像画像の合成方法の例を示す図である。 制御コマンドにより表される、合成画像座標系上の方向の例を示す図である。 制御コマンドを受信した無人飛行体の移動の制御の例を示す図である。 落下中モード時のモータの回転の向きの例を示す図である。 コントローラの構成例を示す図である。 無人飛行体の落下被害軽減処理について説明するフローチャートである。 コントローラの合成画像表示処理について説明するフローチャートである。 落下位置を指定するユーザの操作の例を示す図である。 制御コマンドを受信した無人飛行体の移動の例を示す図である。 落下位置を指定する制御コマンドを受信する無人飛行体の構成例を示すブロック図である。 無人飛行体の落下位置の近傍にある物体の例を示す図である。 物体検出結果が合成された合成画像の表示例を示す図である。 合成画像に写る物体を検出する無人飛行体の構成例を示すブロック図である。 無人飛行体により行われる落下被害軽減処理について説明するフローチャートである。 衝突を避けるための行動の例を示す図である。 計画に応じた移動の方向を示す合成画像の表示例を示す図である。 計画された方向と異なる方向に移動することを指示するユーザの操作の例を示す図である。 無人飛行体の移動の例を示す図である。 自律回避の機能を有する無人飛行体の構成例を示すブロック図である。 無人飛行体により行われる落下被害軽減処理について説明するフローチャートである。 スマートフォンの構成例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．無人飛行体の第１の制御の例
　２．各機器の構成
　３．各機器の動作
　４．無人飛行体の第２の制御の例
　５．無人飛行体の第３の制御の例
　６．無人飛行体の第４の制御の例
　７．変形例
＜無人飛行体の第１の制御の例＞
　図１は、本技術の一実施の形態にかかる制御システムの構成例を示す図である。
　図１の制御システムは、無人飛行体１とコントローラ２によって構成される。
　無人飛行体１は、いわゆるドローンであり、コントローラ２からの信号に従って移動（飛行）する。無人飛行体１が、自律的に移動する飛行体であってもよい。図１において、無人飛行体１は、家Ｏ１と、家Ｏ１の隣に停まっている車Ｏ２の上空を移動している。
　無人飛行体１は、カメラを搭載した飛行体である。無人飛行体１の移動中に撮像された画像は、破線矢印で示すように、無線通信によってコントローラ２に送信される。
　無人飛行体１から送信される画像は、動画像であってもよいし、静止画像であってもよい。無線通信ではなく、有線通信によって画像が送信されるようにしてもよい。
　無人飛行体１のプロポであるコントローラ２は、無人飛行体１から送信された画像を受信し、スマートフォン３に表示させる。図１の例においては、コントローラ２は、無人飛行体１のカメラにより撮像された画像の表示先として、コントローラ２の筐体に取り付けられたスマートフォン３のディスプレイを用いる装置とされている。
　これにより、ユーザは、無人飛行体１がユーザから離れた位置を移動している場合であっても、スマートフォン３に表示された画像を見ながらコントローラ２を操作し、無人飛行体１を操縦することができる。
　ところで、プロペラが外れる、モータが故障するなどの事故が発生することがある。この場合、無人飛行体１は落下してしまう。
　図１の制御システムにおいては、無人飛行体１の落下中にも撮像が続けられ、落下中の画像がユーザに提示される。ユーザは、落下中の画像を見て、無人飛行体１の移動を制御することができる。
　図２は、落下時の様子を示す図である。
　機体の一部が故障した場合、点線矢印Ａ１で示すように、無人飛行体１は例えば回転しながら落下する。
　無人飛行体１は、落下時、カメラにより撮像して得られた画像に対して、落下位置を表す情報を合成し、合成画像をコントローラ２に送信する。
　コントローラ２に取り付けられたスマートフォン３には、無人飛行体１から送信されてきた合成画像が表示されることになる。
　落下位置を表す情報が表示されるため、ユーザは、スマートフォン３に表示された合成画像を見ながら、家Ｏ１、車Ｏ２を避ける方向に無人飛行体１を移動させることができる。図２の例においては、白抜き矢印Ａ２に示す方向に移動させるような操作をユーザが行うことに応じて、無人飛行体１は、実線矢印Ａ３で示すように、家Ｏ１、車Ｏ２を回避している。
　図３は、合成画像の表示例を示す図である。
　図３に示すように、スマートフォン３のディスプレイ３Ａには、無人飛行体１の落下位置が写る合成画像が表示される。無人飛行体１の落下位置は、風速などの周囲の環境情報を考慮して推定された位置である。
　例えば、無人飛行体１の落下位置は、落下位置画像Ｐによって表される。図３の例においては、落下位置画像Ｐは、円の中に十字を配置した画像とされている。落下位置画像Ｐを構成する十字の中心が落下位置を表す。落下位置が、点で表されるようにしてもよいし、領域で表されるようにしてもよい。
　図３の例においては、落下位置は家Ｏ１上の位置となっている。家Ｏ１の右側には車Ｏ２が写っている。このまま落下した場合、無人飛行体１は家Ｏ１に衝突することになる。
　落下位置と家Ｏ１などの物体とが表示されているため、ユーザは、合成画像を見ながら、衝突することが予想される物体を回避する方向、または無人飛行体１と衝突した場合でも被害が少なくなると考えられる方向に向けて、無人飛行体１の移動の方向を指示することができる。図３の例においては、合成画像上での左方向が、物体を回避したり、被害が少なくなると考えられる方向となる。
　図４は、ユーザの操作の例を示す図である。
　合成画像の表示を見ることによって、図４に示すように、ユーザは、コントローラ２のスティックを左に倒し、合成画像における左方向、すなわち家Ｏ１と車Ｏ２を回避する方向を移動方向として指示することになる。なお、図４において、ハッチを付して示す合成画像上の矢印は、無人飛行体１を動作させたい方向を表すものであり、合成画像に重ねて表示される画像ではない。
　落下時に、無人飛行体１により撮像された画像は、撮像範囲が高速で変わり続ける画像となる。このため、ユーザが、撮像された画像だけを見て、無人飛行体１が落下する可能性のある位置や衝突する可能性のある物体を確認するのは困難である。
　落下位置画像Ｐが写る合成画像が表示されることにより、ユーザは、自身の価値観や落下時の状況に応じて、落下時の被害が少なくなると考えられる位置に無人飛行体１を落下させることができる。
　また、物体検出などによっては検出することが難しい物体との衝突を避けることが可能となる。
　さらに、ユーザは、無人飛行体１の落下時、合成画像における方向を基準として、無人飛行体１を移動させる方向を指定することができる。ユーザにより指定された方向は、無人飛行体１のそのときの姿勢に応じて、無人飛行体１の座標系における方向に変換され、移動方向の制御が行われる。
　図５は、無人飛行体１により撮像された画像と、スマートフォン３に表示される合成画像との関係を示す図である。
　図５の左側に示すように、機体に故障が発生した場合、無人飛行体１は、回転しながら落下する。図５には、時刻Ｔ１乃至Ｔ７の各時刻の無人飛行体１の状態が示されている。真下方向を示す点線矢印Ａ１１は、ユーザ操作がない場合の落下方向を表す。
　無人飛行体１の底面側に示す白抜きの三角形は、無人飛行体１に設けられたカメラの画角を表す。例えば時刻Ｔ１におけるカメラの画角の方向は、真下方向である。
　この場合、矢印＃１の先に示すように、カメラの画角は、合成画像の表示範囲と全体において重なる。
　図５の右側に示す矩形の枠Ｆは、合成画像の表示範囲（ディスプレイ３Ａに表示される範囲）を表す。合成画像の表示範囲は、例えば、落下位置が中心となるようにして設定される。また、ハッチを付して示す範囲が、カメラの画角の範囲を表す。
　時刻Ｔ１においては、無人飛行体１により撮像された画像をそのまま用いて、合成画像の表示が行われる。
　時刻Ｔ２におけるカメラの画角の方向は、右斜め下方向である。この場合、矢印＃２の先に示すように、カメラの画角は、合成画像の表示範囲と一部において重なる。
　時刻Ｔ２においては、無人飛行体１により撮像された画像のうち、合成画像の表示範囲と重なる一部の範囲を用いて、合成画像の表示が行われる。合成画像全体のうち、時刻Ｔ２において撮像された画像を用いて表示される範囲以外の範囲については、例えば、時刻Ｔ２以前の時刻に撮像された画像を用いて表示が行われる。
　時刻Ｔ３におけるカメラの画角の方向は、右斜め上方向である。この場合、矢印＃３の先に示すように、カメラの画角は、合成画像の表示範囲と重なっていない。
　時刻Ｔ３においては、時刻Ｔ３以前の時刻に撮像された画像を用いて、合成画像の表示が行われる。
　カメラの画角と合成画像の表示範囲が一致していない場合、合成画像の表示が行われないようにしてもよい。
　時刻Ｔ４，Ｔ５におけるカメラの画角は、矢印＃４，＃５のそれぞれの先に示すように、時刻Ｔ３におけるカメラの画角と同様に合成画像の表示範囲と重なっていない。
　時刻Ｔ４，Ｔ５においても、それぞれ、時刻Ｔ４，Ｔ５以前の時刻に撮像された画像を用いて合成画像の表示が行われる。
　時刻Ｔ６におけるカメラの画角は、矢印＃６の先に示すように、合成画像の表示範囲と一部において重なる。
　時刻Ｔ６においては、無人飛行体１により撮像された画像のうち、合成画像の表示範囲と重なる一部の範囲を用いて、合成画像の表示が行われる。
　時刻Ｔ７におけるカメラの画角は、矢印＃７の先に示すように、合成画像の表示範囲と全体において重なる。
　時刻Ｔ７においては、無人飛行体１により撮像された画像をそのまま用いて、合成画像の表示が行われる。
　このように、ユーザが見ているスマートフォン３のディスプレイ３Ａには、落下中に撮像された画像のうち、落下位置を含む範囲だけが表示され続ける。これにより、ユーザは、無人飛行体１が回転しながら落下している場合であっても、落下位置が写っている合成画像を見ながら、無人飛行体１の移動の方向を指示することができる。
　以上においては、コントローラ２がスマートフォン３を取り付ける形態のコントローラであるものとしたが、他の形態のコントローラであってもよい。
　図６は、コントローラ２の他の構成例を示す図である。
　図６のＡに示すコントローラ２は、筐体にディスプレイ２Ａが設けられている形態のコントローラである。ユーザは、ディスプレイ２Ａに表示された合成画像などを見て、無人飛行体１を操縦することができる。例えば、ユーザがスティックを倒した方向によって移動の方向が指示され、スティックを倒した大きさによって移動の量が指示される。
　図６のＢに示すように、スマートフォン３自体をプロポとして用いることも可能である。ユーザは、ディスプレイ３Ａに表示された合成画像などを見てスワイプ操作などを行うことにより、無人飛行体１を操縦することができる。
＜各機器の構成＞
・無人飛行体１の構成
　図７は、無人飛行体１の構成例を示すブロック図である。
　図７に示すように、無人飛行体１は、センサ１１と情報処理部１２を備えている。
　センサ１１は、風速センサ２１、撮像センサ２２、位置センサ２３、IMU(Inertial Measurement Unit)２４により構成される。撮像センサ２２は、無人飛行体１に搭載されたカメラ内に設けられる。
　風速センサ２１は、風の方向と風速（風量）を含む風速ベクトルを検出し、出力する。
　撮像センサ２２は、イメージセンサ、ステレオカメラ、ToF(Time of Flight)センサ、LiDER(Light Detection and Ranging, Laser Imaging Detection and Ranging)などにより構成される。
　撮像センサ２２を構成するイメージセンサは、周囲の状況を撮像し、画像データを出力する。
　また、撮像センサ２２を構成する例えばステレオカメラは、撮像して得られた画像に基づいて、画像に写るそれぞれの物体までの距離を算出し、距離情報を出力する。物体までの距離が、ToFセンサなどにより検出されるようにしてもよい。
　位置センサ２３は、GPS(Global Positioning System)センサ、気圧計などにより構成される。位置センサ２３は、衛星からの電波を受信して測位を行い、無人飛行体１の位置情報を出力する。
　IMU２４は、加速度センサ、ジャイロセンサ、磁気センサなどから構成される。IMU２４は、無人飛行体１の速度や加速度、磁界強度などを計測し、IMU情報として出力する。
　情報処理部１２は、風速ベクトル取得部３１、画像取得部３２、位置情報取得部３３、IMU情報取得部３４、内部状態取得部３５、自己位置・運動推定部３６、落下位置推定部３７、故障・落下判定部３８、画像合成部３９、データ送信部４０、データ受信部４１、機体制御部４２により構成される。
　風速ベクトル取得部３１は、風速センサ２１から出力された風速ベクトルを取得し、取得した風速ベクトルを表す風速情報を落下位置推定部３７に出力する。
　画像取得部３２は、撮像センサ２２から出力された画像データと距離情報を取得し、自己位置・運動推定部３６に出力する。また、画像取得部３２は、画像データを画像合成部３９に出力する。
　位置情報取得部３３は、位置センサ２３から出力された位置情報を取得し、自己位置・運動推定部３６に出力する。
　IMU情報取得部３４は、IMU２４から出力されたIMU情報を取得し、自己位置・運動推定部３６に出力する。
　内部状態取得部３５は、無人飛行体１の電流モニタ、電圧モニタ、エンコーダなどの出力値を、内部状態を表す情報として取得し、故障・落下判定部３８に出力する。
　自己位置・運動推定部３６は、画像取得部３２から供給された画像データと距離情報、位置情報取得部３３から供給された位置情報、および、IMU情報取得部３４から供給されたIMU情報に基づいて、無人飛行体１の飛行状態を算出する。飛行状態には、無人飛行体１の機体の位置、姿勢、速度、角速度、加速度、角加速度などが含まれる。
　また、自己位置・運動推定部３６は、飛行状態に基づいて、無人飛行体１に加えられた慣性力と重力を推定する。
　自己位置・運動推定部３６は、飛行状態、および、無人飛行体１に加えられた慣性力と重力を表す情報を、自己位置・運動推定結果として出力する。自己位置・運動推定部３６から出力された自己位置・運動推定結果は、落下位置推定部３７、故障・落下判定部３８、画像合成部３９、および機体制御部４２に供給される。
　落下位置推定部３７は、風速ベクトル取得部３１から供給された風速情報と、自己位置・運動推定部３６から供給された自己位置・運動推定結果とに基づいて、落下中の無人飛行体１の落下位置を推定する。
　図８は、落下位置の推定方法の例を示す図である。
　図８の白抜き矢印で示すように、飛行中に故障した無人飛行体１に対しては、それまでの移動方向に応じた向きの慣性力が加えられ、下向きの重力が加えられる。また、風向きに応じた風力が加えられる。無人飛行体に加えられる慣性力、重力、および風力をまとめて外力と称する。
　落下位置推定部３７は、飛行状態と外力とに基づいて落下位置を推定する。図８においては、故障が発生した位置の真下からずれた位置である位置Ｃ１が落下位置として推定される。
　また、落下位置推定部３７は、推定した落下位置を中心とした所定の形状の領域を落下位置推定範囲として設定する。落下位置推定範囲は、無人飛行体１が地上に近づくに従って、徐々に狭い領域として設定される。
　図７の説明に戻り、落下位置推定部３７は、推定した落下位置と、落下位置推定範囲とを表す落下位置推定結果を画像合成部３９に出力する。
　故障・落下判定部３８は、内部状態取得部３５から供給された内部状態を表す情報と、自己位置・運動推定部３６から供給された自己位置・運動推定結果とに基づいて、無人飛行体１の機体の故障や、落下を判定する。
　具体的には、故障・落下判定部３８は、内部状態を利用して、無人飛行体１のモータの故障、プロペラの破損、異物巻き付きなどの故障を診断する。また、故障・落下判定部３８は、実際の内部状態と、故障していない場合に想定される内部状態とのズレ量に基づいて、故障を診断する。
　このように、故障・落下判定部３８は、移動に支障をきたす故障が発生し、無人飛行体１が想定通りに移動できずに落下し始めたことを検出する。故障および落下の判定には、ルールベースの判定が行われるようにしてもよいし、機械学習により得られたモデルが用いられるようにしてもよい。
　故障・落下判定部３８は、故障・落下判定情報を画像合成部３９と機体制御部４２に出力する。故障・落下判定情報には、例えば、故障が発生したか否かを表す情報と、無人飛行体１の故障した部位を表す情報とが含まれる。
　画像合成部３９は、落下位置が写る画像に落下位置画像を合成することによって合成画像を生成する。合成画像の生成には、画像取得部３２から供給された画像データ、自己位置・運動推定部３６から供給された自己位置・運動推定結果、落下位置推定部３７から供給された落下位置推定結果、および、故障・落下判定部３８から供給された故障・落下判定情報が用いられる。
　図９は、合成画像の生成に用いられる画像の例を示す図である。
　図９には、時刻Ｔ１乃至Ｔ３の各時刻の無人飛行体１の状態が示されている。ここでは、無人飛行体１に設けられるカメラが１つであるものとする。破線で示す範囲が、各時刻のカメラの画角の範囲を表す。
　時刻Ｔ１乃至Ｔ３においては、カメラを下方向に向けた状態、左斜め下方向に向けた状態、時刻Ｔ２における向きよりさらに左に向けた状態でそれぞれ撮像が行われ、図９の台形で示す画角を有する撮像画像Ｐ１１乃至Ｐ１３が取得されている。
　例えば時刻Ｔ３においては、このようにして撮像された撮像画像Ｐ１１乃至Ｐ１３に基づいて、合成画像が生成される。
　図９の例においては、時刻Ｔ３において、楕円で表される落下位置推定範囲が推定されている。撮像画像Ｐ１１乃至Ｐ１３のうち、落下位置推定範囲と、時刻Ｔ３における無人飛行体１の真下の位置とが写る領域が、合成画像の生成に用いられる。
　図１０は、撮像画像の合成方法の例を示す図である。
　撮像画像Ｐ１１乃至Ｐ１３を真上から見た場合、各画像の画角は、図１０に示すような形状として表される。図１０は、地上を表す平面に対して真上から見た時の各画像の形状を示している。
　画像合成部３９においては、無人飛行体１の機体の位置と姿勢、および、カメラの内部パラメータと外部パラメータを利用することによって、地上を表す平面に対して撮像画像Ｐ１１乃至Ｐ１３が射影変換される。
　また、画像合成部３９においては、射影変換後の撮像画像Ｐ１１乃至Ｐ１３が、つなぎ合わせるようにして合成され、時刻Ｔ３における真下に相当する位置と落下位置推定範囲を含む範囲が切り出される。図１０の例においては、破線で示す範囲が写る画像が切り出し画像Ｐ２１として切り出されている。
　画像合成部３９においては、落下位置推定範囲と真下に相当する位置とを表す落下位置画像を切り出し画像Ｐ２１上に合成することによって、合成画像が生成される。このようにして生成された合成画像が、画像合成部３９から図７のデータ送信部４０に対して出力される。
　なお、無人飛行体１に設けられるカメラが複数ある場合、落下位置推定範囲と画角とが重複する撮像画像が、合成画像の生成に用いられる。
　データ送信部４０は、画像合成部３９から供給された合成画像をコントローラ２に送信する。データ送信部４０により送信された合成画像は、スマートフォン３のディスプレイ３Ａに表示され、無人飛行体１の移動の方向を指示するために用いられる。
　データ受信部４１は、コントローラ２から送信されてきた、ユーザの操作の内容を表す制御コマンドを受信し、機体制御部４２に出力する。制御コマンドにより、例えば、合成画像を見たユーザが指示した方向が表される。
　機体制御部４２は、故障・落下判定部３８から供給された故障・落下判定情報に基づいて、故障が発生したか否かを判断し、動作モードを設定する。
　無人飛行体１の動作モードには、飛行中モードと落下中モードがある。飛行中モードは、故障が発生していない場合に設定される動作モードであり、落下中モードは、故障が発生した場合に設定される動作モードである。
　また、機体制御部４２は、データ受信部４１から供給された制御コマンドに応じて、無人飛行体１の移動を制御する。
　動作モードが飛行中モードである場合、機体制御部４２は、機体座標系における位置姿勢の制御を行う。
　機体座標系は、無人飛行体１における座標系を表す。動作モードが飛行中モードである場合、コントローラ２を操作するユーザは、機体座標系上の操作を行い、無人飛行体１の移動を制御することになる。
　一方、動作モードが落下中モードである場合、機体制御部４２は、自己位置・運動推定部３６から供給された自己位置・運動推定結果と、故障・落下判定部３８から供給された故障・落下判定情報とに基づいて、故障箇所を考慮した制御を行う。
　この場合、機体制御部４２は、合成画像座標系で表されるユーザの指示の方向を、機体座標系の方向に変換し、制御を行う。制御コマンドにより表されるユーザの指示の方向は、合成画像を見た状態で行われる方向であるから、合成画像における座標系である合成画像座標系の方向として表される。
　すなわち、動作モードが落下中モードである場合、コントローラ２を操作するユーザは、合成画像座標系上の操作を行い、無人飛行体１の移動を制御することになる。
　図１１は、制御コマンドにより表される、合成画像座標系上の方向の例を示す図である。
　衝突を避けたい物体が落下位置推定範囲内に存在した場合、ユーザは、コントローラ２のスティックを左に倒すなどの操作によって、合成画像を基準として左方向への移動を指示する制御コマンドを無人飛行体１に対して送信させる。このとき、図１１の矢印Ａ１２で示すように、合成画像座標系上の左方向への移動を指示する制御コマンドが無人飛行体１に対して送信される。
　合成画像における奥行き方向への移動を指示することにより、落下を早めるような制御を行わせることも可能である。
　図１２は、制御コマンドを受信した無人飛行体１の移動の制御の例を示す図である。
　図１１を参照して説明したような左方向への移動が合成画像上で指示された場合、機体制御部４２は、図１２の矢印Ａ１３で示すように、実際に落下する位置が落下位置推定範囲より左方向の位置になるように機体を制御する。
　具体的には、機体制御部４２は、所定の変換行列を用いて、ユーザにより指定された方向を、時刻Ｔ３における、機体座標系上の方向に変換し、機体の制御を行う。
　モータの故障などにより任意の方向に移動できない場合、機体制御部４２は、機体の位置、姿勢を考慮し、ユーザにより指定された方向への推力が生じるように、動作可能なモータの回転の向きを制御する。
　図１３は、落下中モード時のモータの回転の向きの例を示す図である。
　図１３には、回転しながら落下する無人飛行体１の、時刻Ｔ１乃至Ｔ９の各時刻における状態が示されている。また、白抜き矢印で示すように、合成画像を見たユーザにより左方向への移動が指定されているものとする。
　動作可能なモータが１つになった場合、機体制御部４２は、モータを回転させた際に生じる推力ベクトルと、ユーザにより指定された方向に向く方向ベクトルとの内積が正になる向きにモータを回転させる。
　図１３においては、２つあるプロペラのモータのうち、上下の向きが正しい例えば時刻Ｔ１の向きを基準として、左側のプロペラのモータに故障が発生し、右側のプロペラのモータだけが動作可能であるものとする。右側のプロペラのモータの近傍に示す実線の矢印が、モータが順回転することによって生じる推力ベクトルを表す。また、点線の矢印が、モータが逆回転することによって生じる推力ベクトルを表す。ここでは、順回転は、通常時において浮力を発生させる方向への回転を表す。
　機体の上面が真上を向いている時刻Ｔ１においては、モータを回転させることによって生じる推力ベクトルと、ユーザにより指定された方向に向く方向ベクトルとの内積が０となるため、機体制御部４２は、モータを回転させない。
　一方、機体の上面が左側を向いている時刻Ｔ２乃至Ｔ４においては、ユーザにより指定された方向に向く方向ベクトルとの内積が正となる推力ベクトルを生じさせるように、機体制御部４２は、モータを順回転させる。これにより、無人飛行体１は左方向にずれながら落下することになる。
　機体の上面が真下を向いている時刻Ｔ５においては、モータを回転させることによって生じる推力ベクトルと、ユーザにより指定された方向に向く方向ベクトルとの内積が０となるため、機体制御部４２はモータを回転させない。
　機体の上面が右側を向いている時刻Ｔ６乃至Ｔ８の時刻においては、ユーザにより指定された方向に向く方向ベクトルとの内積が正となる推力ベクトルを生じさせるように、機体制御部４２は、モータを逆回転させる。これにより、無人飛行体１は、左方向にずれながら落下することになる。
　機体の上面が真上を向いている時刻Ｔ９の時刻においては、モータを回転させることによって生じる推力ベクトルと、ユーザにより指定された方向に向く方向ベクトルとの内積が０となるため、機体制御部４２はモータを回転させない。
　以上のようにして、機体制御部４２は、ユーザにより指定された左方向への推力が生まれるように動作可能なモータの回転の向きを制御することによって、落下位置を左方向にずらすことが可能となる。
・コントローラ２の構成
　図１４は、コントローラ２の構成例を示す図である。コントローラ２には、有線または無線の通信を介してスマートフォン３が接続される。
　図１４に示すように、コントローラ２は、情報処理部５１と入力部５２を備えている。
　情報処理部５１は、データ受信部６１、データ表示制御部６２、入力取得部６３、およびデータ送信部６４により構成される。
　データ受信部６１は、無人飛行体１から送信された合成画像を受信し、データ表示制御部６２に出力する。
　データ表示制御部６２は、データ受信部６１から供給された合成画像をスマートフォン３のディスプレイ３Ａに出力し、表示させる。
　入力取得部６３は、入力部５２から出力された指示情報を取得し、データ送信部６４に出力する。指示情報は、ユーザが指定した方向と移動量を表す。
　データ送信部６４は、入力取得部６３から供給された指示情報を制御コマンドとして、無人飛行体１に送信する。
　入力部５２は、スティックやタッチパネルなどにより構成される。入力部５２は、ユーザの操作を検出し、検出したユーザの操作に応じた指示情報を出力する。
＜各機器の動作＞
　ここで、以上のような構成を有する各機器の動作について説明する。
・無人飛行体１の動作
　はじめに、図１５のフローチャートを参照して、無人飛行体１の落下被害軽減処理について説明する。
　図１５の落下被害軽減処理は、例えば、無人飛行体１の飛行が開始されたときに開始される。処理開始時の無人飛行体１の動作モードは、飛行中モードである。
　ステップＳ１において、情報処理部１２は、センサ１１から供給されたセンサデータを取得する。具体的には、風速ベクトル取得部３１、画像取得部３２、位置情報取得部３３、IMU情報取得部３４は、それぞれ風速情報、画像データと距離情報、位置情報、IMU情報を取得する。
　ステップＳ２において、自己位置・運動推定部３６は、画像データ、距離情報、位置情報、およびIMU情報に基づいて、自己位置・運動推定結果を推定する。
　ステップＳ３において、故障・落下判定部３８は、内部状態を表す情報と自己位置・運動推定結果とに基づいて、無人飛行体１の機体が故障している、または落下しているか否かを判定する。
　無人飛行体１の機体が故障している、または落下しているとステップＳ３において判定された場合、処理はステップＳ４に進む。
　ステップＳ４において、落下位置推定部３７は、風速情報と自己位置・運動推定結果とに基づいて、落下中の無人飛行体１の落下位置を推定する。
　ステップＳ５において、画像合成部３９は、画像データ、自己位置・運動推定結果、落下位置推定結果、故障・落下判定情報に基づいて、落下位置が写る画像に落下位置画像を合成することによって合成画像を生成する。
　ステップＳ６において、機体制御部４２は、故障・落下判定情報に基づいて、動作モードを落下中モードに設定する。
　ステップＳ７において、データ送信部４０は、合成画像をコントローラ２に送信する。
　合成画像がステップＳ７においてコントローラ２に送信された場合、または、無人飛行体１の機体が故障も落下もしていないとステップＳ３において判定された場合、処理はステップＳ８に進む。
　ステップＳ８において、データ受信部４１は、制御コマンドをコントローラ２から受信したか否かを判定する。
　制御コマンドを受信していないとステップＳ８において判定された場合、ステップＳ１に戻り、それ以降の処理が行われる。
　一方、制御コマンドを受信したとステップＳ８において判定された場合、処理はステップＳ９に進む。データ受信部４１から機体制御部４２に対しては、制御コマンドが供給される。
　ステップＳ９において、機体制御部４２は、動作モードが落下中モードであるか否かを判定する。
　動作モードが落下中モードであるとステップＳ９において判定された場合、処理はステップＳ１０に進む。
　ステップＳ１０において、機体制御部４２は、合成画像に基づいて、制御コマンドにより表される方向を合成画像座標系の方向から機体座標系の方向に変換する。
　ステップＳ１１において、機体制御部４２は、自己位置・運動推定結果と故障・落下判定情報に基づいて、故障箇所を考慮して無人飛行体１のモータを制御し、制御コマンドに応じた所望の方向へ無人飛行体１を移動させる。
　一方、動作モードが落下中モードでないとステップＳ９において判定された場合、処理はステップＳ１２に進む。
　ステップＳ１２において、機体制御部４２は、無人飛行体１のモータを制御し、制御コマンドに応じた所望の方向へ無人飛行体１を移動させる。
　以上の処理が、無人飛行体１の飛行中または落下中に繰り返し行われる。
・コントローラ２の動作
　次に、図１６のフローチャートを参照して、コントローラ２の合成画像表示処理について説明する。
　ステップＳ２１において、コントローラ２のデータ受信部６１は、無人飛行体１から送信された合成画像を受信する。
　ステップＳ２２において、データ表示制御部６２は、合成画像をスマートフォン３のディスプレイ３Ａに出力し、表示させる。
　ステップＳ２３において、入力部５２は、ユーザの操作を受け付け、指示情報を生成する。
　ステップＳ２４において、入力取得部６３は、指示情報を取得する。
　ステップＳ２５において、データ送信部６４は、指示情報を制御コマンドとして無人飛行体１に送信する。
　以上の処理により、ユーザは、ユーザ自身の価値観や落下時の状況に合わせて、落下時の被害が少なくなると考えられる位置に無人飛行体１を落下させることが可能となる。
＜無人飛行体の第２の制御の例＞
　落下させる方向ではなく、落下させる位置がユーザにより指定されるようにしてもよい。この場合、ユーザにより指定された位置に落下させるように、無人飛行体１の機体が制御される。
　図１７は、落下位置を指定するユーザの操作の例を示す図である。
　図１７に示すように、ユーザは、タッチパネルを有するディスプレイ３Ａ上をタッチすることによって、落下位置を指定する。図１７においては、白抜き十字で示す、家Ｏ１や車Ｏ２がない位置がユーザにより指定されている。
　この場合、プロポとして機能するスマートフォン３は、ユーザにより指定された位置を表す制御コマンドを無人飛行体１に送信する。
　図１８は、制御コマンドを受信した無人飛行体１の移動の例を示す図である。
　図１８の左側に白抜きの十字で示す位置Ｃ１１は、ユーザにより指定された合成画像上の位置に対応する実際の３次元空間内の位置を表す。
　制御コマンドを受信した無人飛行体１は、破線で示すように、制御コマンドに応じて、位置Ｃ１１に落下するように機体を制御する。
　図１９は、落下位置を指定する制御コマンドを受信する無人飛行体１の構成例を示すブロック図である。
　図１９に示す無人飛行体１の構成は、落下位置推定部３７と機体制御部４２が接続される点を除いて、図７を参照して説明した構成と同じである。重複する説明については適宜省略する。
　図１９の機体制御部４２に対しては、画像合成部３９に供給される落下位置推定結果と同じ情報が、落下位置推定部３７から供給される。
　機体制御部４２は、データ受信部６１から供給された、落下位置を指定する制御コマンドに基づいて、ユーザにより指定された３次元空間内の落下位置を算出する。機体制御部４２は、ユーザにより指定された落下位置と落下位置推定結果との差分に基づいてフィードバック制御を行い、無人飛行体１の機体をユーザにより指定された落下位置に移動させる。
　以上のように、ユーザは、自身の価値観や状況に応じて指定した位置に無人飛行体１を落下させることが可能となる。例えば、合成画像に写る物体と物体の間に無人飛行体１を落下させたい場合において、ユーザは、そのような所望の位置に無人飛行体１を落下させることができる。
＜無人飛行体の第３の制御の例＞
　合成画像に写る物体を検出した結果である物体検出結果が、ユーザを補助する情報として合成画像に合成されるようにしてもよい。
　図２０は、無人飛行体１の落下位置の近傍にある物体の例を示す図である。
　図２０の例においては、無人飛行体１の落下位置が家Ｏ１上の位置となっている。家Ｏ１の隣には、車Ｏ２が停まっており、車Ｏ２の隣には、人Ｏ３が立っている。
　無人飛行体１は、落下位置が写る画像を対象として物体検出を行い、家Ｏ１、車Ｏ２、および人Ｏ３を検出する。家、車、人などの特定の物体が検出される。
　無人飛行体１は、家Ｏ１、車Ｏ２、および人Ｏ３を表す情報を合成した合成画像を生成し、コントローラ２に送信することによってスマートフォン３に表示させる。
　図２１は、物体検出結果が合成された合成画像の表示例を示す図である。
　図２１に示すように、スマートフォン３のディスプレイ３Ａには、合成画像が表示されている。合成画像には、家Ｏ１、車Ｏ２、および人Ｏ３が並んで写っている。
　また、図２１の合成画像には、家Ｏ１を囲むように、Ｌ字状の線を組み合わせた矩形情報Ｒ１が表示されている。矩形情報Ｒ１は、家が検出された合成画像上の領域を表す。矩形情報Ｒ１の上には、家があることを表す「House」の文字情報が表示されている。
　同様に、車Ｏ２を囲むように矩形情報Ｒ２が表示されている。矩形情報Ｒ２は、車が検出された合成画像上の領域を表す。矩形情報Ｒ２の上には、車があることを表す「Car」の文字情報が表示されている。
　また、人Ｏ３を囲むように矩形情報Ｒ３が表示されている。矩形情報Ｒ３は、人が検出された合成画像上の領域を表す。矩形情報Ｒ３の上には、人を表す「Human」の文字情報が表示されている。
　ユーザは、合成画像上に表示された矩形情報や文字情報を見て、無人飛行体１が衝突する可能性のある物体の種類を認識することができる。
　物体検出結果と落下推定範囲に基づいて、ユーザに対して推奨する移動方向を表す情報が合成画像上に表示されるようにしてもよい。
　図２２は、合成画像に写る物体を検出する無人飛行体１の構成例を示すブロック図である。
　図２２に示す無人飛行体１の構成は、物体検出部１０１が設けられている点を除いて、図７を参照して説明した構成と同じである。重複する説明については適宜省略する。
　画像合成部３９は、落下位置が写る画像を物体検出部１０１に出力する。物体検出部１０１に対しては、例えば、図１０を参照して説明したようにして画像合成部３９において生成された、落下位置が写る画像が供給される。
　また、画像合成部３９は、物体検出部１０１から供給された物体検出結果に基づいて、落下位置画像とともに、矩形情報と文字情報を落下位置が写る画像に合成することによって合成画像を生成する。
　物体検出部１０１は、画像合成部３９から供給された画像を対象として物体検出を行う。物体検出部１０１は、物体検出結果を画像合成部３９に出力する。
　ここで、図２３のフローチャートを参照して、以上のような構成を有する無人飛行体１により行われる落下被害軽減処理について説明する。
　ステップＳ５１乃至Ｓ５６の処理は、それぞれ、図１５のステップＳ１乃至Ｓ６の処理と同様の処理である。すなわち、無人飛行体１の機体が故障した場合、落下位置が写る画像が合成され、無人飛行体１の動作モードが落下中モードに設定される。
　ステップＳ５７において、物体検出部１０１は、落下位置が写る画像を対象にして物体検出を行う。
　ステップＳ５８において、画像合成部３９は、物体検出結果に基づいて、落下位置画像とともに、矩形情報と文字情報を落下位置が写る画像に合成することによって合成画像を生成する。
　ステップＳ５９乃至Ｓ６４の処理は、それぞれ、図１５のステップＳ７乃至Ｓ１２の処理と同様の処理である。すなわち、合成画像がコントローラ２に送信され、ユーザの操作に応じて無人飛行体１の移動が制御される。
　以上のように、ユーザは、無人飛行体１が衝突する可能性のある物体の種類を認識し、自身の価値観や落下時の状況に合わせて、落下時の被害が少なくなると考えられる位置に無人飛行体１を落下させることができる。
＜無人飛行体の第４の制御の例＞
　物体検出結果などに基づいて行動計画が無人飛行体１において行われ、計画された行動に従って、無人飛行体１の移動が自律的に制御されるようにしてもよい。例えば、合成画像に写る物体との衝突を避けるために必要な行動が計画される。
　図２４は、衝突を避けるための行動の例を示す図である。
　図２４に示すように、家Ｏ１上の位置が落下位置となっている場合、無人飛行体１は、落下位置が写る画像に基づいて家Ｏ１、車Ｏ２、および人Ｏ３を検出し、これらの物体との衝突を避けるために必要な行動を計画する。例えば、ハッチを付した矢印で示すように、家Ｏ１、車Ｏ２、および人Ｏ３より手前の位置に落下するような行動が計画され、自律回避が行われる。
　図２５は、計画に応じた移動の方向を示す合成画像の表示例を示す図である。
　図２５に示すように、合成画像には、計画に応じた移動の方向を示す矢印が表示される。図２５に示す合成画像の他の表示は、図２１を参照して説明した合成画像の表示と同じである。
　無人飛行体１により計画された行動が、自身の価値観や状況にそぐわない場合、合成画像を見たユーザが、図２６に示すように、計画された移動の方向と異なる方向に移動することを指示することができるようにしてもよい。
　図２６の例においては、自律回避の方向がハッチを付した矢印で示す下方向として提示されているのに対して、ユーザにより、左方向に移動することが指示されている。ユーザが指示した方向を表す制御コマンドが無人飛行体１に対して送信される。
　図２７は、無人飛行体１の移動の例を示す図である。
　自律回避の方向と異なる方向が図２６を参照して説明したようにしてユーザにより指定された場合、無人飛行体１は、図２７の白抜き矢印で示すように、ユーザによる指示を優先し、ユーザにより指示された方向に移動するように機体を制御することになる。
　このように、無人飛行体１による自律回避に対してユーザが介入することができるようにしてもよい。
　ユーザによる指示が単に優先されるのではなく、自律回避の方向と、ユーザにより指示された方向とを組み合わせて、新たな行動が計画されるようにしてもよい。
　移動する方向をユーザが決定しやすくするために、無人飛行体１を移動させやすい方向を表す情報が表示されるようにしてもよい。例えば、無人飛行体１を移動させやすい方向を表す情報として、風向きや風量が表示される。
　また、無人飛行体１が落下するまでの時間が表示されるようにしてもよい。
　図２８は、自律回避の機能を有する無人飛行体１の構成例を示すブロック図である。
　図２８に示す無人飛行体１の構成は、回避行動生成部１１１が設けられている点を除いて、図２２を参照して説明した構成と同じである。重複する説明については適宜省略する。
　機体制御部４２は、回避行動生成部１１１から供給された、自律回避のための行動計画に従って、無人飛行体１の機体を制御する。ユーザの指示を表す制御コマンドが受信された場合、上述したように、機体制御部４２は、ユーザの操作を優先して無人飛行体１の機体を制御する。
　物体検出部１０１は、落下位置が写る画像内において検出した物体の３次元位置を算出する。３次元位置の算出には、適宜、地面までの距離情報、物体までの距離情報が用いられる。物体検出部１０１は、物体の３次元位置を表す情報と、物体検出結果とを回避行動生成部１１１に出力する。
　回避行動生成部１１１に対しては、自己位置・運動推定結果が自己位置・運動推定部３６から供給される。また、回避行動生成部１１１に対しては、落下位置推定結果が落下位置推定部３７から供給されるとともに、故障・落下判定情報が故障・落下判定部３８から供給される。
　回避行動生成部１１１は、各部から供給された情報に基づいて、合成画像に写る物体との衝突を避けるために必要な行動を計画する。回避行動生成部１１１により計画された行動を表す情報は、機体制御部４２に供給される。
　移動する物体が合成画像に写っている場合、無人飛行体１が地面または物体に衝突する時刻における移動体の位置が回避行動生成部１１１により予測されるようにしてもよい。この場合、予測された移動体の位置を用いて、行動が計画される。
　ここで、図２９のフローチャートを参照して、以上のような構成を有する無人飛行体１により行われる落下被害軽減処理について説明する。
　ステップＳ１０１乃至Ｓ１０９の処理は、それぞれ、図２３のステップＳ５１乃至Ｓ５９の処理と同様の処理である。すなわち、無人飛行体１の動作モードが落下中モードに設定され、合成画像がコントローラ２に送信される。
　ステップＳ１１０において、データ受信部４１は、制御コマンドをコントローラ２から受信したか否かを判定する。
　制御コマンドを受信していないとステップＳ１１０において判定された場合、処理はステップＳ１１１に進む。
　ステップＳ１１１において、機体制御部４２は、動作モードが落下中モードであるか否かを判定する。
　動作モードが落下中モードではないとステップＳ１１１において判定された場合、処理はステップＳ１０１に戻り、それ以降の処理が行われる。
　一方、動作モードが落下中モードであるとステップＳ１１１において判定された場合、処理はステップＳ１１２に進む。
　ステップＳ１１２において、回避行動生成部１１１は、自律回避のための行動を計画する。自律回避のための行動が計画された後、ステップＳ１１５において、計画された行動に従って、無人飛行体１の移動の方向が制御される。
　一方、制御コマンドを受信したとステップＳ１１０において判定された場合、処理はステップＳ１１３に進む。
　ステップＳ１１３乃至Ｓ１１６の処理は、それぞれ、図２３のステップＳ６１乃至Ｓ６４の処理と同様の処理である。すなわち、動作モードが落下中モードであるか否かが判定され、判定結果に応じて、ユーザの操作に応じて無人飛行体１の移動が制御される。
　以上のように、無人飛行体１は、合成画像に写る物体との衝突を回避する行動を自律的にとることが可能となる。
＜変形例＞
・システム構成について
　センサ１１と情報処理部１２が無人飛行体１に設けられるものとしたが（図７）、情報処理部１２の一部の機能については、コントローラ２やスマートフォン３のいずれかのデバイスにおいて実現されるようにしてもよい。
　図３０は、スマートフォン３の構成例を示す図である。
　図３０に示すように、スマートフォン３においては情報処理部１５１が実現される。図３０に示す情報処理部１５１の構成は、表示部１６１、入力取得部１６２、制御コマンド生成部１６３、データ送信部１６４が設けられる点を除いて、図７を参照して説明した無人飛行体１の情報処理部１２の構成と同じである。重複する説明については適宜省略する。
　情報処理部１５１は、撮像画像などを含むセンサデータや内部状態を、無人飛行体１に設けられたセンサ１１や各種の機器から取得する。
　表示部１６１は、画像合成部３９から供給された合成画像をディスプレイ３Ａに表示させる。
　入力取得部１６２は、タッチパネルを有するディスプレイ３Ａに対して行われたユーザの操作の内容を表す指示情報を制御コマンド生成部１６３に出力する。
　制御コマンド生成部１６３に対しては、自己位置・運動推定結果が自己位置・運動推定部３６から供給され、故障・落下判定情報が故障・落下判定部３８から供給される。また、制御コマンド生成部１６３に対しては、合成画像が画像合成部３９から供給される。
　制御コマンド生成部１６３は、故障・落下判定情報に基づいて、故障時か否かを判断し、スマートフォン３の動作モードを設定する。無人飛行体１において故障が発生した場合、動作モードは落下中モードに設定され、故障が発生していない場合、動作モードは飛行中モードに設定される。
　制御コマンド生成部１６３は、入力取得部１６２から供給された指示情報に応じて、ユーザにより指示された方向を表す制御コマンドを生成する。動作モードが飛行中モードの場合、入力取得部１６２から供給された指示情報がそのまま用いられる。
　一方、動作モードが落下中モードの場合、制御コマンド生成部１６３は、入力取得部１６２から供給された、合成画像座標系上の指示情報を、合成画像に基づいて機体座標系に変換して、制御コマンドを生成する。
　制御コマンド生成部１６３は、自己位置・運動推定結果、故障・落下判定情報、および制御コマンドをデータ送信部１６４に出力する。
　データ送信部１６４は、制御コマンド生成部１６３から供給された自己位置・運動推定結果、故障・落下判定情報、および制御コマンドを無人飛行体１に送信する。
　以上のように、図７に示す無人飛行体１の構成の一部が、スマートフォン３側に設けられるようにしてもよい。
・コンピュータの例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する制御部
　を備える制御装置。
（２）
　前記無人飛行体に設けられた撮像装置により撮像された画像に前記落下位置を表す情報を合成し、ユーザによる操作に用いられる合成画像を生成する合成部をさらに備える
　前記（１）に記載の制御装置。
（３）
　前記無人飛行体に設けられたセンサが出力するセンサデータに基づいて、前記無人飛行体の飛行状態を推定する推定部と、
　前記飛行状態と前記無人飛行体に加えられた外力とに基づいて、前記落下位置を推定する落下位置推定部と
　をさらに備える前記（２）に記載の制御装置。
（４）
　前記飛行状態と前記無人飛行体の内部状態とのうちの少なくともいずれかに基づいて、前記無人飛行体の落下を検出する判定部をさらに備える
　前記（３）に記載の制御装置。
（５）
　前記合成部は、前記飛行状態と前記撮像装置のパラメータとに基づいて、前記撮像装置により撮像された画像を、地上を表す平面に対して射影変換し、射影変換によって得られた画像に対して前記落下位置を表す情報を合成することによって、前記合成画像を生成する
　前記（３）または（４）に記載の制御装置。
（６）
　前記合成部は、前記落下位置を表す情報と、前記無人飛行体の直下に相当する位置を表す情報とを含む前記合成画像を生成する
　前記（２）乃至（５）のいずれかに記載の制御装置。
（７）
　前記制御部は、ユーザにより指定された画像上の方向または位置に応じて、前記無人飛行体の移動を制御する
　前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
　前記制御部は、前記ユーザにより指定された方向を、前記無人飛行体における座標系上の方向に変換し、前記無人飛行体の移動を制御する
　前記（７）に記載の制御装置。
（９）
　前記制御部は、前記ユーザにより指定された位置と、前記落下位置との差分に基づいて、前記無人飛行体の移動を制御する
　前記（７）に記載の制御装置。
（１０）
　前記撮像装置により撮像された画像に写る物体を検出する検出部をさらに備え、
　前記合成部は、前記検出部により検出された前記物体を表す物体情報を前記合成画像に合成する
　前記（２）乃至（９）のいずれかに記載の制御装置。
（１１）
　前記検出部により検出された前記物体との接触を避けるための前記無人飛行体の行動を計画する行動計画部をさらに備え、
　前記制御部は、計画された前記行動と、前記ユーザの操作とに基づいて、前記無人飛行体の移動を制御する
　前記（１０）に記載の制御装置。
（１２）
　前記制御部は、前記ユーザの操作を優先させて、前記無人飛行体の移動を制御する
　前記（１１）に記載の制御装置。
（１３）
　制御装置が、
　無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する
　制御方法。
（１４）
　コンピュータに、
　無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する
　処理を実行させるためのプログラム。
（１５）
　周囲の状況を撮像する撮像部と、
　前記撮像部により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の無人飛行体の移動を制御する制御部と
　を備える無人飛行体。
（１６）
　無人飛行体により撮像された落下位置が写る画像を表示させる表示制御部と、
　前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドを生成する生成部と、
　前記制御コマンドを前記無人飛行体に送信する送信部と
　を備える情報処理装置。
（１７）
　情報処理装置が、
　無人飛行体により撮像された落下位置が写る画像を表示させ、
　前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドを生成し、
　前記制御コマンドを前記無人飛行体に送信する
　情報処理方法。
（１８）
　コンピュータに、
　無人飛行体により撮像された落下位置が写る画像を表示させ、
　前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドを生成し、
　前記制御コマンドを前記無人飛行体に送信する
　処理を実行させるためのプログラム。
　１　無人飛行体，　２　コントローラ，　３　スマートフォン，　１１　センサ，　１２　情報処理部，　３１　風速ベクトル取得部，　３２　画像取得部，　３３　位置情報取得部，　３４　IMU情報取得部，　３５　内部情報取得部，　３６　自己位置・運動推定部，　３７　落下位置推定部，　３８　故障・落下判定部，　３９　画像合成部，　４０　データ送信部，　４１　データ受信部，　４２　機体制御部，　１０１　物体検出部，　１１１　回避行動生成部，　１５１　情報処理部，　１６１　表示部，　１６２　入力取得部，　１６３　制御コマンド生成部，　１６４　データ送信部

Claims (18)

  1. 　無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する制御部
    　を備える制御装置。
  2. 　前記無人飛行体に設けられた撮像装置により撮像された画像に前記落下位置を表す情報を合成し、ユーザによる操作に用いられる合成画像を生成する合成部をさらに備える
    　請求項１に記載の制御装置。
  3. 　前記無人飛行体に設けられたセンサが出力するセンサデータに基づいて、前記無人飛行体の飛行状態を推定する推定部と、
    　前記飛行状態と前記無人飛行体に加えられた外力とに基づいて、前記落下位置を推定する落下位置推定部と
    　をさらに備える請求項２に記載の制御装置。
  4. 　前記飛行状態と前記無人飛行体の内部状態とのうちの少なくともいずれかに基づいて、前記無人飛行体の落下を検出する判定部をさらに備える
    　請求項３に記載の制御装置。
  5. 　前記合成部は、前記飛行状態と前記撮像装置のパラメータとに基づいて、前記撮像装置により撮像された画像を、地上を表す平面に対して射影変換し、射影変換によって得られた画像に対して前記落下位置を表す情報を合成することによって、前記合成画像を生成する
    　請求項３に記載の制御装置。
  6. 　前記合成部は、前記落下位置を表す情報と、前記無人飛行体の直下に相当する位置を表す情報とを含む前記合成画像を生成する
    　請求項５に記載の制御装置。
  7. 　前記制御部は、ユーザにより指定された画像上の方向または位置に応じて、前記無人飛行体の移動を制御する
    　請求項１に記載の制御装置。
  8. 　前記制御部は、前記ユーザにより指定された方向を、前記無人飛行体における座標系上の方向に変換し、前記無人飛行体の移動を制御する
    　請求項７に記載の制御装置。
  9. 　前記制御部は、前記ユーザにより指定された位置と、前記落下位置との差分に基づいて、前記無人飛行体の移動を制御する
    　請求項７に記載の制御装置。
  10. 　前記撮像装置により撮像された画像に写る物体を検出する検出部をさらに備え、
    　前記合成部は、前記検出部により検出された前記物体を表す物体情報を前記合成画像に合成する
    　請求項２に記載の制御装置。
  11. 　前記検出部により検出された前記物体との接触を避けるための前記無人飛行体の行動を計画する行動計画部をさらに備え、
    　前記制御部は、計画された前記行動と、前記ユーザの操作とに基づいて、前記無人飛行体の移動を制御する
    　請求項１０に記載の制御装置。
  12. 　前記制御部は、前記ユーザの操作を優先させて、前記無人飛行体の移動を制御する
    　請求項１１に記載の制御装置。
  13. 　制御装置が、
    　無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する
    　制御方法。
  14. 　コンピュータに、
    　無人飛行体により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の前記無人飛行体の移動を制御する
    　処理を実行させるためのプログラム。
  15. 　周囲の状況を撮像する撮像部と、
    　前記撮像部により撮像された、落下位置が写る画像に対して生成される制御コマンドに応じて、落下中の無人飛行体の移動を制御する制御部と
    　を備える無人飛行体。
  16. 　無人飛行体により撮像された落下位置が写る画像を表示させる表示制御部と、
    　前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドを生成する生成部と、
    　前記制御コマンドを前記無人飛行体に送信する送信部と
    　を備える情報処理装置。
  17. 　情報処理装置が、
    　無人飛行体により撮像された落下位置が写る画像を表示させ、
    　前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドを生成し、
    　前記制御コマンドを前記無人飛行体に送信する
    　情報処理方法。
  18. 　コンピュータに、
    　無人飛行体により撮像された落下位置が写る画像を表示させ、
    　前記画像に対する、前記無人飛行体の移動の制御に用いられる制御コマンドを生成し、
    　前記制御コマンドを前記無人飛行体に送信する
    　処理を実行させるためのプログラム。
PCT/JP2020/030644 2019-08-26 2020-08-12 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム Ceased WO2021039387A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/635,854 US12103663B2 (en) 2019-08-26 2020-08-12 Control device, control method, unmanned aircraft, information processing device, and information processing method
CN202080058352.6A CN114270284B (zh) 2019-08-26 2020-08-12 控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-153895 2019-08-26
JP2019153895 2019-08-26

Publications (1)

Publication Number Publication Date
WO2021039387A1 true WO2021039387A1 (ja) 2021-03-04

Family

ID=74683312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030644 Ceased WO2021039387A1 (ja) 2019-08-26 2020-08-12 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US12103663B2 (ja)
CN (1) CN114270284B (ja)
WO (1) WO2021039387A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775472B (zh) * 2022-10-28 2025-08-08 上海长弓中急管科技有限公司 一种低空动目标处置落点智能预判系统和算法
CN117109562B (zh) * 2023-10-25 2024-01-12 中联金冠信息技术(北京)有限公司 一种反馈式无人机定位系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100084513A1 (en) * 2008-09-09 2010-04-08 Aeryon Labs Inc. Method and system for directing unmanned vehicles
WO2017033976A1 (ja) * 2015-08-25 2017-03-02 日本電気株式会社 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体
JP2018044913A (ja) * 2016-09-16 2018-03-22 株式会社トプコン Ｕａｖ測定装置及びｕａｖ測定システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105517666B (zh) * 2014-09-05 2019-08-27 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
CN104932522B (zh) * 2015-05-27 2018-04-17 深圳市大疆创新科技有限公司 一种飞行器的自主降落方法和系统
CN106598063B (zh) * 2015-10-14 2021-10-26 松下电器（美国）知识产权公司 无人飞行器及飞行控制方法
JP6649051B2 (ja) * 2015-11-17 2020-02-19 Ｋｙｂ株式会社 品質データ管理システム
KR101765039B1 (ko) * 2016-01-18 2017-08-10 김성호 추락 경고장치 및 이를 갖춘 무인항공기
JP6051327B1 (ja) * 2016-05-26 2016-12-27 株式会社プロドローン 無人航空機
CN107077145A (zh) * 2016-09-09 2017-08-18 深圳市大疆创新科技有限公司 显示无人飞行器的障碍检测的方法和系统
CN108415450A (zh) * 2017-02-09 2018-08-17 深圳光启飞行包科技有限公司 个人飞行器的控制系统
CN109074096A (zh) * 2017-12-29 2018-12-21 深圳市大疆创新科技有限公司 一种无人机、控制终端的控制方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100084513A1 (en) * 2008-09-09 2010-04-08 Aeryon Labs Inc. Method and system for directing unmanned vehicles
WO2017033976A1 (ja) * 2015-08-25 2017-03-02 日本電気株式会社 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体
JP2018044913A (ja) * 2016-09-16 2018-03-22 株式会社トプコン Ｕａｖ測定装置及びｕａｖ測定システム

Also Published As

Publication number Publication date
US12103663B2 (en) 2024-10-01
US20220297821A1 (en) 2022-09-22
CN114270284A (zh) 2022-04-01
CN114270284B (zh) 2025-10-31

Similar Documents

Publication Publication Date Title
US11724805B2 (en) Control method, control device, and carrier system
US20250045949A1 (en) Uav control method, device and uav
JP7083081B2 (ja) 自動着岸装置
JP6671375B2 (ja) 無人機の飛行補助方法
US20190317502A1 (en) Method, apparatus, device, and system for controlling unmanned aerial vehicle
US20200027357A1 (en) Method for controlling aircraft, device, and aircraft
JP6711631B2 (ja) 監視システム
JP6657030B2 (ja) 無人飛行体、飛行制御方法、飛行基本プログラム及び強制移動プログラム
WO2019119201A1 (zh) 一种云台控制方法、无人机、云台及存储介质
US20210325886A1 (en) Photographing method and device
WO2020019331A1 (zh) 气压计的高度测量补偿方法以及无人机
US10331120B2 (en) Remote control device, control system and method of controlling
US12103663B2 (en) Control device, control method, unmanned aircraft, information processing device, and information processing method
WO2020062255A1 (zh) 拍摄控制方法和无人机
CN111344651B (zh) 无人机的控制方法和无人机
WO2021217372A1 (zh) 可移动平台的控制方法和设备
JP6974247B2 (ja) 情報処理装置、情報提示指示方法、プログラム、及び記録媒体
CN108778931B (zh) 一种摄像装置的转动控制方法、控制设备以及飞行器
WO2020042186A1 (zh) 可移动平台的控制方法、可移动平台、终端设备和系统
WO2021251441A1 (ja) 方法、システムおよびプログラム
JP2006270404A (ja) 撮影制御装置、撮影制御方法および撮影制御プログラム
WO2021237500A1 (zh) 飞行控制方法和设备
JP6495562B1 (ja) 無人飛行体による空撮システム、方法及びプログラム
CN113632037A (zh) 可移动平台的控制方法和设备
WO2020237429A1 (zh) 遥控设备的控制方法和遥控设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20857822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20857822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

WWG Wipo information: grant in national office

Ref document number: 202080058352.6

Country of ref document: CN