[go: up one dir, main page]

JP7552581B2 - 行動制御装置および行動制御方法 - Google Patents

行動制御装置および行動制御方法 Download PDF

Info

Publication number
JP7552581B2
JP7552581B2 JP2021503966A JP2021503966A JP7552581B2 JP 7552581 B2 JP7552581 B2 JP 7552581B2 JP 2021503966 A JP2021503966 A JP 2021503966A JP 2021503966 A JP2021503966 A JP 2021503966A JP 7552581 B2 JP7552581 B2 JP 7552581B2
Authority
JP
Japan
Prior art keywords
self
unit
location estimation
estimation unit
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021503966A
Other languages
English (en)
Other versions
JPWO2020179491A1 (ja
Inventor
堅一郎 多井
正樹 半田
琢人 元山
駿 李
政彦 豊吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020179491A1 publication Critical patent/JPWO2020179491A1/ja
Priority to JP2024151434A priority Critical patent/JP2024163227A/ja
Application granted granted Critical
Publication of JP7552581B2 publication Critical patent/JP7552581B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/46—Control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/20—Arrangements for acquiring, generating, sharing or displaying traffic information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/20—Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/26—Transmission of traffic-related information between aircraft and ground stations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/30—Flight plan management
    • G08G5/34—Flight plan management for flight plan modification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/53—Navigation or guidance aids for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/55—Navigation or guidance aids for a single aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/57—Navigation or guidance aids for unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/70—Arrangements for monitoring traffic-related situations or conditions
    • G08G5/74—Arrangements for monitoring traffic-related situations or conditions for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/80—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、行動制御装置および行動制御方法に関し、特に、より適切な行動制御を実現することができるようにした行動制御装置および行動制御方法に関する。
従来、いわゆるドローンと称される無人航空機（UAV：Unmanned Aerial Vehicle）などの移動体は、例えば、ユーザの操作に応じて飛行する他、予め指定されたウェイポイントを通過するというミッションに従って飛行すること（以下、ミッション飛行と称する）ができる。
このようなミッション飛行を実現するには、ドローンが、自己の位置を推定するための自己位置推定システムを備える必要がある。例えば、自己位置推定システムには、GPS（Global Positioning System）センサを利用して自己の位置を推定する手法や、ビジョンセンサを利用して自己の位置を推定する手法などが主に用いられ、その他にも様々な手法を用いることができる。
例えば、GPSセンサを利用した自己位置推定システムは、GPSを広範囲で利用することができるメリットがある一方で、自己位置を推定する精度が低い（例えば、数メートル程度の誤差）というデメリットがある。また、ビジョンセンサを利用した自己位置推定システムは、自己位置を推定する精度が高い（例えば、数センチ程度の誤差）というメリットがある一方で、ビジョンが有効に利用できる範囲が狭く、一様な見た目や遠景などにおいては利用することができないというデメリットがある。
また、特許文献１には、複数の位置情報を取得して移動範囲の情報を設定することによって、移動する経路または範囲を、より正確に設定することが可能な移動体が開示されている。
特許第６２８９７５０号
ところで、従来のドローンでは、例えば、ミッション飛行の全体に亘って同一の自己位置推定システムを利用するように構成されていたため、自己位置を推定する際の推定精度を変えながら、状況に応じた適切な飛行制御を行うことは困難であった。例えば、あるウェイポイントでは高精度で自己位置を推定しながら飛行させたり、あるウェイポイントでは低精度であっても高速で飛行させたりするというようなミッション飛行を行うことが実現されていなかった。
本開示は、このような状況に鑑みてなされたものであり、より適切な行動制御を実現することができるようにするものである。
本開示の一側面の行動制御装置は、移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部とを備え、前記自己位置推定部には、画像センサから取得した情報を利用するVisionベース自己位置推定部と、GPS（Global Positioning System）センサから取得した情報を利用するGPSベース自己位置推定部とを含む。
本開示の一側面の行動制御方法は、前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することとを含み、前記自己位置推定部には、画像センサから取得した情報を利用するVisionベース自己位置推定部と、GPSセンサから取得した情報を利用するGPSベース自己位置推定部とを含む。
本開示の一側面においては、移動体の位置を推定するのに使用する自己位置推定部が、推定精度の異なる複数の自己位置推定部の中から指標に基づいて選択されて、移動体の状態が求められ、移動体の状態に基づいて、予め作成された行動計画に従って移動体の行動が制御される。そして、自己位置推定部には、画像センサから取得した情報を利用するVisionベース自己位置推定部と、GPSセンサから取得した情報を利用するGPSベース自己位置推定部とが含まれる。
ミッション飛行について説明する図である。 本技術を適用したミッション飛行制御装置の第１の実施の形態の構成例を示すブロック図である。 EKF処理部の構成例を示す図である。 ミッション飛行設定画面の一例を示す図である。 自己位置推定システムの切り替えについて説明する図である。 ミッション飛行制御処理を説明するフローチャートである。 EKF処理を説明するフローチャートである。 高度および速度の有効範囲を視覚化したユーザインタフェースの一例を示す図である。 推定精度を視覚化したユーザインタフェースの一例を示す図である。 自己位置推定システムごとの高度および速度についての有効範囲を説明する図である。 Visionベース自己位置推定が選択不可であることを視覚化したユーザインタフェースの一例を示す図である。 高精度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。 速度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。 速度および自己位置推定システムの指定に応じて、ウェイポイントＷＰごとの高度を自動的に選択するウェイポイント設定処理を説明するフローチャートである。 ミッション飛行制御装置での位置合わせについて説明する図である。 障害物の位置に基づいて、障害物を回避するようにミッション飛行をカスタマイズする方法について説明する図である。 障害物マップを利用したウェイポイントの微調整について説明する図である。 本技術を適用したミッション飛行制御装置の第２の実施の形態の構成例を示すブロック図である。 ミッション飛行をカスタマイズする処理を説明するフローチャートが示されている。 障害物の測距精度を視覚化したユーザインタフェースの一例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜ミッション飛行について＞
図１を参照して、ドローンのミッション飛行について説明する。
例えば、図１に示すように、６カ所のウェイポイントＷＰ１乃至ＷＰ６が指定されている場合、スタート位置であるウェイポイントＷＰ１からゴール位置であるウェイポイントＷＰ６まで順番に、ウェイポイントＷＰ２乃至ＷＰ５を通過するような経路で行動計画が作成される。この場合、ドローン１は、図１において２点鎖線で示されるような経路に沿って飛行するミッション飛行を実行することができる。
なお、本実施の形態では、ドローン１が通過する際の指標としてウェイポイントＷＰを利用するミッション飛行について説明するが、ウェイポイントＷＰを利用する以外に、例えば、ドローン１の行動タスク（撮像を行うや、物品を搬送するなど）を指定して行動計画を作成してもよい。即ち、ユーザがウェイポイントＷＰを指定することに限らず、行動タスクの内容に従ってウェイポイントＷＰが指定されるようにしてもよい。なお、ウェイポイントＷＰの位置は、例えば、ドローン１が事前飛行を行う際にGPSに従って取得される位置情報または領域情報に基づいて特定することができる。
＜ミッション飛行制御装置の第１の構成例＞
図２は、本技術を適用したミッション飛行制御装置の第１の実施の形態の構成例を示すブロック図である。
図２に示すように、ミッション飛行制御装置１１は、パーソナルコンピュータ１２、行動計画作成部１３、画像センサ１４、慣性計測装置１５、Visionベース自己位置推定部１６、GPSベース自己位置推定部１７、フライト制御部１８、および、駆動部１９を備えて構成される。また、フライト制御部１８は、EKF（Extended Kalman Filter）処理部２１、ナビゲータ２２、および、駆動制御部２３を備えて構成される。
例えば、図１のドローン１に、画像センサ１４、慣性計測装置１５、Visionベース自己位置推定部１６、GPSベース自己位置推定部１７、フライト制御部１８、および、駆動部１９が内蔵されるように、ミッション飛行制御装置１１を構成することができる。
パーソナルコンピュータ１２は、例えば、後述する図４に示すようなミッション飛行設定画面４１を表示する表示部、および、マウスやキーボードなどの操作部を有しており、ユーザが、ウェイポイントＷＰを指定するのに用いられる。そして、パーソナルコンピュータ１２は、ユーザにより指定されたウェイポイントＷＰを、行動計画作成部１３に供給するとともに、フライト制御部１８のEKF処理部２１に供給する。
行動計画作成部１３は、パーソナルコンピュータ１２から供給されるウェイポイントＷＰを通過するようにドローン１を飛行させるための行動計画（Path plan）を作成して、フライト制御部１８のナビゲータ２２に供給する。
画像センサ１４は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide-Semiconductor）イメージセンサなどの固体撮像素子を有している。そして、画像センサ１４は、ドローン１の周囲を固体撮像素子で撮像することにより得られる画像の画像データ（Image data）を、Visionベース自己位置推定部１６に供給する。
慣性計測装置１５は、例えば、３軸のジャイロセンサなどから構成されるIMU（Inertial Measurement Unit）である。そして、慣性計測装置１５は、ドローン１の飛行に伴って計測される加速度および角速度を、慣性計測データ（IMU data）としてVisionベース自己位置推定部１６に供給するとともに、フライト制御部１８のEKF処理部２１に供給する。
Visionベース自己位置推定部１６は、画像センサ１４から供給される画像データ、および、慣性計測装置１５から供給される慣性計測データを用いて、ドローン１の位置を推定する自己位置推定（Visual Inertial Odometry）を行う。例えば、Visionベース自己位置推定部１６には、SLAM（Simultaneous Localization and Mapping）を利用することができる。そして、Visionベース自己位置推定部１６は、画像データに基づいて自己位置推定を行った結果として得られる姿勢および速度（Pose/Velocity）を、Visionベースの観測情報としてフライト制御部１８のEKF処理部２１に供給する。
GPSベース自己位置推定部１７は、例えば、GPSを利用して、ドローン１の位置を推定する自己位置推定を行う。そして、GPSベース自己位置推定部１７は、GPSに基づいて自己位置推定を行った結果として得られるNED（North-East-Down）座標上での姿勢（Pose in NED）を、GPSベースの観測情報としてフライト制御部１８のEKF処理部２１に供給する。
フライト制御部１８は、行動計画作成部１３から供給される行動計画に従ってドローン１が飛行するように駆動部１９を制御し、ドローン１の飛行制御を実行する。
駆動部１９は、例えば、複数のロータを駆動するモータにより構成され、それらのロータにより発生する推力により、ドローン１を飛行させる。
EKF処理部２１は、慣性計測装置１５から供給される慣性計測データ、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報、および、GPSベース自己位置推定部１７から供給されるGPSベースの観測情報に基づいて、ドローン１の状態（位置および姿勢）を求めるEKF処理を行う。そして、EKF処理部２１は、EKF処理を行った結果得られるEKF処理結果として、ドローン１の状態を示す状態情報を、ナビゲータ２２および駆動制御部２３に供給する。なお、EKF処理部２１の詳細な構成については、図２を参照して後述する。
ナビゲータ２２は、行動計画作成部１３から供給される行動計画に従ってドローン１が飛行するように、EKF処理部２１から供給される状態情報に基づいて、駆動制御部２３に対し、現在のドローン１の状態から経路に沿った飛行に必要な指示を行う。
駆動制御部２３は、EKF処理部２１から供給される状態情報に基づいて、ナビゲータ２２からの指示に従ってドローン１を飛行させるために、駆動部１９に対する駆動制御（例えば、位置制御（Position Control）および姿勢制御（Attitude Control））を行う。
以上のようにミッション飛行制御装置１１は構成されており、例えば、ユーザは、パーソナルコンピュータ１２を用いてウェイポイントＷＰを指定する際に、ウェイポイントＷＰごとに自己位置推定システムを指定することができる。即ち、ミッション飛行制御装置１１では、ウェイポイントＷＰごとの自己位置推定システムとして、Visionベース自己位置推定部１６またはGPSベース自己位置推定部１７が指定され、いずれか一方の観測情報を用いた飛行制御が行われる。なお、ミッション飛行制御装置１１では、ウェイポイントＷＰごとに、Visionベース自己位置推定部１６およびGPSベース自己位置推定部１７の両方の観測情報を組み合わせて、例えば、複数の観測情報を選択的に用いて飛行制御を行ってもよい。
従って、EKF処理部２１は、最近傍のウェイポイントＷＰにおける自己位置推定システムとしてVisionベース自己位置推定部１６が指定されている場合には、Visionベースの観測情報を選択してEKF処理を行う。一方、EKF処理部２１は、最近傍のウェイポイントＷＰにおける自己位置推定システムとしてGPSベース自己位置推定部１７が指定されている場合には、GPSベースの観測情報を選択してEKF処理を行う。
図３は、EKF処理部２１の構成例を示すブロック図である。
図３に示すように、EKF処理部２１は、EKF状態予測部３１、最近傍ウェイポイント選択部３２、観測情報選択部３３、およびEKF状態更新部３４を備えて構成される。
EKF状態予測部３１には、EKF処理部２１から周期的に出力される、最新のドローン１の状態を示す状態情報がEKF状態更新部３４から供給される。そして、EKF状態予測部３１は、その最新の状態情報から、図２の慣性計測装置１５から供給される慣性計測データ（IMU data）に基づいて、次に状態情報を出力するタイミングにおけるドローン１の状態を予測する。そして、EKF状態予測部３１は、予測したドローン１の状態を示す予測状態情報を、最近傍ウェイポイント選択部３２およびEKF状態更新部３４に供給する。例えば、予測状態情報は、EKFの状態変数であり、ドローン１の位置および姿勢や、慣性計測装置１５が有するセンサのバイアス値などである。
最近傍ウェイポイント選択部３２は、パーソナルコンピュータ１２から供給された複数のウェイポイントＷＰの中から、EKF状態予測部３１から供給される予測状態情報に基づくドローン１の位置に最も近い最近傍ウェイポイントを選択する。例えば、最近傍ウェイポイント選択部３２は、NED座標系でのユークリッド距離が最短になるウェイポイントＷＰを、最近傍ウェイポイントとして選択する。そして、最近傍ウェイポイント選択部３２は、最近傍ウェイポイントについて、Visionベース自己位置推定部１６およびGPSベース自己位置推定部１７のうち、どちらが自己位置推定システムとして指定されているかを示す指定情報を、観測情報選択部３３に供給する。
観測情報選択部３３は、最近傍ウェイポイント選択部３２から供給される指定情報に従って、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報（Pose/Velocity）、および、GPSベース自己位置推定部１７から供給されるGPSベースの観測情報（Pose in NED）のうち、いずれか一方を選択する。例えば、観測情報選択部３３は、最近傍ウェイポイントにおける自己位置推定システムとしてVisionベース自己位置推定部１６が指定されている場合、Visionベースの観測情報を選択して、EKF状態更新部３４に供給する。一方、観測情報選択部３３は、最近傍ウェイポイントにおける自己位置推定システムとしてGPSベース自己位置推定部１７が指定されている場合、GPSベースの観測情報を選択して、EKF状態更新部３４に供給する。
EKF状態更新部３４は、観測情報選択部３３が選択した観測情報に基づいて、EKF状態予測部３１から供給される予測状態情報を更新し、最新の観測情報に基づいたドローン１の状態を求める。例えば、EKF状態更新部３４は、観測情報に示される推定された位置に従って、EKF状態予測部３１により予測されたドローン１の状態が、より正確なものとなるように更新する。そして、EKF状態更新部３４は、ドローン１の状態を示す状態情報を、EKF処理部２１におけるEKF処理結果として出力するとともに、EKF状態予測部３１に供給する。
以上のように、EKF処理部２１は、最近傍ウェイポイントにおける自己位置推定システムを選択することができ、ウェイポイントＷＰごとの状況に応じた推定精度で、ドローン１の状態を求めることができる。
従って、ミッション飛行制御装置１１では、ウェイポイントＷＰごとに自己位置を推定する際の推定精度を変えながら、状況に応じた適切な飛行制御によってドローン１のミッション飛行を行うことができる。
また、本実施の形態のように、最近傍ウェイポイントについて、いずれかの自己位置推定システムが指定される構成の他、例えば、ウェイポイントＷＰに替えて、地図上の位置に応じていずれかの自己位置推定システムが指定される構成を採用してもよい。また、地図上の領域に応じていずれかの自己位置推定システムが指定される構成であってもよい。
なお、本実施の形態では、自己位置推定システムとしてVisionベース自己位置推定部１６およびGPSベース自己位置推定部１７を利用しているが、この２つを利用する構成に限定されることはない。例えば、ミッション飛行制御装置１１は、高度センサや地磁気センサ、その他自己位置推定システム（UWB（Ultra Wide Band），wifi SLAM，OptiTrack、近距離無線通信ベースなど）を利用し、それらを切り替えて使用するような構成としてもよい。
図４は、ミッション飛行設定画面の一例を示す図である。
例えば、ミッション飛行設定画面４１は、パーソナルコンピュータ１２のGUI（Graphical User Interface）を利用して、ミッション飛行を行うのに必要な各種の指示を入力するのに用いられる。図示するように、ミッション飛行設定画面４１は、マップ表示領域４２および指示GUI表示領域４３からなる。
マップ表示領域４２には、例えば、ドローン１を飛行させる領域の地図が表示される。そして、マップ表示領域４２に表示されている地図を利用してユーザがウェイポイントＷＰ１乃至ＷＰ６を指示すると、その地図に重畳するようにウェイポイントＷＰ１乃至ＷＰ６が表示される。
このとき、ウェイポイントＷＰ１乃至ＷＰ６は、それぞれに対して指定されている自己位置推定システムを視覚化するように表示される。即ち、図４に示す例では、ウェイポイントＷＰ１乃至ＷＰ３およびＷＰ６が実線で表されており、自己位置推定システムとしてVisionベース自己位置推定部１６が指定されていることが視覚化されている。また、ウェイポイントＷＰ４およびＷＰ５が破線で表されており、自己位置推定システムとしてGPSベース自己位置推定部１７が指定されていることが視覚化されている。
また、マップ表示領域４２では、ウェイポイントＷＰ１乃至ＷＰ６を順番に接続する経路についても、それぞれの経路をドローン１が飛行する際に用いられる自己位置推定システムを視覚化するような表示が行われる。
例えば、図４に示す例では、自己位置推定システムとしてVisionベース自己位置推定部１６が指定されているウェイポイントＷＰ１乃至ＷＰ３を接続する経路は実線で表されており、その経路をドローン１が飛行する際にVisionベース自己位置推定部１６が用いられることが視覚化されている。同様に、自己位置推定システムとしてGPSベース自己位置推定部１７が指定されているウェイポイントＷＰ４およびＷＰ５を接続する経路は破線で表されており、その経路をドローン１が飛行する際にGPSベース自己位置推定部１７が用いられることが視覚化されている。
さらに、ウェイポイントＷＰ３およびＷＰ４を接続する経路では、その経路をドローン１が飛行する際にVisionベース自己位置推定部１６からGPSベース自己位置推定部１７に切り替えられて用いられることが、実線から破線へ変化することで視覚化されている。同様に、ウェイポイントＷＰ５およびＷＰ６を接続する経路では、その経路をドローン１が飛行する際にGPSベース自己位置推定部１７からVisionベース自己位置推定部１６に切り替えられて用いられることが、破線から実線へ変化することで視覚化されている。
指示GUI表示領域４３には、例えば、図５を参照して後述するように、ウェイポイントＷＰごとの自己位置推定システムを指示するのに利用されるGUIが表示される。
図５を参照して、ウェイポイントＷＰに対して指定される自己位置推定システムの切り替えについて説明する。図５には、ウェイポイントＷＰ４に対して指定される自己位置推定システムを、GPSベース自己位置推定部１７からVisionベース自己位置推定部１６に切り替える例が示されている。
図５の上側に示すように、マップ表示領域４２において、自己位置推定システムの切り替えの対象となるウェイポイントＷＰ４を指定すると、指示GUI表示領域４３に、自己位置推定システムを指定するためのチェックボックスが表示される。即ち、GPSベース自己位置推定部１７を指定するためのチェックボックスと、Visionベース自己位置推定部１６を指定するためのチェックボックスとが表示される。
このとき、GPSベース自己位置推定部１７を指定するためのチェックボックスにチェックマークが表示されており、ウェイポイントＷＰ４に対してGPSベース自己位置推定部１７が指定されていることが視覚化されている。
そして、ユーザが、Visionベース自己位置推定部１６を指定するためのチェックボックスに対する操作を行うと、図５の下側に示すように、Visionベース自己位置推定部１６を指定するためのチェックボックスにチェックマークが表示される。これにより、マップ表示領域４２において、ウェイポイントＷＰ４の表示が破線から実線となるように変化する。さらに、ウェイポイントＷＰ３およびＷＰ４を接続する経路は実線で表され、ウェイポイントＷＰ４およびＷＰ５を接続する経路は破線から実線へ変化するように表される。
例えば、GPSベース自己位置推定部１７の推定精度でドローン１を飛行させていた個所において、より高精度にドローン１を飛行させたい場合に、Visionベース自己位置推定部１６に設定を切り替える操作が行われる。このように、ユーザは、ウェイポイントＷＰを通過する際に要求される推定精度に基づいて、自己位置推定システムを指定することができる。
＜ミッション飛行制御処理＞
図６に示すフローチャートを参照して、ミッション飛行制御装置１１において実行されるミッション飛行制御処理について説明する。なお、ミッション飛行を行うのに必要な情報、例えば、ドローン１を飛行させる領域の地図や地形などの情報は、事前に低精度で飛行することによって取得されているものとする。
ステップＳ１１において、ユーザは、パーソナルコンピュータ１２を利用し、図４に示したミッション飛行設定画面４１のマップ表示領域４２に表示されている地図上にウェイポイントＷＰを指定する。これに応じて、パーソナルコンピュータ１２は、ユーザにより指定されたウェイポイントＷＰを、行動計画作成部１３に供給する。
ステップＳ１２において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとの自己位置推定システムとして、Visionベース自己位置推定部１６またはGPSベース自己位置推定部１７を指定する。これに応じて、パーソナルコンピュータ１２は、ユーザにより指定されたウェイポイントＷＰごとの自己位置推定システムを、フライト制御部１８のEKF処理部２１に供給する。
ステップＳ１３において、行動計画作成部１３は、ステップＳ１１で指定されたウェイポイントＷＰを通過するようなドローン１の行動計画を作成し、フライト制御部１８のナビゲータ２２に供給する。
ステップＳ１４において、ユーザがドローン１に対する飛行開始を指示すると、その指示に応じてフライト制御部１８が飛行制御を行う。これにより、ドローン１は、例えば、図１に示したスタート位置であるウェイポイントＷＰ１に向かって飛行し、ステップＳ１３で作成された行動計画に従った飛行を開始する。
ステップＳ１５において、Visionベース自己位置推定部１６は、画像センサ１４から供給される画像データ、および、慣性計測装置１５から供給される慣性計測データに基づいてドローン１の位置を推定し、Visionベースの観測情報を取得する。また、GPSベース自己位置推定部１７は、GPSを利用してドローン１の位置を推定し、GPSベースの観測情報を取得する。
ステップＳ１６において、EKF処理部２１は、慣性計測装置１５から供給される慣性計測データ、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報、および、GPSベース自己位置推定部１７から供給されるGPSベースの観測情報に基づいて、ドローン１の状態を求めるEKF処理を行う。なお、EKF処理については、図７を参照して後述する。
ステップＳ１７において、フライト制御部１８は、ドローン１を経路に沿って飛行させる飛行制御を行う。即ち、ナビゲータ２２は、ステップＳ１３で行動計画作成部１３により作成された行動計画に従ってドローン１が飛行するように、EKF処理部２１から供給される状態情報に基づいて、駆動制御部２３に対する指示を行う。そして、駆動制御部２３は、EKF処理部２１から供給される状態情報に基づいて、ナビゲータ２２からの指示に従ってドローン１を飛行させるように、駆動部１９に対する駆動制御を行う。
ステップＳ１８において、ナビゲータ２２は、例えば、図１に示したゴール位置であるウェイポイントＷＰ６までドローン１が飛行したか否かを判定する。
ステップＳ１８において、ナビゲータ２２が、ゴール位置までドローン１が飛行していないと判定した場合、処理はステップＳ１５に戻り、以下、同様の処理が繰り返して行われる。一方、ステップＳ１８において、ナビゲータ２２が、ゴール位置までドローン１が飛行したと判定した場合、処理はステップＳ１９に進む。
ステップＳ１９において、フライト制御部１８は、ドローン１が飛行の終了に伴う所定動作、例えば、ホバリングなどを行うように飛行制御を行い、その後、ミッション飛行制御処理は終了される。
図７は、図６のステップＳ１６で行われるEKF処理を説明するフローチャートである。
ステップＳ２１において、EKF状態予測部３１は、図２の慣性計測装置１５から供給される慣性計測データに基づいて、ドローン１の状態（位置および姿勢）を予測する。
ステップＳ２２において、最近傍ウェイポイント選択部３２は、ステップＳ２１でEKF状態予測部３１により予測されたドローン１の位置に最も近い最近傍ウェイポイントを選択する。そして、最近傍ウェイポイント選択部３２は、最近傍ウェイポイントに対して指定されている自己位置推定システムを示す指定情報を、観測情報選択部３３に供給する。
ステップＳ２３において、観測情報選択部３３は、ステップＳ２２で最近傍ウェイポイント選択部３２から供給された指定情報に従って、観測情報を選択してEKF状態更新部３４に供給する。例えば、観測情報選択部３３は、最近傍ウェイポイントに対する自己位置推定システムとして、Visionベース自己位置推定部１６が指定されている場合にはVisionベースの観測情報を選択し、GPSベース自己位置推定部１７が指定されている場合にはGPSベースの観測情報を選択する。
ステップＳ２４において、EKF状態更新部３４は、ステップＳ２３で観測情報選択部３３から供給される観測情報に基づいて、ステップＳ２１でEKF状態予測部３１により予測されたドローン１の状態を更新する。そして、ドローン１の状態を示す状態情報を出力した後、EKF処理は終了される。
以上のようなミッション飛行制御処理およびEKF処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに自己位置推定システムを選択して、それぞれの推定精度で、ドローン１の適切な飛行制御を実現することができる。
＜自己位置推定システムの指定に必要な情報の視覚化＞
図８乃至図１１を参照して、自己位置推定システムの指定に必要な情報の視覚化について説明する。
図８には、高度および速度の有効範囲を視覚化したユーザインタフェースの一例が示されている。
例えば、図８に示すように、ウェイポイントＷＰ３における自己位置推定システムとしてVisionベース自己位置推定部１６を指定したとき、高度および速度の有効範囲が視覚化して提示される。即ち、Visionベース自己位置推定部１６を利用する場合、所定の精度以上で自己位置を推定することが可能な高度および速度が決められており、図８に示す例では、その高度および速度以上となる範囲がグレーアウトとなっている。
これにより、ユーザは、高度および速度の有効範囲を参考にして、自己位置推定システムとしてVisionベース自己位置推定部１６を指定するかどうかを判断することができる。
図９には、推定精度を視覚化したユーザインタフェースの一例が示されている。
例えば、図９示すように、自己位置を推定する精度に基づく誤差範囲を表す誤差楕円が、一点鎖線の円形で提示される。即ち、Visionベース自己位置推定部１６は高精度で自己位置を推定することができ、Visionベース自己位置推定部１６を利用する経路には、誤差範囲が小さなことを表す小さな円形が一定間隔で表示される。一方、GPSベース自己位置推定部１７は低精度で自己位置を推定することになり、GPSベース自己位置推定部１７を利用する経路には、誤差範囲が大きいことを表す大きな円形が一定間隔で表示される。
例えば、誤差範囲を表す円形は、Visionベース自己位置推定部１６およびGPSベース自己位置推定部１７が利用するセンサのスペックから定数で指定したり、ユーザが指定したりすることができる。
これにより、ユーザは、ドローン１が利用する自己位置推定システムの推定精度を、地図上で経路に沿って容易に把握することができ、例えば、障害物とのマージンを確認することができる。
図１０および図１１を参照して、選択不可となる自己位置推定システムの視覚化について説明する。
例えば、図１０に示すように、自己位置推定システムごとに、ドローン１の高度および速度についての有効範囲が求められる。
即ち、図１０のＡに示すように、ドローン１において下向きのステレオカメラを用いたSLAMを利用するVisionベース自己位置推定部１６では、図１０のＢに示すように、SLAMのビジョンが有効な範囲として求められる。つまり、ステレオ視差有効限界以下となり、かつ、フレーム（時刻）間共通視野限界およびステレオ共通視野限界以上となる高度および速度が、SLAMのビジョンが有効な範囲となる。そして、ステレオ視差有効限界より高い高度、および、フレーム（時刻）間共通視野限界より低い高度では、慣性計測装置１５のみが用いられる。さらに、ステレオ共通視野限界より低い高度では、慣性計測装置１５および近接測距センサが用いられる。
例えば、ドローン１が速度Ｘ[m/s2]で飛行する場合、フレーム（時刻）間共通視野限界であるＨ１からステレオ視差有効限界である高度Ｈ２までが、Visionベース自己位置推定部１６を利用できる高度の有効範囲として求められる。
従って、ミッション飛行制御装置１１では、ウェイポイントＷＰにおける高度および速度が指定されるのに基づいて、Visionベース自己位置推定部１６の有効範囲内であるか否かを判定することができる。そして、例えば、指定された高度および速度が、Visionベース自己位置推定部１６の有効範囲内ではないと判定された場合、即ち、Visionベース自己位置推定部１６の有効範囲外である場合、Visionベース自己位置推定部１６の選択が自動的に不可となる。
従って、図１１に示すように、指定された高度および速度が、Visionベース自己位置推定部１６の有効範囲外である場合、指示GUI表示領域４３において、Visionベース自己位置推定部１６を選択するためのチェックボックスがグレーアウトとなる。即ち、Visionベース自己位置推定部１６が選択不可であることが視覚化されている。
これにより、ユーザは、高度および速度に基づいて選択することができる自己位置推定システムを認識することができ、状況に応じた自己位置推定システムの選択を容易に行うことができる。
＜指標に基づく自動設定処理＞
図１２乃至図１４を参照して、優先事項に基づいて、ウェイポイントＷＰごとに自己位置推定システムや高度などを自動的に設定する自動設定処理について説明する。
図１２は、高精度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。例えば、図１２に示すウェイポイント設定処理は、図６のステップＳ１２に替えて実行することができる。
例えば、図６のステップＳ１１の処理後、ステップＳ３１において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとに、高度および速度を指定する。
ステップＳ３２において、ユーザは、パーソナルコンピュータ１２を利用し、ウェイポイントＷＰごとの自己位置推定システムを精度優先で、自動的に設定する処理を開始することを指示する。
ステップＳ３３において、例えば、パーソナルコンピュータ１２は、スタート位置であるウェイポイントＷＰから順に自己位置推定システムを設定する対象とし、その対象のウェイポイントＷＰについて、最も高精度の自己位置推定システムを仮設定する。
ステップＳ３４において、パーソナルコンピュータ１２は、ステップＳ３１で指定された高度および速度が、現時点で仮設定されている自己位置推定システムを用いることができる有効範囲内であるか否かを判定する。
ステップＳ３４において、パーソナルコンピュータ１２が、高度および速度が有効範囲内でないと判定した場合、即ち、高度および速度が有効範囲外である場合、処理はステップＳ３５に進む。
ステップＳ３５において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムの次に高精度の自己位置推定システムを仮設定する。その後、処理はステップＳ３４に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ３４において、高度および速度が有効範囲内であると判定した場合、処理はステップＳ３６に進む。
ステップＳ３６において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムを、対象のウェイポイントＷＰに対して設定する。
ステップＳ３７において、パーソナルコンピュータ１２は、図６のステップＳ１１でユーザにより指定された全てのウェイポイントＷＰについて自己位置推定システムを設定したか否かを判定する。
ステップＳ３７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定していないと判定した場合、次のウェイポイントＷＰを対象として、処理はステップＳ３３に戻る。そして、以下、同様の処理が繰り返して行われる。
一方、ステップＳ３７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定したと判定した場合、ウェイポイント設定処理は終了し、図６のステップＳ１３に進む。
以上のようなウェイポイント設定処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに高精度優先で自己位置推定システムを自動的に設定して、より高精度で飛行するように、ドローン１の適切な飛行制御を実現することができる。
図１３は、速度優先でウェイポイントＷＰを自動的に選択するウェイポイント設定処理を説明するフローチャートである。例えば、図１３に示すウェイポイント設定処理は、図６のステップＳ１２に替えて実行することができる。
例えば、図６のステップＳ１１の処理後、ステップＳ４１において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとに、高度および速度を指定する。
ステップＳ４２において、ユーザは、パーソナルコンピュータ１２を利用し、ウェイポイントＷＰごとの自己位置推定システムを速度優先で、自動的に設定する処理を開始することを指示する。
ステップＳ４３において、例えば、パーソナルコンピュータ１２は、スタート位置であるウェイポイントＷＰから順に自己位置推定システムを設定する対象とし、その対象のウェイポイントＷＰについて、最も高速度の自己位置推定システムを仮設定する。
ステップＳ４４において、パーソナルコンピュータ１２は、ステップＳ４１で指定された高度および速度が、現時点で仮設定されている自己位置推定システムを用いることができる有効範囲内であるか否かを判定する。
ステップＳ４４において、パーソナルコンピュータ１２が、高度および速度が有効範囲内でないと判定した場合、即ち、高度および速度が有効範囲外である場合、処理はステップＳ４５に進む。
ステップＳ４５において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムの次に高速度の自己位置推定システムを仮設定する。その後、処理はステップＳ４４に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ４４において、高度および速度が有効範囲内であると判定した場合、処理はステップＳ４６に進む。
ステップＳ４６において、パーソナルコンピュータ１２は、現時点で仮設定されている自己位置推定システムを、対象のウェイポイントＷＰに対して設定する。
ステップＳ４７において、パーソナルコンピュータ１２は、図６のステップＳ１１でユーザにより指定された全てのウェイポイントＷＰについて自己位置推定システムを設定したか否かを判定する。
ステップＳ４７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定していないと判定した場合、次のウェイポイントＷＰを対象として、処理はステップＳ４３に戻る。そして、以下、同様の処理が繰り返して行われる。
一方、ステップＳ４７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて自己位置推定システムを設定したと判定した場合、ウェイポイント設定処理は終了し、図６のステップＳ１３に進む。
以上のようなウェイポイント設定処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに速度優先で自己位置推定システムを自動的に設定して、より高速度で飛行するように、ドローン１の適切な飛行制御を実現することができる。
図１４は、速度および自己位置推定システムの指定に応じて、ウェイポイントＷＰごとの高度を自動的に選択するウェイポイント設定処理を説明するフローチャートである。例えば、図１２に示すウェイポイント設定処理は、図６のステップＳ１２に替えて実行することができる。
例えば、図６のステップＳ１１の処理後、ステップＳ５１において、ユーザは、パーソナルコンピュータ１２を利用し、ステップＳ１１で指定したウェイポイントＷＰごとに、自己位置推定システムおよび速度を指定する。
ステップＳ５２において、ユーザは、パーソナルコンピュータ１２を利用し、ウェイポイントＷＰごとの高度を、自動的に設定する処理を開始することを指示する。
ステップＳ５３において、例えば、パーソナルコンピュータ１２は、スタート位置であるウェイポイントＷＰから順に自己位置推定システムを設定する対象とし、その対象のウェイポイントＷＰについて、自己位置推定システムが有効な最も低い高度を算出する。
ステップＳ５４において、パーソナルコンピュータ１２は、ステップＳ５３で算出された高度が、対象のウェイポイントＷＰに対して設定されている自己位置推定システムを用いたときの有効範囲内であるか否かを判定する。
ステップＳ５４において、パーソナルコンピュータ１２が、高度が有効範囲内でないと判定した場合、即ち、高度が有効範囲外である場合、処理はステップＳ５５に進む。
ステップＳ５５において、対象のウェイポイントＷＰに対して指定された自己位置推定システムおよび速度が指定不可であることを示すエラー表示を行い、ウェイポイント設定処理は終了される。即ち、この場合、ウェイポイントＷＰごとの高度を自動的に選択する処理が中止されることになる。
一方、ステップＳ５４において、パーソナルコンピュータ１２が、高度が有効範囲内であると判定した場合、処理はステップＳ５６に進む。
ステップＳ５６において、パーソナルコンピュータ１２は、ステップＳ５３で算出された高度を、対象のウェイポイントＷＰに対して設定する。
ステップＳ５７において、パーソナルコンピュータ１２は、図６のステップＳ１１でユーザにより指定された全てのウェイポイントＷＰについて高度を設定したか否かを判定する。
ステップＳ５７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて高度を設定していないと判定した場合、次のウェイポイントＷＰを対象として、処理はステップＳ５３に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ５７において、パーソナルコンピュータ１２が、全てのウェイポイントＷＰについて高度を設定したと判定した場合、ウェイポイント設定処理は終了し、図６のステップＳ１３に進む。
以上のようなウェイポイント設定処理によって、ミッション飛行制御装置１１は、ウェイポイントＷＰごとに高度を自動的に設定して、より低い高度で飛行するように、ドローン１の適切な飛行制御を実現することができる。
＜ビジョンだけのときの地図上の位置表示方法＞
図１５を参照して、ビジョンだけのときの地図上の位置表示方法について説明する。
例えば、図４のマップ表示領域４２に表示される地図上に、ドローン１の位置を表示するには、ドローン１の実際の位置と地図上の位置との位置合わせを行う必要がある。この位置合わせを行う方法としては、以下で説明する２つの方法が提案される。
第１の方法としては、図１５において外部からデータをパーソナルコンピュータ１２に向かう破線の矢印のように、ユーザがパーソナルコンピュータ１２にデータを入力する方法が用いられる。即ち、ユーザが、ドローン１が離陸する位置の緯度や経度、方位角を示すデータをパーソナルコンピュータ１２に入力することで、それらのデータを地図上で位置合わせすることができる。
第２の方法としては、図１５においてGPSベース自己位置推定部１７からデータをパーソナルコンピュータ１２に向かう破線の矢印のように、GPSベース自己位置推定部１７からデータをパーソナルコンピュータ１２にデータを入力する方法が用いられる。即ち、ドローン１に搭載されているGPSベース自己位置推定部１７から出力されるGPSベースの観測情報をパーソナルコンピュータ１２に入力することで、ドローン１が離陸する位置の緯度や経度、方位角を示すデータを、地図上で位置合わせすることができる。
＜ミッション飛行制御装置の第２の構成例＞
図１６乃至図２０を参照して、ミッション飛行制御装置の第２の構成例について説明する。
例えば、ミッション飛行制御装置１１は、障害物の位置に基づいて、障害物を回避するようにミッション飛行をカスタマイズすることができる。
まず、図１６の上段に示すように、マップ表示領域４２に表示される地図上で、障害物に当たらない範囲でウェイポイントＷＰが指定される。そして、そのウェイポイントＷＰに沿った経路でドローン１を飛行させることにより、図１６の中段に示すような視点画像および障害物マップが取得される。
視点画像は、例えば、ドローン１に搭載されているカメラにより飛行する方向に向かって撮像された画像である。障害物マップは、例えば、ドローン１に搭載されているビジョンセンサによる測距に基づく障害物を３次元的に表現したマップ（Occupancy map）であり、図１６の中段には、視点画像に対応する障害物マップの一例が示されている。
その後、ユーザは、障害物マップを参照して、ウェイポイントＷＰの位置を微調整するように、例えば、図１６の下段に示すようにウェイポイントＷＰ５を、障害物を回避しつつ、障害物の近傍まで近づけるように、ミッション飛行の経路をカスタマイズすることができる。
このとき、例えば、図１７に示すように、ミッション飛行制御装置１１は、３次元的に表現されている障害物マップに重畳させて、ウェイポイントＷＰおよび経路を表示させることができる。このような障害物マップを利用することで、より詳細に、例えば、障害物の高度を参照して、ウェイポイントＷＰの微調整を行うことができる。または、微調整の対象となっているウェイポイントＷＰの高度での障害物を、等高線を用いて表現した地図を利用してもよい。
図１８は、ミッション飛行制御装置の第２の実施の形態の構成例を示すブロック図である。なお、図１８に示すミッション飛行制御装置１１Ａにおいて、図２のミッション飛行制御装置１１と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、ミッション飛行制御装置１１Ａは、パーソナルコンピュータ１２、行動計画作成部１３、画像センサ１４、慣性計測装置１５、Visionベース自己位置推定部１６、GPSベース自己位置推定部１７、フライト制御部１８、および、駆動部１９を備えて構成される点で、図２のミッション飛行制御装置１１と共通する。
そして、ミッション飛行制御装置１１Ａは、障害物マップ作成部２０を備える点で、図２のミッション飛行制御装置１１と異なる構成となっている。
障害物マップ作成部２０には、画像センサ１４から画像データ（Image data）が供給されるとともに、Visionベース自己位置推定部１６からVisionベースの観測情報（Pose/Velocity）が供給される。そして、障害物マップ作成部２０は、画像データおよびVisionベースの観測情報に基づいて、図１６に示したような障害物マップを作成して、パーソナルコンピュータ１２に供給する。
これにより、ユーザは、図１６および図１７に示したような障害物マップを利用してウェイポイントＷＰの微調整を行い、障害物を回避するようにミッション飛行をカスタマイズすることができる。
図１９には、ミッション飛行をカスタマイズする処理を説明するフローチャートが示されている。
ステップＳ６１において、ユーザは、パーソナルコンピュータ１２を利用し、ミッション飛行設定画面４１のマップ表示領域４２に表示されている地図上で、ドローン１が障害物に当たらない範囲でウェイポイントＷＰを指定する。
ステップＳ６２において、ユーザがドローン１に対する飛行開始を指示すると、その指示に応じてフライト制御部１８が飛行制御を行って、ドローン１は、障害物マップを作成するための障害物マップ作成飛行を開始する。
ステップＳ６３において、障害物マップ作成部２０は、ドローン１の障害物マップ作成飛行中に、画像センサ１４から供給される画像データ、および、Visionベース自己位置推定部１６から供給されるVisionベースの観測情報に基づいて測距を行う。そして、障害物マップ作成部２０は、ステップＳ６１で指定されたウェイポイントＷＰに基づく経路において障害物が存在する範囲を表す障害物マップを作成する。
ステップＳ６４において、フライト制御部１８は、ステップＳ６１で指定されたウェイポイントＷＰに基づく経路を全て通過して、障害物マップ作成飛行が終了した後、スタート位置でドローン１を待機させる。
ステップＳ６５において、パーソナルコンピュータ１２は、障害物マップ作成部２０により作成された障害物マップを表示部に表示する。このとき、図１６に示したように、マップ表示領域４２に表示される地図に障害物ゾーンを重畳させて障害物マップを表示してもよいし、図１７に示したように、ドローン１の視点から見て３次元的に表現されている障害物マップを表示してもよい。
ステップＳ６６において、ユーザは、パーソナルコンピュータ１２を利用し、障害物マップを参照してウェイポイントＷＰの位置を微調整する。
その後、ユーザがウェイポイントＷＰの微調整を終了すると、行動計画作成部１３がドローン１の行動計画を更新し、以下、図６のステップＳ１４以降で説明したのと同様の処理が行われ、微調整されたウェイポイントＷＰに基づく飛行制御が行われる。
図２０を参照して、障害物の測距精度の視覚化について説明する。
図２０のＡに示すように、マップ表示領域４２には、障害物マップを作成する際における測距の測距誤差に従い、障害物ゾーンに対して、測距誤差込みの障害物ゾーンを地図に重畳して表示することができる。
さらに、図２０のＢに示すように、マップ表示領域４２には、上述した図９と同様に、自己位置推定システムの推定精度に基づく誤差範囲を表す誤差楕円を、測距誤差込みの障害物ゾーンが表示されている地図に重畳して表示することができる。
例えば、ステレオカメラを利用した障害物の測距では、測距誤差を算出することが可能である。
即ち、測距誤差ΔＺｃ［ｍ］は、測距奥行Ｚｃ［ｍ］、最小視差単位Δｄ［pixel］、ベースライン距離ｂ［ｍ］、およびフォーカス距離ｆ［pixel］を用いて、次の式（１）に従って求めることができる。
Figure 0007552581000001
例えば、式（１）に基づき、障害物までの距離を表す測距奥行Ｚｃが大きくなるほど、測距誤差ΔＺｃは大きくなる。
＜本技術の適用について＞
本技術は、上述したようなドローン１がウェイポイントＷＰを通過するような飛行制御以外に適用することができる。
例えば、ドローン１が、画像センサ、GPSセンサ、下方に向かうToF（Time of Flight）センサを備えて構成されるとき、利用するセンサの切り替えに適用することができる。例えば、ToFセンサは、テクスチャがない場所や、暗い場所などでの計測が可能であり、画像センサより高精度というメリットがある一方で、自発光する近赤外光が届く距離しか計測できず、自発光のため消費電力が高いというデメリットがある。
そこで、ドローン１が着陸する着陸モードのときは、下方に向かうToFセンサをオンにして、着陸できそうな平坦な場所を探すために、近辺の形状をToFセンサで計測する。このとき、ToFセンサは、テクスチャが少ない場所でも形状を計測することができるので、画像センサより有効に平坦な場所を探すことができる。
これに対し、ドローン１が離陸するときやミッション飛行中には、下方に向かうToFセンサをオフにする。即ち、ToFセンサの特性上、ToFセンサから近距離しか計測できないため、ドローン１は、ToFセンサをオフにすることで消費電力を抑制することができる。
また、本技術は、例えば、自動走行を行うロボット掃除機に適用することができる。
例えば、ロボット掃除機は、画像センサおよびToFセンサを備えて構成され、給電ポートから掃除開始するものとする。この場合、ロボット掃除機が掃除を実行する掃除モードのとき、ToFセンサをオンにし、ロボット掃除機は、自己位置と近辺の障害物を高精度に探すために、ToFセンサおよび画像センサで計測する。同時に、ロボット掃除機は、給電ポートからの地図を作成する。
これに対し、ロボット掃除機の電圧が低下して、給電ポート帰還モードとなったとき、ToFセンサをオフにする。この場合、ロボット掃除機は、給電ポートからの地図を保持しているので、ToFセンサでの追加の障害物検知は不要であり、画像センサだけで自己位置を検出し、給電ポートに帰還することができる。また、ロボット掃除機は、ToFセンサをオフにすることで消費電力を抑制することができる。そして、ロボット掃除機が給電ポートの近傍まで移動した後、給電ポートとの高精度な位置合わせのために、ToFセンサをオンにする。
なお、本技術においてタスクに応じて指定されるセンサには、ToFセンサ以外の能動型センサ、例えば、LidarやSonarなどにも、ToFセンサと同様に適用することができる。また、自動走行を行うロボットであれば、ロボット掃除機以外にも、例えば、工場用搬送ロボットなどにも適用することができる。
さらに、本技術は、ドローン１の飛行制御の他、例えば、自動運転の車両における運転制御に適用することができる。例えば、自動運転の車両が一般の道路を走行する際は、GPSベース自己位置推定部１７を用いる一方で、自動運転の車両が駐車場に駐車する際は、Visionベース自己位置推定部１６を用いる構成とすること、または、各種のレーダやToFセンサなどの能動型センサを利用した自己位置推定部を用いる構成とすることができる。
＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、
前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部と
を備える行動制御装置。
（２）
前記指標は、GPS（Global Positioning System）から取得した位置情報または領域情報である
上記（１）に記載の行動制御装置。
（３）
前記状態特定部は、
前記移動体が行動する際の指標のうち、前記移動体の行動に伴って最も近傍となる前記指標を選択する最近傍指標選択部と、
複数の前記自己位置推定部それぞれが前記移動体の位置を推定した結果として出力される複数の観測情報のうちの、前記最近傍指標選択部により選択された前記指標に基づいて指定されている前記自己位置推定部から出力される前記観測情報を選択する観測情報選択部と、
前記観測情報選択部により選択された前記観測情報に基づいて、前記移動体の最新の状態を求める状態更新部と
を有する
上記（１）または（２）に記載の行動制御装置。
（４）
前記状態特定部により選択される前記自己位置推定部を、前記指標ごとに指定する指定部
をさらに備える上記（１）から（３）のいずれかに記載の行動制御装置。
（５）
前記指定部は、所定の前記指標における前記移動体の自己位置を前記自己位置推定部が推定する際に優先させる優先事項に従って、所定の前記指標ごとの前記自己位置推定部を指定する
上記（４）に記載の行動制御装置。
（６）
前記指定部は、前記優先事項が推定精度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高い推定精度を得られる前記自己位置推定部を指定する
上記（５）に記載の行動制御装置。
（７）
前記指定部は、前記優先事項が移動速度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高速な移動速度を得られる前記自己位置推定部を指定する
上記（５）に記載の行動制御装置。
（８）
前記指定部は、所定の前記指標における前記自己位置推定部と前記移動体の速度とが指定された場合、その指定された前記自己位置推定部が有効に機能する最も低い高度を、所定の前記指標ごとに指定する
上記（４）に記載の行動制御装置。
（９）
前記指定部では、前記行動計画の作成を指示するユーザによって、複数の前記指標が指定されるとともに、それぞれの前記指標ごとの前記自己位置推定部が指定される
上記（４）に記載の行動制御装置。
（１０）
前記指定部により前記指標ごとに指定された前記自己位置推定部を視覚化するとともに、前記指標に従った経路ごとに使用される前記自己位置推定部を視覚化して表示する表示部
をさらに備える上記（９）に記載の行動制御装置。
（１１）
前記表示部は、所定の前記自己位置推定部が指定された前記指標に基づいて、その自己位置推定部が有効に機能することが可能な前記移動体の高度および速度の有効範囲を表示し、前記有効範囲外について指定不可であることを視覚化して表示する
上記（１０）に記載の行動制御装置。
（１２）
前記表示部は、前記経路で使用される前記自己位置推定部の推定精度を、それぞれの経路に沿って視覚化して表示する
上記（１０）に記載の行動制御装置。
（１３）
前記表示部は、前記移動体の高度および速度が指定されるのに応じて、その高度および速度では有効に機能することができない前記自己位置推定部について指定不可であることを視覚化して表示する
上記（１０）に記載の行動制御装置。
（１４）
前記行動計画に従って前記移動体が移動しながら行う測距に基づいて、前記経路の近傍において障害物が存在する範囲を表す障害物マップを作成する障害物マップ作成部
をさらに備え、
前記表示部は、前記移動体を移動させる領域を表す地図に重畳させて前記障害物マップを表示し、
前記指定部では、前記地図上における前記指標の位置がユーザにより微調整されて再指定される
上記（１０）に記載の行動制御装置。
（１５）
前記表示部は、前記障害物マップを作成する際における測距の測距誤差に従って、前記障害物が存在する範囲に対する誤差範囲を前記地図に重畳して表示する
上記（１４）に記載の行動制御装置。
（１６）
前記表示部は、前記自己位置推定部の推定精度に基づく誤差範囲を表す誤差楕円を、前記地図に重畳して表示する
上記（１５）に記載の行動制御装置。
（１７）
移動体の行動を制御する行動制御装置が、
前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと
を含む行動制御方法。
（１８）
移動体の行動を制御する行動制御装置のコンピュータに、
前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと
を含む情報処理を実行させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ ミッション飛行制御装置， １２ パーソナルコンピュータ， １３ 行動計画作成部， １４ 画像センサ， １５ 慣性計測装置， １６ Visionベース自己位置推定部， １７ GPSベース自己位置推定部， １８ フライト制御部， １９ 駆動部， ２０ 障害物マップ作成部， ２１ EKF処理部， ２２ ナビゲータ， ２３ 駆動制御部， ３１ EKF状態予測部， ３２ 最近傍ウェイポイント選択部， ３３ 観測情報選択部， ３４ EKF状態更新部， ４１ ミッション飛行設定画面， ４２ マップ表示領域， ４３ 指示GUI表示領域

Claims (18)

  1. 移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部と
    を備え、
    前記自己位置推定部には、画像センサから取得した情報を利用するVisionベース自己位置推定部と、GPS（Global Positioning System）センサから取得した情報を利用するGPSベース自己位置推定部とを含む
    行動制御装置。
  2. 移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部と、
    前記状態特定部により選択される前記自己位置推定部を、前記指標ごとに指定する指定部と
    を備え、
    前記指定部は、所定の前記指標における前記移動体の自己位置を前記自己位置推定部が推定する際に優先させる優先事項に従って、所定の前記指標ごとの前記自己位置推定部を指定し、
    前記指定部は、前記優先事項が移動速度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高速な移動速度を得られる前記自己位置推定部を指定する
    行動制御装置。
  3. 移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部と、
    前記状態特定部により選択される前記自己位置推定部を、前記指標ごとに指定する指定部と
    を備え、
    前記指定部は、所定の前記指標における前記自己位置推定部と前記移動体の速度とが指定された場合、その指定された前記自己位置推定部が有効に機能する最も低い高度を、所定の前記指標ごとに指定する
    行動制御装置。
  4. 前記指定部は、所定の前記指標における前記移動体の自己位置を前記自己位置推定部が推定する際に優先させる優先事項に従って、所定の前記指標ごとの前記自己位置推定部を指定する
    請求項２または３に記載の行動制御装置。
  5. 前記指定部は、前記優先事項が推定精度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高い推定精度を得られる前記自己位置推定部を指定する
    請求項４に記載の行動制御装置。
  6. 前記指標は、GPS（Global Positioning System）から取得した位置情報または領域情報である
    請求項１から５のいずれかに記載の行動制御装置。
  7. 前記状態特定部は、
    前記移動体が行動する際の指標のうち、前記移動体の行動に伴って最も近傍となる前記指標を選択する最近傍指標選択部と、
    複数の前記自己位置推定部それぞれが前記移動体の位置を推定した結果として出力される複数の観測情報のうちの、前記最近傍指標選択部により選択された前記指標に基づいて指定されている前記自己位置推定部から出力される前記観測情報を選択する観測情報選択部と、
    前記観測情報選択部により選択された前記観測情報に基づいて、前記移動体の最新の状態を求める状態更新部と
    を有する
    請求項１から６のいずれかに記載の行動制御装置。
  8. 移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求める状態特定部と、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御する行動制御部と、
    前記状態特定部により選択される前記自己位置推定部を、前記指標ごとに指定する指定部と、
    前記指定部により前記指標ごとに指定された前記自己位置推定部を視覚化するとともに、前記指標に従った経路ごとに使用される前記自己位置推定部を視覚化して表示する表示部と
    を備え、
    前記指定部では、前記行動計画の作成を指示するユーザによって、複数の前記指標が指定されるとともに、それぞれの前記指標ごとの前記自己位置推定部が指定される
    行動制御装置。
  9. 前記表示部は、所定の前記自己位置推定部が指定された前記指標に基づいて、その自己位置推定部が有効に機能することが可能な前記移動体の高度および速度の有効範囲を表示し、前記有効範囲外について指定不可であることを視覚化して表示する
    請求項８に記載の行動制御装置。
  10. 前記表示部は、前記経路で使用される前記自己位置推定部の推定精度を、それぞれの経
    路に沿って視覚化して表示する
    請求項８に記載の行動制御装置。
  11. 前記表示部は、前記移動体の高度および速度が指定されるのに応じて、その高度および速度では有効に機能することができない前記自己位置推定部について指定不可であることを視覚化して表示する
    請求項８に記載の行動制御装置。
  12. 前記行動計画に従って前記移動体が移動しながら行う測距に基づいて、前記経路の近傍において障害物が存在する範囲を表す障害物マップを作成する障害物マップ作成部
    をさらに備え、
    前記表示部は、前記移動体を移動させる領域を表す地図に重畳させて前記障害物マップを表示し、
    前記指定部では、前記地図上における前記指標の位置がユーザにより微調整されて再指定される
    請求項８に記載の行動制御装置。
  13. 前記表示部は、前記障害物マップを作成する際における測距の測距誤差に従って、前記障害物が存在する範囲に対する誤差範囲を前記地図に重畳して表示する
    請求項１２に記載の行動制御装置。
  14. 前記表示部は、前記自己位置推定部の推定精度に基づく誤差範囲を表す誤差楕円を、前記地図に重畳して表示する
    請求項１３に記載の行動制御装置。
  15. 移動体の行動を制御する行動制御装置が、
    前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと
    を含み、
    前記自己位置推定部には、画像センサから取得した情報を利用するVisionベース自己位置推定部と、GPSセンサから取得した情報を利用するGPSベース自己位置推定部とを含む
    行動制御方法。
  16. 移動体の行動を制御する行動制御装置が、
    前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと、
    選択される前記自己位置推定部を、前記指標ごとに指定することと
    を含み、
    所定の前記指標における前記移動体の自己位置を前記自己位置推定部が推定する際に優先させる優先事項に従って、所定の前記指標ごとの前記自己位置推定部を指定し、
    前記優先事項が推定精度である場合、前記自己位置推定部が有効に機能することが可能な高度および速度の有効範囲の範囲内で、最も高い推定精度を得られる前記自己位置推定部を指定する
    行動制御方法。
  17. 移動体の行動を制御する行動制御装置が、
    前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと、
    選択される前記自己位置推定部を、前記指標ごとに指定することと
    を含み、
    所定の前記指標における前記自己位置推定部と前記移動体の速度とが指定された場合、その指定された前記自己位置推定部が有効に機能する最も低い高度を、所定の前記指標ごとに指定する
    行動制御方法。
  18. 移動体の行動を制御する行動制御装置が、
    前記移動体の位置を推定するのに使用する自己位置推定部を、推定精度の異なる複数の前記自己位置推定部の中から指標に基づいて選択して、前記移動体の状態を求めることと、
    前記移動体の状態に基づいて、予め作成された行動計画に従って前記移動体の行動を制御することと、
    選択される前記自己位置推定部を、前記指標ごとに指定することと、
    前記指標ごとに指定された前記自己位置推定部を視覚化するとともに、前記指標に従った経路ごとに使用される前記自己位置推定部を視覚化して表示することと
    を含み、
    前記行動計画の作成を指示するユーザによって、複数の前記指標が指定されるとともに、それぞれの前記指標ごとの前記自己位置推定部が指定される
    行動制御方法。
JP2021503966A 2019-03-06 2020-02-21 行動制御装置および行動制御方法 Active JP7552581B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024151434A JP2024163227A (ja) 2019-03-06 2024-09-03 行動制御装置および行動制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019040139 2019-03-06
JP2019040139 2019-03-06
PCT/JP2020/006992 WO2020179491A1 (ja) 2019-03-06 2020-02-21 行動制御装置および行動制御方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024151434A Division JP2024163227A (ja) 2019-03-06 2024-09-03 行動制御装置および行動制御方法

Publications (2)

Publication Number Publication Date
JPWO2020179491A1 JPWO2020179491A1 (ja) 2020-09-10
JP7552581B2 true JP7552581B2 (ja) 2024-09-18

Family

ID=72337924

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021503966A Active JP7552581B2 (ja) 2019-03-06 2020-02-21 行動制御装置および行動制御方法
JP2024151434A Pending JP2024163227A (ja) 2019-03-06 2024-09-03 行動制御装置および行動制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024151434A Pending JP2024163227A (ja) 2019-03-06 2024-09-03 行動制御装置および行動制御方法

Country Status (4)

Country Link
US (1) US12073732B2 (ja)
JP (2) JP7552581B2 (ja)
CN (1) CN113498498B (ja)
WO (1) WO2020179491A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7501535B2 (ja) * 2019-07-19 2024-06-18 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム
US20210287556A1 (en) * 2020-03-13 2021-09-16 Electronics And Telecommunications Research Institute Method and apparatus for generating optimal path for an unmanned aerial vehicle
WO2022036284A1 (en) * 2020-08-13 2022-02-17 Invensense, Inc. Method and system for positioning using optical sensor and motion sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002103A (ja) 2012-06-20 2014-01-09 Clarion Co Ltd 車両位置検出装置および車両位置検出方法
JP2016082441A (ja) 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2018160760A (ja) 2017-03-22 2018-10-11 日本電気株式会社 画像投稿サービスシステム、移動体積載装置、画像投稿サービス提供方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030008619A1 (en) * 2001-07-03 2003-01-09 Werner Raymond J. Location-based information service for identifying areas with degraded radio signal strength
US6876906B1 (en) * 2003-06-06 2005-04-05 Rockwell Collins Graphical symbology for depicting traffic position, navigation uncertainty, and data quality on aircraft displays
JP4694582B2 (ja) * 2008-01-31 2011-06-08 株式会社デンソー ハイブリッド車両の駆動制御装置
EP2638405A4 (en) * 2010-11-12 2014-09-17 Nextnav Llc EXTENDED LOCATION SYSTEM
US9235212B2 (en) 2012-05-01 2016-01-12 5D Robotics, Inc. Conflict resolution based on object behavioral determination and collaborative relative positioning
US9121711B2 (en) * 2013-03-15 2015-09-01 Csr Technology Inc. Environmental awareness for improved power consumption and responsiveness in positioning devices
CA2849469C (en) 2013-08-30 2016-11-01 Motohide Sugihara Mining machine management system and mining machine management method
JP6246609B2 (ja) 2014-02-12 2017-12-13 株式会社デンソーアイティーラボラトリ 自己位置推定装置及び自己位置推定方法
EP3135580B1 (en) 2014-04-25 2023-10-18 Sony Group Corporation Control device, imaging device, control method, imaging method, and computer program
EP3344514B1 (en) 2015-09-04 2020-11-11 Gatekeeper Systems, Inc. Estimating motion of wheeled carts
US10417469B2 (en) * 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
JP6645910B2 (ja) * 2016-05-31 2020-02-14 株式会社デンソー 位置推定装置
WO2018020659A1 (ja) 2016-07-29 2018-02-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
JP6778063B2 (ja) 2016-09-07 2020-10-28 株式会社Ｓｏｋｅｎ 運転支援装置、運転支援方法
EP3500903B1 (en) 2016-12-01 2021-04-28 SZ DJI Technology Co., Ltd. Systems and methods of unmanned aerial vehicle flight restriction for stationary and moving objects
KR20180107642A (ko) 2017-03-22 2018-10-02 삼성전자주식회사 외부 객체의 움직임에 기반하여 이동 위치를 결정하는 방법 및 이를 구현한 전자 장치
CN107290765B (zh) 2017-07-13 2020-11-03 清华大学 水下潜航器的协作定位方法和系统
CN107289948A (zh) 2017-07-24 2017-10-24 成都通甲优博科技有限责任公司 一种基于多传感器融合的无人机导航系统及方法
US10599161B2 (en) 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002103A (ja) 2012-06-20 2014-01-09 Clarion Co Ltd 車両位置検出装置および車両位置検出方法
JP2016082441A (ja) 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2018160760A (ja) 2017-03-22 2018-10-11 日本電気株式会社 画像投稿サービスシステム、移動体積載装置、画像投稿サービス提供方法及びプログラム

Also Published As

Publication number Publication date
CN113498498B (zh) 2024-04-19
US20220157179A1 (en) 2022-05-19
WO2020179491A1 (ja) 2020-09-10
US12073732B2 (en) 2024-08-27
CN113498498A (zh) 2021-10-12
JPWO2020179491A1 (ja) 2020-09-10
JP2024163227A (ja) 2024-11-21

Similar Documents

Publication Publication Date Title
US12296951B2 (en) Image space motion planning of an autonomous vehicle
US10724505B2 (en) Aerial inspection in a movable object environment
EP3767420A1 (en) Robotic mower boundary detection system
CN108475059B (zh) 自主视觉导航
JP2024163227A (ja) 行動制御装置および行動制御方法
EP2895819B1 (en) Sensor fusion
WO2018214978A1 (zh) 定位装置及方法以及自动行走设备
WO2019167205A1 (ja) 管理装置、管理システム、移動体及びプログラム
WO2019167199A1 (ja) 制御装置、移動体及びプログラム
JP2017182692A (ja) 自律移動ロボット
WO2019106714A1 (ja) 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
Teixeira et al. Autonomous aerial inspection using visual-inertial robust localization and mapping
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
US12174629B2 (en) Information processing apparatus, information processing method, program, and information processing system
JP7184381B2 (ja) 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
Kurdi et al. Navigation of mobile robot with cooperation of quadcopter
JP2017181443A (ja) 自己位置推定装置
EP4481527A1 (en) Mobile apparatus, method for determining position, and non-transitory recording medium
JP7760088B2 (ja) 無人航空機を使用する輪郭スキャン
JP2025001630A (ja) 移動体、プログラム、位置推定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240819

R150 Certificate of patent or registration of utility model

Ref document number: 7552581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150