[go: up one dir, main page]

JP7544061B2 - 情報処理システム、情報処理方法、情報処理プログラム - Google Patents

情報処理システム、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
JP7544061B2
JP7544061B2 JP2021548365A JP2021548365A JP7544061B2 JP 7544061 B2 JP7544061 B2 JP 7544061B2 JP 2021548365 A JP2021548365 A JP 2021548365A JP 2021548365 A JP2021548365 A JP 2021548365A JP 7544061 B2 JP7544061 B2 JP 7544061B2
Authority
JP
Japan
Prior art keywords
input
speed
value
information processing
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548365A
Other languages
English (en)
Other versions
JPWO2021059684A1 (ja
Inventor
達也 石塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021059684A1 publication Critical patent/JPWO2021059684A1/ja
Application granted granted Critical
Publication of JP7544061B2 publication Critical patent/JP7544061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/30Supply or distribution of electrical power
    • B64U50/31Supply or distribution of electrical power generated by photovoltaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Input By Displaying (AREA)

Description

本技術は、情報処理システム、情報処理方法、情報処理プログラムに関する。
従来から車椅子などの移動体は広く普及しており、さらに近年ドローン、ロボットなど様々な移動体、半移動体が普及し始めてきている。
そのような移動体の操作方法には種々の方法があり、その一つとして、操作量を入力する操作レバーと、前進ボタンと後進ボタンからなる軌道進退ボタンを備える車椅子などの半自律移動型の移動ロボットの操作についての技術が提案されている(特許文献1)
特開2011-212092号公報
近年、移動体や半移動体(以下、移動体としてまとめる)と他の装置、例えばカメラなどを搭載し、一人のユーザが移動体の操作と他の装置の操作の両方を行う必要がある場合がある。そのような場合のために、より簡単な移動体の操作方法が求められている。特許文献1に記載の技術ではレバーとボタンという異なる2つの操作子があるため、他の装置を操作しながら移動体を操作することは難しい。
本技術はこのような点に鑑みなされたものであり、容易に移動体の速度制御を行うことができる情報処理システム、情報処理方法、情報処理プログラムを提供することを目的とする。
上述した課題を解決するために、第1の技術は、予め設定された軌道上において予め設定された任意の目標位置を予め設定された目標速度で通過するように自律移動する移動体の速度を制御する情報処理装置と、ユーザからの入力を受け付ける入力部を備え、ユーザから入力された、移動体の速度制御に用いる入力値を情報処理装置に供給する入力装置とからなり、情報処理装置は、速度制御値を特定の値に合わせるために速度制御値が特定の値で維持される入力値の範囲を設定している変換情報に基づいて入力値を速度制御値に変換し、速度制御値に基づいて目標速度を更新し、移動体の現在速度と、更新された目標速度の差分に基づいて移動体の速度の制御を行う情報処理システムである。
また、第2の技術は、予め設定された軌道上において予め設定された任意の目標位置を予め設定された目標速度で通過するように自律移動する移動体の速度を、ユーザからの入力を受け付ける入力装置に入力された入力値を、速度制御値を特定の値に合わせるために速度制御値が特定の値で維持される入力値の範囲を設定している変換情報に基づいて速度制御値に変換し、速度制御値に基づいて目標速度を更新し、移動体の現在速度と、更新された目標速度の差分に基づいて制御する情報処理方法である。
また、第3の技術は、予め設定された軌道上において予め設定された任意の目標位置を予め設定された目標速度で通過するように自律移動する移動体の速度を、ユーザからの入力を受け付ける入力装置に入力された入力値を、速度制御値を特定の値に合わせるために速度制御値が特定の値で維持される入力値の範囲を設定している変換情報に基づいて速度制御値に変換し、速度制御値に基づいて目標速度を更新し、移動体の現在速度と、更新された目標速度の差分に基づいて制御する情報処理方法をコンピュータに実行させる情報処理プログラムである。
本技術の実施の形態の全体構成を示す図である。 移動体100の構成を示す外観図である。 移動体100の構成を示すブロック図である。 図4Aは入力装置200の第1の例の外観図であり、図4Bは入力装置200のブロック図である。 入力装置200の第1の例の入力方法を示す図である。 入力値と出力値の関係を示すグラフである。 入力装置200の第2の例を示す外観図である。 入力装置200の第2の例の部分拡大図である。 入力装置200の第2の例の変形例を示す外観図である。 事前軌道の説明図である。 情報処理装置300の構成を示すブロック図である。 事前軌道から目標位置/時刻を抽出する処理の説明図である。 撮像装置400の構成を示すブロック図である。
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1-1.全体構成]
[1-2.移動体100の構成]
[1-3.入力装置200の構成]
[1-3-1.入力装置200の第1の構成例]
[1-3-2.入力装置200の第2の構成例]
[1-4.情報処理装置の構成と速度制御処理]
[1-4-1.事前軌道]
[1-4-2.情報処理装置300の構成および処理]
[1-5.撮像装置400の構成]
<2.変形例>
<1.実施の形態>
[1-1.全体構成]
まず図1を参照して本技術の実施の形態の全体構成について説明する。本実施の形態は移動体100と、入力装置200と情報処理装置300からなり移動体100の動作の制御を行う情報処理システム1000と、移動体100に搭載されて撮影を行う撮像装置400とから構成されている。
本実施の形態において移動体100はドローンと称される電動小型飛行体(無人航空機)である。
入力装置200は地上においてユーザが使用するコントローラであり、ユーザからの入力内容に基づいて情報処理装置300に対して速度制御を行うための情報を送信するものである。詳しくは後述するが、本実施の形態において入力装置200は端末装置型の入力装置200Aと専用コントローラ型の入力装置200Bとがある。
情報処理装置300は移動体100において動作し、入力装置200からの指示に従い移動体100の速度制御を行うものである。
撮像装置400はジンバル500を介して移動体100に搭載され、移動体100の自律移動中にユーザの入力に応じて静止画/動画を撮影するものである。なお、撮像装置400は必須の構成ではない。
情報処理システム1000で移動体100の速度制御を行い、移動体100の移動中に撮像装置400で撮影を行うことができる。なお、本実施の形態の説明において「位置」とは並進方向のみならず回転方向の「姿勢」を含むものであり、「速度」とは並進方向のみならず回転方向の「角速度」を含むものとする。
[1-2.移動体100の構成]
図2および図3を参照して移動体100の構成について説明する。図2Aは移動体100の外観平面図であり、図2Bは移動体100の外観正面図である。中心部としての例えば円筒状または角筒状の胴体部1と、胴体部1の上部に固定された支持軸2a~2dとから機体が構成される。一例として、胴体部1の中心から4本の支持軸2a~2dが放射状に延びるようになされている。胴体部1および支持軸2a~2dは、カーボンファイバーなど軽量で強度の高い材料から構成されている。
さらに、胴体部1および支持軸2a~2dからなる機体は、その重心が支持軸2a~2dの中心を通る鉛直線上にくるように、各構成部品の形状、配置等が設計される。さらに、この鉛直線上に重心がくるように、胴体部1内に回路ユニット5およびバッテリ6が設けられている。
図2の例では回転翼およびアクチュエータの数が4個とされているが回転翼およびアクチュエータの数は4個以上でも以下でもよい。
支持軸2a~2dの先端部には回転翼の駆動源としてのアクチュエータ3a~3dがそれぞれ取り付けられている。アクチュエータ3a~3dの回転軸に回転翼4a~4dが取り付けられている。各アクチュエータを制御するためのUAV制御部101などを含む回路ユニット5は支持軸2a~2dが交わる中心部に取り付けられている。
アクチュエータ3aおよび回転翼4aと、アクチュエータ3cおよび回転翼4cとが対を構成する。同様に、アクチュエータ3bおよび回転翼4bと、アクチュエータ3dおよび回転翼4dとが対を構成する。
胴体部1内に底面に動力源としてのバッテリ6が配置されている。バッテリ6は、例えばリチウムイオン二次電池と充放電を制御するバッテリ制御回路とを有する。バッテリ6は、胴体部1の内部に着脱自在に取り付けられている。バッテリ6の重心と機体の重心とを一致させることによって、重心の安定性が増加する。
一般的にドローンと称される電動小型飛行体は、アクチュエータの出力を制御して所望の航行を可能としている。例えば、空中に静止しているホバーリングの状態では、機体に搭載されたジャイロセンサを用いて傾きを検知し、機体が下がった側のアクチュエータ出力を増加させ、上がった側のアクチュエータ出力を低下させることによって、機体を水平に保つようにしている。さらに、前進の際には、進行方向のアクチュエータ出力を低下、逆方向のアクチュエータ出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。このような電動小型飛行体の姿勢制御および推進制御において、上述したようなバッテリ6の設置位置は、機体の安定性と制御の容易性とのバランスをとることができる。
図3は、移動体100の構成を示すブロック図である。移動体100は、UAV(Unmanned Aerial Vehicle)制御部101、通信部102、センサ部103、ジンバル制御部104、情報処理装置300、バッテリ6、アクチュエータ3a~3dを備えて構成されている。なお、移動体100の外観構成で説明した支持軸、回転翼などは省略する。UAV制御部101、通信部102、センサ部103、ジンバル制御部104、情報処理装置300は図2の移動体100の外観図に示される回路ユニット5に含まれているものとする。
UAV制御部101はCPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、移動体100全体および各部を制御する。また、UAV制御部101はアクチュエータ3a~3dの出力を制御する制御信号をアクチュエータ3a~3dに供給することにより移動体100の移動速度、移動方向、旋回方向などを制御する。
また、UAV制御部101は予め設定された事前軌道情報を保持しており、センサ部103から移動体100の現在位置情報を随時取得して移動体100の現在位置と事前軌道の比較を行いながらアクチュエータ3a~3dの出力を制御することにより移動体100を事前軌道に沿って移動するように制御する。
通信部102は、入力装置200および撮像装置400とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、入力装置200とは無線LAN(Local Area Network)やWAN(Wide Area Network)、WiFi(Wireless Fidelity)、4G(第4世代移動通信システム)、5G(第4世代移動通信システム)、Bluetooth(登録商標)、ZigBee(登録商標)などの無線通信で行われる。また、撮像装置400との通信は無線通信のほか、USB(Universal Serial Bus)通信などの有線通信でもよい。
センサ部103は、GPS(Global Positioning System)モジュールなどの移動体100の位置を検出することができるセンサである。GPSは地球の周囲に位置する複数の人工衛星からの信号を受信機で受け取ることにより現在位置を知るシステムである。センサ部103が検出した移動体100の位置情報は情報処理装置300に供給される。情報処理装置300は位置情報から移動体100の位置を認識するとともに、位置情報の変化と経過時間とから移動体100の速度を検出することもできる。
なお、センサ部103はGPSの他にもステレオカメラやLiDAR(Laser Imaging Detection and Ranging)などの距離を測定することができるセンサを含んでいてもよい。ステレオカメラは、距離センサの一種で、人間が物を見るときの三角測量の原理を応用した左右2台のカメラによるステレオ方式カメラである。ステレオカメラで撮影した画像データを用いて視差データを生成し、カメラ(レンズ)と対象表面までの距離を測定することができる。LiDARはパルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析するものである。
またセンサ部103はIMU(Inertial Measurement Unit)モジュールなどの角速度を検出するセンサを含んでいてもよい。IMUモジュールは、慣性計測装置であり、2軸または3軸方向に対する加速度センサ、角速度センサ、ジャイロセンサなどによって、3次元の角速度と加速度を求めることにより、移動体100の姿勢、傾き、旋回時の角速度やY軸方向周りの角速度など検出する。
さらにセンサ部103は高度計、方位計などを含んでいてもよい。高度計は、移動体100が位置する高度を計測して高度データをUAV制御部101に供給するものであり、気圧高度計、電波高度計などがある。方位計は磁石の作用を用いて移動体100の進行方角を検出してUAV制御部101などに供給するものである。
ジンバル制御部104は、移動体100に撮像装置400を回転自在に装着させるためのジンバル500の動作を制御する処理部である。ジンバル制御部104でジンバル500の軸の回転を制御することにより撮像装置400の向きを自在に調整することができる。これにより、設定された構図に合わせて撮像装置400の向きを調整して撮影を行うことができる。
本実施の形態においては、移動体100の下部にジンバル500を介して撮像装置400が搭載されている。ジンバル500とは例えば2軸または3軸の軸で支持する物体(本実施の形態では撮像装置400)を回転させる回転台の一種である。
情報処理装置300の構成は後述する。
[1-3.入力装置200の構成]
[1-3-1.入力装置200の第1の構成例]
次に入力装置200の構成について説明する。第1の例である入力装置200Aは図4Aに示すスマートフォンなどの端末装置である。図4Bに示すように、入力装置200Aは制御部201A、記憶部202A、通信部203A、入力部204A、表示部205Aを備えて構成されている。
制御部201Aは、CPU、RAMおよびROMなどから構成されている。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって入力装置200Aの全体および各部の制御を行う。
記憶部202Aは、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。記憶部202Aには入力装置200Aで使用する各種アプリケーションやデータなどが格納されている。
通信部203Aは、移動体100、情報処理装置300および撮像装置400とデータや各種信号の送受信を行なうための通信モジュールである。通信方法としては、離れた移動体100および撮像装置400と通信することができる無線LAN、WAN、WiFi、4G、5G、Bluetooth(登録商標)、ZigBee(登録商標)などの無線通信であればどのような方法でもよい。
入力部204Aは、入力装置200Aの操作、およびユーザが移動体100の速度制御などのための入力値の入力など行うためのものである。入力部204Aに対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部201Aに供給される。そして、制御部201Aはその制御信号に対応した各種処理を行う。また、情報処理装置300および/または撮像装置400への指示入力があった場合、入力内容は通信部203Aによる通信で情報処理装置300または撮像装置400に送信される。入力部204Aは表示部205Aであるディスプレイと一体に構成されたタッチパネル、物理ボタンなどがある。なお、入力装置200Aは音声認識による音声入力機能を備えていてもよい。
表示部205Aは、画像/映像、GUI(Graphical User Interface)などを表示するディスプレイなどの表示デバイスである。本実施の形態において表示部205Aには移動体100の速度制御用UI(User Interface)、ウェイポイント入力用UIなどが表示される。なお、入力装置200Aは表示部205A以外の出力手段として音声を出力するスピーカなどを備えていてもよい。
入力装置200Aとして機能する端末装置としてはスマートフォン以外にタブレット端末、ノートパソコン、携帯ゲーム機、ウェアラブルデバイスなどでもよい。
次に入力装置200Aにおける速度制御用UIについて説明する。本実施の形態においてユーザは入力装置200Aに対して入力値を入力し、情報処理装置300は、その入力値に基づく速度制御値である速度の倍率値に基づいて移動体100の速度制御を行う。
この説明では図5Aに示すように、入力部204Aは表示部205Aとしてのディスプレイと一体に構成されたタッチパネルであるとする。
図5Aは表示部205Aに表示される第1の速度制御用UIの例である。この第1の速度制御用UIは直線状の入力領域211Aにより構成され、その入力領域211A上の位置が速度制御値としての倍率値に対応している。入力領域211A上には今現在の倍率値を示すスライダ212Aが表示されている。スライダ212Aはユーザの入力に応じて入力領域211A上をスライドする。このようなスライダの構成を用いることにより連続値の入力が可能になる。
図5Aの例においては右端が倍率値の最大値である「×2.0」に対応し、右端が倍率値の最小値である「×-1.0」に対応している。その左端の「×2.0」と右端の「×-1.0」の間が「×2.0」以下「×-1.0」以上の値に対応している。ユーザが入力領域211A上に指を接触させることによりその入力領域211Aの位置に対応した倍率値を指定することができる。なお、図5Aに示す具体的な倍率値はあくまで例示であり本技術がその値に限定されるものではない。
第1の速度制御用UIにおいては入力領域211Aの近傍(図5Aにおいては上方)に入力領域211Aの位置を対応する倍率値の目安となる数値を表示させておくとよい。これによりユーザは目的の倍率値を指定するため入力領域211Aのどこに指を接触させればよいかと容易に理解することができる。なお、この第1の速度制御用UIは倍率値を示す数値が表示された位置と位置の間の領域も倍率値に対応しており、ユーザはシームレスに倍率値を指定することができる。
第1の速度制御用UIにおいてはユーザが指を入力領域211Aから離すとそれまでに指が入力領域211Aのどこに接触していたかに関わらず倍率値が自動的に所定の値、例えば「×1.0」に遷移するようにしてもよい。これにより、ユーザが入力領域211Aから指を離すと移動体100は予め設定された一定の速度に遷移して移動することになる。
なお、第1の速度制御用UIにおいてはユーザが指を入力領域211Aから離すとそれまでに指が接触していた入力領域211Aの位置に対応する倍率値が維持されるようにしてもよい。
図5Bは表示部205Bに表示される第2の速度制御用UIの例である。この第2の速度制御用UIでは複数の個別のボタン状の入力領域213A、213A、・・・により構成され、個別の入力領域213Aのそれぞれが異なる倍率値に対応している。これにより第2の速度制御用UIは第1の速度制御用UIとは異なり倍率値を離散値として直接指定する方式となる。
第2の速度制御用UIではユーザに指定された倍率値と指定されていない倍率値とを目視で区別できるようにするとよい。例えば指定された倍率値を選択されていない倍率値よりも明るく表示するなどである。
また、第2の速度制御用UIにおいても第1の速度制御用UIの説明で上述したのと同様に、ユーザが指をいずれかの入力領域213Aから離すとそれまでに指がどの入力領域213Aに接触していたかに関わらず速度の倍率値が自動的に所定の値、例えば「×1.0」に遷移するようにしてもよい。これにより、どのような速度であってもユーザが入力領域213Aから指を離すと移動体100は予め設定された一定の速度に遷移して移動することになる。
なお、第2の速度制御用UIにおいてもユーザが指を入力領域213Aから離すとそれまでに指が接触していた入力領域213Aの位置に対応する倍率値が維持されるようにしてもよい。
この第2の速度制御用UIによれば容易に特定の値の倍率値を指定することができる。
ここで、ユーザから入力される入力値と入力装置200から実際に出力される倍率値との関係について説明する。図6Aおよび図6Bは入力値と出力する倍率値の関係を示すグラフである。
図6Aおよび図6Bにおいて横軸は入力範囲量に対する入力値の比率であり、+1.0から-1.0までの値をとり、右端は最大値として+1.0であり、左端は最小値として-1.0である。入力範囲量とは入力装置200において入力可能な倍率値の上限から下限まで範囲である。
縦軸は入力部204Aが入力値に基づいて出力する倍率値であり、縦軸の上端は正方向の倍率値の最大値(+Max)であり、下端は負方向の倍率値の最小値(-Max)である。
倍率値については正方向の最大値を+Max(>1)としたとき、正方向の入力に対する倍率値は零点との差分に対して図6Aに示すように線形もしくは図6Bに示すように任意の曲線を経て1.0から+Maxに至るようにする。
同様に、倍率値の負方向の最大値を-Max(<0)としたとき、負方向の入力に対する倍率値は零点との差分に対して図6Aに示すように線形もしくは図6Bに示すように任意の曲線を経て1.0から-Maxに至るようにする。
移動体100の操作においては通常、人間は感覚的には移動速度を遅くする場合とは細かく繊細な操作が必要となる場合が多いため、入力操作の解像度が高いほうが好ましい。一方、移動速度を速くする場合とは細かく繊細な操作は必要ない場合が多いため、入力操作の解像度が低くても短い操作ストロークおよび短い時間で速度が上げることができるほうが好ましい。よって、図6Bに示すような曲線状の関数で倍率値を変化させることによりそのような操作感を実現することができる。このようにユーザからの入力値に基づいて出力する倍率値を決定する直線または曲線で表される関数が後述する倍率変換情報である。
図5Aに示すようなシームレスな入力方法は感覚的に倍率値を上げ下げする点においては優れているが、倍率値を特定の値に正確に合わせるのは難しいおそれがある。そこで、図5Aに示すように速度の倍率が特定の値になる入力値の比率に範囲をもたせる。これにより倍率値が特定の値となる入力に幅が設けられることになるので、倍率値をその特定の値にする入力が容易になる。特定の値としては、例えば移動体100の速度を0(停止状態)にする倍率値「0.0」や、移動体100の速度を基準速度にする倍率値「1.0」などがある。図6Aにおいては倍率値を0とする入力が容易になるように入力値の比率に範囲をもたせている。
なお、入力範囲量に対する入力値の比率が、倍率値が所定の値になる範囲に入る場合と抜ける場合とでユーザにその旨の通知を行う通知制御部を入力装置200Aに設けてもよい。これによりユーザは確実に自身の入力が所定の倍率値を指定する入力であることを認識することができる。通知制御部による通知としては入力装置200Aの振動、表示部205Bにおけるメッセージの表示、音声メッセージの出力などユーザが認識できる方法であればどのようなものでもよい。
また、図7で後述するような入力装置200Bにおけるホイールやレバーなどの物理スイッチではユーザは物理スイッチを見ながら入力を行うのではなく指の感覚で入力するので、物理スイッチでも倍率値を特定の値に正確に合わせるのは難しいおそれがある。そこで、上述の速度制御用UIと同様に速度の倍率が特定の値になる入力値に範囲を設けてもよい。そして、倍率値が所定の値になる範囲に入力が入る場合と抜ける場合とでユーザにその旨の通知を行う通知機構を入力装置200Bに設けてもよい。これにより、ユーザは確実に自身の入力が所定の値になる入力であることを認識することができる。通知機構としては引っ掛かりにより物理スイッチにクリック感を与える爪状機構、入力装置200B全体の振動機構などがある。
[1-3-2.入力装置200の第2の構成例]
次に入力装置200の第2の例について説明する。入力装置200の第2の例である入力装置200Bは図7に示すように移動体100の操作専用のハードウェアコントローラである。なお、入力装置200Bのブロック構成は入力装置200Aと同様であるため図4Bを援用してその説明を省略する。
入力装置200Bは筐体BD、スティックST1,ST2、ボタンB1~B6、タッチパネルTP、ホイールWH1,WH2(ダイヤルと称してもよい)を備えて構成されている。スティックST1,ST2、ボタンB1~B6、タッチパネルTP、ホイールWH1,WH2は全て図4Bに示すブロック図の入力部204Aに相当するものである。
スティックST1,ST2は、ユーザが親指で操作し、上下方向(垂直方向・縦方向)および左右方向(水平方向・横方向)の少なくとも一方に倒すように操作することができ、例えば、移動体100の移動方向や旋回方向を指示するために用いられる。なお、スティックST1,ST2は斜め方向に倒すことができるように構成してもよい。
例えば、ユーザがスティックST1を上方向に倒すと移動体は前方に進み、ユーザがスティックST1を下方向に倒すと移動体100は後方に進む。また、ユーザがスティックST1を左方向に倒すと移動体100は左回りに旋回し、ユーザがスティックST1を右方向に倒すと移動体100は右回りに旋回する。
さらに、ユーザがスティックST2を上方向に倒すと、移動体100が上昇し、ユーザがスティックST2を下方向に倒すと移動体100が下降する。ユーザがスティックST2を左方向に倒すと、移動体100が左方向に移動し、ユーザがスティックST2を右方向に倒すと移動体100は右方向に移動する。なお、このスティックST1,ST2による操作は一例に過ぎずスティックST1とスティックST2の操作が逆でもよいし、移動体100の他の動作が割り当てられてもよい。なお、スティックの数はあくまで例示であり本技術がその数に限定されるものではない。
ボタンB1~B6には移動体100の操作、制御に関する種々の機能が割り当てられており、例えば、電源のオン/オフの機能などが割り当てられている。なお、ボタンの数はあくまで例示であり本技術がその数に限定されるものではない。
タッチパネルTPは、移動体100に関する情報を表示してユーザに提示するとともに、ユーザが各種指示を入力するためものである。
ホイールWH1,WH2は正負方向に連続値を入力可能な入力機構である。ホイールWH1,WH2は図8の部分拡大図に示すように筐体BDの側面に一部が露出するように設けられている。ホイールWH1はR方向とL方向に回転可能に構成されている。ホイールWH1は筐体BDの前面から背面の方向を軸としたものであり、筐体BDの肩部にあると操作しやすい構造となっている。ホイールWH2はU方向とD方向に回転可能に構成されている。ホイールWH2は筐体BD側面の左右方向を軸としたものであり、筐体BDの側面にあると操作しやすい構造となっている。ホイールWH1,WH2はユーザがスティックST1,ST2を操作する指とは異なる指(例えば人差し指または中指)で操作できるように筐体BDの上部側面と側面にそれぞれ設けられている。なお、以下の説明においてホイールWH1とホイールWH2を区別する必要がないときはホイールWHと記載する。
ホイールWHは、例えば右回転(時計回り)の入力がプラス(正方向)の倍率値に対応し、左回転(反時計回り)の入力がマイナス(負方向)の倍率値に対応している。また、ホイールWHの回転量と倍率値の値が対応しており、右回転方向への回転量を大きくすればするほどプラスの値で大きい倍率値を入力することができる。また、左回転方向への回転量を大きくすればするほどマイナスの値で大きい倍率値を入力することができる。これによりユーザはスティックST1,スティックST2で移動体の移動方向と旋回方向の操作指示を行いながら同時に速度調整のための操作指示を行うことができる。なお、右回転方向をマイナスの値、左回転方向をプラスの値に対応させてもよい。
また、所定の倍率値(例えば移動体の速度を予め定めた速度にする1.0倍)に対応するホイールWHの回転の度合いをユーザが認識できるようにユーザに通知する機構を設けるとよい。通知機構としてはホイールWHの回転に引っ掛かりを与えてクリック感を生む爪状機構や入力装置200B全体が振動する振動機構などがある。これによりユーザは、目視しなくても自身が所定の倍率値を入力したことを認識することができる。
ホイールWHには操作する指を離したら所定の状態(例えば、倍率値が1.0の状態)に復帰する復帰機構を備えてもよい。ホイールWHが自動復帰しない場合、ユーザは入力値を目視で確認する必要が生じ、目視により移動体100や撮影画像から視線が離れてしまう。よってホイールWHにおいては復帰機構を備えることが望ましい。復帰機構はバネなどの弾性体により常時ホイールWHを所定の状態の方向に付勢することにより構成することができる。
なお、倍率値入力用のホイールはホイールWH1とホイールWH2のどちらでもよいし、ホイールWH1とホイールWH2のいずれか一方だけが筐体BDに設けられていてもよい。さらに、ホイールWH1とホイールWH2は筐体BDの左側の側面に設けられていてもよい。さらに、筐体BDの右側側面と左側側面の両方にホイールを設けてもよい。
なお、図9に示すようにホイールに代えて入力装置200BにレバーLVを設けてもよい。レバーLVのホイールと同様に連続値を入力可能な入力機構である。レバーLVは上述したホイールと同様にスティックST1を操作する指とは異なる指(例えば人差し指)で操作できるように筐体BDの上部側面に設けられている。
レバーLVは例えば右方向への入力がプラスの倍率値に対応しており、左方向への入力がマイナスの倍率値に対応している。また、レバーLVを倒す度合いと倍率値が対応しており、右回転方向へ倒す度合いを大きくするとレバーLVするほどプラスの値で大きい倍率値を入力することができる。また、左回転方向への傾きの度合いを大きくするとレバーLVするほどマイナスの値で大きい倍率値を入力することができる。なお、右方向へ倒すのをマイナスの値、左回転方向へ倒すのをプラスの値に対応させてもよい。レバーLVにおいてもホイールと同様に通知機構を設けるとよい。
レバーLVにおいてもホイールと同様に操作する指を離したら所定の状態(例えば、倍率値が1.0の状態)に復帰する復帰機構を設けてもよい。ただし、レバーLVはホイールとは異なり、指の感覚で入力値を確認できるため復帰機構は復帰機構を設けず、むしろあえて摩擦を高めるなどして誤動作を防ぎ、入力値を維持するようにしてもよい。
このようにホイールWHであってもレバーLVであっても倍率値入力のための機構は一軸の操作子であることが好ましい。一軸の操作子であれば2つの方向への直線上の操作だけなので他の操作(移動体100の操作や撮像装置400の操作)と同時に倍率値の入力を行うことができる。
なお、入力装置200BにホイールWHとレバーLVの両方を設けてもよい。
[1-4.情報処理装置の構成と速度制御処理]
[1-4-1.事前軌道]
次に情報処理装置300の構成および情報処理装置300による移動体100の速度制御処理について説明する。まず、速度制御処理の説明の前に事前軌道について説明する。
事前軌道とは、図10および図11に示すように、移動体100が通過する位置である目標位置と、その目標位置を移動体100が通過する時刻である目標時刻とからなる複数の「目標位置/時刻」により構成されるものである。目標位置は例えば緯度経度で設定される。また目標時刻は「1時23分45秒」など具体的な時刻で設定してもよいし、基準時刻(移動開始時など)から10秒後など、経過時間で設定してもよい。移動体100はこの事前軌道に基づいて移動を行い、情報処理装置300はこの事前軌道に基づいて速度制御処理を行う。よって、ユーザは実際の移動の前に事前軌道を設定する必要がある。事前軌道は全ての目標位置/時刻を設定した後は再計算処理により再計算軌道とされる以外は基本的に不変であり、移動体100の移動の基準となる。
事前軌道は例えば図10のように設定される。図10では一例としてレーシングカーのサーキットの2次元の地図データを用いている。二次元の地図データ上に移動体100が通過する位置である複数の目標位置と各目標位置を通過する時刻である目標時刻をそれぞれに設定する。これにより移動体100がそれら目標位置を目標時刻が早い順に通過する軌道である事前軌道が設定される。目標位置/時刻は移動体100が通過する順序(時系列)に従い番号が付されている。なお、事前軌道は目標位置と、その目標位置を移動体100が通過する際の速度を示す目標速度で構成されてもよい。
目標位置は例えば入力装置200Aの表示部205Aやその他の表示装置や端末装置に表示された地図データ上の位置を移動体100が通過する順序で直接指定することにより設定できる。目標時刻は例えば目標位置ごとに具体的な数値を入力することにより設定することができる。このように設定された目標位置/時刻は事前軌道情報としてひとまとめにされて情報処理装置300に供給される。なお、事前軌道を設定するための入力装置は入力装置200と同一のものであってもよいし、別個の装置であってもよい。
このようにして設定された事前軌道は移動体100のUAV制御部101に供給され、UAV制御部101は、センサ部103から取得した移動体100の現在位置情報と事前軌道の比較を行いながらアクチュエータ3a~3dの出力を制御することにより移動体100を事前軌道に沿って移動させる。
例えば移動体100に搭載した撮像装置400を用いた実際の撮影の前に実際に事前軌道に沿って移動体100を移動させて事前軌道の状態を確認する場合を考える。この場合の速度制御では図5Bに示したような速度の倍率を固定値で指定するボタンを備える速度制御用UIが適している。例えば、事前軌道の状態の確認(木などの障害物がないかなど)や移動体100の位置姿勢を確認したい場所では移動体100の速度を基準速度より遅くする(例えば速度の倍率0.5を選択)ことにより時間をかけて目視で確認することができる。移動体100が目標位置から他の目標位置へと略直線状に移動する動きが単調な個所では移動体100の速度を基準速度より速くする(例えば速度の倍率2.0を選択)することにより確認作業時間を短縮することができる。
事前軌道に沿って移動体100が移動する際の速度の確認を行う場合には図5Aに示したような連続値指定の速度制御用UIが適している。この速度の確認によって「事前軌道上の特定の位置では速度の倍率は1.3倍くらいがちょうどよい」といったことがわかれば、事前軌道の設定において目標位置に対応させて適切な目標時刻を設定することができるようになる。
また、移動体100に搭載した撮像装置400を用いた実際の撮影では被写体の動きに合わせて柔軟かつ連続的な速度制御を行うために図5Aに示した連続値の入力が可能な速度制御用UIが適している。ユーザが入力領域211Aから指を離せば移動体100は事前軌道の目標時刻に沿った速度で移動し続けるのでユーザは移動体100の姿勢の操作や撮像装置400の操作に集中することができる。さらに、必要応じて移動体100の滑らかな加速または減速を行うことができる。なお、移動体100の実際の移動の前の事前軌道の確認は必須ではない。
事前軌道は3次元の地区データ上に設定してもよい。2次元または3次元の地図データとしてはインターネットで利用可能な地図サービスなどを利用することもできる。また、実際に移動体100を移動させてその移動経路に基づいて事前軌道を設定してもよい。
[1-4-2.情報処理装置300の構成および処理]
次に情報処理装置300の構成および速度制御処理について説明する。情報処理装置300はユーザからの入力装置200に対する入力に基づく速度制御値である倍率値を用いて移動体100の速度を制御する処理を行うものである。なお、移動体100はユーザからの入力がない限り、事前軌道で設定された目標位置/時刻に従って移動する。
図11に示すように情報処理装置300は倍率値変換部301、再計算対象抽出部302、軌道再計算部303、目標位置/速度抽出部304、現在位置/速度推定部305、目標到達判断部306、再計算軌道カウンタ更新部307、事前軌道カウンタ更新部308、アクチュエータ出力決定部309を備えて構成されている。
情報処理装置300における処理で事前軌道は軌道再計算部303により再計算されて再計算軌道として再定義される。詳しくは後述するが、再計算軌道は複数の目標位置、目標速度および目標時刻(以下、目標位置/速度/時刻と称する。)から構成されている。
情報処理装置300は移動体100の事前軌道における移動の進捗具合を示す事前軌道カウンタの値と、移動体100の再計算軌道における移動の進捗具合を示す再計算軌道カウンタの値に基づいて処理を行う。事前軌道カウンタは事前軌道を構成する目標位置/時刻の番号に基づいて移動体100の進み具合をカウントする。事前軌道カウンタのカウンタ値は目標位置/時刻に移動体100が通過する順序に従い付された番号と関連付けられており、事前軌道カウンタのカウンタ値の初期値は0であり、移動体100が新たな目標位置に到達するたびに1ずつインクリメントされる。
再計算軌道カウンタは再計算軌道を構成する目標位置/速度/時刻の番号に基づいて移動体100の進捗具合をカウントする。再計算軌道進捗カウンタのカウンタ値は目標位置/速度/時刻に移動体100が通過する順序に従って付された番号と関連付けられている。再計算軌道進捗カウンタのカウンタ値の初期値は0であり、移動体100が新たな目標位置に到達するたびに1ずつインクリメントされる。
倍率値変換部301は、ユーザから入力装置200に対して入力された入力値を予め定めた倍率変換情報に基づいて速度制御値である倍率値に変換し、再計算対象抽出部302と事前軌道カウンタ更新部308に供給する。倍率変換情報とは図6を参照して説明したユーザからの入力値に基づいて出力する倍率値を決定する関数である。
再計算対象抽出部302は倍率値と、事前軌道と、事前軌道カウンタのカウンタ値を入力として事前軌道から再計算の対象となる複数の目標位置/時刻を抽出して軌道再計算部303に供給する。再計算対象抽出部302は事前軌道カウンタの値で示される番号の目標位置/時刻を始点として、倍率値Sの正負方向に沿って倍率値Sと所定の秒数Rから下記の式1で算出される秒数R’分の複数の目標位置/時刻を抽出する。
[式1]
R’=|S|×R
例えば事前軌道カウンタのカウンタ値がKであり、図12に示すように、目標位置/時刻[k]から秒数R’分の目標位置/時刻が目標位置/時刻[k+1]と目標位置/時刻[k+2]である場合、目標位置/時刻[k]、目標位置/時刻[k+1]、目標位置/時刻[K+2]の3つが再計算対象抽出部302により抽出される。
抽出された目標位置/時刻はタイムスタンプが修正されて基準時刻(例えば0)からR’秒分のものとして番号が付与し直される。抽出された目標位置/時刻は図11においては「事前軌道(抽出)」と示されている。
なお、倍率値Sが0の場合、R’も0になるため、上述の処理では0秒分の目標位置/時刻を抽出することはできない。そこで、倍率値Sが0の場合はカウンタ値kと同じ番号が付されたk番目の目標位置/時刻を抽出して複数個並べることとする。また、事前軌道カウンタのカウンタ値が事前軌道の始点や終点を示し、それ以上辿れない場合、事前軌道の終点である最後の目標位置/時刻を抽出して複数並べることとする。
軌道再計算部303は、抽出された複数の目標位置/時刻を入力としてCP(Continuous Path)制御周期に合わせた周期の軌道(再計算軌道)を算出するものである。PTP(Point-to-Point)制御的な動きでは人間が操縦するような滑らかな軌道を実現することはできない。そこで本技術ではCP制御を用いる。指定された事前軌道から移動体100のアクチュエータの制御周期に合わせた制御命令値を生成し、それを目標値としてUAV制御部101に与えることによって、より滑らかな移動を実現することができる。この場合、事前軌道には位置と時刻の組が必要になり、ここで都度の目標速度も決定される。
軌道再計算部303は、目標位置と目標時刻に基づいて、目標位置を通過する際の移動体100の速度である目標速度を算出する。再計算軌道は目標位置、目標速度および目標時刻(目標位置/速度/時刻)とから構成される。ただし、実際には「アクチュエータコントローラに合わせた制御量」でありさえすればよい。なお、事前軌道から抽出された目標位置/時刻がR’秒分である場合、軌道再計算部303で算出される再計算軌道はR’秒分でもよいし、R’秒分ではなくてもよい。説明の便宜上共にR’秒分としたが、事前軌道から抽出する秒数、軌道再計算部303で算出される再計算軌道の秒数、両者の比率などはCP計算アルゴリズム次第となる。
事前軌道として予め全ての目標位置/時刻が設定されているため、速度制御により移動体100の速度が変わると速度が変わった地点以降の全ての目標位置への到達時間が変わることになる。これにより、速度が変わった地点以降の全ての目標位置への到達時間がずれることになる。よって、軌道再計算部303で目標位置/時刻を再計算してズレを補正して再設定する必要がある。
ただし、軌道再計算部303による処理は負荷が大きくなる場合があるため、全ての目標位置/時刻の再計算を行うのではなく、再計算対象抽出部302で秒数R’により抽出範囲を限定し、軌道再計算部303はその抽出範囲内の目標位置/時刻を再計算する。また、再計算対象抽出部302で秒数R’分の目標位置/時刻を抽出するのではなく、抽出は秒数R’分以上の範囲で行い、軌道再計算部303で秒数R’分の目標位置/時刻の再計算を行うようにしてもよい。
目標位置/速度抽出部304は、軌道再計算部303により算出された再計算軌道から再計算軌道カウンタの値で示される番号の、移動体100が到達すべき次の目標位置/速度/時刻を抽出するものである。抽出された目標位置は目標到達判断部306に供給される。また、抽出された目標位置/速度はアクチュエータ出力決定部309に供給される。
現在位置/速度推定部305は移動体100のセンサ部103から供給された各種センサ情報に基づいて移動体100の現在位置と現在速度を推定するものである。現在位置は目標到達判断部306に供給され、現在位置/速度はアクチュエータ出力決定部309に供給される。
目標到達判断部306は目標位置と現在位置との差分から移動体100が次に到達すべき目標位置に到達したか否かを判断するものである。目標到達判断部306の判断結果は再計算軌道カウンタ更新部307に供給される。
再計算軌道カウンタ更新部307は目標到達判断部306に判断結果に基づき、移動体100が目標位置に到達した場合、再計算軌道進捗カウンタの値をインクリメントする。再計算軌道カウンタ更新部307により更新された再計算軌道カウンタの値は目標位置/速度抽出部304に供給される。これにより目標位置/速度抽出部304は次の抽出タイミングでは再計算軌道カウンタ値で示される移動体100が到達すべき次の番号が付された目標位置/速度を再計算軌道から抽出する。さらに、再計算軌道進捗カウンタの値は事前軌道カウンタ更新部308にも供給される。
事前軌道カウンタ更新部308は、再計算軌道カウンタの値と倍率値変換部301から供給された倍率値の正負に基づいて事前軌道カウンタをインクリメントまたはデクリメントする処理を行う。事前軌道カウンタ更新部308は、倍率値が正の値である場合、移動体100は正方向(軌道を進む方法)に移動したとして事前軌道カウンタの値をインクリメントする。一方、倍率値が負の値である場合、移動体100は負方向(軌道を戻る方向)に移動したとして事前軌道カウンタの値をデクリメントする。事前軌道カウンタ値は再計算対象抽出部302に供給される。これにより再計算対象抽出部302は次の抽出タイミングでは事前軌道カウンタ値で示される移動体100が到達すべき次の番号が付された目標位置/速度を事前軌道から抽出する。
アクチュエータ出力決定部309には再計算軌道の目標位置/速度と、現在位置/速度推定部305が推定した移動体100の現在位置/速度が供給される。
アクチュエータ出力決定部309は位置制御モードである場合、目標位置と現在位置の差分を移動体100のアクチュエータ3a~3dにおける出力を制御する制御信号に変換して、移動体100のUAV制御部101に供給する。また、アクチュエータ出力決定部309は速度制御モードである場合、目標速度と現在速度の差分を移動体100のアクチュエータ3a~3dにおける出力を制御する制御信号に変換して、移動体100のUAV制御部101に供給する。UAV制御部101はアクチュエータ3a~3dに制御信号を送信することによりアクチュエータ3a~3dの出力を制御して移動体100の移動速度、移動方向を制御する。これにより移動体100の速度が制御される。なお、アクチュエータ出力決定部309の制御モードはユーザが決定することができるようにするとよい。
以上のようにして情報処理装置300による速度制御処理が行われる。なお、情報処理装置300は、ユーザからの入力があった場合にだけ上述の処理を行うようにしてもよいし、ユーザからの入力の有無に関わらず所定の時間間隔で継続して処理を行うようにしてもよい。
本技術によれば、ユーザは容易に移動体100の速度を制御するための入力を行うことができる。よって、移動体100を自動操縦させつつも、同時にその速度はユーザが簡単に指定できる。
ユーザによる速度の指定方法が複数あることにより、幅広いユーザの要求や幅広い用途に柔軟に対応可能である。
なお、情報処理装置300はプログラムの実行により実現され、そのプログラムは予め移動体100内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。さらに、情報処理装置300は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
[1-5.撮像装置400の構成]
次に撮像装置400の構成について説明する。撮像装置400は、図1、図2Bに示すように移動体100の胴体部1の底面にジンバル500を介して吊り下げられるように搭載されている。撮像装置400はジンバル500の駆動により360度水平方向から垂直方向への全方向のいずれの方向にもレンズを向けて撮像することが可能となっている。これにより、設定した構図での撮影が可能となっている。なお、ジンバル500の動作制御はジンバル制御部104により行われる。
図13のブロック図を参照して撮像装置400の構成について説明する。撮像装置400は、制御部401、光学撮像系402、レンズ駆動ドライバ403、撮像素子404、画像信号処理部405、画像メモリ406、記憶部407、通信部408を備えて構成されている。
光学撮像系402は、被写体からの光を撮像素子404に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置400の制御部401、レンズ駆動ドライバ403からの制御信号に基づいて駆動される。光学撮像系402を介して得られた被写体の光画像は、撮像装置400が備える撮像素子404上に結像される。
レンズ駆動ドライバ403は、例えばマイコンなどにより構成され、制御部401の制御に従い撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部401からの制御に従い、光学撮像系402の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間(シャッタースピード)の調整、絞り値(F値)などの調整がなされる。
撮像素子404は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子404は画素信号を画像信号処理部405に出力する。撮像素子404としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。
画像信号処理部405は撮像素子404から出力された撮像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つためのサンプルホールド、AGC(Auto Gain Control)処理、A/D(Analog/Digital)変換などを行ない、画像信号を作成する。
画像メモリ406は、揮発性メモリ、例えば、DRAM(Dynamic Random Access Memory)で構成されるバッファメモリである。画像メモリ406は画像信号処理部405によって所定の処理が施された画像データを一時的に蓄えておくものである。
記憶部407は、例えば、ハードディスク、USBフラッシュメモリ、SDメモリカードなどの大容量記憶媒体である。撮像された画像は例えばJPEG(Joint Photographic Experts Group)などの規格に基づいて圧縮された状態または非圧縮の状態で保存される。また、保存された画像に関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。
通信部408は、移動体100および入力装置200とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、USB通信などの有線通信や、無線LAN、WAN、WiFi、4G、5G、Bluetooth(登録商標)、ZigBee(登録商標)などの無線通信のどちらであってもよい。
なお、入力装置200を使用してユーザが移動体100の操作に加えて撮像装置400を操作できるようにしてもよいし、入力装置200とは異なる装置で撮像装置400を操作できるようにしてもよい。
本技術によれば、ユーザは容易に移動体100の速度を制御するための入力を行うことができる。これによりユーザは移動体100に撮像装置400を搭載して撮影を行う際に撮像装置400の操作を行いながら移動体100の速度制御のための入力を行うことができる。よって、例えばユーザが移動体100の専属操縦者を付けないカメラマンであり、そのカメラマンのみのワンオペレーションであっても容易に移動体100の速度制御のための入力を行いながらフレーミングやフォーカシングに集中することができる。
また、事前に設定した事前軌道に沿って移動体100を移動させつつ速度を調整することが可能なので、実際の撮影において被写体と撮像装置400の位置関係を微調整することができる。実際の撮影では被写体の動きに合わせて柔軟かつ連続的な速度制御を行うために図5Aや図8に示した連続値の入力が可能なUIを用いるのが好ましい。指を離すなど入力を無くせば移動体100は1倍速で移動を続けるためよりカメラワークに集中でき、しかし必要に応じて入力に合わせた滑らかな加速・減速を行うことができる。
本技術の利用態様の具体的な例としてサーキットを周回するレーシングカーを移動体100としてのドローンで空撮する例が挙げられる。特定のレースにおける理想的なレーシングカーの走行ラインと速度分布は事前に仮定することができる。その仮定した情報を利用してドローンの事前軌道は理想的な撮影を行うための飛行ラインとして「レーン」のように決定できる。
カメラマンは「レーン」上を移動するドローンに装着されたパンチルトズームカメラによるフレーミング操作に集中しつつ、本技術を用いて被写体との距離および方向を調整するために「レーン」を移動するドローンをレバー一つで加減速させることができる。
例えば、とあるレーシングカーがコースアウトにより停車したといった場合は入力装置200への操作でドローンの停止もしくは逆行を行い、適切なポジションを維持しながら撮影を続行することができる。またはドローンの操作をマニュアル操作に切り替えてもよい。
<2.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
実施の形態では速度制御値として倍率値を用いたが、速度制御値として具体的な速度の数値を指定してオフセット値で速度を調整することもできる。例えば今現在の速度に対して+1km/h、+2km/h、+3km/hのように加算する速度を直接指定してもよいし、43km/h、50km/hなど移動体100の移動速度を直接指定してもよい。この場合、移動体100の速度制御は加算/減算により決定する。速度制御値が倍率値である場合、乗算により移動体の速度が決定する。
実施の形態では移動体100に撮像装置400を搭載している例で説明を行ったが、本技術は撮像装置400ではなく他の装置を搭載した移動体100の速度制御にも適用可能であるし、他の装置を搭載しない移動体100の速度制御にも適用可能である。
実施の形態では移動体100と撮像装置400とを別個の装置として構成したが、移動体100と撮像装置400とを一体の装置として構成してもよい。
移動体100としてのドローンは実施の形態で説明したような回転翼を備えるものに限られず、いわゆる固定翼型であってもよい。
本技術の移動体100はドローンに限られず、人の操縦を受けずに自律して移動する自動車、船舶、ロボット、車椅子などであってもよい。また、人の操縦を受け、かつ自律して移動することもできる半移動体であってもよい。
入力装置200の第2の構成例においてはホイールWH1、ホイールWH2を備えるよう説明を行ったが、ホイールの数は2つに限られるものではない。例えば、さらにホイールWH3として筐体BDの上下方向を軸としたものを設け、筐体BDの背面に中指で左右に操作するホイールを設けてもよい。さらに、ホイール形状以外にも薄い構造で実現できるスライダ型の入力機構を設けてもよい。
本技術を用いた撮影は映画やスポーツなど幅広い目的に用いることができる。実施の形態ではドローンによる空撮を例に挙げたが、本技術は他にも例えば陸上トラック競技の撮影のような接地を前提としたレーン移動カメラのようなものにも応用が可能である。
撮像装置400としては、デジタルカメラ、スマートフォン、携帯電話機、携帯ゲーム機、ノートパソコン、タブレット端末など、撮像機能を備え、移動体100に搭載させることができる機器であればどのようなものを用いてもよい。
撮像装置400は入力部、表示部などを備えていてもよい。また、撮像装置400は移動体100と接続しない場合には単体で撮像装置として使用できるものであってもよい。
情報処理装置300は移動体100ではなく入力装置200に設けられていてもよい。
本技術は以下のような構成も取ることができる。
(1)
予め設定された軌道を自律移動する移動体の速度を制御する情報処理装置と、
ユーザからの入力を受け付ける入力部を備え、前記ユーザから入力された、前記移動体の速度制御に用いる入力値を前記情報処理装置に供給する入力装置と
からなる
情報処理システム。
(2)
前記移動体は前記軌道上において予め設定された任意の目標位置を予め設定された目標時刻に、または目標速度で通過するように自律移動し、
前記情報処理装置は前記入力値から得られる速度制御値に基づいて前記目標位置および/または前記目標速度を更新することにより速度の制御を行う(1)に記載の情報処理システム。
(3)
前記移動体の現在速度と、更新された前記目標速度の差分に基づいて前記移動体の速度の制御を行う(2)に記載の情報処理システム。
(4)
前記移動体の現在位置と、更新された前記目標位置の差分に基づいて前記移動体の速度の制御を行う(2)に記載の情報処理システム。
(5)
前記入力部は一軸の操作子により構成されている(1)から(4)のいずれかに記載の情報処理システム。
(6)
前記入力部はホイールおよび/またはレバーにより構成されている(5)に記載の情報処理システム。
(7)
前記入力部は前記入力値の入力領域を備えるタッチパネルにより構成されている(1)から(6)のいずれかに記載の情報処理システム。
(8)
前記入力値の入力領域が、連続値を入力可能なスライダ状に構成されている(7)に記載の情報処理システム。
(9)
前記入力値の入力領域が、離散値を入力可能なボタン状に構成されている(7)に記載の情報処理システム。
(10)
前記移動体の速度を所定の速度にするよう制御するための前記入力値に範囲が設けられている(1)から(9)のいずれかに記載の情報処理システム。
(11)
前記入力装置は、前記ユーザからの入力が前記入力値の範囲に入ったおよび/または範囲から出たことを前記ユーザに通知する通知部を備える(1)から(10)のいずれかに記載の情報処理システム。
(12)
前記入力部は、前記ユーザからの入力が前記移動体の速度を所定の速度にする前記入力値であることを前記ユーザに通知する通知部を備える(1)から(11)のいずれかに記載の情報処理システム。
(13)
前記速度制御値としての速度の倍率値に基づいて前記速度の制御を行う(1)から(12)のいずれかに記載の情報処理システム。
(14)
前記速度制御値としての速度の数値に基づいて前記速度の制御を行う(1)から(13)のいずれかにに記載の情報処理システム。
(15)
前記情報処理装置は、前記入力値を前記速度制御値に変換する変換部を備え、
前記入力値と前記速度制御値が直線上または曲線状の関係を有する(1)から(14)のいずれかに記載の情報処理システム。
(16)
前記情報処理装置は前記移動体に設けられている(1)から(15)のいずれかに記載の情報処理システム。
(17)
前記情報処理装置は前記入力装置に設けられている(1)から(15)のいずれかに記載の情報処理システム。
(18)
ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する情報処理方法。
(19)
ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する情報処理方法をコンピュータに実行させる情報処理プログラム。
100・・・・移動体
200・・・・入力装置
204A・・・入力部
WH・・・・・ホイール
LV・・・・・レバー
300・・・・情報処理装置
1000・・・情報処理システム。

Claims (15)

  1. 予め設定された軌道上において予め設定された任意の目標位置を予め設定された目標速度で通過するように自律移動する移動体の速度を制御する情報処理装置と、
    ユーザからの入力を受け付ける入力部を備え、前記ユーザから入力された、前記移動体の速度制御に用いる入力値を前記情報処理装置に供給する入力装置と
    からなり、
    前記情報処理装置は、速度制御値を特定の値に合わせるために前記速度制御値が前記特定の値で維持される前記入力値の範囲を設定している変換情報に基づいて前記入力値を前記速度制御値に変換し、前記速度制御値に基づいて前記目標速度を更新し、前記移動体の現在速度と、更新された前記目標速度の差分に基づいて前記移動体の速度の制御を行う
    情報処理システム。
  2. 前記入力部は一軸の操作子により構成されている
    請求項1に記載の情報処理システム。
  3. 前記入力部はホイールとレバーのいずれか一方または両方により構成されている
    請求項に記載の情報処理システム。
  4. 前記入力部は前記入力値の入力領域を備えるタッチパネルにより構成されている
    請求項1に記載の情報処理システム。
  5. 前記入力値の入力領域が、連続値を入力可能なスライダ状に構成されている
    請求項に記載の情報処理システム。
  6. 前記入力値の入力領域が、離散値を入力可能なボタン状に構成されている
    請求項に記載の情報処理システム。
  7. 前記入力装置は、前記ユーザからの入力が前記入力値の範囲に入ったことと前記範囲から出たことのいずれか一方または両方を前記ユーザに通知する通知部を備える
    請求項1に記載の情報処理システム。
  8. 前記入力部は、前記ユーザからの入力が前記移動体の速度を所定の速度にする前記入力値であることを前記ユーザに通知する通知部を備える
    請求項1に記載の情報処理システム。
  9. 前記速度制御値としての速度の倍率値に基づいて前記速度の制御を行う
    請求項1に記載の情報処理システム。
  10. 前記速度制御値としての速度の数値に基づいて前記速度の制御を行う
    請求項1に記載の情報処理システム。
  11. 前記情報処理装置は、前記入力値を前記速度制御値に変換する変換部を備え、
    前記入力値と前記速度制御値が直線上または曲線状の関係を有する
    請求項1に記載の情報処理システム。
  12. 前記情報処理装置は前記移動体に設けられている
    請求項1に記載の情報処理システム。
  13. 前記情報処理装置は前記入力装置に設けられている
    請求項1に記載の情報処理システム。
  14. 予め設定された軌道上において予め設定された任意の目標位置を予め設定された目標速度で通過するように自律移動する移動体の速度を、ユーザからの入力を受け付ける入力装置に入力された入力値を、速度制御値を特定の値に合わせるために前記速度制御値が前記特定の値で維持される前記入力値の範囲を設定している変換情報に基づいて前記速度制御値に変換し、前記速度制御値に基づいて前記目標速度を更新し、前記移動体の現在速度と、更新された前記目標速度の差分に基づいて制御する
    情報処理方法。
  15. 予め設定された軌道上において予め設定された任意の目標位置を予め設定された目標速度で通過するように自律移動する移動体の速度を、ユーザからの入力を受け付ける入力装置に入力された入力値を、速度制御値を特定の値に合わせるために前記速度制御値が前記特定の値で維持される前記入力値の範囲を設定している変換情報に基づいて前記速度制御値に変換し、前記速度制御値に基づいて前記目標速度を更新し、前記移動体の現在速度と、更新された前記目標速度の差分に基づいて制御する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
JP2021548365A 2019-09-25 2020-07-15 情報処理システム、情報処理方法、情報処理プログラム Active JP7544061B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019173890 2019-09-25
JP2019173890 2019-09-25
PCT/JP2020/027458 WO2021059684A1 (ja) 2019-09-25 2020-07-15 情報処理システム、情報処理方法、情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2021059684A1 JPWO2021059684A1 (ja) 2021-04-01
JP7544061B2 true JP7544061B2 (ja) 2024-09-03

Family

ID=75166541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548365A Active JP7544061B2 (ja) 2019-09-25 2020-07-15 情報処理システム、情報処理方法、情報処理プログラム

Country Status (4)

Country Link
US (1) US20220404841A1 (ja)
JP (1) JP7544061B2 (ja)
CN (1) CN114424137B (ja)
WO (1) WO2021059684A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7471017B2 (ja) * 2020-05-27 2024-04-19 株式会社エアロネクスト 回転翼機

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150512A (ja) 2010-01-21 2011-08-04 Ihi Aerospace Co Ltd 無人移動体の制御方法及び無人移動体
JP2016096833A (ja) 2014-11-18 2016-05-30 日本遠隔制御株式会社 ラジオコントロール用送信機
WO2016163035A1 (ja) 2015-04-07 2016-10-13 株式会社Doog 移動筐体制御インタフェース
US20180096455A1 (en) 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Course profiling and sharing
JP2018116443A (ja) 2017-01-18 2018-07-26 住友重機械工業株式会社 検査システム
US20190002103A1 (en) 2017-06-30 2019-01-03 Intel Corporation Unmanned aerial vehicles and related methods and systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2965035B2 (ja) * 1998-08-28 1999-10-18 株式会社セガ・エンタープライゼス 競争ゲーム装置及びその制御方法
US20080026671A1 (en) * 2005-10-21 2008-01-31 Motorola, Inc. Method and system for limiting controlled characteristics of a remotely controlled device
US9857794B1 (en) * 2015-07-23 2018-01-02 Brunswick Corporation System for controlling position and speed of a marine vessel
JP6514089B2 (ja) * 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
DK3398022T3 (da) * 2016-02-26 2021-02-01 Sz Dji Technology Co Ltd Systemer og fremgangsmåder til tilpasning af uav-bane
WO2018161287A1 (en) * 2017-03-09 2018-09-13 SZ DJI Technology Co., Ltd. Systems and methods for operating unmanned aerial vehicle
CN111527469A (zh) * 2017-10-27 2020-08-11 流体技术股份有限公司 动态平衡式多自由度手持控制器
US11307584B2 (en) * 2018-09-04 2022-04-19 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150512A (ja) 2010-01-21 2011-08-04 Ihi Aerospace Co Ltd 無人移動体の制御方法及び無人移動体
JP2016096833A (ja) 2014-11-18 2016-05-30 日本遠隔制御株式会社 ラジオコントロール用送信機
WO2016163035A1 (ja) 2015-04-07 2016-10-13 株式会社Doog 移動筐体制御インタフェース
US20180096455A1 (en) 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Course profiling and sharing
JP2018116443A (ja) 2017-01-18 2018-07-26 住友重機械工業株式会社 検査システム
US20190002103A1 (en) 2017-06-30 2019-01-03 Intel Corporation Unmanned aerial vehicles and related methods and systems

Also Published As

Publication number Publication date
CN114424137B (zh) 2025-06-10
US20220404841A1 (en) 2022-12-22
JPWO2021059684A1 (ja) 2021-04-01
CN114424137A (zh) 2022-04-29
WO2021059684A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US11625034B2 (en) One-handed remote-control device for aerial system
CN107000839B (zh) 无人机的控制方法、装置、设备和无人机的控制系统
WO2018178756A1 (en) System and method for providing autonomous photography and videography
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
US20180024557A1 (en) Autonomous system for taking moving images, comprising a drone and a ground station, and associated method
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US12007763B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
CN110383812B (zh) 控制装置、系统、控制方法以及程序
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
WO2019227333A1 (zh) 集体照拍摄方法和装置
WO2019227289A1 (zh) 延时拍摄控制方法和设备
JP2017169170A (ja) 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
JP7544061B2 (ja) 情報処理システム、情報処理方法、情報処理プログラム
WO2022056683A1 (zh) 视场确定方法、视场确定装置、视场确定系统和介质
CN111602385B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN111630838B (zh) 确定装置、摄像装置、摄像系统、移动体、确定方法以及程序
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
CN111357271B (zh) 控制装置、移动体、控制方法
JP7545758B2 (ja) 飛行制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240805

R150 Certificate of patent or registration of utility model

Ref document number: 7544061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150