[go: up one dir, main page]

JP6828205B1 - 遠隔作業装置とそのプログラム - Google Patents

遠隔作業装置とそのプログラム Download PDF

Info

Publication number
JP6828205B1
JP6828205B1 JP2020085324A JP2020085324A JP6828205B1 JP 6828205 B1 JP6828205 B1 JP 6828205B1 JP 2020085324 A JP2020085324 A JP 2020085324A JP 2020085324 A JP2020085324 A JP 2020085324A JP 6828205 B1 JP6828205 B1 JP 6828205B1
Authority
JP
Japan
Prior art keywords
scene
video data
video
determined
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020085324A
Other languages
English (en)
Other versions
JP2021180426A (ja
Inventor
聡哉 中蔵
聡哉 中蔵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT DOCOMO BUSINESS, Inc.
NTT Communications Corp
Original Assignee
NTT DOCOMO BUSINESS, Inc.
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT DOCOMO BUSINESS, Inc., NTT Communications Corp filed Critical NTT DOCOMO BUSINESS, Inc.
Priority to JP2020085324A priority Critical patent/JP6828205B1/ja
Application granted granted Critical
Publication of JP6828205B1 publication Critical patent/JP6828205B1/ja
Priority to CN202180035032.3A priority patent/CN115552892B/zh
Priority to EP21803460.1A priority patent/EP4151370A4/en
Priority to PCT/JP2021/018478 priority patent/WO2021230366A1/ja
Publication of JP2021180426A publication Critical patent/JP2021180426A/ja
Priority to US18/054,237 priority patent/US12136248B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/028Circuits for converting colour display signals into monochrome display signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/10Display system comprising arrangements, such as a coprocessor, specific for motion video images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/16Digital picture frames
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】遠隔地で得られる映像に対し適切な圧縮を行えるようにしてユーザの視認性の向上を図る。【解決手段】遠隔地のロボット3において、その位置および動きの検出データと映像データとから導出される特徴量をもとにロボット3の行動シーンが判定され、判定された上記行動シーンに対応した映像パラメータまたは撮像モードが選択される。そして、映像データについて上記選択された映像パラメータを調整する処理、またはカメラに対し上記選択された撮像モードを設定する処理が行われ、この処理後の映像データがネットワーク4を介してユーザ側の情報処理装置2に送られ、HMD1に表示される。【選択図】図5

Description

この発明の実施形態は、例えばユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置と、この遠隔作業装置で使用されるプログラムに関する。
ユーザが、遠隔地に存在するロボットからネットワークを介して送信される映像を見ながら、ロボットの動作を制御する遠隔制御するシステムが開発されている。この種のシステムは、例えば、ユーザの頭部にヘッドマウントディスプレイ(Head Mount Display:HMD)(以後ヘッドセットとも称する)を装着する。そしてユーザが、遠隔地に存在するロボットが撮像した映像をヘッドセットにより見ながら自身の体を動かすかまたはコントローラを操作することで、上記ロボットの動きを遠隔制御するように構成される。
また、この種のシステムでは、例えば、拡張現実(Augmented Reality;AR)の技術または仮想現実(Virtual Reality:VR)の技術を用いて、ロボットから送られる映像をもとにAR映像またはVR映像を生成し、ヘッドセットに表示することにより、ユーザが高い没入感を得ることができるようにしている。
特開2019−106628号公報
ところが、従来のシステムには、以下のような解決すべき課題があった。すなわち、撮影された映像をネットワークを介して伝送する場合、映像の圧縮条件が一定に固定される単純なシステムでは、通信環境の影響を受ける。特に無線環境では、ユーザが電波が弱い環境に移動すると、一定時間内に伝送可能な通信帯域が狭くなるため、高品質な映像を伝送しようとすると、例えばフレームが欠落して飛び飛びの映像になったり、ノイズが重畳したり、伝送遅延等が発生し、伝送品質の劣化を招く。
これを解決するために、従来Adaptive Bitrate Streamingという手法が考案された。この手法は、通信帯域を推定し、その範囲内に収まるように映像の圧縮度合いを変更するというものである。例えば、映像の解像度を低くしてデータの伝送容量を削減するといった対応が行われる。
しかしこの手法では、空間解像度または時間解像度のどちらかを積極的に担保すべき映像であっても、映像の種類を考慮しないAdaptive Bitrate Streamingの実装系のアルゴリズムに従い圧縮処理を施されてしまう。このため、遠隔制御システムのように、遠隔地のロボットにより様々なシーンの映像を撮像し、これらの映像をユーザがHMD等を用いて視聴する場合には、視聴に必要な映像品質が得られず実用に適さなくなることが想定される。
この発明は上記事情に着目してなされたもので、遠隔地で得られる映像に対し適切な圧縮を行えるようにしてユーザの視認性の向上を図る技術を提供しようとするものである。
上記課題を解決するためにこの発明の第1の態様は、表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、カメラから当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、センサから当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、取得された前記映像データおよび前記状態検出データに基づいて前記遠隔作業装置の行動シーンを判定する判定部と、判定された前記行動シーンに応じて調整対象の映像パラメータを選択する選択部と、前記映像データについて前記選択された映像パラメータを調整する制御部と、前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部とを具備するように構成したものである。
この発明の第2の態様は、表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、判定された前記行動シーンに対応する撮像モードを選択する選択部と、前記カメラに対し前記選択された撮像モードを設定する制御部と、前記設定された撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部とを具備するように構成したものである。
この発明の第1の態様によれば、遠隔作業装置において、当該遠隔作業装置の位置または動きと撮像された映像をもとに遠隔作業装置の行動シーンが判定され、判定された上記行動シーンに応じて調整対象の映像パラメータが選択される。そして、映像データについて、上記選択された映像パラメータが調整され、調整後の映像データがユーザ装置へ送信される。このため、例えば、読書シーンやスポーツ観戦シーン等、行動シーンごとに、当該行動シーンに対応する映像パラメータを用いて映像データが調整され、ユーザ装置へ送られる。このため、行動シーンごとにそれに適した映像パラメータにより圧縮されたリモート映像がユーザ装置へ伝送されることになり、これによりユーザに対し、遠隔作業装置の行動シーンごとにシーンに適した視聴性の良いリモート映像を提供することが可能となる。
この発明の第2の態様によれば、遠隔作業装置において、当該遠隔作業装置の位置または動きと撮像された映像をもとに遠隔作業装置の行動シーンが判定され、判定された上記行動シーンに応じてカメラの撮像モードが選択される。そして、カメラに対し前記選択された撮像モードが設定され、当該撮像モードにより撮像された映像データがネットワークを介してユーザ装置へ伝送される。このため、例えば、読書シーンやスポーツ観戦シーン等、行動シーンごとに、当該行動シーンに対応する撮像モードにより撮像された映像データがユーザ装置へ送られる。このため、行動シーンごとにそれに適した品質を有するリモート映像がユーザ装置へ伝送されることになり、これによりユーザに対し、遠隔作業装置の行動シーンごとにシーンに適した視聴性の良いリモート映像を提供することが可能となる。
すなわちこの発明の各態様によれば、遠隔地で得られる映像に対し適切な圧縮を行えるようにしてユーザの視認性の向上を図ることが可能な技術を提供することができる。
図1は、この発明の一実施形態に係る遠隔制御システムの全体構成を示す図である。 図2は、図1に示した遠隔制御システムにおいてユーザが装着するヘッドマウントディスプレイのハードウェア構成を示すブロック図である。 図3は、図1に示した遠隔制御システムにおいてユーザ装置として使用される情報処理装置のハードウェア構成を示すブロック図である。 図4は、図1に示した遠隔制御システムにおいて遠隔作業装置として使用されるロボットのハードウェア構成を示すブロック図である。 図5は、図1に示した遠隔制御システムにおいて遠隔作業装置として使用されるロボットのソフトウェア構成を示すブロック図である。 図6は、図5に示したロボットによる処理手順と処理内容を示すフローチャートである。 図7は、図6に示したロボットの処理手順のうち行動シーンの判定処理と映像パラメータの選択処理の処理手順と処理内容を示すフローチャートである。 図8は、図5に示した記憶部に記憶される行動シーン情報の一例を示す図である。 図9は、図5に示した記憶部に記憶されるサブシーン情報の一例を示す図である。 図10は、図5に示した記憶部に記憶される映像パラメータ情報の一例を示す図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(構成例)
(1)システム
図1は、この発明の一実施形態に係る遠隔制御システムの全体構成を示す図である。
この発明の一実施形態に係る遠隔制御システムは、ヘッドマウントディスプレイ(HMD)1と、ユーザ装置として動作する情報処理装置2と、上記情報処理装置2との間でネットワーク4を介して通信が可能な遠隔作業装置3とを備えている。遠隔作業装置3は、例えば人型をなすロボットからなる。以後、この実施形態では遠隔作業装置3をロボットと呼ぶ。
なお、この実施形態ではユーザ装置が情報処理装置2のみを含む場合を例にとって説明するが、ユーザ装置は情報処理装置2とHMD1の両方を含んでいてもよい。
ネットワーク4は、例えばインターネット等の公衆IP(Internet Protocol)網と、当該公衆IP網にアクセスするためのアクセス網とからなり、アクセス網にはLAN(Local Area Network)、無線LAN、公衆有線ネットワーク、公衆移動通信ネットワーク、CATV(Cable Television)ネットワークが用いられる。
(2)装置
(2−1)ヘッドマウントディスプレイ(HMD)1
HMD1は、例えばゴーグル型をなし、ユーザの頭部に着脱自在に装着される。図2は、HMD1のハードウェア構成を示すブロック図である。
HMD1は、例えば中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部11に対し、記憶部12と、表示インタフェース(表示I/F)13と、センサインタフェース(センサI/F)15と、通信インタフェース(通信I/F)17を、バス10を介して接続したものとなっている。なお、上記制御部11には、他に、各種スイッチやマイクロフォン、スピーカ、カメラ、位置センサ等のデバイスが接続されてもよい。
記憶部12は、記憶媒体として例えばSolid State Drive(SSD)等の随時書込みおよび読出しが可能な不揮発性メモリを用いたもので、プログラム記憶領域とデータ記憶領域とを有する。プログラム記憶領域には、HMD1の動作を実現するためのアプリケーション・プログラムが格納される。データ記憶領域は、HMD1の動作過程で取得或いは生成された各種データを保存するために用いられる。なお、記憶媒体としては、他にRead Only Memory(ROM)やRandom Access Memory(RAM)等を併用することも可能である。
表示I/F13には表示部14が接続される。表示部14は、例えば、有機EL(Electro Luminescence)ディスプレイからなる表示パネルを、仮想現実(Virtual Reality:VR)表示に対応するためにユーザの左右の眼に対応して2枚備える。なお、表示パネルは1枚であってもよい。また表示部14は、有機ELディスプレイに限られるものではなく、例えば液晶ディスプレイ(Liquid Cristal Display:LCD)や7セグメントを用いた表示器等の、他のタイプの表示器であってもよい。表示I/F13は、後述する情報処理装置2により生成された映像データを表示部14に表示させる。
センサI/F15には、動きセンサ16が接続される。動きセンサ16は、例えば6軸の角速度センサ(ジャイロセンサ)からなり、HMD1の動き、つまりユーザの頭部の動きを検出するために使用される。なお、検出対象となる頭部の動きは、例えば6軸方向の動きであることが好ましいが、パンおよびチルトの2軸方向の動きだけでもよい。センサI/F15は、上記動きセンサ16の出力信号をもとに、ユーザの頭部の動きを表す動き検出データを生成する。
なお、センサI/F15には、上記動きセンサ16の他に、磁気センサ、加速度センサ、位置センサ、赤外センサ、輝度センサ、近接センサ、カメラ等が接続されてもよい。またセンサI/F15には、ユーザの頭部の動きのほか、ユーザの視線の動きを検出するためのセンサが接続されてもよい。ユーザの視線の動きは、例えばユーザの眼球を撮像するカメラを用いることで検出可能である。
通信I/F17には、例えばUniversal Serial Bus(USB)ケーブル等の信号ケーブルを使用した有線インタフェースが用いられる。そして通信I/F17は、制御部11の制御の下、情報処理装置2から送信される映像データを受信すると共に、上記センサI/F15により生成された動き検出データ等を情報処理装置2へ転送する。なお、通信I/F17には、近距離無線データ通信規格(例えばBluetooth(登録商標))が使用されてもよい。
なお、この例では、HMD1として制御部11および記憶部12を備えた多機能型のデバイスを例にとって説明している。しかし、HMD1は、表示部14、表示I/F13、動きセンサ16およびセンサI/F15のみを有する標準型または簡易型のデバイスであってもよい。
(2−2)情報処理装置2
図3は、ユーザ装置として使用される情報処理装置2のハードウェア構成を示すブロック図である。
情報処理装置2は、例えばスマートフォンやタブレット型端末等の携帯情報端末、またはノート型もしくは据え置き型のパーソナルコンピュータにより構成される。情報処理装置2は、CPU等のハードウェアプロセッサを有する制御部21に、バス20を介して記憶部22、入出力インタフェース(入出力I/F)23および通信インタフェース(通信I/F)24を接続したものとなっている。
入出力I/F23には、上記USBケーブルまたは無線インタフェースを介して上記HMD1が接続される。また入出力I/F23には、コントローラ等の操作部256が接続される。操作部25は、ユーザがロボット3の動作を遠隔制御する際に、例えばその制御対象部位、制御方向および制御量を入力するために使用される。
通信I/F24は、例えば、無線LAN、近距離無線データ通信規格(例えばBluetooth(登録商標))または公衆移動通信ネットワークに対応したインタフェースを備え、ネットワーク4を介してロボット3との間でデータ伝送を行う。なお、通信I/F24は、公衆有線網や有線LAN、CATVネットワーク等の有線網に対応するインタフェースを備えていてもよい。
記憶部22は、記憶媒体として、例えば、Hard Disk Drive(HDD)またはSSD等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM等の不揮発性メモリと、RAM等の揮発性メモリとを組み合わせて構成される。その記憶領域には、プログラム記憶領域と、データ記憶領域とが設けられる。プログラム記憶領域には、Operating System(OS)等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムが格納される。データ記憶領域には、ロボット3から送られた映像データを一時保存する映像データ記憶領域と、制御部21が種々の処理作業を行うために使用する作業用の記憶領域が設けられている。
制御部21は、この発明の一実施形態を実現するための制御処理機能として、遠隔制御信号送信部と、映像データ受信部と、映像表示制御部とを備えている。これらの制御処理機能は、いずれも上記記憶部22内のプログラム記憶領域に格納されたアプリケーション・プログラムを制御部21のハードウェアプロセッサに実行させることにより実現される。
遠隔制御信号送信部は、上記操作部25において入力された操作データと、HMD1の動きセンサ16により得られた動き検出データとをもとに、ロボット3の動きを制御するための動き制御データを生成する。動き制御データには、ロボット3の制御対象部位、制御方向および制御量を表す情報が含まれる。そして、生成された上記動き制御データを含む遠隔制御信号を、通信I/F24からロボット3へ向け送信する。
映像データ受信部は、ロボット3からネットワーク4を介して送られる映像データを通信I/F24を介して受信する。そして、受信された映像データを復号処理したのち、記憶部22内の映像データ記憶領域に一時保存させる。
映像表示制御部は、上記映像データ記憶領域から読み出した映像データに対し、必要に応じてAR表示またはVR表示のための映像編集処理を行った後、入出力I/F23からHMD1へ出力して表示させる。
(2−3)ロボット3
ロボット3は、例えば図1に示したように胴体部、頭部、腕部および脚部を有する。このうち、頭部、腕部および脚部はそれぞれサーボ機構を備える駆動部により所定の可動範囲内で動作し、これによりロボット3は姿勢を種々変化させることができるようになっている。ロボット3の頭部の前面部、つまり顔に相当する部位には、撮像デバイスとしてのカメラ34が設置されている。またロボット3の頭部内にはその動きを検出するために動きセンサが設けられている。
図4および図5は、それぞれロボット3のハードウェア構成およびソフトウェア構成を示すブロック図である。
ロボット3は、制御部31を備える。制御部31は、CPU等のハードウェアプロセッサを有する。この制御部31には、記憶部32と、センサインタフェース(センサI/F)33と、駆動インタフェース(駆動I/F)37と、通信インタフェース(通信I/F)39が、バス30を介して接続されている。
センサI/F33には、上記カメラ34、動きセンサ35および位置センサ36が接続される。カメラ34は、例えば立体映像を撮像可能な二眼カメラと、パノラマ映像を撮像可能なパノラマカメラとを備える。二眼カメラは、ロボット3の前方方向を所定の視野角(例えば130度)で撮像し、得られた立体映像データをセンサI/F33へ出力する。パノラマカメラは、ロボット3の前方方向から両側方向に渡る範囲を、上記二眼カメラより広い視野角(例えば180度)で撮像し、得られたパノラマ映像データをセンサI/F33へ出力する。
動きセンサ35は、例えば6軸の加速度センサからなり、ロボット3の頭部の6軸方向の動きを検出してその検出データをセンサI/F33へ出力する。位置センサ36は、例えばGlobal Positioning System(GPS)を利用してロボット3の位置を計測するもので、計測された位置データをセンサI/F33へ出力する。
駆動I/F37には、上記頭部、腕部および脚部を駆動するための駆動部38が接続される。駆動I/F37は、制御部31から出力される制御信号を駆動信号に変換し、変換された駆動信号を駆動部38へ出力して駆動部38を動作させる。
通信I/F39は、例えば、無線LAN、近距離無線データ通信規格(例えばBluetooth(登録商標))、または公衆移動通信ネットワークに対応したインタフェースを備え、ネットワーク4を介して情報処理装置2との間でデータ伝送を行う。なお、通信I/F30は、公衆有線網や有線LAN、CATVネットワーク等の有線網に対応するインタフェースを備えていてもよい。
記憶部32は、例えばSSD等の随時書込みおよび読出しが可能な不揮発性メモリやROMおよびRAMを用いて構成され、プログラム記憶領域とデータ記憶領域とを有する。プログラム記憶領域には、OS等のミドルウェアに加え、ロボット3の動作を実現するための各種アプリケーション・プログラムが格納される。
データ記憶領域には、映像データ記憶部321と、行動シーン記憶部322と、映像パラメータ記憶部323が設けられている。
映像データ記憶部321は、カメラ34により撮像された映像データを、後述する映像処理を行うために一時保存するバッファメモリとして機能する。
行動シーン記憶部322は、ロボット3の行動シーンとして想定される複数のシーンを表す情報を記憶する第1のテーブルと、上記行動シーンをさらに細かく分類した複数のサブシーンを表す情報を記憶する第2のテーブルとを有する。第1のテーブルには、ロボット3の位置、動きおよびカメラ34の映像の組み合わせに対応づけて、ロボット3の想定される行動シーンを表す情報が記憶されている。また第2のテーブルには、上記第1のテーブルで定義された行動シーンの各々について、さらに映像から想定される複数のサブシーンを表す情報が記憶されている。行動シーンを表す情報およびサブシーンを表す情報については、後に例をあげて説明する。
なお、上記行動シーン情報およびそのサブシーン情報は、管理者等により予めテーブルに記憶されてもよいが、例えばユーザの端末装置のスケジューラや、その他のユーザの行動を予測するシステムから適宜取得してテーブルに記憶されるようにしてもよい。このようにすると、ユーザごとにその行動を適切に推測し、それに応じた行動シーン情報およびサブシーン情報を設定することが可能となる。
例えば、スケジューラにミーティングの予定が記載されている場合には、会議資料を読み込む必要があるので、映像パラメータを読書に準じた設定に調整することが可能となり、またスケジューラに野球観戦の予定が記載されていれば、映像パラメータをスポーツ観戦に対応する設定に調整することが可能となる。
映像パラメータ記憶部323は、上記行動シーンごとにその各サブシーンに対応づけて、当該サブシーンに対し予め設定された映像パラメータが記憶されている。この映像パラメータについても、後に例をあげて説明する。
制御部31は、この発明の一実施形態に係わる処理機能部として、遠隔制御信号受信部311と、動き制御データ抽出部312と、駆動制御部313と、映像データ取得部314と、位置・動き検出データ取得部315と、行動シーン判定部316と、映像制御部317と、映像処理部318と、映像送信部319とを備えている。これらの制御処理部はいずれも、記憶部32に記憶されたプログラムを上記制御部31のハードウェアプロセッサに実行させることにより実現される。
遠隔制御信号受信部311は、情報処理装置2からネットワーク4を介して伝送された遠隔制御信号を通信I/F39を介して受信し、受信された上記遠隔制御信号を動き制御データ抽出部312に渡す処理を行う。
動き制御データ抽出部312は、上記遠隔制御信号から動き制御データを抽出して駆動制御部313に渡す処理を行う。
駆動制御部313は、抽出された上記動き制御データに含まれる制御対象部位を指定する情報に基づいて対応する駆動部38を選択し、上記動き制御データに含まれる制御方向および制御量を指定する情報に基づいて、上記選択された駆動部38を駆動するための駆動制御信号を生成する。そして、生成された上記駆動制御信号を駆動I/F37へ出力する処理を行う。駆動I/F37は、上記駆動制御信号をもとに駆動信号を生成して駆動部38に与える。
映像データ取得部314は、カメラ34により撮像された立体映像データまたはパノラマ映像データをセンサI/F33を介して取り込み、後述する映像処理のために映像データ記憶部321に一時保存させる処理を行う。
位置・動き検出データ取得部315は、位置センサ36により検出された位置データと、動きセンサ35により検出されたロボット3の頭部の動きを表す動き検出データを、センサI/F33を介して取り込む処理を行う。
行動シーン判定部316は、上記位置・動き検出データ取得部315により取得された位置データおよび動き検出データと、上記映像データ取得部314により取得された映像データから、それぞれ特徴量を抽出する。そして、抽出された各特徴量もとに、行動シーン記憶部322を参照して、ロボット3の現在の行動シーンおよびそのサブシーンを判定する処理を行う。
映像制御部317は、上記行動シーン判定部316により判定された行動シーンおよびそのサブシーンをもとに、当該行動シーンおよびサブシーンに対応する映像パラメータを、映像パラメータ記憶部323から選択する。そして、上記映像パラメータを映像処理部318に与える。
映像処理部318は、映像データ記憶部321から映像データを読み込み、この映像データについて、上記映像制御部317から与えられた映像パラメータを調整する処理を行う。なお、映像パラメータの調整処理の一例は後に詳しく述べる。
映像送信部319は、上記映像処理部318により映像処理された後の映像データを、通信I/F39から情報処理装置2へ送信する処理を行う。
(動作例)
次に、以上のように構成されたロボット3の動作例を説明する。図6は、ロボット3による全体の処理手順と処理内容の一例を示すフローチャートである。
情報処理装置2から、動き制御データを含む遠隔制御信号が送られると、ロボット3は、遠隔制御信号受信部311の制御の下、ステップS11により、上記遠隔制御信号を通信I/F39を介して受信する。そして、動き制御データ抽出部312の制御の下で、ステップS12により上記遠隔制御信号から動き制御データを抽出する。
次にロボット3は、駆動制御部313の制御の下、ステップS13において、上記動き制御データに含まれる制御対象部位を指定する情報に基づいて対応する駆動部38を選択する。そして、上記動き制御データに含まれる制御方向および制御量を指定する情報に基づいて、上記選択された駆動部38を駆動するための駆動制御信号を生成し、生成された上記駆動制御信号を駆動I/F37へ出力する。この結果、駆動I/F37から駆動部38に駆動信号が与えられ、駆動部38が駆動されて対応する部位が動作する。
例えば、制御対象部位が頭部であれば、それに対応する駆動部38が駆動され、頭部の向きが例えばパン方向またはチルト方向に変化する。また、制御対象部位が脚部であれば、それに対応する駆動部38が駆動され、ロボット3は例えば前後方向に歩行動作する。その他の部位についても駆動制御信号に応じて同様に動作する。
一方、上記頭部または脚部等が動作している状態で、ロボット3の制御部31は、映像データ取得部314の制御の下、ステップS14において、頭部に取り付けられたカメラ34から映像データをセンサI/F33を介して取り込み、当該映像データを映像データ記憶部321に一時保存させる。
またそれと共に、ロボット3の制御部31は、位置・動き検出データ取得部315の制御の下、ステップS15において、動きセンサ35からロボット3の頭部の動きの変化を表す動き検出データをセンサI/F33を介して取り込む。またステップS16において、位置センサ36からロボット3の現在位置を示す位置データをセンサI/F33を介して取り込む。
次にロボット3の制御部31は、行動シーン判定部316および映像制御部317の制御の下、ステップS20において、ロボット3の現在の行動シーンの判定および映像パラメータの選択処理を以下のように実行する。図7はその処理手順と処理内容を示すフローチャートである。
すなわち、行動シーン判定部316は、まずステップS21において、上記位置・動き検出データ取得部315により取得された位置データおよび動き検出データと、映像データ取得部314により取得された映像データから、それぞれ特徴量を判定する。そして、判定された各特徴量をもとに行動シーン記憶部322を検索し、ロボット3の行動シーンを判定する。
例えば、いま行動シーン記憶部322の第1のテーブルに図8に示す行動シーン情報が記憶されているものとする。この状態で、行動シーン判定部316は、まず位置データと記憶部32に記憶されている地図データとをもとに、ロボット3の位置を示す特徴量が「自宅」であると判定する。また、動き検出データをもとに、ロボット3の動きを示す特徴量が「静止状態」であると判定する。さらに映像データに写っている「書籍」を特徴量として判定する。そして、行動シーン判定部316は、行動シーン記憶部322の第1のテーブルに記憶されている、図8に示す行動シーン情報に基づいて、ロボット3の現在の行動シーンを「読書」と判定する。
同様に、ロボット3の現在位置の特徴量が「図書館」で、ロボット3の動きの特徴量が「静止状態」と判定され、さらに映像から抽出される特徴量が「書籍」であれば、行動シーン判定部316は、図8に示す行動シーン情報に基づいて、ロボット3のこのときの行動シーンも「読書」と判定する。なお、ロボット3の現在位置の特徴量が「自宅」で、ロボット3の動きの特徴量が「動作状態」と判定され、さらに映像から抽出された特徴量が「キッチン」であれば、行動シーン判定部316は、ロボット3のこのときの行動シーンを「料理」と判定する。
一方、位置データと記憶部32に記憶されている地図データとからロボット3の現在位置の特徴量が「スポーツセンタ」と判定され、また動き検出データによりロボット3の動きの特徴量が「静止状態」と判定され、さらに映像データから抽出される特徴量が「フィールドまたはコート」だったとする。この場合行動シーン判定部316は、図8に示す行動シーン情報をもとに、ロボット3の現在の行動シーンを「スポーツ観戦」であると判定する。
上記ステップS21において「読書」と判定されると、次に行動シーン判定部316は、ステップS22において、映像データから抽出された上記特徴量と、行動シーン記憶部322の第2のテーブルに記憶されたサブシーン情報とをもとに、読書シーンからさらに分類されるサブシーンを判定する。
例えば、いま第2のテーブルに図9に例示するようなサブシーン情報が記憶され、映像データから抽出された特徴量である「書籍」の画像が「モノクロ主体」だったとする。この場合行動シーン判定部316は、サブシーンを単行本や文庫本などの「文芸書」の読書シーンであると判定する。これに対し、映像データから抽出された特徴量である「書籍」の画像が「カラー主体」だったとする。この場合行動シーン判定部316は、サブシーンをグラビア、絵本または図鑑などの「参考書類」の読書シーンであると判定する。
上記のようにサブシーンが判定されると、ロボット3の制御部31は、次に映像制御部317の制御の下、映像パラメータ記憶部323を参照して、上記サブシーンに対応して設定された映像パラメータを選択する。
例えば、いま映像パラメータ記憶部323に、図10に示す映像パラメータ情報が記憶されていたとする。この場合映像制御部317は、判定された上記サブシーンが「文芸書」だったとすると、ステップS23において、上記文芸書を映像により読む際に優先される映像パラメータとして「空間解像度」と共に「輝度」を選択する。これに対し、判定された上記サブシーンが「参考書類」だったとすると、映像制御部317はステップS24において、参考書類を映像で読む際に優先される映像パラメータとして「空間解像度」と共に「色調」を選択する。
上記映像パラメータが選択されるとロボット3の制御部31は、映像処理部318の制御の下、ステップS17において、映像データ記憶部321から読み出した映像データについて、上記選択された映像パラメータを調整する処理を行う。そして、調整後の映像データを、映像送信部319の制御の下、ステップS18により通信I/F39から情報処理装置2へ送信する。
例えば、映像パラメータとして「空間解像度」と「輝度」が選択された場合には、映像処理部318は、映像データに対し、例えば空間解像度を予め設定された高解像度となるように映像処理を行い、さらに輝度を所定レベルまで高める処理を行う。そして映像送信部319が、上記処理後の映像データを情報処理装置2へ送信する。これに対し、映像パラメータとして「空間解像度」と「色調」が選択された場合には、映像処理部318は、映像データに対し、例えば空間解像度を予め設定された高解像度となるように映像処理を行い、さらに色の彩度を所定レベルに高める処理を行う。そして映像送信部319が、上記映像処理後の映像データを情報処理装置2へ送信する。
この結果、ユーザは、ロボット3が撮像した書籍をHMD1により読む場合に、文芸書であれば高解像度でかつ輝度が高く設定された映像により文字を明確に視認することが可能となる。これに対し、絵本や図鑑などの参考書類を読む場合に、ユーザは高解像度でかつ彩度が高められた映像により絵や写真を鮮明に視認することが可能となる。
なお、「輝度」の調整手法としては、映像データに対し行うもの以外に、カメラのいわゆる絞り機能を調整することにより行うものを使用してもよい。
一方、上記ステップS21においてロボット3の行動シーンが「スポーツ観戦」と判定されると、行動シーン判定部316は、次にステップS25において、映像データと、行動シーン記憶部322の第2のテーブルに記憶されたサブシーン情報とをもとに、「スポーツ観戦」からその小分類であるサブシーンを判定する。
例えば、いま映像データから抽出される特徴量が「屋外」であれば、行動シーン判定部316はサブシーンとして、サッカーやラグビーなどの「フィールドゲーム」を観戦していると判定する。これに対し、映像データから抽出される特徴量が「屋内」であれば、行動シーン判定部316はサブシーンとして、バスケットボールやバレーボールなどの「コートゲーム」を観戦していると判定する。
そして、上記サブシーンが判定されると、ロボット3の制御部31は、次に映像制御部317の制御の下、映像パラメータ記憶部323を参照して、上記サブシーンに対応して設定された映像パラメータを選択する。
例えば、いまサブシーンが「フィールドゲーム」と判定されると、映像制御部317はステップS26において、上記フィールドゲームを映像により観戦する際に優先される映像パラメータとして、「時間解像度」と「視野角」を選択する。これに対し、サブシーンが「コートゲーム」と判定された場合には、映像制御部317はステップS27において、上記コートゲームを映像により観戦する際に優先される映像パラメータとして、「時間解像度」と「立体感」を選択する。
次にロボット3の制御部31は、映像処理部318の制御の下、ステップS17において、映像データについて、上記選択された映像パラメータを調整する処理を行う。そして、映像パラメータが調整された映像データを、映像送信部319の制御の下、ステップS18により通信I/F39から情報処理装置2へ送信する。
例えば、映像パラメータとして「時間解像度」と「視野角」が選択された場合には、映像処理部318は映像データ記憶部321からフレームレートが高くかつ視野角の大きいパノラマ映像データを選択的に読み出す。そして映像送信部319が、上記パノラマ映像データを情報処理装置2へ送信する。これに対し、映像パラメータとして「時間解像度」と「立体感」が選択された場合には、映像処理部318は映像データ記憶部321からフレームレートが高くかつ立体感を有する立体映像データを選択的に読み出す。そして映像送信部319が、上記立体映像データを情報処理装置2へ送信する。
なお、上記パノラマ映像と立体映像の選択は、カメラ34に対し撮像モードの切り替え指示を与えて、カメラ34から出力される映像データを切り替えることにより行われてもよい。また、パノラマ映像のみではフレームレートが不足する場合には、パノラマ映像と立体映像とを座標位置を合わせて合成するようにしてもよいが、フィールドゲームを観戦する場合は一般にカメラからフィールドまでの距離が遠いため、フレームレートがそれほど高くなくても視聴上の影響は少ない。
以上によりユーザは、ロボット3がスタジアムなどで撮像したフィールドゲームの映像をHMD1により視聴しようとする場合に、視野角の広いパノラマ映像により広範囲に渡ってもれなく見ることが可能となる。一方、ロボット3がアリーナなどで撮像したコートゲームの映像をHMD1で見ようとする場合に、ユーザはフレームレートの高い立体映像により臨場感のある映像を見ることが可能となる。
(作用・効果)
以上述べたように一実施形態では、遠隔地のロボット3において、その位置および動きの検出データと映像データとから導出される特徴量をもとにロボット3の行動シーンが判定され、判定された上記行動シーンに対応した映像パラメータが選択される。そして、映像データについて上記選択された映像パラメータを調整する処理が行われ、この処理後の映像データがネットワーク4を介してユーザ側の情報処理装置2に送られ、HMD1に表示される。
従って、遠隔地におけるロボット3からユーザ側の情報処理装置2に対し、ロボット3の行動シーンに応じて映像パラメータが調整された映像データを送信することが可能となる。このため、ユーザは、自身が遠隔制御をするロボット3の行動シーンごとに、各々それに適した映像パラメータにより映像処理されたリモート映像を視聴することが可能となり、これによりリモート映像の視認性を高めることができる。
また、上記映像データに対する映像パラメータの調整処理がロボット3において自律的に行われる。このため、ユーザ側の装置、つまり情報処理装置2またはHMD1に、上記映像パラメータを調整するための特殊な処理機能を備える必要がなく、これによりユーザは汎用の情報処理装置2またはHMD1を使用できる利点がある。
[その他の実施形態]
(1)前記一実施形態では、ロボット3の行動シーンの判定結果に応じてそれに適した映像パラメータを選択し、映像データに対し上記選択された映像パラメータを調整する場合を例にとって説明した。しかし、この発明はそれに限定されるものではない。例えば、ロボット3の行動シーンの判定結果に応じてそれに適した撮像モードを選択し、カメラに対し上記選択された撮像モードを設定して、これにより撮像された映像データをユーザ装置へ伝送するようにしてもよい。
一般にカメラには、例えば、低い時間解像度(15FPSFPS)で高い空間解像度(4K)で撮像するモードや、高い時間解像度(120FPS)で低い空間解像度(VGA)で撮影するモード等、複数の撮像モードが備えられている。
そこで、ロボット3の行動シーンに応じて上記撮像モードを選択的にカメラに設定し、この条件の下で撮像を行えば、上記ロボット3の行動シーンに適した時間解像度または空間解像度を有する映像データをユーザ装置へ送信することが可能となり、前記一実施形態と同様の効果を奏することができる。
(2)前記一実施形態では、情報処理装置2から送信される遠隔制御信号に応じてロボット3を遠隔制御する場合を例にとって説明した。しかし、この発明はそれに限定されるものではなく、ロボット3が予め設定されたプログラムに従い自律的に行動する場合に、ロボット3が自己の行動シーンを判定して、当該行動シーンに応じた映像パラメータを選択し、映像データに対し上記選択された映像パラメータを調整する処理を行い、調整処理後の映像データをユーザ側の情報処理装置2へ送信するように構成してもよい。
(3)前記一実施形態では、予め用意された行動シーン情報および映像パラメータ情報を記憶したメモリテーブルを設け、このメモリテーブルを参照して行動シーンおよびサブシーンの判定および映像パラメータの選択を行うようにした。しかし、この発明はそれに限るものではない。例えば、ディープラーニングなどの機械学習を使用して最適な映像パラメータを選択するようにしてもよい。これは、例えばロボットの位置データ、動き検出データおよび映像データ等からそれぞれ特徴量を抽出し、抽出された各特徴量を学習済みの学習モデルに入力し、当該学習モデルから最適な映像パラメータを出力することにより実現できる。
(4)前記一実施形態では、HMD1とは別に設けた情報処理装置2により、ロボット3との間のデータ通信および映像表示制御等を行うようにした。しかし、HMD1が情報処理装置2の機能を備える場合、つまり情報処理装置と一体型のHMDを使用する場合には、HMD1においてロボット3との間のデータ通信および映像表示制御等を行うように構成してもよい。
(5)遠隔作業装置としては、人型のロボットに限らず、室内または屋外に固定的に設置された可動式のリモートカメラやスマートスピーカが使用されてもよい。その他、遠隔作業装置の種類やその構成および処理内容、カメラが有する撮像モードの種類や数、ユーザ装置の種類や構成、リモート映像の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…ヘッドマウントディスプレイ(HMD)
2…情報処理装置
3…ロボット
4…ネットワーク
10,20,30…バス
11,21,31…制御部
12,22,32…記憶部
13…表示インタフェース(表示I/F)
14…表示部
15,33…センサインタフェース(センサI/F)
16,35…動きセンサ
17,24,39…通信インタフェース(通信I/F)
23…入出力インタフェース(入出力I/F)
25…操作部
34…カメラ
35…動きセンサ
36…位置センサ
37…駆動インタフェース(駆動I/F)
38…駆動部
311…遠隔制御信号受信部
312…動き制御データ抽出部
313…駆動制御部
314…映像データ取得部
315…位置・動き検出データ取得部
316…行動シーン判定部
317…映像制御部
318…映像処理部
319…映像送信部
321…映像データ記憶部
322…行動シーン記憶部
323…映像パラメータ記憶部

Claims (9)

  1. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
    前記映像データについて、選択された映像パラメータを調整する制御部と、
    前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がモノクロを主体とするかを判定し、
    前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記映像パラメータとして空間解像度を選択し、かつ前記対象の色調がモノクロを主体とすると判定された場合に前記映像パラメータとして輝度をさらに選択し、
    前記制御部は、前記映像データについて、前記選択された空間解像度を調整すると共に前記選択された輝度を調整する処理を行う
    遠隔作業装置。
  2. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに対応する撮像モードを選択する選択部と、
    前記カメラに対し、選択された前記撮像モードを設定する制御部と、
    前記設定された前記撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がモノクロを主体とするかを判定し、
    前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記撮像モードとして空間解像度を選択し、かつ前記対象の色調がモノクロを主体とすると判定された場合に前記撮像モードとして輝度を選択し、
    前記制御部は、前記カメラに対し、前記選択された空間解像度を得るための前記撮像モードを設定すると共に、前記選択された輝度を得るための前記撮像モードを設定する処理を行う
    遠隔作業装置。
  3. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
    前記映像データについて、選択された映像パラメータを調整する制御部と、
    前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がカラーを主体とするかを判定し、
    前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記映像パラメータとして空間解像度を選択し、かつ前記対象の色調がカラーを主体とすると判定された場合に前記映像パラメータとして色調をさらに選択し、
    前記制御部は、前記映像データについて、前記選択された空間解像度を調整すると共に前記選択された色調を調整する処理を行う
    遠隔作業装置。
  4. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに対応する撮像モードを選択する選択部と、
    前記カメラに対し、選択された前記撮像モードを設定する制御部と、
    前記設定された前記撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がカラーを主体とするかを判定し、
    前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記撮像モードとして空間解像度を選択し、かつ前記対象の色調がカラーを主体とすると判定された場合に前記撮像モードとして色調を選択し、
    前記制御部は、前記カメラに対し、前記選択された空間解像度を得るための前記撮像モードを設定すると共に、前記選択された色調を得るための前記撮像モードを設定する処理を行う
    遠隔作業装置。
  5. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
    前記映像データについて、選択された映像パラメータを調整する制御部と、
    前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋外であるかを判定し、
    前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記映像パラメータとして時間解像度を選択し、かつ前記対象が屋外と判定された場合に前記映像パラメータとして視野角を選択し、
    前記制御部は、前記映像データについて、前記選択された時間解像度を調整すると共に前記選択された視野角を調整する処理を行う
    遠隔作業装置。
  6. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに対応する撮像モードを選択する選択部と、
    前記カメラに対し、選択された前記撮像モードを設定する制御部と、
    前記設定された前記撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋外であるかを判定し、
    前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記撮像モードとして時間解像度を選択し、かつ前記対象が屋外と判定された場合に前記撮像モードとして視野角を選択し、
    前記制御部は、前記カメラに対し、前記選択された時間解像度を得るための前記撮像モードを設定すると共に、前記選択された視野角を得るための前記撮像モードを設定する処理を行う
    遠隔作業装置。
  7. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
    前記映像データについて、選択された映像パラメータを調整する制御部と、
    前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋内であるかを判定し、
    前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記映像パラメータとして時間解像度を選択し、前記対象が屋内と判定された場合に前記映像パラメータとして立体感をさらに選択し、
    前記制御部は、前記映像データについて、前記選択された時間解像度を調整すると共に、前記選択された立体感を調整する処理を行う
    遠隔作業装置。
  8. 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
    カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
    センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
    取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
    判定された前記行動シーンに対応する撮像モードを選択する選択部と、
    前記カメラに対し、選択された前記撮像モードを設定する制御部と、
    前記設定された撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
    を具備し、
    前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋内であるかを判定し、
    前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記撮像モードとして時間解像度を選択し、かつ前記対象が屋内と判定された場合に前記撮像モードとして立体感をさらに選択し、
    前記制御部は、前記カメラに対し、前記選択された空間解像度を得るための前記撮像モードを設定すると共に、前記選択された立体感を得るための前記撮像モードを設定する処理を行う、
    遠隔作業装置。
  9. 請求項1乃至8のいずれかに記載の遠隔作業装置が具備する前記各部による処理を、前記遠隔作業装置が備えるプロセッサに実行させるプログラム。
JP2020085324A 2020-05-14 2020-05-14 遠隔作業装置とそのプログラム Active JP6828205B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020085324A JP6828205B1 (ja) 2020-05-14 2020-05-14 遠隔作業装置とそのプログラム
CN202180035032.3A CN115552892B (zh) 2020-05-14 2021-05-14 远程作业装置及其程序
EP21803460.1A EP4151370A4 (en) 2020-05-14 2021-05-14 REMOTE CONTROL DEVICE AND PROGRAM THEREOF
PCT/JP2021/018478 WO2021230366A1 (ja) 2020-05-14 2021-05-14 遠隔作業装置とそのプログラム
US18/054,237 US12136248B2 (en) 2020-05-14 2022-11-10 Remote operation apparatus for communication with a user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020085324A JP6828205B1 (ja) 2020-05-14 2020-05-14 遠隔作業装置とそのプログラム

Publications (2)

Publication Number Publication Date
JP6828205B1 true JP6828205B1 (ja) 2021-02-10
JP2021180426A JP2021180426A (ja) 2021-11-18

Family

ID=74529660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020085324A Active JP6828205B1 (ja) 2020-05-14 2020-05-14 遠隔作業装置とそのプログラム

Country Status (5)

Country Link
US (1) US12136248B2 (ja)
EP (1) EP4151370A4 (ja)
JP (1) JP6828205B1 (ja)
CN (1) CN115552892B (ja)
WO (1) WO2021230366A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022165336A (ja) * 2021-04-19 2022-10-31 本田技研工業株式会社 情報管理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7709648B2 (ja) * 2021-12-24 2025-07-17 Ntt株式会社 接触対象推定装置、方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
JP5017646B2 (ja) * 2007-02-23 2012-09-05 国立大学法人長岡技術科学大学 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム
JP4986886B2 (ja) * 2008-03-03 2012-07-25 オリンパスイメージング株式会社 撮像装置、画像再生装置、撮影制御方法及び画像再生方法
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
JP5750692B2 (ja) * 2011-02-03 2015-07-22 オリンパス株式会社 撮像装置、撮像プログラムおよび撮像方法
US9489979B2 (en) * 2013-08-06 2016-11-08 Casio Computer Co., Ltd. Image processing apparatus for time-lapse moving image, image processing method, and storage medium
JP6280011B2 (ja) * 2014-09-26 2018-02-14 Kddi株式会社 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法
JP2016144006A (ja) * 2015-01-30 2016-08-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
JP6596745B2 (ja) 2015-10-20 2019-10-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 対象物体を撮像するシステム
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
CN108513641A (zh) 2017-05-08 2018-09-07 深圳市大疆创新科技有限公司 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机
CN107357316A (zh) * 2017-08-16 2017-11-17 湖南城市学院 一种控制无人驾驶飞机锁定特定区域获取照片的方法
JP6944863B2 (ja) 2017-12-12 2021-10-06 株式会社ソニー・インタラクティブエンタテインメント 画像補正装置、画像補正方法およびプログラム
US11614746B2 (en) * 2018-01-05 2023-03-28 Irobot Corporation Mobile cleaning robot teaming and persistent mapping
JP6873941B2 (ja) * 2018-03-02 2021-05-19 株式会社日立製作所 ロボット作業システム、及びロボット作業システムの制御方法
JP2019198041A (ja) * 2018-05-11 2019-11-14 株式会社日立ビルシステム カメラ画像の点検システム及びカメラ画像の点検方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022165336A (ja) * 2021-04-19 2022-10-31 本田技研工業株式会社 情報管理システム

Also Published As

Publication number Publication date
EP4151370A4 (en) 2023-10-18
US20230069407A1 (en) 2023-03-02
CN115552892B (zh) 2024-12-10
WO2021230366A1 (ja) 2021-11-18
CN115552892A (zh) 2022-12-30
JP2021180426A (ja) 2021-11-18
US12136248B2 (en) 2024-11-05
EP4151370A1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
US11381801B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US9955147B2 (en) Zoom related methods and apparatus
JP6511386B2 (ja) 情報処理装置および画像生成方法
RU2639118C2 (ru) Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы
CA2943856C (en) Stereo viewing
EP3588970A1 (en) Apparatus and method for generating an image data stream
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
EP3671408B1 (en) Virtual reality device and content adjusting method therefor
JPWO2012001755A1 (ja) 情報処理システム、情報処理装置および情報処理方法
JP6801136B1 (ja) 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
CN105939497B (zh) 媒体串流系统及媒体串流方法
KR20180051202A (ko) 디스플레이장치 및 그 제어방법
US12136248B2 (en) Remote operation apparatus for communication with a user
WO2022262839A1 (zh) 现场演出的立体显示方法、装置、介质及系统
US11187895B2 (en) Content generation apparatus and method
CN108134928A (zh) Vr显示方法和装置
US20240066394A1 (en) Information processing apparatus and image generation method
JP7203157B2 (ja) 映像処理装置およびプログラム
JP7791226B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN105898285A (zh) 虚拟显示设备的影像播放方法和装置
WO2022226745A1 (zh) 拍摄方法、控制装置、拍摄设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200518

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210120

R150 Certificate of patent or registration of utility model

Ref document number: 6828205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250