JP6828205B1 - 遠隔作業装置とそのプログラム - Google Patents
遠隔作業装置とそのプログラム Download PDFInfo
- Publication number
- JP6828205B1 JP6828205B1 JP2020085324A JP2020085324A JP6828205B1 JP 6828205 B1 JP6828205 B1 JP 6828205B1 JP 2020085324 A JP2020085324 A JP 2020085324A JP 2020085324 A JP2020085324 A JP 2020085324A JP 6828205 B1 JP6828205 B1 JP 6828205B1
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video data
- video
- determined
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/028—Circuits for converting colour display signals into monochrome display signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/10—Display system comprising arrangements, such as a coprocessor, specific for motion video images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/14—Electronic books and readers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/16—Digital picture frames
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Manipulator (AREA)
- Selective Calling Equipment (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
(構成例)
(1)システム
図1は、この発明の一実施形態に係る遠隔制御システムの全体構成を示す図である。
この発明の一実施形態に係る遠隔制御システムは、ヘッドマウントディスプレイ(HMD)1と、ユーザ装置として動作する情報処理装置2と、上記情報処理装置2との間でネットワーク4を介して通信が可能な遠隔作業装置3とを備えている。遠隔作業装置3は、例えば人型をなすロボットからなる。以後、この実施形態では遠隔作業装置3をロボットと呼ぶ。
(2−1)ヘッドマウントディスプレイ(HMD)1
HMD1は、例えばゴーグル型をなし、ユーザの頭部に着脱自在に装着される。図2は、HMD1のハードウェア構成を示すブロック図である。
図3は、ユーザ装置として使用される情報処理装置2のハードウェア構成を示すブロック図である。
ロボット3は、例えば図1に示したように胴体部、頭部、腕部および脚部を有する。このうち、頭部、腕部および脚部はそれぞれサーボ機構を備える駆動部により所定の可動範囲内で動作し、これによりロボット3は姿勢を種々変化させることができるようになっている。ロボット3の頭部の前面部、つまり顔に相当する部位には、撮像デバイスとしてのカメラ34が設置されている。またロボット3の頭部内にはその動きを検出するために動きセンサが設けられている。
ロボット3は、制御部31を備える。制御部31は、CPU等のハードウェアプロセッサを有する。この制御部31には、記憶部32と、センサインタフェース(センサI/F)33と、駆動インタフェース(駆動I/F)37と、通信インタフェース(通信I/F)39が、バス30を介して接続されている。
次に、以上のように構成されたロボット3の動作例を説明する。図6は、ロボット3による全体の処理手順と処理内容の一例を示すフローチャートである。
以上述べたように一実施形態では、遠隔地のロボット3において、その位置および動きの検出データと映像データとから導出される特徴量をもとにロボット3の行動シーンが判定され、判定された上記行動シーンに対応した映像パラメータが選択される。そして、映像データについて上記選択された映像パラメータを調整する処理が行われ、この処理後の映像データがネットワーク4を介してユーザ側の情報処理装置2に送られ、HMD1に表示される。
(1)前記一実施形態では、ロボット3の行動シーンの判定結果に応じてそれに適した映像パラメータを選択し、映像データに対し上記選択された映像パラメータを調整する場合を例にとって説明した。しかし、この発明はそれに限定されるものではない。例えば、ロボット3の行動シーンの判定結果に応じてそれに適した撮像モードを選択し、カメラに対し上記選択された撮像モードを設定して、これにより撮像された映像データをユーザ装置へ伝送するようにしてもよい。
2…情報処理装置
3…ロボット
4…ネットワーク
10,20,30…バス
11,21,31…制御部
12,22,32…記憶部
13…表示インタフェース(表示I/F)
14…表示部
15,33…センサインタフェース(センサI/F)
16,35…動きセンサ
17,24,39…通信インタフェース(通信I/F)
23…入出力インタフェース(入出力I/F)
25…操作部
34…カメラ
35…動きセンサ
36…位置センサ
37…駆動インタフェース(駆動I/F)
38…駆動部
311…遠隔制御信号受信部
312…動き制御データ抽出部
313…駆動制御部
314…映像データ取得部
315…位置・動き検出データ取得部
316…行動シーン判定部
317…映像制御部
318…映像処理部
319…映像送信部
321…映像データ記憶部
322…行動シーン記憶部
323…映像パラメータ記憶部
Claims (9)
- 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
前記映像データについて、選択された映像パラメータを調整する制御部と、
前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がモノクロを主体とするかを判定し、
前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記映像パラメータとして空間解像度を選択し、かつ前記対象の色調がモノクロを主体とすると判定された場合に前記映像パラメータとして輝度をさらに選択し、
前記制御部は、前記映像データについて、前記選択された空間解像度を調整すると共に前記選択された輝度を調整する処理を行う
遠隔作業装置。 - 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに対応する撮像モードを選択する選択部と、
前記カメラに対し、選択された前記撮像モードを設定する制御部と、
前記設定された前記撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がモノクロを主体とするかを判定し、
前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記撮像モードとして空間解像度を選択し、かつ前記対象の色調がモノクロを主体とすると判定された場合に前記撮像モードとして輝度を選択し、
前記制御部は、前記カメラに対し、前記選択された空間解像度を得るための前記撮像モードを設定すると共に、前記選択された輝度を得るための前記撮像モードを設定する処理を行う
遠隔作業装置。 - 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
前記映像データについて、選択された映像パラメータを調整する制御部と、
前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がカラーを主体とするかを判定し、
前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記映像パラメータとして空間解像度を選択し、かつ前記対象の色調がカラーを主体とすると判定された場合に前記映像パラメータとして色調をさらに選択し、
前記制御部は、前記映像データについて、前記選択された空間解像度を調整すると共に前記選択された色調を調整する処理を行う
遠隔作業装置。 - 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに対応する撮像モードを選択する選択部と、
前記カメラに対し、選択された前記撮像モードを設定する制御部と、
前記設定された前記撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として静止状態の対象を前記カメラにより撮像する第1のシーンであるかを判定し、前記行動シーンが前記第1のシーンと判定された場合に、前記映像データに基づいて前記対象の色調がカラーを主体とするかを判定し、
前記選択部は、前記行動シーンが前記第1のシーンと判定された場合に前記撮像モードとして空間解像度を選択し、かつ前記対象の色調がカラーを主体とすると判定された場合に前記撮像モードとして色調を選択し、
前記制御部は、前記カメラに対し、前記選択された空間解像度を得るための前記撮像モードを設定すると共に、前記選択された色調を得るための前記撮像モードを設定する処理を行う
遠隔作業装置。 - 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
前記映像データについて、選択された映像パラメータを調整する制御部と、
前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋外であるかを判定し、
前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記映像パラメータとして時間解像度を選択し、かつ前記対象が屋外と判定された場合に前記映像パラメータとして視野角を選択し、
前記制御部は、前記映像データについて、前記選択された時間解像度を調整すると共に前記選択された視野角を調整する処理を行う
遠隔作業装置。 - 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに対応する撮像モードを選択する選択部と、
前記カメラに対し、選択された前記撮像モードを設定する制御部と、
前記設定された前記撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋外であるかを判定し、
前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記撮像モードとして時間解像度を選択し、かつ前記対象が屋外と判定された場合に前記撮像モードとして視野角を選択し、
前記制御部は、前記カメラに対し、前記選択された時間解像度を得るための前記撮像モードを設定すると共に、前記選択された視野角を得るための前記撮像モードを設定する処理を行う
遠隔作業装置。 - 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに応じて、調整対象の映像パラメータを選択する選択部と、
前記映像データについて、選択された映像パラメータを調整する制御部と、
前記映像パラメータが調整された後の前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋内であるかを判定し、
前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記映像パラメータとして時間解像度を選択し、前記対象が屋内と判定された場合に前記映像パラメータとして立体感をさらに選択し、
前記制御部は、前記映像データについて、前記選択された時間解像度を調整すると共に、前記選択された立体感を調整する処理を行う
遠隔作業装置。 - 表示部に接続されるユーザ装置との間でネットワークを介して通信が可能な遠隔作業装置であって、
カメラから、当該カメラにより撮像された対象の映像データを取得する映像データ取得部と、
センサから、当該センサにより検出された前記遠隔作業装置の位置および動作の少なくとも一方を表す状態検出データを取得する状態検出データ取得部と、
取得された前記映像データおよび前記状態検出データに基づいて、前記遠隔作業装置の行動シーンを判定する判定部と、
判定された前記行動シーンに対応する撮像モードを選択する選択部と、
前記カメラに対し、選択された前記撮像モードを設定する制御部と、
前記設定された撮像モードを用いて前記カメラにより撮像された前記映像データを、前記ネットワークを介して前記ユーザ装置へ送信する送信部と
を具備し、
前記判定部は、前記映像データおよび前記状態検出データに基づいて、前記行動シーンが、主として移動状態の対象を前記カメラにより撮像する第2のシーンであるかを判定し、前記行動シーンが前記第2のシーンと判定された場合に、前記映像データに基づいて前記対象が屋内であるかを判定し、
前記選択部は、前記行動シーンが前記第2のシーンと判定された場合に前記撮像モードとして時間解像度を選択し、かつ前記対象が屋内と判定された場合に前記撮像モードとして立体感をさらに選択し、
前記制御部は、前記カメラに対し、前記選択された空間解像度を得るための前記撮像モードを設定すると共に、前記選択された立体感を得るための前記撮像モードを設定する処理を行う、
遠隔作業装置。 - 請求項1乃至8のいずれかに記載の遠隔作業装置が具備する前記各部による処理を、前記遠隔作業装置が備えるプロセッサに実行させるプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020085324A JP6828205B1 (ja) | 2020-05-14 | 2020-05-14 | 遠隔作業装置とそのプログラム |
| CN202180035032.3A CN115552892B (zh) | 2020-05-14 | 2021-05-14 | 远程作业装置及其程序 |
| EP21803460.1A EP4151370A4 (en) | 2020-05-14 | 2021-05-14 | REMOTE CONTROL DEVICE AND PROGRAM THEREOF |
| PCT/JP2021/018478 WO2021230366A1 (ja) | 2020-05-14 | 2021-05-14 | 遠隔作業装置とそのプログラム |
| US18/054,237 US12136248B2 (en) | 2020-05-14 | 2022-11-10 | Remote operation apparatus for communication with a user |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020085324A JP6828205B1 (ja) | 2020-05-14 | 2020-05-14 | 遠隔作業装置とそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6828205B1 true JP6828205B1 (ja) | 2021-02-10 |
| JP2021180426A JP2021180426A (ja) | 2021-11-18 |
Family
ID=74529660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020085324A Active JP6828205B1 (ja) | 2020-05-14 | 2020-05-14 | 遠隔作業装置とそのプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12136248B2 (ja) |
| EP (1) | EP4151370A4 (ja) |
| JP (1) | JP6828205B1 (ja) |
| CN (1) | CN115552892B (ja) |
| WO (1) | WO2021230366A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022165336A (ja) * | 2021-04-19 | 2022-10-31 | 本田技研工業株式会社 | 情報管理システム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7709648B2 (ja) * | 2021-12-24 | 2025-07-17 | Ntt株式会社 | 接触対象推定装置、方法およびプログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611242B1 (en) * | 1999-02-12 | 2003-08-26 | Sanyo Electric Co., Ltd. | Information transmission system to transmit work instruction information |
| US7949616B2 (en) * | 2004-06-01 | 2011-05-24 | George Samuel Levy | Telepresence by human-assisted remote controlled devices and robots |
| JP5017646B2 (ja) * | 2007-02-23 | 2012-09-05 | 国立大学法人長岡技術科学大学 | 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム |
| JP4986886B2 (ja) * | 2008-03-03 | 2012-07-25 | オリンパスイメージング株式会社 | 撮像装置、画像再生装置、撮影制御方法及び画像再生方法 |
| JP2010028596A (ja) * | 2008-07-23 | 2010-02-04 | Hitachi Ltd | 撮像装置 |
| JP5750692B2 (ja) * | 2011-02-03 | 2015-07-22 | オリンパス株式会社 | 撮像装置、撮像プログラムおよび撮像方法 |
| US9489979B2 (en) * | 2013-08-06 | 2016-11-08 | Casio Computer Co., Ltd. | Image processing apparatus for time-lapse moving image, image processing method, and storage medium |
| JP6280011B2 (ja) * | 2014-09-26 | 2018-02-14 | Kddi株式会社 | 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法 |
| JP2016144006A (ja) * | 2015-01-30 | 2016-08-08 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体 |
| JP6596745B2 (ja) | 2015-10-20 | 2019-10-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 対象物体を撮像するシステム |
| WO2017068926A1 (ja) * | 2015-10-21 | 2017-04-27 | ソニー株式会社 | 情報処理装置及びその制御方法、並びにコンピュータ・プログラム |
| CN108513641A (zh) | 2017-05-08 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机 |
| CN107357316A (zh) * | 2017-08-16 | 2017-11-17 | 湖南城市学院 | 一种控制无人驾驶飞机锁定特定区域获取照片的方法 |
| JP6944863B2 (ja) | 2017-12-12 | 2021-10-06 | 株式会社ソニー・インタラクティブエンタテインメント | 画像補正装置、画像補正方法およびプログラム |
| US11614746B2 (en) * | 2018-01-05 | 2023-03-28 | Irobot Corporation | Mobile cleaning robot teaming and persistent mapping |
| JP6873941B2 (ja) * | 2018-03-02 | 2021-05-19 | 株式会社日立製作所 | ロボット作業システム、及びロボット作業システムの制御方法 |
| JP2019198041A (ja) * | 2018-05-11 | 2019-11-14 | 株式会社日立ビルシステム | カメラ画像の点検システム及びカメラ画像の点検方法 |
-
2020
- 2020-05-14 JP JP2020085324A patent/JP6828205B1/ja active Active
-
2021
- 2021-05-14 WO PCT/JP2021/018478 patent/WO2021230366A1/ja not_active Ceased
- 2021-05-14 CN CN202180035032.3A patent/CN115552892B/zh active Active
- 2021-05-14 EP EP21803460.1A patent/EP4151370A4/en active Pending
-
2022
- 2022-11-10 US US18/054,237 patent/US12136248B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022165336A (ja) * | 2021-04-19 | 2022-10-31 | 本田技研工業株式会社 | 情報管理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4151370A4 (en) | 2023-10-18 |
| US20230069407A1 (en) | 2023-03-02 |
| CN115552892B (zh) | 2024-12-10 |
| WO2021230366A1 (ja) | 2021-11-18 |
| CN115552892A (zh) | 2022-12-30 |
| JP2021180426A (ja) | 2021-11-18 |
| US12136248B2 (en) | 2024-11-05 |
| EP4151370A1 (en) | 2023-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11381801B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
| US9955147B2 (en) | Zoom related methods and apparatus | |
| JP6511386B2 (ja) | 情報処理装置および画像生成方法 | |
| RU2639118C2 (ru) | Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы | |
| CA2943856C (en) | Stereo viewing | |
| EP3588970A1 (en) | Apparatus and method for generating an image data stream | |
| US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
| TWI530157B (zh) | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 | |
| EP3671408B1 (en) | Virtual reality device and content adjusting method therefor | |
| JPWO2012001755A1 (ja) | 情報処理システム、情報処理装置および情報処理方法 | |
| JP6801136B1 (ja) | 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム | |
| CN105939497B (zh) | 媒体串流系统及媒体串流方法 | |
| KR20180051202A (ko) | 디스플레이장치 및 그 제어방법 | |
| US12136248B2 (en) | Remote operation apparatus for communication with a user | |
| WO2022262839A1 (zh) | 现场演出的立体显示方法、装置、介质及系统 | |
| US11187895B2 (en) | Content generation apparatus and method | |
| CN108134928A (zh) | Vr显示方法和装置 | |
| US20240066394A1 (en) | Information processing apparatus and image generation method | |
| JP7203157B2 (ja) | 映像処理装置およびプログラム | |
| JP7791226B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN105898285A (zh) | 虚拟显示设备的影像播放方法和装置 | |
| WO2022226745A1 (zh) | 拍摄方法、控制装置、拍摄设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200514 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200518 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6828205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |