JP6997996B2

JP6997996B2 - 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Info

Publication number: JP6997996B2
Application number: JP2020084910A
Authority: JP
Inventors: 太郎片岡; 真人藤野
Original assignee: Fairy Devices Inc
Current assignee: Fairy Devices Inc
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2022-01-18
Anticipated expiration: 2040-05-14
Also published as: US12100424B2; US20230186952A1; JP7389423B2; JP2022043130A; JP2021180408A; WO2021230181A1; EP4152242A1; EP4152242A4; CN115552913A

Description

本開示は、情報処理方法、情報処理装置、プログラム、及び情報処理システムに関する。

従来、テキストやアニメーションを表示させて、作業員の作業を支援する技術が知られている（例えば、特許文献１を参照）。

特開２０１６－１４４８４６号公報

しかしながら、従来技術では、例えば、作業員の作業を適切に支援することが困難な場合がある。

本開示は、作業員の作業を適切に支援することができる技術を提供することを目的とする。

本開示の第１の態様による情報処理方法は、情報処理装置が、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する。これにより、作業員の作業を適切に支援することができる。

また、本開示の第２の態様は、第１の態様に記載の情報処理方法であって、前記再生させる処理では、前記動画像が撮影されている間に、ユーザにより所定の操作がされた際の時点、及びユーザにより所定の発話がされた際の時点の少なくとも一方に基づいて、前記動画像の再生位置を決定する。

また、本開示の第３の態様は、第１または２の態様に記載の情報処理方法であって、前記再生させる処理では、所定の期間の前記動画像を逆方向に再生させる。

また、本開示の第４の態様は、第３の態様に記載の情報処理方法であって、前記再生させる処理では、ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、前記所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定する。

また、本開示の第５の態様は、第４の態様に記載の情報処理方法であって、前記再生させる処理では、さらに、前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示する。

また、本開示の第６の態様は、第１から５のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、前記所定の作業を示す情報をユーザに提示する。

また、本開示の第７の態様は、第１から６のいずれかの態様に記載の情報処理方法であって、前記情報処理装置が、前記動画像に基づいて、前記オブジェクトを前記第２状態から前記第１状態に戻す作業の誤りを提示する処理を実行する。

また、本開示の第８の態様は、第１から７のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記動画像に基づいて認識されたユーザの作業の手順と、設定されている手順とが異なる場合、設定されている手順を示す情報をユーザに提示する。

また、本開示の第９の態様は、第１から８のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記オブジェクトの状態が変化していない期間の再生時間を短縮して再生させる。

また、本開示の第１０の態様は、第１から９のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記オブジェクトの状態が変化している領域を拡大して画面に表示させる。

また、本開示の第１１の態様による情報処理装置は、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する。

また、本開示の第１２の態様によるプログラムは、情報処理装置に、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行させる。

また、本開示の第１３の態様による情報処理システムは、サーバと端末とを含む情報処理システムであって、前記サーバは、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが前記端末により撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる情報を前記端末に送信し、前記端末は、前記サーバから受信した情報に基づいて、前記動画像を再生させて画面に表示させる。

実施形態に係る通信システムのシステム構成の一例を示す図である。実施形態に係るサーバ、及び端末のハードウェア構成の一例を示す図である。実施形態に係るサーバの機能構成の一例を示す図である。実施形態に係る通信システムの処理の一例を示すシーケンス図である。実施形態に係る作業ＤＢの一例について説明する図である。実施形態に係るタグ群の一例について説明する図である。実施形態に係る端末の表示画面一例について説明する図である。

以下、各実施形態について図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

＜システム構成＞
はじめに、通信システム１のシステム構成について説明する。図１は、実施形態に係る通信システム１のシステム構成の一例を示す図である。図１に示すように、通信システム１は、サーバ１０、及び端末２０Ａ、端末２０Ｂ、端末２０Ｃ（以下で、区別する必要がない場合は、単に、「端末２０」と称する。）を有する。なお、サーバ１０、及び端末２０の数は、図１の例に限定されない。

サーバ１０と端末２０とは、例えば、ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、及び携帯電話網等のネットワークＮを介して通信を行ってもよい。なお、携帯電話網は、例えば、５Ｇ（第５世代移動通信システム）、４Ｇ、及びＬＴＥ（Long Term Evolution）等の通信規格に準拠していてもよい。

端末２０は、例えば、動画像を撮影するカメラ、音声を集音するマイク、ディスプレイ、及び通信装置を有する情報処理装置である。端末２０は、複数の情報処理装置を含んでもよい。この場合、端末２０は、例えば、カメラ等を有するウェアラブルデバイスと、ディスプレイ等を有する情報処理装置とを含んでもよい。この場合、ディスプレイ等を有する情報処理装置は、例えば、タブレット端末、スマートフォン、及びノートＰＣ（Personal Computer）等でもよい。この場合、ウェアラブルデバイスは、タブレット端末等を介してネットワークＮに接続してもよいし、タブレット端末等を介さずにネットワークＮに接続してもよい。

また、端末２０は、例えば、作業員（ユーザ）の頭部に装着可能なヘッドマウントディスプレイ方式の拡張現実ウェアラブルコンピュータ（スマートグラス）でもよい。

サーバ１０は、端末２０で撮影された動画像（動画）を保存し、保存している動画像等に基づいたコンテンツを端末２０に表示させる。サーバ１０は、例えば、端末２０を使用する作業員の作業現場において、現場の作業対象の物品（機器、設置物）、及び現場の施設等のオブジェクト（物体）が第１状態（元の状態）から第２状態に変化される際に端末２０により撮影された動画像（以下で、適宜「変更時の動画像」とも称する。）を保存する。そして、サーバ１０は、作業対象のオブジェクトを第２状態から第１状態に戻す（原状回復、原状復帰、復旧、復元、修理）作業が作業員により行われる際に、当該動画像を端末２０に逆方向（前方）に再生（逆再生、リバース再生）、または順方向（後方）に再生（順再生、通常の再生）させる。これにより、例えば、現場に設置されている物品を移動（撤去）させて養生や足場を設置し、工事等が完了した後に養生や足場を撤去して当該物品を元の配置に戻す作業を適切に支援できる。また、例えば、機器を分解し、機器内部の部品の配線を取り外して当該部品を新しい部品に交換した後、配線を再度接続し、当該機器を再度組み立てる作業を適切に支援できる。

なお、以下では、適宜、逆再生、及び順再生を、単に「再生」とも称する。なお、サーバ１０は、各端末２０の作業員毎に、動画像を逆再生するか順再生するかを各端末２０での各作業員の操作により予め指定できるようにしてもよい。

＜サーバ１０、及び端末２０のハードウェア構成＞
次に、実施形態に係るサーバ１０、及び端末２０のハードウェア構成について説明する。図２は、実施形態に係るサーバ１０、及び端末２０のハードウェア構成の一例を示す図である。以下では、サーバ１０を例として説明するが、端末２０のハードウェア構成もサーバ１０のハードウェア構成と同様でもよい。

図２に示すように、サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３を有する。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３は、いわゆるコンピュータを形成する。また、サーバ１０は、補助記憶装置１０４、表示装置１０５、操作装置１０６、Ｉ／Ｆ（Interface）装置１０７、ドライブ装置１０８を有する。サーバ１０の各ハードウェアは、バスＢを介して相互に接続される。

ＣＰＵ１０１は、補助記憶装置１０４にインストールされている各種プログラム（例えば、機械学習プログラム等）を実行する演算デバイスである。ＲＯＭ１０２は、不揮発性メモリである。ＲＯＭ１０２は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムをＣＰＵ１０１が実行するために必要な各種プログラムやデータ等を格納する。具体的には、ＲＯＭ１０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ１０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１０３は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムがＣＰＵ１０１によって実行される際に展開される作業領域を提供する。

補助記憶装置１０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。

表示装置１０５は、各種の情報を表示する表示デバイスである。操作装置１０６は、各種操作を受け付けるための操作デバイスである。Ｉ／Ｆ装置１０７は、外部の機器と通信する通信デバイスである。

ドライブ装置１０８は記録媒体１１０をセットするためのデバイスである。ここでいう記録媒体１１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体１１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置１０４にインストールされる各種プログラムは、例えば、配布された記録媒体１１０がドライブ装置１０８にセットされ、該記録媒体１１０に記録された各種プログラムがドライブ装置１０８により読み出されることでインストールされる。あるいは、補助記憶装置１０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることで、インストールされてもよい。

＜機能構成＞
次に、図３を参照し、実施形態に係るサーバ１０の機能構成について説明する。図３は、実施形態に係るサーバ１０の機能構成の一例を示す図である。

サーバ１０は、取得部１１、記憶部１２、制御部１３、及び表示制御部１４を有する。これら各部は、例えば、サーバ１０にインストールされた１以上のプログラムと、サーバ１０のＣＰＵ１０１等のハードウェアとの協働により実現されてもよい。

取得部１１は、各種の情報を端末２０から取得する。記憶部１２は、各種の情報を記憶する。記憶部１２は、例えば、作業ＤＢ（データベース）１２１を有する。

制御部１３は、サーバ１０の各部を制御する。表示制御部１４は、端末２０に表示させる情報を端末２０に送信し、端末２０で表示される表示画面を制御する。

＜処理＞
次に、図４から図６を参照し、実施形態に係る通信システム１の処理の一例について説明する。図４は、実施形態に係る通信システム１の処理の一例を示すシーケンス図である。図５Ａは、実施形態に係る作業ＤＢ１２１の一例について説明する図である。図５Ｂは、実施形態に係るタグ群の一例について説明する図である。図６は、実施形態に係る端末２０の表示画面一例について説明する図である。

なお、端末２０は、作業員ＩＤとパスワードによるユーザ認証等をサーバ１０から受けてサーバ１０にログインし、ＨＴＴＰＳ (Hypertext Transfer Protocol Secure)等を用いた暗号化された通信セッションにより以下の通信を行ってもよい。

ステップＳ１において、端末２０は、オブジェクトが第１状態から第２状態に変化される際に、当該オブジェクトが被写体とされた動画像を撮影する。続いて、端末２０は、撮影した動画像をサーバ１０に送信する（ステップＳ２）。ここで、端末２０は、例えば、撮影している動画像をリアルタイムでサーバ１０に送信してもよい。また、端末２０は、例えば、作業員の操作に応答して、撮影して記録していた動画像をサーバ１０に送信してもよい。

続いて、サーバ１０の制御部１３は、受信した動画像を記憶部１２の作業ＤＢ１２１記録する（ステップＳ３）。ここで、サーバ１０は、図５Ａに示す作業ＤＢ（データベース）１２１の例では、受信した動画像にタグを対応付けて記録している。図５Ａの例では、作業員ＩＤ及び作業ＩＤに対応付けて、作業情報、動画像及びタグ群の組（データセット）が記録されている。

作業員ＩＤは、端末２０を使用する作業員の識別情報である。作業ＩＤは、当該作業員が行う作業の識別情報である。作業情報は、当該作業に関する各種の情報である。作業情報には、例えば、当該作業が行われた日時、場所、客先名称、作業対象の機器、及び作業内容等を示す情報が含まれてもよい。サーバ１０は、端末２０にて作業員に入力された作業情報を、端末２０から受信して記録してもよい。

図５Ｂの例では、図５Ａの動画像に対応付けられたタグ群Ａ１２１１に含まれる各タグには、作業項目、開始時刻、及び終了時刻の組のデータが含まれている。作業項目は、作業にて実施される各項目を示す情報である。開始時刻、及び終了時刻は、それぞれ、各項目に対応する作業期間の開始時刻、及び終了時刻である。サーバ１０の制御部１３は、端末２０にて作業員に入力されたタグを、端末２０から受信して記録してもよい。また、サーバ１０の制御部１３は、端末２０から受信した動画像、及び音声の少なくとも一方に基づいて、タグを生成してもよい。

（発話に基づくタグの生成）
サーバ１０は、端末２０の作業員の発話に基づいて、タグを生成してもよい。この場合、サーバ１０は、例えば、端末２０から受信した音声を認識し、当該音声が発話された時点と、音声認識の結果とに基づいて、タグを生成してもよい。これにより、動画像において、オブジェクトが第１状態から第２状態に変化される際（「動画像が撮影されている間」の一例。）に作業員に指示された時点にタグを付加することができる。

サーバ１０は、例えば、端末２０の作業員の発話に基づいて、所定の作業項目の作業が行われている期間を推定してもよい。この場合、サーバ１０は、例えば、作業員による「現場物品の移動開始」との音声をＡＩ（Artificial Intelligence）により認識して、「現場物品移動」の作業項目を生成し、当該音声が発話された時刻を当該作業項目の開始時刻として記録してもよい。そして、サーバ１０は、例えば、作業員による「終了」との音声をＡＩにより認識して、当該音声が発話された時刻を当該作業項目の終了時刻として記録してもよい。また、サーバ１０は、例えば、一の作業項目の終了時刻が記録されていない状態で、他の作業項目の開始時刻が記録された場合、当該他の作業項目の開始時刻に基づく時刻を、当該一の作業項目の終了時刻として記録してもよい。

（作業者の入力操作に基づくタグの生成）
サーバ１０は、端末２０の作業員の入力操作に基づいて、タグを生成してもよい。この場合、サーバ１０は、例えば、端末２０の作業員に入力された情報に基づいて、タグを生成してもよい。この場合、端末２０は、例えば、作業項目を指定する操作と、現在日時を開始時刻として指定する操作、または現在日時を終了時刻として指定する操作とを受け付けてもよい。

（動画像等に基づくタグの生成）
また、サーバ１０は、端末２０の作業員による発話、及び端末２０で撮影された動画像の少なくとも一つに基づいて、所定の作業項目の作業が行われている期間を推定し、タグを生成してもよい。この場合、サーバ１０は、例えば、ディープラーニング等の機械学習を用いたＡＩにより、動画像に基づいて、作業項目、開始時刻、及び終了時刻を認識（推論）してもよい。また、サーバ１０は、ＡＩにより、端末２０の作業員による発話に基づいて、作業項目、開始時刻、及び終了時刻の少なくとも一つを認識してもよい。

続いて、サーバ１０の制御部１３は、端末２０に配信するコンテンツを決定する（ステップＳ４）。ここで、サーバ１０は、例えば、オブジェクトが第２状態から第１状態に戻される際に、コンテンツを端末２０に再生させるようにしてもよい。

（作業員に指定されたタグに基づく再生位置の決定）
サーバ１０は、ステップＳ４の処理で、作業員に指定されたタグに基づいて、動画像の再生位置を決定してもよい。この場合、端末２０は、作業員がオブジェクトを第２状態から第１状態に戻す際に、タグを指定する操作を作業員から受け付けてもよい。なお、サーバ１０は、例えば、図５Ａの作業ＤＢ１２１に記録されているタグ群に含まれる各タグの一覧を端末２０に表示させ、一のタグを作業員に選択させてもよい。また、サーバ１０は、作業員に発話された音声を認識し、当該音声で指定された作業項目のタグを判定してもよい。

そして、サーバ１０は、図５Ａの作業ＤＢ１２１を参照し、指定されたタグの開始時刻と終了時刻とに基づいて、動画像を再生させる区間の開始位置（再生開始位置）と終了位置（再生終了位置）とを決定してもよい。ここで、サーバ１０は、指定されたタグの開始時刻と終了時刻とを、それぞれ、端末２０にて再生させる動画像の再生開始位置と再生終了位置としてもよい。

また、サーバ１０は、指定されたタグの終了時刻と開始時刻とを、それぞれ、端末２０にて再生させる動画像の再生開始位置と再生終了位置とし、当該動画像を端末２０に逆再生させてもよい。これにより、作業員は、例えば、分解した機器を組み立てて元に戻す際に、当該機器を分解した際の動画像を逆再生して閲覧することができる。そのため、機器を分解した手順の逆を表す動画像により、機器を元の状態に組み立てる手順を適切に把握することができる。

また、サーバ１０は、動画像を端末２０に再生させる際、当該動画像に対応付けられた作業項目を示す情報（「作業を示す情報」の一例。）を作業員に提示してもよい。この場合、サーバ１０は、例えば、指定されたタグの作業項目の文字データを当該動画像に重畳させて表示させてもよい。これにより、例えば、作業員は、動画像の逆再生が開始された際に、これから行う作業項目の内容を把握することができる。また、サーバ１０は、当該タグが作業員の音声に基づいて生成されたタグである場合、当該音声を端末２０に再生させてもよい。

（組み立ての手順の提示）
サーバ１０は、作業員に指定されたタグの作業項目が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報を作業員に提示してもよい。これにより、作業員は、分解の手順と組み立ての手順とが異なる場合は、組み立て手順書等に基づいて、機器を元の状態に組み立てる手順を適切に把握することができる。そのため、例えば、より適切な手順で組み立てることができる。

この場合、例えば、指定された作業項目が「機器組み立て」であり、作業対象の機器が、分解の手順と組み立ての手順とが異なる機種であることがサーバ１０に予め登録されている場合、サーバ１０は、当該機種の組み立て手順書のデータを端末２０に表示させてもよい。

（モデル手順の提示）
サーバ１０は、動画像に基づいて認識された作業員の作業の手順と、モデルとして設定されている手順とが異なる場合、モデルとして設定されている手順を示す情報を作業員に提示してもよい。これにより、例えば、作業員が機器の分解等の作業に手間取り、不要等の手順を行っていた等の場合に、モデルとして設定されている組み立て作業の手順を作業員に提示できる。

この場合、サーバ１０は、例えば、ＡＩ等により、動画像に基づいて、作業員による第１状態から第２状態に変化される際の順番を認識してもよい。そして、サーバ１０は、認識した手順と、モデルとして設定されている手順との乖離度が閾値以上の場合、モデルとして設定されている手順の動画像を再生してもよい。

なお、サーバ１０は、例えば、習熟度の高い作業員により行われた作業の動画像に基づいて認識した手順を、モデルとして設定してもよい。この場合、サーバ１０は、例えば、作業員Ａによる作業対象の機器に対する分解作業の所要時間と、作業員Ｂによる当該機器に対する分解作業の所要時間との比の値が閾値以上である場合、作業員Ｂによる手順を作業員Ａに提示してもよい。

続いて、サーバ１０の表示制御部１４は、決定したコンテンツを端末２０に配信する（ステップＳ５）。続いて、端末２０は、受信したコンテンツを表示させる（ステップＳ６）。

ステップＳ５の処理で、サーバ１０は、作業対象の物品の状態が変化していない期間の再生時間を短縮して再生させるようにしてもよい。これにより、例えば、分解時に作業が進捗していなかった際の動画像が組み立て時に再生される時間を省くことができる。

この場合、サーバ１０は、例えば、動画像のうち、作業員の手が映っていない期間の動画像をスキップさせて（飛ばして）再生させてもよい。また、サーバ１０は、動画像に基づいてＡＩにより各物品の配置を認識し、配置が変更されていない期間の動画像をスキップさせて再生させてもよい。

また、サーバ１０は、作業対象の物品の状態が変化している領域を拡大して画面に表示させてもよい。これにより、例えば、分解時に作業員が作業していた領域を拡大して、作業員に提示することができる。

この場合、サーバ１０は、例えば、動画像のうち、作業員の手が映っている領域を拡大（ズーム）して再生させてもよい。また、サーバ１０は、ＡＩにより、動画像に基づいて各物品の配置を認識し、配置が変化している領域を拡大して再生させてもよい。

（原状回復作業の誤りの提示）
サーバ１０は、変更時の動画像と、作業対象の物品を第２状態から第１状態に戻す際の動画像とに基づいて、作業対象の物品を第２状態から第１状態に戻す作業における誤りを作業員に提示してもよい。これにより、例えば、作業員は、元の状態と異なる部分があることを把握することができる。

この場合、サーバ１０は、例えば、まず、作業員により現在行われていた作業項目が完了したことを検出してもよい。ここで、サーバ１０は、例えば、端末２０にて現在撮影され、端末２０からリアルタイムでサーバ１０に送信されている動画像（以下で、適宜「現在の動画像」とも称する。）に基づいて作業項目が完了したことを検出してもよい。この場合、サーバ１０は、例えば、動画像に基づいて作業対象の機器の筐体の蓋が作業員により閉じられたこと検出した場合に、作業項目が完了したと判定してもよい。

また、サーバ１０は、作業員からの音声、または手動操作に基づいて作業項目が完了したことを検出してもよい。

そして、サーバ１０は、変更時の動画像における変更前の各被写体の配置と、当該作業項目が完了した際の動画像における各被写体の配置とが異なる場合、誤りが発生したと判定してもよい。この場合、サーバ１０は、例えば、分解作業が開始された際の第１静止画を拡大・縮小、回転、及び平行移動させて、組み立て作業が終了された際の第２静止画と最も一致する状況を判定し、当該一致する状況でＲＧＢ値の差が閾値以上である画素の数が閾値以上である場合に、誤りが発生したと判定してもよい。

そして、サーバ１０は、作業員の端末２０に警報のメッセージ、及び音声を出力させてもよい。また、サーバ１０は、変更時の動画像のうち、誤りが検出された被写体の配置が変更された時点を含む所定の期間の動画像または静止画像を端末２０に再生させ、図６に示すように、当該被写体に対応付けて所定の表示オブジェクトを動画像または静止画像に重畳して表示させてもよい。

図６の例では、サーバ１０は、端末２０の表示画面６０１において、変更時の動画像のうち、変更前のケーブルのコネクタ６０２に対応付けて、組み立て時に分解前との誤りが検出された旨を示すメッセージを含む表示オブジェクト６０３を表示させている。

（各被写体の状態に応じた再生）
サーバ１０は、作業員が作業対象の物品を第２状態から第１状態に戻す際の動画像の各被写体の状態に応じて、変更時の動画像を再生させてもよい。これにより、例えば、作業員は各手順を実行する毎に、次の手順を表す動画像を作業員に提示することができる。

この場合、サーバ１０は、まず、変更時の動画像に基づいて、状態が変化させられた各被写体の順番を判定してもよい。そして、サーバ１０は、現在の動画像に基づいて、第１被写体が、第２状態から第１状態に戻されたことを検出した場合、変更時の動画像のうち、当該第１被写体よりも一つ前に変化させられた第２被写体の状態が変化された際の動画像を再生してもよい。これにより、例えば、端末２０で現在撮影されているケーブルの状況が、当該ケーブルを取り外す際の開始時点と同様の状況になったら、次に接続するケーブルが取り外された際の動画像を逆再生等して作業員に提示することができる。

＜変形例＞
サーバ１０の各機能部は、例えば１以上のコンピュータにより提供されるクラウドコンピューティングにより実現されていてもよい。また、サーバ１０の各処理を、端末２０にて実行する構成としてもよい。この場合、記憶部１２、制御部１３、及び表示制御部１４の少なくとも一部の処理を端末２０にて実行する構成としてもよい。また、記憶部１２、制御部１３、及び表示制御部１４を端末２０に設け、サーバ１０を有しない構成（スタンドアローン型）としてもよい。

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

１通信システム
１０サーバ
１１取得部
１２記憶部
１３制御部
１４表示制御部
２０端末

Claims

情報処理装置が、
オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行し、
前記再生させる処理では、
所定の期間の前記動画像を逆方向に再生させ、
ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定し、
前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示する、情報処理方法。
前記再生させる処理では、
前記動画像が撮影されている間に、ユーザにより所定の操作がされた際の時点、及びユーザにより所定の発話がされた際の時点の少なくとも一方に基づいて、前記動画像の再生位置を決定する、
請求項１に記載の情報処理方法。
前記再生させる処理では、
ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業を示す情報をユーザに提示する、
請求項１または２に記載の情報処理方法。
前記情報処理装置が、
前記動画像に基づいて、前記オブジェクトを前記第２状態から前記第１状態に戻す作業の誤りを提示する処理を実行する、
請求項１から３のいずれか一項に記載の情報処理方法。
前記再生させる処理では、
前記動画像に基づいて認識されたユーザの作業の手順と、設定されている手順とが異なる場合、設定されている手順を示す情報をユーザに提示する、
請求項１から４のいずれか一項に記載の情報処理方法。
前記再生させる処理では、
前記オブジェクトの状態が変化していない期間の再生時間を短縮して再生させる、
請求項１から５のいずれか一項に記載の情報処理方法。
前記再生させる処理では、
前記オブジェクトの状態が変化している領域を拡大して画面に表示させる、
請求項１から６のいずれか一項に記載の情報処理方法。
オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行し、
前記再生させる処理では、
所定の期間の前記動画像を逆方向に再生させ、
ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定し、
前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示する、情報処理装置。
情報処理装置に、
オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行させ、
前記再生させる処理では、
所定の期間の前記動画像を逆方向に再生させ、
ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定し、
前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示する、プログラム。
サーバと端末とを含む情報処理システムであって、
前記サーバは、
オブジェクトが第１状態から第２状態に変化される際に前記端末により前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる情報を前記端末に送信し、
前記再生させる処理では、
所定の期間の前記動画像を逆方向に再生させ、
ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定し、
前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示し、
前記端末は、
前記サーバから受信した情報に基づいて、前記動画像を再生させて画面に表示させる、
情報処理システム。