JP6437257B2

JP6437257B2 - 作業工程学習支援システム

Info

Publication number: JP6437257B2
Application number: JP2014191622A
Authority: JP
Inventors: 寛上原
Original assignee: Hitachi Solutions Ltd
Current assignee: Hitachi Solutions Ltd
Priority date: 2014-09-19
Filing date: 2014-09-19
Publication date: 2018-12-12
Anticipated expiration: 2034-09-19
Also published as: JP2016062026A

Description

本発明は、ウェアラブル端末を用いて作業工程の学習を支援する作業工程学習支援システムに関する。

ウェアラブル端末の進化に伴い、情報の受発信を利用者が無意識にできるようになってきている。しかし、リアルタイムな情報受発信が活用されている分野は限られており、さらなる実用範囲の拡大が望まれている。

ウェアラブル端末にはさまざまな形態の機器が存在している。そのなかでグラス型ウェアラブル端末は眼鏡の装着と同様の使用方法であり、機器使用時の負担が少ない、使用者の視覚や視線を活用することができるという特徴を有している。
ウェアラブル端末は、さらにスマートフォンと類似の機能を有している。すなわち、ウェアラブル端末は、ディスプレイへの情報表示、カメラでの動画・静止画の撮影、マイクでの音声認識、スピーカーでの音声再生、他の機器との無線通信などの機能を有している。
またＡＲ技術（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実）を活用することで、ウェアラブル端末のカメラでＡＲマーカーを撮影し、そのＡＲマーカーに対して最適な情報をウェアラブル端末へ提供することができる。

例えば、特許文献１は、客からの注文品目をヘッドマウントディスプレイに表示し、注文品目の中から配信する注文品目と、その注文品目にかかる調理風景の映像の配信指示とを装着者から受け付けて、受け付けられた配信指示に応じて、カメラで撮像された調理風景の映像を配信するウェアラブル画像処理装置を開示する。

特開２０１１−５３８２８号公報

例えば、調理に関する学習施設において、受講生は学習用テキストを使用するとともに講師から説明を受ける場合が多い。しかし、実習中は両手を使用した作業をする状態が続くため、学習用テキストを参照することが容易ではない。また、講師の数に対して受講生の数は圧倒的に多いため、講師からの指示を都度仰ぐことも困難である。

本発明の目的は、各受講生が装着するウェアラブル端末における受講生の視野内に、受講生各人の作業工程での作業を支援する作業支援情報を表示することができる作業工程学習支援システムを提供することである。

上記課題を解決するために、本発明の作業工程学習支援システムは、
コンテンツサーバと複数のグラス型ウェアラブル端末とを有する作業工程学習支援システムであって、
コンテンツサーバが、
各作業工程における作業を支援する作業支援情報を記憶する作業支援情報記憶手段と、
前記作業支援情報記憶手段から前記各作業工程の作業支援情報を読み出して前記グラス型ウェアラブル端末に送信する作業支援情報送信手段と、
を備え、
各前記グラス型ウェアラブル端末が、
前記コンテンツサーバから送信される前記各作業工程の作業支援情報を受信する作業支援情報受信手段と、
当該グラス型ウェアラブル端末の装着者の視野内に、前記作業支援情報受信手段によって受信された前記各作業工程の作業支援情報を表示する作業支援情報表示手段と、
を備え、
同時に受講している全受講生の前記グラス型ウェアラブル端末に対して同一の指示を出すこと、および特定の受講生又は特定の受講生群の前記グラス側ウェアラブル端末に対して個別の指示を出すことが可能な講師用スマートデバイスと、
それぞれ異なるパターンを有する第１および第２のＡＲマーカーと、
をさらに備え、
前記第１のＡＲマーカーは次の前記作業支援情報を表示させる操作に対応付けられ、前記第２のマーカーは前の前記作業支援情報を表示させる操作に対応付けられ、
各前記グラス型ウェアラブル端末には、
カメラと、
前記カメラによって撮影された前記第１または第２のＡＲマーカーのパターンに基づく操作内容を表す操作情報を取得する操作情報取得手段と、
前記操作情報取得手段によって取得された前記操作情報に応じた前記作業支援情報の送信を要求する作業支援情報要求を前記コンデンササーバに伝達する作業支援情報要求伝達手段と
がそれぞれ設けられ、
前記コンテンツサーバの前記作業支援情報送信手段が、前記グラス型ウェアラブル端末からの前記作業支援情報要求に応答して前記作業支援情報記憶手段から前または次の作業支援情報を読み出して送信し、
前記グラス型ウェアラブル端末において、
前記作業支援情報受信手段が前記前または次の作業支援情報を前記コンテンツサーバから受信すると、前記作業支援情報表示手段が当該受信した前または次の作業支援情報を表示し、
前記グラス型ウェアラブル端末は、前記講師用スマートデバイスからの発信を契機として前記カメラによって撮影された映像に基づくビデオデータの録画を開始し、
前記第１および第２のＡＲマーカーと異なるパターンを有し、前記ビデオデータの録画を終了させる操作に対応付けられた第３のＡＲマーカーと、
前記グラス型ウェアラブル端末から送信されるビデオデータを録画する録画サーバと、
をさらに備え、
前記グラス型ウェアラブル端末は、
前記カメラによって前記第３のＡＲマーカーが撮影された場合には、前記ビデオデータの録画を停止して当該ビデオデータを前記録画サーバに送信する
ことを特徴とする。

好ましくは、本発明の作業工程学習支援システムは、
前記グラス型ウェアラブル端末の作業支援情報表示手段が、前記装着者の視野内に、経過時間を含む時間情報を表示し、
前記グラス型ウェアラブル端末のビデオデータ送信手段が、前記カメラによって撮影された映像に、前記作業支援情報表示手段によって表示される前記各作業工程の作業支援情報と前記時間情報を重ねた映像を含むビデオデータを送信する、
ことを特徴とする。

本発明によれば、各受講生が装着するウェアラブル端末における受講生の視野内に、受講生各人の作業工程での作業を支援する作業支援情報を表示することができる。

本発明の実施形態に係る作業工程学習支援システムの構成の一例を示す図である。グラス型ウェアラブル端末の構成の一例を示す図であるグラス型ウェアラブル端末を装着したときの受講生の視野の一例を示す模式図である。グラス型ウェアラブル端末のディスプレイ表示領域に表示される表示内容の一例を示す図である。グラス型ウェアラブル端末のディスプレイ表示領域に表示される表示内容の他の例を示す図である。グラス型ウェアラブル端末の操作の処理の一例を示すフローチャートである。

以下、本発明の実施形態に係る作業工程学習支援システムについて、調理学習を例として図面を参照しながら説明する。なお、実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。

図１は、本発明の実施形態に係る作業工程学習支援システムの構成の一例を示す。
作業工程学習支援システムは、作業支援管理システム１と、グラス型ウェアラブル端末２１と、ＡＲマーカー３１と、講師用スマートデバイス４１とを有する。作業支援管理システム１とグラス型ウェアラブル端末２１と講師用スマートデバイス４１とは、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）７に接続されており、相互に通信することができる。

作業支援管理システム１は、コンテンツサーバ２と、録画サーバ３と、管理サーバ４と、送受信装置５を備える。コンテンツサーバ２と録画サーバ３と管理サーバ４と送受信装置５とは、ネットワーク６に接続されており、相互に通信することができる。
コンテンツサーバ２は、各作業工程における作業を支援する作業支援情報を記憶装置に記憶している。そして、コンテンツサーバ２は、記憶装置から各作業工程の作業支援情報を読み出して各受講生のグラス型ウェアラブル端末２１に送信する。
録画サーバ３は、グラス型ウェアラブル端末２１から送信されるビデオデータを録画する。
管理サーバ４は、作業工程学習支援システム全体を管理する。
送受信装置５は、無線ＬＡＮ７に接続され、グラス型ウェアラブル端末２１および講師用スマートデバイス４１と通信する。

グラス型ウェアラブル端末２１は、受講生１１が装着して使用する。グラス型ウェアラブル端末２１は、ディスプレイ２２と、カメラ２３と、マイク２４と、スピーカー２５と、処理装置２６とを備える。
図２に示すように、処理装置２６は、情報表示部５１と、画像処理部５２と、音声処理再生部５３と、送受信部５４と、制御部５５と、タイマ５６とを備える。
情報表示部５１は、図３に示すように、グラス型ウェアラブル端末２１における受講生の視野１０１内のディスプレイ表示領域１０２に情報を表示する。なお、グラス型ウェアラブル端末２１のディスプレイ２２は、例えば、ＧＯＯＧＬＥＧＬＡＳＳ（登録商標）のように、受講生の視野１０１の一部であるディスプレイ表示領域１０２にのみ配置されており、受講生１１はディスプレイ表示領域１０２以外の部分を直接見る構成であってよい。また、ディスプレイ２２は、例えば、Ｍｏｖｅｒｉｏ（登録商標）のように、受講生の視野１０１の大部分を覆っており、受講生１１はカメラ２３で撮影された映像を見るとともに、その映像を透過して実際の物体を見る構成であってもよい。
画像処理部５２は、カメラ２３で撮影されたＡＲマーカー３１のパターンを認識して操作情報を取得する機能と、カメラ２３で撮影された映像に、情報表示部５１によって表示される各作業工程の作業支援情報を重ねた映像を含むビデオデータを作成する機能とを有する。
音声処理部５３は、マイク２４によって入力された受講生１１の発話を音声認識して操作情報を取得する機能を有する。
送受信部５４は、無線ＬＡＮ７を介して作業支援管理システム１と通信する。
制御部５５は、グラス型ウェアラブル端末２１全体を制御する。
タイマ５６は、経過時間を含む時間情報を生成する。
なお、受講生１１は本発明の装着者の一例であり、情報表示部５１は本発明の作業支援情報表示手段の一例であり、画像処理部５２と送受信部５４は本発明のビデオデータ送信手段の例であり、画像処理部５２と音声処理部５３は本発明の操作情報取得手段の例であり、送受信部５４は本発明の作業支援情報受信手段と作業支援情報要求伝達手段の例である。

また、処理装置２６は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等で構成される主メモリと、ハードディスクやフラッシュメモリ等で構成される記憶装置を有する。記憶装置には所定のプログラムが格納されており、ＣＰＵが記憶装置から所定のプログラムを主メモリに読み出して実行することにより、情報表示部５１と画像処理部５２と音声処理再生部５３と送受信部５４と制御部５５との各部の機能が実現される。

ＡＲマーカー３１は、例えば、次の表示内容を表示３２、前の表示内容を表示３３、時間情報表示３４、終了３５を示す４種類であり、これらのＡＲマーカー３１の描かれたカードが調理実習台の四隅に配置される。この場合、受講生１１が四隅のいずれかを見ることにより、カメラ２３はＡＲマーカー３１の一つを撮影することができる。
講師用スマートデバイス４１は、例えば、撮影可能なグラス型ウエラブル端末、スマートホン、携帯電話、タブレットＰＣである。

図３に示すように、グラス型ウェアラブル端末２１を装着した受講生１１は、受講生の視野１０１のように視界を得る。受講生の視野１０１の一部分にはディスプレイ表示領域１０２が存在する。図３には、ディスプレイ表示領域１０２が受講生の視野１０１の右上に存在する例を示すが、ディスプレイ表示領域１０２は受講生の視野１０１の内部に存在すればよく、その大きさや位置に制限はない。

図４に示すように、ディスプレイ表示領域１０２に表示される表示内容は、例えば作業画面情報１１１と、作業指示画像表示領域１１２と、作業指示文章表示領域１１３とで構成される。
図５は、図４と同様のディスプレイ表示領域１０２に表示される他の例を示す。図５は、時間情報表示指示を受けて、情報表示部５１がタイマ５６から時間情報を取得して時間表示領域１１４にそれを表示する例を示す。
受講生１１は、自身の作業状況にあわせてディスプレイ表示領域１０２の表示内容の変更を指示することができる。変更の指示ができるのは、例えば、あらかじめ作業支援管理システムで定義されている次の表示内容を表示、前の表示内容を表示、時間情報を表示、終了の４種である。

図６は、グラス型ウェアラブル端末２１の操作の処理の一例を示すフローチャートである。
制御部５５は、講師の操作による講師用スマートデバイス４１からの発信を契機として、受講者１１が装着するグラス型ウェアラブル端末２１を起動する。このとき、画像処理部５２はビデオデータの作成を開始し、グラス型ウェアラブル端末２１が有する所定の記憶装置にビデオデータを録画し始める（Ｓ２０１）。制御部５５は、起動時にはあらかじめ設定された初期画面をディスプレイ２２に表示し（Ｓ２０２）、指示待ち判定状態となる（Ｓ２０３〜２０５）。講師用スマートデバイス４１は、同時に受講している全受講生のグラス型ウェアラブル端末２１に対して同一の指示を出すこと、および特定の受講生または特定の受講生群のグラス型ウェアラブル端末２１に対して個別の指示を出すことが可能である。

受講生１１は、ＡＲマーカー３２、３３または発話によってディスプレイ表示領域１０２の表示内容の変更を指示する。ＡＲマーカー３２、３３の場合は、カメラ２３がＡＲマーカー３２、３３を撮影すると、画像処理部５２がそれを認識する（Ｓ２０４）。画像処理部５２が認識した内容を制御部５５に通知すると、制御部５５は作業支援管理システム１へ該当する表示内容の表示指示要求を送信し（Ｓ２０６）、画像処理部５２はグラス型ウェアラブル端末２１のディスプレイ２２に表示される表示内容を変更する（Ｓ２０７）。
発話の場合も同様に、マイク２４から音声が入力されると、音声処理部５３がそれを認識する（Ｓ２０３）。音声処理部５３が認識した内容を制御部５５に通知すると、制御部５５は作業支援管理システム１へ該当する表示内容の表示要求を送信し（Ｓ２０６）、画像処理部５２はグラス型ウェアラブル端末２１のディスプレイ２２に表示される表示内容を変更する（Ｓ２０７）。

講師１２は、講師用スマートデバイス４１を使用して、全受講生または特定の受講生群のグラス型ウェアラブル端末２１に対して、受講生１１のディスプレイ表示領域１０２の表示内容の変更を指示する（Ｓ２０５）。この指示を受信すると、制御部５５は作業支援管理システム１へ該当する表示内容の表示要求を送信し（Ｓ２０６）、画像処理部５２はグラス型ウェアラブル端末２１のディスプレイ２２に表示される表示内容を変更する（Ｓ２０７）。

受講生１１がＡＲマーカー３４または発話によって時間情報表示を指示する（Ｓ２０３，Ｓ２０４）と、画像処理部５２は表示中のディスプレイ表示領域１０２に経過時間等の時間情報を重畳表示する（Ｓ２０８）。

受講生１１がＡＲマーカー３５および発話のいずれかによってグラス型ウェアラブル端末２１の動作の終了を指示する（Ｓ２０６）と、制御部５５は、画面表示を終了し（Ｓ２０９）、録画を停止して録画サーバ３へビデオデータを送信する（Ｓ２１０）。
講師１２が、講師用スマートデバイス４１を使用して、全受講生または特定の受講生群に対して、受講生１１のグラス型ウェアラブル端末２１の動作の終了を指示する（Ｓ２０５）と、制御部５５は、画面表示を終了し（Ｓ２０９）、録画を停止して録画サーバ３へビデオデータを送信する（Ｓ２１０）。

グラス型ウェアラブル端末２１は、起動時（Ｓ２０１）から画面表示の終了時（Ｓ２０９）までの間、カメラ２３とマイク２４を使用したビデオ撮影を行う。撮影されたビデオデータは終了時（Ｓ２０９）に送受信部５４を経由して録画サーバ３に送信される（Ｓ２１０）。録画サーバ３は受信したビデオデータを保存する。
なお、グラス型ウェアラブル端末２１は、終了時に限らず、所定のタイミングでビデオデータを送信し、録画サーバ３はそのビデオデータを受信するごとにそれを保存する構成としてもよい。

このように、制御部５５は、指示を認識した場合、指示内容により画面遷移もしくは終了を判定し（Ｓ２０６）、該当画面表示（Ｓ２０７、Ｓ２０８）から指示待ち判定状態に遷移する（Ｓ２０３〜２０５）か、もしくは終了表示（ステップ２０８）、録画終了（Ｓ２１０）から、グラス型ウェアラブル端末２１を停止させる。

なお、上述した実施形態では調理学習を例として説明したが、本発明は、調理学習に限らず、多くの受講生が同時に作業しながら指導を受ける学習に適用することができる。

以上説明したように、本発明によれば、受講生はウェアラブル端末を装着し、受講生各人の作業工程にあわせたタイミングで、講師の指示や学習用テキストと同等以上の情報提供を受けることができる。
また、ウェアラブル端末のカメラで受講生各人の作業を録画することで、受講終了後に再度録画を参照して復習することができる。そして、その録画映像は自身の視線での映像となるため、作業時の記憶を呼び起こすことに効果的であり、総合的な学習効率を向上することができる。
更に、ハンズフリーで操作が可能なウェアラブル端末を使用することで、学習時の制約を削減することができる。

１…作業支援管理システム、２…コンテンツサーバ、３…録画サーバ、４…管理サーバ、５…送受信装置、６…ネットワーク、７…無線ＬＡＮ、１１…受講生、１２…講師、２１…グラス型ウェアラブル端末、２２…ディスプレイ、２３…カメラ、２４…マイク、２５…スピーカー、２６…処理装置、３１…ＡＲマーカー、３２…ＡＲマーカー（次へ進む）、３３…ＡＲマーカー（前に戻る）、３４…ＡＲマーカー（時間情報表示）、３５…ＡＲマーカー（終了）、４１…講師用スマートデバイス、５１…情報表示部、５２…画像処理部、５３…音声処理部、５４…送受信部、５５…制御部、５６…タイマ、１０１…受講生の視野、１０２…ディスプレイ表示領域、１１１…作業画面情報、１１２…作業指示画像表示領域、１１３…作業指示文章表示領域、１１４…時間表示領域

Claims

コンテンツサーバと複数のグラス型ウェアラブル端末とを有する作業工程学習支援システムであって、
コンテンツサーバが、
各作業工程における作業を支援する作業支援情報を記憶する作業支援情報記憶手段と、
前記作業支援情報記憶手段から前記各作業工程の作業支援情報を読み出して前記グラス型ウェアラブル端末に送信する作業支援情報送信手段と、
を備え、
各前記グラス型ウェアラブル端末が、
前記コンテンツサーバから送信される前記各作業工程の作業支援情報を受信する作業支援情報受信手段と、
当該グラス型ウェアラブル端末の装着者の視野内に、前記作業支援情報受信手段によって受信された前記各作業工程の作業支援情報を表示する作業支援情報表示手段と、
を備え、
同時に受講している全受講生の前記グラス型ウェアラブル端末に対して同一の指示を出すこと、および特定の受講生又は特定の受講生群の前記グラス側ウェアラブル端末に対して個別の指示を出すことが可能な講師用スマートデバイスと、
それぞれ異なるパターンを有する第１および第２のＡＲマーカーと、
をさらに備え、
前記第１のＡＲマーカーは次の前記作業支援情報を表示させる操作に対応付けられ、前記第２のマーカーは前の前記作業支援情報を表示させる操作に対応付けられ、
各前記グラス型ウェアラブル端末には、
カメラと、
前記カメラによって撮影された前記第１または第２のＡＲマーカーのパターンに基づく操作内容を表す操作情報を取得する操作情報取得手段と、
前記操作情報取得手段によって取得された前記操作情報に応じた前記作業支援情報の送信を要求する作業支援情報要求を前記コンデンササーバに伝達する作業支援情報要求伝達手段と
がそれぞれ設けられ、
前記コンテンツサーバの前記作業支援情報送信手段が、前記グラス型ウェアラブル端末からの前記作業支援情報要求に応答して前記作業支援情報記憶手段から前または次の作業支援情報を読み出して送信し、
前記グラス型ウェアラブル端末において、
前記作業支援情報受信手段が前記前または次の作業支援情報を前記コンテンツサーバから受信すると、前記作業支援情報表示手段が当該受信した前または次の作業支援情報を表示し、
前記グラス型ウェアラブル端末は、前記講師用スマートデバイスからの発信を契機として前記カメラによって撮影された映像に基づくビデオデータの録画を開始し、
前記第１および第２のＡＲマーカーと異なるパターンを有し、前記ビデオデータの録画を終了させる操作に対応付けられた第３のＡＲマーカーと、
前記グラス型ウェアラブル端末から送信されるビデオデータを録画する録画サーバと、
をさらに備え、
前記グラス型ウェアラブル端末は、
前記カメラによって前記第３のＡＲマーカーが撮影された場合には、前記ビデオデータの録画を停止して当該ビデオデータを前記録画サーバに送信する
ことを特徴とする作業工程学習支援システム。
前記グラス型ウェアラブル端末の作業支援情報表示手段が、前記装着者の視野内に、経過時間を含む時間情報を表示し、
前記グラス型ウェアラブル端末のビデオデータ送信手段が、前記カメラによって撮影された映像に、前記作業支援情報表示手段によって表示される前記各作業工程の作業支援情報と前記時間情報を重ねた映像を含むビデオデータを送信する、
ことを特徴とする請求項１に記載の作業工程学習支援システム。