JP6780767B2 - 点検支援装置、点検支援方法およびプログラム - Google Patents

Description

本開示は、点検支援装置、点検支援方法および記録媒体に関する。

計測器などの機器に対する点検作業を支援する方法が開示されている。例えば、特許文献１には、カメラが撮影した計測器の画像情報に基づいて計測器の識別情報および測定値を認識し、測定値を計器の識別情報と対応付けたうえで記憶部に記憶させる点検支援装置が記載されている。

また、特許文献２には、作業者の視野中に複数の認識対象がある場合に、複数の認識対象の使用の可否などを表す生産情報を作業者の視野中の識別マーカーの近傍に一対一に対応付けて表示する基板生産支援システムが記載されている。

また、拡張現実技術を用いて本のページを撮影した撮影画像上に仮想物体を重畳して表示する技術の一例が特許文献３に記載されている。

国際公開第２０１２／０４６７２６号 特開２０１４−２３５７０４号公報 国際公開第２０１２／０４９７９５号

作業者が点検対象に対する作業を、予め定められた時間に行っていない、予め定められた点検対象に対して行っていない等の、作業者の態度不良によって、点検対象が正しく点検されない場合がある。例えば、作業者が、点検対象を過去に撮影した画像を、現時点において該点検対象を撮影した画像とした場合、上述した特許文献１に関連する技術では、正しい点検結果として記憶部に記憶されてしまう可能性がある。

本開示は、上記課題に鑑みてなされたものであり、その目的は、点検対象に対する点検結果として有効なデータを効率的に記録することが可能な技術を提供することにある。

本開示の一態様に係る点検支援装置は、点検対象の情報を受け付ける受付手段と、撮像装置により撮像された画像データを取得する取得手段と、前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する記録制御手段と、を備える。

また、本開示の一態様に係る点検支援方法は、点検対象の情報を受け付け、撮像装置により撮像された画像データを取得し、前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。

本開示によれば、点検対象に対する点検結果として有効なデータを効率的に記録することができる。

第１の実施の形態に係る点検支援装置の機能構成の一例を示す機能ブロック図である。 図１に示す点検支援装置の適用例の一例を示す図である。 第１の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る点検支援装置を含む点検支援システムの構成の一例を示す図である。 図４に示す点検支援システムの適用例の一例を示す図である。 記憶装置が格納する点検対象情報の一例を示す図である。 記録部に記録された記録情報の一例を示す図である。 第２の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 表示部が表示する表示画面の一例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 記憶装置が格納する点検対象情報の他の例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 記録部に記録された記録情報の他の例を示す図である。 第２の実施の形態に係る点検支援装置を含む点検支援システムの他の構成の一例を示す図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る点検支援装置１０の機能構成の一例を示す機能ブロック図である。図２は、図１に示す点検支援装置１０の適用例の一例を示す図である。図２に示す通り、点検支援装置１０は、例えば、眼鏡型ウェアラブル端末に搭載される。以下、眼鏡型ウェアラブル端末をウェアラブルグラス１と呼ぶ。ウェアラブルグラス１を装着した作業者２が、例えば計測器などの点検対象３の方向に顔を向けることにより、ウェアラブルグラス１に搭載された撮像装置２００が点検対象３を撮像する。なお、本実施の形態では、点検支援装置１０は、ウェアラブルグラス１に搭載されるとして説明を行うが、点検支援装置１０は、ウェアラブルグラス１と通信可能な装置で実現されてもよい。

本実施の形態に係る点検支援装置１０は、図１に示す通り、受付部１１と、取得部１２と、記録制御部１３とを備える。

受付部１１は、点検対象３の情報を受け付ける。点検対象３の情報とは、例えば、点検対象３に対する点検項目、点検対象３を表す点検対象名、点検対象３に関連する位置を表す点検対象位置、点検対象３に対する点検の開始時刻、点検対象３に対する点検に係る所要時間などが挙げられるがこれに限定されるものではない。受付部１１は、受け付けた点検対象３の情報を記録制御部１３に供給する。

なお、受付部１１は、点検対象３の情報を、例えば、点検対象３の情報を格納する記憶装置から受け付けてもよい。また、受付部１１は、例えば、点検結果の点検を行う管理者等によって入力装置を介して入力された点検対象３の情報を受け付けてもよい。

取得部１２は、撮像装置２００により撮像された画像データを取得する。撮像装置２００は、例えば、レンズおよび撮像素子を含むカメラである。取得部１２は、撮像装置２００によって撮像された映像を表す画像データを取得する。撮像された映像は、点検対象３を含む。また映像は、動画像であってもよいし、静止画像であってもよい。つまり、画像データは、動画像を構成する複数のフレームのデータを含んでもよいし、静止画像を表現する静止画像データであってもよい。なお、本実施の形態のように、点検支援装置１０がウェアラブルグラス１に内蔵される構成の場合、取得部１２は、撮像装置２００の機能を含んでもよい。取得部１２は、取得した画像データを記録制御部１３に供給する。

記録制御部１３は、受付部１１が点検対象３の情報を受け付けた時を基準とし、取得部１２が取得した画像データの撮像時間が、この基準から所定時間範囲内か否かを判定する。このとき、記録制御部１３は、画像データの撮像開始時間が、基準から所定時間範囲内か否かを判定してもよいし、画像データの撮像時間に、この所定時間範囲が含まれるか否かを判定してもよい。

また、記録制御部１３は、受け付けた情報が示す点検対象３と取得された画像データから認識された点検対象３とが一致するか否かを判定する。記録制御部１３は、画像データの撮像時間が情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた情報が示す点検対象３と取得された画像データから認識された点検対象３とが一致する場合に、点検対象３の点検結果に関する情報と、点検対象３の情報とを対応付けて記録する。

記録制御部１３は、互いに対応付けた点検対象３の点検結果に関する情報と、点検対象３の情報とを、例えば、ハードディスクドライブや紙等の記録媒体に記録する。ここで、点検結果に関する情報とは、点検結果そのものであってもよいし、点検結果を得ることができるデータであってもよい。例えば、点検対象３が温度計の場合、記録制御部１３は、温度を点検結果に関する情報としてもよい。また、例えば、点検対象３が温度計の場合、記録制御部１３は、温度が所定の範囲内か否かを表す情報を、点検結果に関する情報としてもよい。例えば、点検対象３が温度計の場合、記録制御部１３は、この温度計の温度が認識可能な画像を特定し、該画像を表す画像データを点検結果に関する情報としてもよい。また、記録制御部１３は、点検対象３が含まれる画像データそのものを点検結果に関する情報としてもよい。また、記録制御部１３は、ユーザが入力装置等を用いて入力した点検結果を、点検結果に関する情報としてもよい。

図３は、本実施の形態に係る点検支援装置１０の処理の流れの一例を示すフローチャートである。図３に示す通り、受付部１１が、点検対象の情報を受け付ける（ステップＳ３１）。また、取得部１２が、撮像装置２００により撮像された画像データを取得する（ステップＳ３２）。そして、記録制御部１３が画像データの撮像時間が情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた情報が示す点検対象と取得された画像データから認識された点検対象とが一致する場合に、点検対象の点検結果に関する情報と、点検対象の情報とを対応付けて記録する（ステップＳ３３）。

以上により、本実施の形態に係る点検支援装置１０は、画像データの撮像時間が情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた情報が示す点検対象と取得された画像データから認識された点検対象とが一致する場合に、点検対象の点検結果に関する情報と、点検対象の情報とを対応付けて記録する。したがって、例えば、点検対象の点検を行う時ではなく、過去に点検対象を撮像した画像を、取得部１２が取得した場合、記録制御部１３は、過去に撮像された画像に点検対象が含まれている場合であっても、該画像に含まれる点検対象に対する点検結果を記録しない。

また、画像データの撮像時間が情報を受け付けた時を基準とした所定時間範囲内であっても、作業者が点検対象とは異なる対象を撮像している場合、撮像された画像データから、点検対象が認識されない。よって、このような場合も、記録制御部１３は、作業者２が点検結果を、入力装置等を用いて入力した場合であっても、点検対象に対する点検結果を記録しない。

このように、本実施の形態に係る点検支援装置１０は、点検対象に対する点検結果として有効なデータを効率的に記録することができる。これにより、例えば、作業者の態度不良などによる画像データや点検結果に関する情報等の改ざんが行われた場合であっても、改ざんされたデータの記録が行われることを防ぐことができる。

また、例えば、記録されたデータを用いて点検作業の確認を行う管理者は、点検対象に対する点検結果として有効なデータを確認することができる。したがって、点検支援装置１０は、点検に関連する作業をより効率的に支援することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本開示の第２の実施の形態について、図面を参照して説明する。図４は、本実施の形態に係る点検支援装置１００を含む点検支援システム４の構成の一例を示す図である。図４に示す通り、点検支援システム４は、点検支援装置１００と、撮像装置２００と、記憶装置３００と、表示部１６０とを含む。図５は、図４に示す点検支援システム４の適用例の一例を示す図である。図５に示す通り、撮像装置２００は、ウェアラブルグラス５に搭載され、点検支援装置１００および記憶装置３００は、ウェアラブルグラス５と通信可能なサーバ装置６に搭載されてもよい。ウェアラブルグラス５を装着した作業者２が、例えば計測器などの点検対象３の方に顔を向けることにより、ウェアラブルグラス５の撮像装置２００が点検対象３を撮像する。撮像された映像は、ウェアラブルグラス５のレンズの部分である表示部１６０に表示される。

点検対象３は、点検の対象となる、例えば、温度計などのセンサ、スイッチ、構造物などである。点検対象３は、点検対象となるものであれば特に限定されない。本実施の形態では、点検対象３は、温度計３１およびスイッチ３２であるとして説明を行う。なお、点検対象３は、温度計３１およびスイッチ３２を含む装置全体であってもよい。

なお、点検支援装置１００および記憶装置３００は、ウェアラブルグラス５に搭載されてもよいし、点検支援装置１００の一部の機能（例えば、図４に示す表示制御部１５０）がウェアラブルグラス５に搭載されてもよい。

記憶装置３００は、点検対象３の情報を記憶する。記憶装置３００が格納する点検対象３の情報の一例を図６に示す。図６は、記憶装置３００が格納する点検対象３の情報（点検対象情報６０）の一例を示す図である。図６に示す通り、点検対象情報６０は、例えば、点検項目を識別する点検項目番号６１、点検対象３に対する点検項目６２、点検対象３を表す点検対象名６３、点検対象３に関連する位置を表す点検対象位置６４などを含む。点検対象位置６４は、点検対象３が設置された位置であってもよいし、点検対象３を撮像する撮像装置２００の位置であってもよい。点検対象位置６４は、点検対象３が何であるかを特定可能な位置であればよい。なお、点検対象情報６０はこれに限定されず、例えば、点検対象３を識別する識別子、点検対象３の点検時刻等を含んでもよいし、点検対象位置６４を含まなくてもよい。

撮像装置２００は、点検対象３を撮像し、撮像された映像を表す画像データを生成する。生成された画像データは、撮像装置２００内に格納されてもよいし、撮像装置２００とは異なる記憶装置に格納されてもよい。撮像装置２００が撮像する映像は動画像であってもよいし、静止画像であってもよい。また、画像データは、映像を撮像した時刻を表す時刻情報を含む。撮像装置２００は、画像データを生成すると、点検支援装置１００に該画像データを供給してもよい。

次に、点検支援装置１００の構成について説明する。点検支援装置１００は、図４に示す通り、受付部１１０と、取得部１２０と、記録制御部１３０と、記録部１４０と、表示制御部１５０とを含む。なお、記録部１４０は、記憶装置３００に含まれてもよいし、記憶装置３００とは異なる記憶装置で実現されてもよい。

受付部１１０は、第１の実施の形態における受付部１１の一例である。受付部１１０は、記憶装置３００に格納された点検対象３の情報を受け付ける。受付部１１０は、例えば、入力装置から入力された入力情報に基づいて、点検対象３の情報を受け付けてもよい。例えば、入力装置が文字の入力が可能な装置の場合、点検項目番号を受け付けたことをトリガに、受付部１１０は、該受け付けた点検項目番号と同じ番号の点検項目番号６１を特定し、特定した点検項目番号６１に関連するレコードを記憶装置３００から取得してもよい。また、例えば、入力装置がマイクロフォン等の集音装置の場合、音声が集音されたことをトリガに、受付部１１０は、集音された音声から認識された点検項目番号または点検対象名に関連するレコードを記憶装置３００から取得してもよい。また、受付部１１０は、入力装置から入力された入力情報が点検対象の位置を示す情報の場合、点検対象位置６４と比較して、最も近い位置のレコードを取得してもよい。また、点検対象情報６０に点検対象３を識別する識別子や点検対象３の点検時刻が含まれている場合において、入力装置から入力された入力情報が識別子や点検時刻の場合、受付部１１０は、入力された情報に基づいて特定したレコードを取得してもよい。

受付部１１０は、受け付けた点検対象３の情報を、該点検対象３の情報を受け付けた時刻と共に、記録制御部１３０に供給する。

取得部１２０は、第１の実施の形態における取得部１２の一例である。取得部１２０は、撮像装置２００により撮像された画像データを取得する。取得部１２０は、画像データを撮像装置２００から取得してもよいし、記憶装置から取得してもよい。また、取得部１２０は、撮像装置２００が撮像した画像データ全体を取得してもよいし、一部を取得してもよい。取得部１２０が、撮像装置２００が撮像した画像データのうち一部を取得することによって、画像データ全体を取得する場合に比べ、データ量を削減することができる。取得部１２０は、取得した画像データを記録制御部１３０に供給する。

記録制御部１３０は、第１の実施の形態における記録制御部１３の一例である。記録制御部１３０は、画像データの撮像時間が点検対象３の情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた情報が示す点検対象３と取得された画像データから認識された点検対象３とが一致する場合に、点検対象３の点検結果に関する情報と点検対象３の情報とを対応付けて記録する。記録制御部１３０は、点検対象３の情報を該点検対象３の情報を受け付けた時刻と共に、受付部１１０から受け取る。また、記録制御部１３０は、取得部１２０から画像データを受け取る。記録制御部１３０は、画像データに含まれる時刻情報によって示される時刻が、点検対象３の情報を受け付けた時を基準とした所定時間範囲内であるか否かを判定する。

また、記録制御部１３０は、画像データに含まれる対象がどの点検対象３であるかを認識する。記録制御部１３０が行う認識の方法は特に限定されず、任意の方法を用いてもよい。また、記録制御部１３０は、認識結果を、上記認識を行う装置等から受け付ける構成であってもよい。記録制御部１３０は、認識された点検対象３が受け付けた情報が示す点検対象３と一致するか否かを判定する。記録制御部１３０は、画像データの撮像時間が点検対象３の情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた情報が示す点検対象３と取得された画像データから認識された点検対象３とが一致する場合に、例えば記録部１４０に、点検対象３の点検結果に関する情報と点検対象３の情報とを対応付けて記録する。本実施の形態では、記録制御部１３０は、記録部１４０に対応付けた情報を記録するとするが、記録制御部１３０は、紙、表示部１６０やその他の媒体に出力することにより、対応付けた情報を記録する構成であってもよい。

記録部１４０は、例えば、ハードディスクドライブで実現される。記録部１４０は、記録制御部１３０が対応付けた点検結果に関する情報と点検対象３の情報とを記録する。

ここで、図７を参照して、記録部１４０に記録された情報について説明する。図７は、記録部１４０に記録された記録情報７０の一例を示す図である。図７に示す通り、記録情報７０は、点検対象情報６０である、点検項目番号６１、点検項目６２、点検対象名６３および点検対象位置６４と、点検対象情報６０に対応付けられた、点検対象３の点検結果に関する情報である点検結果情報７５とを含む。

点検対象３の点検結果に関する情報である点検結果情報７５は、点検結果そのものであってもよいし、点検結果を得ることができるデータであってもよい。例えば、取得部１２０が取得した画像データが画像データｄｄ１であり、この画像データｄｄ１に含まれ、記録制御部１３０によって認識された点検対象３が温度計３１およびスイッチ３２であるとする。この場合、図７に示す通り、点検結果情報７５は、この画像データｄｄ１そのものであってもよい。なお、記録制御部１３０は、画像データｄｄ１に含まれる画像から温度計３１の部分の画像を表す画像データを、点検結果情報７５として、温度計３１の情報に対応付けて記録してもよい。

また、記録制御部１３０は、例えば、点検結果に関する情報の入力を受け付ける入力装置から入力された情報を、点検結果情報７５としてもよい。例えば、入力装置が文字の入力が可能な装置の場合、該入力装置が温度計３１の点検結果に関する情報として、温度を受け付けてもよい。そして、記録制御部１３０は、この受け付けた温度を点検結果情報７５として記録してもよい。また、例えば、入力装置がマイクロフォン等の集音装置の場合、入力装置は、温度計３１が示す温度を読み上げた作業者の音声を集音してもよい。そして、記録制御部１３０は、集音された音声の音声データを、点検結果情報７５として記録してもよい。

また、記録制御部１３０は、画像データから点検対象３の点検結果を所定の方法で認識し、認識した結果を点検結果情報７５として記録してもよい。記録制御部１３０は、点検結果情報７５として、画像データ、音声データおよび認識した結果の少なくとも何れかを記録すればよい。

なお、記録情報７０に含まれる点検対象３の情報は、点検対象３を識別可能な情報であればよく、例えば、点検項目番号６１のみであってもよい。

表示制御部１５０は、取得部１２０によって取得された画像データを表示部１６０に表示させる。また、表示制御部１５０は、点検結果情報７５を表示部１６０に表示させてもよい。また、表示制御部１５０は、表示部１６０に記録制御部１３０による判定結果に関する情報を表示させてもよい。また、表示制御部１５０は、表示部１６０とは異なる表示装置に、記録情報７０および記録制御部１３０による判定結果に関する情報を表示させてもよい。

表示部１６０は、例えば、図５に示す通り、ウェアラブルグラス５のレンズ部であり、例えば、外界光を透過し、表示制御部１５０の指示に従った情報を表示するディスプレイモジュールによって実現されるが、これに限定されるものではない。表示部１６０は、表示制御部１５０によって生成された情報を、作業者２の網膜に表示させる機能を有するモジュールであってもよい。このように、表示部１６０は、表示制御部１５０の制御に従って、表示制御部１５０が生成した情報を、投影する機能を有していてもよい。なお、表示制御部１５０が生成した情報を投影する機能は、表示制御部１５０が有していてもよい。例えば、表示部１６０を網膜とした場合、表示制御部１５０は、生成した情報を、網膜に直接投影する機能を有していてもよい。

図８は、本実施の形態に係る点検支援装置１００の処理の流れの一例を示すフローチャートである。図８に示す通り、受付部１１０が点検対象３の情報を受け付ける（ステップＳ８１）。また、取得部１２０が撮像装置２００により撮像された画像データを取得する（ステップＳ８２）。ステップＳ８１およびステップＳ８２は同時に行われてもよいし、逆順で行われてもよい。

次に、記録制御部１３０が画像データに含まれる時刻情報によって示される撮像時間が、該点検対象３の情報を受け付けた時を基準とした所定時間範囲内であるか否かを判定する（ステップＳ８３）。画像データに含まれる時刻情報によって示される撮像時間が、該点検対象３の情報を受け付けた時を基準とした所定時間範囲内ではない場合（ステップＳ８３にてＮＯ）、表示制御部１５０は判定結果に応じた情報を表示部１６０および／または表示部１６０とは異なる表示装置に表示させる（ステップＳ８４）。そして、点検支援装置１００は処理を終了する。なお、ステップＳ８４は行われなくてもよい。ステップＳ８４で表示される判定結果に応じた情報については、図面を変えて後述する。

画像データに含まれる時刻情報によって示される撮像時間が、該点検対象３の情報を受け付けた時を基準とした所定時間範囲内である場合（ステップＳ８３にてＹＥＳ）、記録制御部１３０は、画像データに含まれる対象がどの点検対象３であるかを認識する（ステップＳ８５）。そして、記録制御部１３０は、認識された点検対象３が、受け付けた情報が示す点検対象３と一致するか否かを判定する（ステップＳ８６）。なお、ステップＳ８５とステップＳ８６とはステップＳ８４の前に行われてもよい。

受け付けた情報が示す点検対象３と取得された画像データから認識された点検対象３とが一致しない場合（ステップＳ８６にてＮＯ）、表示制御部１５０は判定結果に応じた情報を表示部１６０および／または表示部１６０とは異なる表示装置に表示させる（ステップＳ８４）。そして、点検支援装置１００は処理を終了する。

受け付けた情報が示す点検対象３と取得された画像データから認識された点検対象３とが一致する場合（ステップＳ８６にてＹＥＳ）、記録制御部１３０は、記録部１４０に、点検対象３の点検結果に関する情報と点検対象３の情報とを対応付けて記録する（ステップＳ８７）。これにより、点検支援装置１００は処理を終了する。

ここで、ステップＳ８４で表示部１６０および／または表示部１６０とは異なる表示装置に表示される判定結果に応じた情報について、図９を参照して説明する。ここでは、ウェアラブルグラス５の表示部１６０に判定結果に応じた情報が表示されるとして説明する。例えば、作業者２が過去に撮像した画像を、点検時刻に撮像した画像として点検支援装置１００に供給した場合、記録制御部１３０はステップＳ８３において、画像データに含まれる時刻情報によって示される撮像時間が、該点検対象３の情報を受け付けた時を基準とした所定時間範囲内ではないと判定する。表示制御部１５０は、この判定結果に応じて、例えば、図９に示すように、作業者２に点検対象３を撮像するよう促す情報９１を含む表示画面９２を表示部１６０に表示させる。

同様に、受け付けた情報が示す点検対象３と取得された画像データから認識された点検対象３とが一致しない場合（ステップＳ８６にてＮＯの場合）も、表示制御部１５０は、例えば、図９に示すような表示画面９２を表示してもよい。なお、表示制御部１５０は、所定時間範囲内ではない場合と、点検対象が一致しない場合とで異なる表示画面を表示部１６０に表示させてもよい。

なお、ステップＳ８３においてＮＯの場合、および、ステップＳ８６においてＮＯの場合、上述した通り、記録制御部１３０は表示部１６０に記録を行わない。したがって、ステップＳ８４の判定結果に応じた情報またはステップＳ８６の判定結果に応じた情報の一例である、図９に示す情報９１は、記録の結果に応じた記録結果情報であると言い換えることができる。

なお、表示制御部１５０は、ウェアラブルグラス５の表示部１６０に表示する情報と、例えば点検支援装置１００を操作する管理者の表示装置とに異なる情報を表示してもよい。例えば、表示制御部１５０は、表示部１６０に、上述した図９のように撮像を促す表示画面９２を表示させ、管理者の表示装置には、作業者２が撮像を行っていない旨を知らせる画面を表示させてもよい。

また、表示制御部１５０は、点検対象３の撮像を促す指示を含む画面を、撮像時間が所定時間範囲内であり、受け付けた情報が示す点検対象と認識された点検対象とが一致するまで表示させてもよい。具体的には、表示制御部１５０は、作業者２が点検対象３を撮像するまでウェアラブルグラス５の表示部１６０に、点検対象３の撮像を促す表示画面９２を表示し続けてもよい。これにより、点検支援装置１００は、作業者２に点検対象３の点検作業を行わせることを支援することができる。

なお、ステップＳ８７終了後、表示制御部１５０は、点検結果に関する情報と点検対象３の情報とが対応付けられて記録されたことを示す記録完了情報（記録結果情報）を、表示部１６０および／または表示部１６０とは異なる表示装置に表示させてもよい。この表示制御部１５０が表示させる記録完了情報の一例を図１０および図１１を用いて説明する。

図１０は、表示部１６０が表示する、表示画面９３の一例を示す図である。表示画面９３には、取得部１２０が取得した画像データに含まれる画像として、温度計３１およびスイッチ３２を含む画像が表示される。図１１は、表示部１６０が表示する、記録完了情報９４を含む表示画面９５の一例を示す図である。図１１に示す通り、表示画面９５には、図１０に示した表示画面９３に記録完了情報９４が含まれる。このように、表示制御部１５０は、取得部１２０が取得した画像データに含まれる画像に記録完了情報９４を重畳して、表示部１６０に表示させてもよい。これにより、点検作業を行う作業者２は、点検対象３の点検結果に関する情報が記録されたことを把握することができる。なお、表示制御部１５０は、図１１に示すように、表示画面９５に含まれる点検対象３全体に対して記録完了情報９４を表示させてもよいし、温度計３１およびスイッチ３２の夫々に対して表示させてもよい。

以上のように、本実施の形態に係る点検支援装置１００は、点検対象に対する点検結果として有効なデータを効率的に記録することができる。これにより、例えば、作業者２の態度不良などによる画像データや点検結果に関する情報等の改ざんが行われた場合であっても、改ざんされたデータの記録が行われることを防ぐことができる。

また、例えば、記録されたデータを用いて点検作業の確認を行う管理者は、点検対象に対する点検結果として有効なデータを確認することができる。したがって、点検支援装置１００は、点検に関連する作業をより効率的に支援することができる。

なお、本実施の形態では、受付部１１０が記憶装置３００に格納された点検対象情報６０を受け付ける構成であるとして説明したが、受付部１１０は、例えば、点検結果の点検を行う管理者等によって入力装置を介して入力された点検対象３の情報を受け付ける構成であってもよい。このような構成により、例えば、突発的に発生した点検であっても、記録制御部１３０は、点検対象３の点検結果に関する情報と、点検対象３の情報とを対応付けて記録することができる。

また、本実施の形態では、図６に示す点検対象情報６０の各レコードは、点検対象３毎であることを例に説明を行ったが、点検対象情報６０はこれに限定されるものではない。図１２は、記憶装置３００が格納する点検対象の情報の他の例を示す図である。図１２に示す通り、点検対象情報１２１は、点検項目番号１２２、点検項目１２３、点検対象名１２４、所要時間１２５を含む。所要時間１２５は、点検に要する時間として設定された時間を示す。なお、点検対象情報１２１は、点検対象情報６０と同様に、その他の情報を含んでもよい。

図１２を参照すると、点検項目番号１２２が「３」のレコードは、複数の点検対象３の夫々に対する複数の点検項目を含む。点検項目番号１２２が「３」のレコードは、点検対象３の数が２つである。

点検対象情報１２１の１つのレコードがこのように複数の点検対象３を含む場合、記録制御部１３０は、受付部１１０が受け付けた情報に含まれる点検対象３の数と認識された点検対象３の数とが一致するか否かを判定してもよい。そして、一致する場合に、記録制御部１３０は、点検対象３の点検結果に関する情報と、点検対象３の情報とを対応付けて記録してもよい。

例えば、受付部１１０が取得した点検対象３の情報が、点検項目番号１２２が「３」のレコードの場合、記録制御部１３０は、受付部１１０が取得した点検対象３の情報に基づいて、点検対象３の数を特定する。この例の場合、記録制御部１３０は、点検対象３の数が２であると特定する。そして、記録制御部１３０は、ステップＳ８５の認識の結果、認識された点検対象３の数が、特定された数と一致するか否かを判定し、一致する場合、ステップＳ８６の処理を行い、一致しない場合、ステップＳ８４の処理を行う。

このとき、ステップＳ８４でウェアラブルグラス５の表示部１６０に表示される表示画面の一例を、図１３を参照して説明する。図１３は、表示部１６０に表示される表示画面１３１の一例を示す図である。受付部１１０が受け付けた情報に含まれる点検対象３の数と認識された点検対象３の数とが一致しない場合、表示制御部１５０は、作業者２に、複数の点検対象を撮像するよう促す情報１３２を含む表示画面１３１を表示部１６０に表示させる。なお、表示制御部１５０は、点検対象３の数が異なることを示す情報を表示してもよい。

これにより、点検支援装置１００は、点検対象３の数を満たしていない場合に、点検結果に関する情報が誤って記録されることを防ぐことができる。

また、図１２を参照すると、点検項目番号１２２が「５」のレコードは、所要時間１２５が「２分」である。このように、点検対象情報に所要時間が含まれる場合、記録制御部１３０は、点検に要した時間が所要時間内か否かを判定してもよい。そして、点検に要した時間が所要時間内の場合、記録制御部１３０は、点検対象３の点検結果に関する情報と、点検対象３の情報とを対応付けて記録してもよい。

例えば、受付部１１０が取得した点検対象３の情報が、点検項目番号１２２が「５」のレコードの場合、記録制御部１３０は、取得部１２０が取得した画像データから、点検に要した時間を特定する。点検に要した時間の特定方法は、画像データが動画像データの場合、撮像時間の長さを特定する方法であってもよいし、その他の方法であってもよい。ここでは、点検に要した時間は、撮像時間の長さであるとする。

また、点検に要した時間の特定の処理は、例えば、ステップＳ８５の前に行われてもよいし、ステップＳ８６の後に行われてもよい。ここでは、点検に要した時間の特定の処理がステップＳ８５の前に行われるとする。

この例の場合、記録制御部１３０は、点検に要した時間が、点検対象３の情報に含まれる所要時間で示される「２分」以内か否かを判定する。そして、点検に要した時間が２分以内の場合、ステップＳ８５の処理を行い、２分以内ではない場合、ステップＳ８４の処理を行う。

このとき、ステップＳ８４でウェアラブルグラス５の表示部１６０に表示される表示画面の一例を、図１４を参照して説明する。図１４は、表示部１６０に表示される表示画面１４１の一例を示す図である。点検に要した時間が、点検対象３の情報に含まれる所要時間以内ではない場合、表示制御部１５０は、作業者２に、点検対象３の情報に含まれる所要時間内に点検作業を行うことを促す情報１４２を含む表示画面１４１を表示部１６０に表示させる。なお、表示制御部１５０は、点検に要した時間が点検対象３の情報に含まれる所要時間以内ではないことを示す情報を表示してもよい。

これにより、例えば、作業者２が点検作業を緩慢な動作で行っている場合、点検に要した時間が設定された所要時間よりも長くなる場合がある。このような場合に、点検支援装置１００は、作業者２に点検作業を迅速に行う指示を行うことができる。

また、図１２を参照すると、点検項目番号１２２が「４」のレコードは、所要時間１２５が「５分」であり、点検対象３の数が３つである。このような場合、記録制御部１３０は、点検に要した時間が所要時間内か否かの判定と、受付部１１０が受け付けた情報に含まれる点検対象３の数と認識された点検対象３の数とが一致するか否かの判定の両方を行ってもよい。

また、点検項目番号１２２が「６」のレコードに示す通り、点検対象は、橋などの構造物であってもよい。

また、ステップＳ８５において、記録制御部１３０が画像データに含まれる対象が認識できなかった場合、表示制御部１５０は、ステップＳ８４の処理を行ってもよい。例えば、作業者２が作業を行わず別の場所を見ている場合や、作業者２が点検対象３から離れた場所から点検対象３を見ている場合、画像データから点検対象３が認識できない場合がある。このような場合、表示制御部１５０は、表示部１６０に、図９に示すような表示画面９２を表示させてもよい。

図１５は、記録部１４０に記録された記録情報１５１の一例を示す図である。記録情報１５１は、図１２に示す点検対象情報１２１の各レコードに対して点検結果情報１５６が関連付けられたものである。図１５に示す点検結果情報１５６は、上述した点検結果情報７５と同様に、点検結果そのものであってもよいし、点検結果を得ることができるデータであってもよい。

また、図１５に示す通り、点検結果情報１５６は、複数のデータを含んでもよい。例えば、また、点検項目番号１２２が「４」のレコードは、複数の点検対象３に対する点検項目を含んでいる。点検対象３が複数である場合、点検結果を得ることができるデータ（例えば、画像データ）も複数になる場合がある。この場合、記録情報１５１は、複数の画像データから点検結果に関する情報を特定し、点検結果情報１５６として記録してもよい。

また、例えば、撮像装置２００に内蔵される入力装置に対して、作業者２が開始を入力すると、撮像装置２００は撮像を開始し、作業者２が終了の指示を入力すると、撮像装置２００は撮像を終了してもよい。そして、撮像装置２００は、この開始から終了までに撮像した映像を表す画像データを生成してもよい。

また、撮像装置２００は、その他の指示に従って、画像データを生成してもよい。この場合の点検支援システムの構成について、図１６を参照して説明する。図１６は、点検支援システム７の構成の一例を示す図である。図１６に示す通り、点検支援システム７は、図４に示す点検支援システム４に入力装置４００と、判定部７０１とを含む。

入力装置４００は、作業者２やそのほかのユーザからの入力を受け付ける。入力装置４００は、撮像装置２００に含まれてもよいし、点検支援装置１００に含まれてもよいし、夫々に含まれてもよい。また、入力装置４００は、例えば、キーボード、ボタン、タッチパネル、マイクロフォン等で実現されるがこれに限定されるものではない。例えば、入力装置４００が撮像装置２００に含まれる場合、入力装置４００は、撮像の開始および終了の指示を受け付けるボタンであってもよい。また、入力装置４００は、受付部１１０が点検対象３の情報を受け付ける際に基づく入力情報が入力される装置であってもよい。また、入力装置４００は、作業者２が点検結果を入力する際に用いる装置であってもよい。

判定部７０１は、撮像装置２００が生成する画像データの開始および終了タイミングを判定する。判定部７０１は、例えば、撮像装置２００が、一時的に保存した映像が所定の条件を満たす場合、撮像装置２００に撮像の開始を指示する。同様に、該映像が他の所定の条件を満たす場合、判定部７０１は撮像装置２００に撮像の終了を指示する。これにより、撮像装置２００は、指示に基づいて撮像した映像の画像データを生成することができる。

判定部７０１は、例えば、撮像装置２００が一時的に保存した映像から、作業者２の視点が止まったことを検出した場合、撮像装置２００に撮像の開始を指示し、視点が動いたことを検出した場合、撮像装置２００に撮像の終了を指示してもよい。また、判定部７０１は、例えば、撮像装置２００が一時的に保存した映像から、作業者２によって所定の動作が行われたことを検出した場合、撮像装置２００に撮像の開始を指示し、その後に再度所定の動作が行われたことを検出した場合、撮像装置２００に撮像の終了を指示してもよい。作業者２の所定の動作とは、例えば、作業者２が指で所定の文字を書くなどの動作が挙げられるが、特に限定されるものではない。また、判定部７０１は、例えば、撮像装置２００が一時的に保存した映像から、任意の点検対象を認識した場合、撮像装置２００に撮像の開始を指示し、何も点検対象が認識されない場合、撮像装置２００に撮像の終了を指示してもよい。任意の点検対象とは、点検作業の対象となる点検対象３であってもよいし、記憶装置３００に含まれる点検対象３の何れかであってもよい。

なお、判定部７０１は、撮像装置２００に含まれてもよいし、点検支援装置１００に含まれてもよい。点検支援システム７が判定部７０１を備えることにより、撮像し続ける場合に比べ、撮像された画像データのデータ量を削減することができる。

また、点検に要した時間の特定は、判定部７０１が行ってもよい。例えば、判定部７０１は、取得部１２０が取得した画像データに複数の所定の動作が含まれることを検出した場合、この複数の所定の動作の一方が検出されたときの撮像時間から他方の所定の動作が検出されたときの撮像時間までの時間を、点検に要した時間として特定してもよい。また、例えば、入力装置４００がマイクロフォンの場合、判定部７０１は集音された音声データから、複数の所定の音声を検出した場合、この複数の所定の音声の一方が検出されたときの時刻から他方の所定の音声が検出されたときの時刻までの時間を、点検に要した時間として特定してもよい。また、点検に要した時間は、入力装置４００を介して入力された情報と画像データとの両方に基づいて、特定されてもよい。このようにして、点検に要した時間を特定することにより、点検支援装置１００が算出する点検に要した時間の精度を高めることができる。

（ハードウェア構成について）
本開示の各実施形態において、点検支援装置（１０、１００）の各構成要素は、機能単位のブロックを示している。点検支援装置（１０、１００）の各構成要素の一部又は全部は、例えば図１７に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１７は、点検支援装置（１０、１００）の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における点検支援装置（１０、１００）の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。点検支援装置（１０、１００）の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

点検支援装置（１０、１００）の実現方法には、様々な変形例がある。例えば、点検支援装置（１０、１００）は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、点検支援装置（１０、１００）が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。

また、点検支援装置（１０、１００）の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

点検支援装置（１０、１００）の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

点検支援装置（１０、１００）の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
点検対象の情報を受け付ける受付手段と、
撮像装置により撮像された画像データを取得する取得手段と、
前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する記録制御手段と、
を備える点検支援装置。

（付記２）
前記記録制御手段による記録の結果に応じた記録結果情報を表示部に表示させる表示制御手段、
を更に備える付記１に記載の点検支援装置。

（付記３）
前記表示制御手段は、前記撮像時間が前記所定時間範囲内ではない、または、受け付けた前記情報が示す点検対象と前記認識された点検対象とが一致しない場合に、前記点検対象の撮像を促す指示を含む画面を前記表示部に表示させる、
付記２に記載の点検支援装置。

（付記４）
前記表示制御手段は、前記点検対象の撮像を促す指示を含む画面を、前記撮像時間が前記所定時間範囲内であり、受け付けた前記情報が示す点検対象と前記認識された点検対象とが一致するまで表示させる、
付記３に記載の点検支援装置。

（付記５）
受け付けた前記情報は、複数の前記点検対象に関する情報であり、
前記記録制御手段は、前記受け付けた情報から特定される前記点検対象の数と、認識された点検対象の数とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する、
付記１から４の何れか１つに記載の点検支援装置。

（付記６）
前記記録制御手段は、点検に要した時間が所定の所要時間内である場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する、
付記１から５の何れか１つに記載の点検支援装置。

（付記７）
前記点検に要した時間は、前記取得した画像データに基づいて特定される、
付記６に記載の点検支援装置。

（付記８）
点検対象の情報を受け付け、
撮像装置により撮像された画像データを取得し、
前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する、
点検支援方法。

（付記９）
前記記録の結果に応じた記録結果情報を表示部に表示させる、
付記８に記載の点検支援方法。

（付記１０）
点検対象の情報を受け付ける処理と、
撮像装置により撮像された画像データを取得する処理と、
前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する処理と、
をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。

（付記１１）
前記記録の結果に応じた記録結果情報を表示部に表示させる処理、
を更にコンピュータに実行させる付記１０に記載の記録媒体。

１ ウェアラブルグラス
２ 作業者
３ 点検対象
４ 点検支援システム
５ ウェアラブルグラス
１０ 点検支援装置
１１ 受付部
１２ 取得部
１３ 記録制御部
１００ 点検支援装置
１１０ 受付部
１２０ 取得部
１３０ 記録制御部
１４０ 記録部
１５０ 表示制御部
１６０ 表示部
２００ 撮像装置
３００ 記憶装置
４００ 入力装置
７０１ 判定部

Claims (11)

1. 点検対象の情報を受け付ける受付手段と、
   撮像装置により撮像された画像データを取得する取得手段と、
   前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する記録制御手段と、
   を備える点検支援装置。
2. 前記記録制御手段による記録の結果に応じた記録結果情報を表示部に表示させる表示制御手段、
   を更に備える請求項１に記載の点検支援装置。
3. 前記表示制御手段は、前記撮像時間が前記所定時間範囲内ではない、または、受け付けた前記情報が示す点検対象と前記認識された点検対象とが一致しない場合に、前記点検対象の撮像を促す指示を含む画面を前記表示部に表示させる、
   請求項２に記載の点検支援装置。
4. 前記表示制御手段は、前記点検対象の撮像を促す指示を含む画面を、前記撮像時間が前記所定時間範囲内であり、受け付けた前記情報が示す点検対象と前記認識された点検対象とが一致するまで表示させる、
   請求項３に記載の点検支援装置。
5. 受け付けた前記情報は、複数の前記点検対象に関する情報であり、
   前記記録制御手段は、前記受け付けた情報から特定される前記点検対象の数と、認識された点検対象の数とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する、
   請求項１から４の何れか１項に記載の点検支援装置。
6. 前記記録制御手段は、点検に要した時間が所定の所要時間内である場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する、
   請求項１から５の何れか１項に記載の点検支援装置。
7. 前記点検に要した時間は、前記取得した画像データに基づいて特定される、
   請求項６に記載の点検支援装置。
8. コンピュータが、
   点検対象の情報を受け付け、
   撮像装置により撮像された画像データを取得し、
   前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する、
   点検支援方法。
9. コンピュータが、
   前記記録の結果に応じた記録結果情報を表示部に表示させる、
   請求項８に記載の点検支援方法。
10. 点検対象の情報を受け付ける処理と、
    撮像装置により撮像された画像データを取得する処理と、
    前記画像データの撮像時間が前記情報を受け付けた時を基準とした所定時間範囲内であり、受け付けた前記情報が示す点検対象と取得された前記画像データから認識された点検対象とが一致する場合に、前記点検対象の点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する処理とをコンピュータに実行させるプログラム。
11. 前記記録の結果に応じた記録結果情報を表示部に表示させる処理を更にコンピュータに実行させる請求項１０に記載のプログラム。

Images