JP7005970B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

近年、対象者の体を動かす行為の上達を支援するための情報処理装置及びプログラムが提案されている（例えば、特許文献１参照。）。

特許文献１に記載された情報処理装置は、体を動かす行為の上達を支援するための頭部装着型表示装置であって、外景を透過させるとともに、画像を形成する画像表示部と、使用者の身体および身体に付属する用具のうちの少なくとも一部分の動きを検出する身体動作検出部と、行為の参照となる参照画像を行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、身体動作検出部による検出結果に応じた１または複数の参照画像を取得する参照画像取得部と、取得された参照画像を画像表示部に形成させる表示制御部とを備える。

特開２０１６－１３１７８２号公報

本発明の課題は、対象者の操作に基づいて、見本の動画データ中の適切な再生位置から見本の動画を出力することが可能な情報処理装置及びプログラムを提供することにある。

［１］第１の者の操作に関する第１の時系列データが関連付けられた、前記第１の者の操作を撮影した動画データと、第２の者の操作に関する第２の時系列データから、前記動画データの再生を開始する位置を出力する出力手段を備え、
前記出力手段は、前記第１の時系列データと前記第２の時系列データとの類似度が予め定められた条件を満たす場合であって、前記第１の時系列データの区間に対応付けられた前記動画データの区間が複数存在する場合に、前記動画データの区間の前後関係、又は前記動画データの区間の再生履歴の何れかの情報を基に、複数の前記動画データの区間から前記動画データの区間を選択し、当該動画データの区間を、前記再生を開始する位置を含むものとして出力する、
情報処理装置。
［２］前記出力手段によって出力された前記動画データの区間が複数ある場合に、複数の前記動画データの区間を表示画面に表示するよう制御する表示制御手段を、さらに備えた前記［１］に記載の情報処理装置。
［３］前記表示制御手段は、前記動画データ全体における前記再生を開始する位置を前記表示画面に表示するよう制御する、前記［２］に記載の情報処理装置。
［４］前記表示制御手段は、前記複数の動画データの区間の各時刻に対応して得られる前記類似度のピークを前記表示画面に表示するよう制御する、前記［２］又は［３］に記載の情報処理装置。
［５］前記表示制御手段は、前記ピークと前記動画データの区間の縮小画像とを対応付けて前記表示画面に表示するよう制御する、前記［４］に記載の情報処理装置。
［６］前記表示制御手段は、前記類似度を求めるのに使用する特徴の種類を選択可能な選択肢を前記表示画面に表示するよう制御する、前記［５］に記載の情報処理装置。
［７］コンピュータを、第１の者の操作に関する第１の時系列データが関連付けられた、前記第１の者の操作を撮影した動画データと、第２の者の操作に関する第２の時系列データから、前記動画データの再生を開始する位置を出力する出力手段として、機能させるためのプログラムであって、
前記出力手段は、前記第１の時系列データと前記第２の時系列データとの類似度が予め定められた条件を満たす場合であって、前記第１の時系列データの区間に対応付けられた前記動画データの区間が複数存在する場合に、前記動画データの区間の前後関係、又は前記動画データの区間の再生履歴の何れかの情報を基に、複数の前記動画データの区間から前記動画データの区間を選択し、当該動画データの区間を、前記再生を開始する位置を含むものとして出力する、プログラム。

請求項１、７に係る発明によれば、第１の者の操作と第２の者の操作に基づいて見本の動画データ中の適切な再生位置から見本の動画を出力することができ、対象者の操作に類似する動画データの区間が複数ある場合には、動画データの区間の前後関係、又は動画データの区間の再生履歴を基に動画データの区分を選択することができる。
請求項２に係る発明によれば、動画データの区間の選択を対象者に委ねることができる。
請求項３に係る発明によれば、動画データ全体における時間的な位置を確認することができる。
請求項４に係る発明によれば、対象者が類似度のピークを定量的な情報として認識することができる。
請求項５に係る発明によれば、対象者が類似度に対応した動画データの区分を視覚的に選択することができる。
請求項６に係る発明によれば、特徴の種類によっては対象者の操作により類似した時系列データの区間を検索することができる。

図１は、本実施の形態に係る情報処理装置の構成例を示すブロック図である。 図２（ａ）は、センサを対象者の腕部に取り付けた場合の一例であり、図２（ｂ）は、センサを対象者の胸部に取り付けた場合の一例である。 図３は、再生位置決定手段の処理内容の一例を説明するための模式図である。 図４は、再生位置決定手段の処理内容の一例を説明するための模式図である。 図５は、再生位置選択画面の一例を示す図である。 図６は、特徴選択画面の一例を示す図である。 図７は、再生候補画面の一例を示す図である。 図８は、本実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

［実施の形態の要約］
本実施の形態に係る情報処理装置は、第１の者の操作に関する第１の時系列データが関連付けられた、第１の者の操作を撮影した動画データと、第２の者の操作に関する第２の時系列データから、動画データの再生を開始する位置を出力する出力手段をを備える。本実施の形態に係る情報処理装置によれば、第１の者の操作と第２の者の操作に基づいて動画データの再生を開始する位置を決定することができる。つまり、、対象者の操作に基づいて、見本の動画データ中の適切な再生位置から見本の動画を出力することが可能である。

「第１の者」は、例えば、見本となる操作を行う者（以下、「指導者」ともいう。）である。「第２の者」は、例えば、第１の者とは異なる者であって、見本となる動画を参照して操作を行う者（以下、「使用者」ともいう。）である。なお、第１の者と第２の者とが同じ者でもよい。例えば、同一の者について、過去に計測した第１の時系列データと現在計測した第２の時系列データとの類似度を求めて、動画データの再生を開始する位置を出力する場合が考えられる。

「センサ」は、例えば、第１又は第２の者に取り付けられてもよく、第１又は第２の者が操作する物体に取り付けられてもよい。また、複数のセンサを第１又は第２の者や物体に取り付けてもよい。センサは、第１又は第２の者に取り付けられた箇所や第１又は第２の者によって操作される物体に取り付けられた箇所における、位置、速度、加速度、角度、角速度、角加速度、振動数、振動周波数等の物理量を時刻とともに計測する。また、センサは計測する物理量の種類に応じたセンサを１つ又は複数用いてもよい。

「動画データの再生を開始する位置」は、再生開始時刻等の時間的な位置でもよく、動画の再生開始位置を示す先頭フレームの画像でもよく、再生開始時刻及び先頭フレームの画像を含む動画データでもよい。

［実施の形態］
図１は、本実施の形態に係る情報処理装置の構成例を示すブロック図である。

この情報処理装置１は、本装置１の各部を制御する制御部２と、各種の情報を記憶する記憶部３と、液晶ディスプレイ等により実現される表示部５と、キーボード、マウス、フリック指マウス（電波により画面上のポインタを制御するデバイス）等により実現される入力部６と、センサ１０及び動画撮影装置１１が接続される入力Ｉ／Ｆ７と、を備える。

なお、表示部５及び入力部６は、タッチパネルディスプレイにより構成してもよい。情報処理装置１は、例えば、パーソナルコンピュータ、多機能携帯電話機（スマートフォン）等の携帯型の情報処理装置を用いることができる。

制御部２は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部３に記憶されたプログラム３０に従って動作することにより動画データ受付手段２０、時系列データ受付手段２１、時系列データ記録手段２２、再生位置決定手段２３、表示制御手段２４、動画再生手段２５等として機能する。各手段２０～２５の詳細については後述する。再生位置決定手段２３は、出力手段の一例である。

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成されている。記憶部３は、プログラム３０と、動画データ３１、記録時系列データ３２、計測時系列データ３３、対応付データ３４等が記憶される。動画データ３１は、予め指導者の操作を撮影して得られたデータである。記録時系列データ３２は、動画データ３１に関連付けて指導者の操作をセンサ１０により予め時系列的に計測されたデータである。対応付けデータ３３は、動画データ３１（動画データ３１が編集された場合には、編集後の動画データ３５）における時間的位置と記録時系列データ３２の時間的位置とを対応付けたデータである。記録時系列データ３２は、第１の時系列データの一例である。

（動画データ受付手段の構成）
動画データ受付手段２０は、動画撮影装置１１により見本となる操作を行う指導者の動作を撮影し、入力Ｉ／Ｆ７を介して送信された動画データ３１を受け付ける。動画データ３１は、見本の動画データの一例である。

動画撮影装置１１としては、例えば、ビデオカメラやスマートフォンに搭載されたＣＣＤカメラ等を用いることができ、単一のカメラ又は複数のカメラで構成してもよい。

（時系列データ受付手段の構成）
図２は、センサ１０の対象者１００への取り付けの一例を示す図であり、図２（ａ）は、対象者１００の腕部にセンサ１０を取り付けた場合の一例であり、図２（ｂ）は、対象者１００の胸部にセンサ１０を取り付けた場合の一例である。なお、図２においては、機械の操作方法を教示するための動画を撮影する場合について述べる。対象者１００は、第１の者及び第２の者の一例である。

時系列データ受付手段２１は、指導者の操作を撮影して得られた動画データ３１に関連付けて指導者の操作をセンサ１０により予め時系列的に計測された記録時系列データ３２と、使用者の操作を撮影せずにセンサ１０により時系列的に計測される計測時系列データ３３と、を受け付ける。計測時系列データ３３は、第２の時系列データの一例である。

なお、センサ１０は、必ずしも対象者１００（指導者又は使用者）に保持されていなくてもよく、例えば、対象者１００が操作する物体に取り付けられていてもよい。

センサ１０としては、対象者１００の動作の妨げにならないものが好ましく、例えば、スマートフォンや、ウェアラブル端末、小型コンピュータ等が好適である。

また、単一のセンサ１０を対象者１００又は対象者１００が操作する物体に取り付けてもよく、複数のセンサ１０を対象者１００又は対象者１００が操作する物体に取り付けてもよい。

センサ１０を取り付ける部位としては、対象者１００の操作の内容によって適宜決定すればよい。例えば、対象者１００の動作が腕の向きや動きに特徴が多く含む場合には、図２（ａ）に示すように、対象者１００の腕にセンサ１０を保持することが好ましい。また、図２（ｂ）に示すように、対象者１００の胸ポケットにセンサ１０を保持するようにすれば、センサ１０を保持するのにかかる対象者１００の負荷を低減しつつ、上半身の向きや動きを効果的に表す記録時系列データ３２又は計測時系列データ３３を取得することができる。

記録時系列データ３２及び計測時系列データ３３としては、例えば、加速度センサ、ジャイロスコープセンサ、マイク、カメラ、ＧＰＳ、照度センサ、近接センサ、地磁気センサ、温度センサ、気圧センサ等によって時系列的に得られる物理量の計測値又は当該計測値を加工（演算）した値が用いられる。

時系列データ受付手段２１は、上述したセンサのうち単一のセンサのデータを受け付けてもよく、各々に組み合わされた複数のセンサのデータを受け付けてもよい。また、時系列データ受付手段２１は、これらの計測値を時刻とともに受け付ける。

時系列データ受付手段２１のデータ受付の開始タイミングは、対象者１００から開始の指示を受けたときに開始するようにしても良いし、動画撮影装置１１の撮影開始と連動して自動的に開始しても良い。

時系列データ受付手段２１のデータ受付方法としては、対象者１００が指導者の場合と、使用者の場合とで同様の態様であることが望ましい。例えば、動画の撮影時に指導者の左胸ポケットにセンサ１０としてのスマートフォンを収納して記録時系列データ３２を取得した場合には、使用者の左胸ポケットにスマートフォンを収納して計測時系列データ３３を受け付けることが望ましい。

（時系列データ記録手段の構成）
時系列データ記録手段２２は、動画データ３１及び記録時系列データ３２を記憶部３に記録すると共に、動画データ３１の時刻と、記録時系列データ３２の時刻とを参照して、動画データ３１における時間的位置と記録時系列データ３２の時間的位置とを対応付けた対応付けデータ３３を生成して、この対応付データ３４を記憶部３に記録する。

（再生位置決定手段の構成）
再生位置決定手段２３は、記録時系列データ３２と計測時系列データ３３との類似度から、動画データ３１の再生を開始する位置を決定し、出力する。

より具体的には、再生位置決定手段２３は、時系列データ受付手段２１から受け取った計測時系列データ３３と、記憶部３に記録されている記録時系列データ３２とを比較して、記録時系列データ３２と計測時系列データ３３との類似度を算出する。そして、再生位置決定手段２３は、算出した類似度が予め定められた条件としての閾値を満たすか否か、例えば当該閾値を超えているか否かを判定し、当該閾値を超えた類似度に対応する記録時系列データ３２に含まれる時間的な区間を抽出して、記録時系列データ３２の区間に対応付けられた動画データを出力する。なお、再生位置決定手段２３は、当該記録時系列データ３２の区間を出力してもよい。記録時系列データ３２の区間は、動画データの再生を開始する位置に対応する位置の一例である。

再生位置決定手段２３の処理内容について図３及び図４を参照してより詳細に説明する。ここで、動画撮影装置１１で撮影された動画は、例えば、教材としての用途に最適になるように編集されることがある。ここで、「編集」とは、動画を構成する区間の位置を移動したり、区間を挿入したり、削除したりすることである。

まず、動画の編集が無かった場合の再生位置決定手段２３の処理内容について図３を参照して説明する。図３は、動画の編集が無い場合の再生位置決定手段２３の処理内容を模式化した図であり、図３（ａ）は見本の動画撮影後における動画データ３１及び記録時系列データ３２の一例を示す模式図であり、図３（ｂ）は使用者の操作を計測に伴って取得した計測時系列データ３３を示す模式図である。

（再生開始する位置の決定例１）
図３（ａ）に示すように、動画の編集が無い場合には、動画データ３１は撮影開始時刻から撮影終了時刻まで時間的に連続した時系列的なデータである。同様に、記録時系列データ３２は、記録開始時刻から記録終了時刻まで時間的に連続した時系列的なデータである。

図３（ｂ）に示すように、再生位置決定手段２３が計測時系列データ３３を受け取ると、記録時系列データ３２の各時刻全域に対して、計測時系列データ３３と類似度が閾値を超える記録時系列データ３２を検索する。

そして、再生位置決定手段２３が類似度を超えた記録時系列データ３２（以下、類似時系列データ３２０ともいう。）の区間が存在した場合には、この類似時系列データ３２０の記録時刻を参照して、類似時系列データ３２０に対応付けられた動画データ３１の区間を抽出し、当該区間に対応する動画データ３１（以下、選定動画データ３１０ともいう。）の区間を出力し、選定動画データ３１０の時間的に最初の位置を再生開始する位置として出力する。この際、再生位置決定手段２３は、選定動画データ３１０の時間的に最後の位置を再生開始する位置として出力してもよい。ここで、「動画データ３１の区間」とは、動画データのある開始点からある終了点までの区間のことである。

（再生開始する位置の決定例２）
次に、動画データ３１に編集があった場合の再生位置決定手段２３の処理内容について図４を参照して説明する。図４は、動画データの編集があった場合の再生位置決定手段２３の処理内容を模式化した図であり、図４（ａ）は見本の動画撮影後における動画データ３１及び記録時系列データ３２の一例を示す模式図であり、図４（ｂ）は使用者の操作の計測に伴って取得した計測時系列データ３３の一例を示す模式図である。

動画撮影後に動画データ３１が編集されると、図４（ａ）に示すように、編集済の動画データ３５が生成される。編集済の動画データ３５は、編集前の動画データ３１から抜き出された第１乃至第３の動画データ３５１～３５３を有している。また、編集済の動画データ３５の全体における開始と終了には、それぞれタイトル画面等のテキストデータ３５ａ，３５ｂが挿入されている。

ここで、第１の動画データ３５１の開始時刻と終了時刻との間の時間的な区間を区間１とし、第２及び第３の動画データ３５２，３５３についても、第１の動画データ３５１と同様にそれぞれの時間的な区間を区間２、３とする。

編集済の動画データ３５の第１乃至第３の動画データ３５１～３５３と、記録時の動画データ３１とは、第１乃至第３の動画データ３５１～３５３の区間１～３ごとに対応付けされている。

そして、再生位置決定手段２３が、計測時系列データ３３を受け取ると、図４（ｂ）に示すように、記録時系列データ３２の全範囲に対して計測時系列データ３３との類似度が閾値を超える記録時系列データ３２における位置（類似時系列データ３２１）を検索する。そして、再生位置決定手段２３が類似時系列データ３２１を発見すると、この記録時系列データ３２１に対応付けられた記録時の動画データ３１の区間３を抽出して、区間３に対応付けられた編集済の動画データ３５の区間（以下、「選定動画データ３５０」ともいう。）の時間的に最初の位置を再生開始する位置として出力する。この際、再生位置決定手段２３は、選定動画データ３５０の区間３の時間的に最後の位置を再生開始する位置として出力してもよい

変形例として、再生位置決定手段２３は、類似度が閾値を超えた記録時系列データを選定し、当該類似度に該当する記録時系列データ３２に含まれる時間的な区間を抽出し、当該区間に対応付けられた動画データ３１が存在しない場合には、前記区間の前後の区間に対応する動画データ３１を出力してもよい。

さらに変形例として、再生位置決定手段２３は、類似度が閾値を超えた記録時系列データ３２を選定し、当該類似度に該当する記録時系列データ３２に含まれる時間的な区間が複数ある場合、当該区間に対応付けられた動画データ３１の区間の前後関係又は動画データ３１の区間の再生履歴の何れかの情報を基に、動画データ３１の区間を出力してもよい。

より具体的には、再生位置決定手段２３が「動画データ３１の区間の前後関係を基に動画データを出力する」場合の一例としては、候補となる複数の動画データ３１の区間の前後の区間に対応する記録時系列データ３２の類似度を基に、動画データ３１の区間を出力する。この場合、例えば候補となる複数の動画データ３１の区間のうち、前後の区間に対応する記録時系列データ３２の類似度が大きい方の動画データ３１の区間を出力するようにしてもよい。

また、再生位置決定手段２３が「動画データ３１の区間の再生履歴を基に動画データを出力する」場合の一例としては、出力対象となる複数の動画データ３１の区間のうち過去に再生された回数が最も多い動画データ３１の区間を出力するようにしてもよい。

これにより、閾値を超える類似度に対応した複数の動画データ３１の区間が存在した場合に、より使用者が所望する動画データ３１を提示することができる。

また、再生位置決定手段２３は、閾値を超える類似度に対応する動画データ３１の区間を抽出していたが、これに限られない。例えば、再生位置決定手段２３は、動画データ３１の各時刻における類似度のうち最大の類似度に該当する動画データ３１の区間を抽出するようにしてもよい。

（類似度の計算方法）
再生位置決定手段２３は、計測時系列データ３３として保持する時間を例えば１０秒間に固定し、記録時系列データ３２に含まれる連続する１０秒間の数値データの全てを対象に計算する。

より具体的には、記録時系列データ３２及び計測時系列データ３３が、例えば加速度センサから得られる数値データであり、加速度センサが３次元の各方向の加速度値を計測可能である場合には、ある時刻には３つの数値が得られる。

さらに、記録時系列データ３２及び計測時系列データ３３が１秒間隔で記録される場合、１０秒間には１０回の記録を行い、各回に３つの加速度値が記録されるので、１０秒間に相当する数値は３０個となる。

このような多数個の組み合わされた数値間の類似度を計算する方法としては、例えば多次元ベクトル間の内積を両ベクトルの長さで除算する方法がある。この値は２つのベクトルのなす角度のｃｏｓ（コサイン）となり、ベクトルの方向が完全に一致する場合に「１」となり、ベクトルが直交する場合に「０」となり、ベクトルが正反対の向きである場合に「－1」となる。

つまり、再生位置決定手段２３は、上述の計算結果が「１」となる場合に類似度が大きく、「－１」となる場合に類似度が低いと判定することが可能である。このような類似度を、その時点で得られた計測時系列データ３３と、記録時系列データ３２内の任意の１０秒間の区間におけるデータに対して計算する。

このように、再生位置決定手段２３が、計測時系列データ３３と類似している動画データ３１の区間を抽出することにより、例えばある時点までの使用者の動作に対して、動画を撮影した際に被写体となった指導者が類似した動作を行った区間を抽出することができる。従って、使用者の操作に類似する動画データ３１の区間を先頭から再生すれば、使用者は自分がそれまでに行った動作に類似した見本動作を参照することができ、あるいは使用者の操作に類似する動画データ３１の区間の直後から再生すれば、使用者は自分が次に行うべき動作に類似した見本動作を参照することができる。

（表示制御手段の構成）
次に、表示制御手段２４について図５乃至図７を参照して説明する。

図５は、再生位置選択画面の一例を示す図である。図６は、特徴選択画面の一例を示す図である。図７は、再生候補画面の一例を示す図である。

表示制御手段２４は、再生位置決定手段２３によって出力された動画データ３１が複数ある場合に、動画データ３１の区間に対応する候補を表示使用者が再生する区間を選択可能な表示を行う。

図５に示すように、表示部５に表示された再生位置選択画面５ａは、特徴の種類を選択可能な特徴選択ボタン５０と、再生位置決定手段２３により出力された複数の動画データ３１の区間に対応する第１乃至第４の縮小画像５１～５４と、第１乃至第４の縮小画像５１～５４のそれぞれの類似度を表示する類似度表示部５５と、閾値Ａと、時間軸Ｔと、を有して構成されている。ここで、縮小画像とは、元の画像を構成する画素数を減少させて生成した画像をいう。

時間軸Ｔは、図５の上方向から下方向が時が進む方向である。従って、再生位置選択画面５ａにおいては、第１乃至第４の縮小画像５１～５４が上から下に向かって時系列に表示されている。

表示制御手段２４は、再生位置決定手段２３によって出力された候補の動画データ３１の各々に対して、該当する動画データ３１の区間に対応する表示として第１乃至第４の縮小画像５１～５４を表示する。

類似度表示部５５は、動画データ３１の区間内の各時刻において対応する類似度がグラフ状に表示されている。

また、表示制御手段２４は、閾値Ａを超える類似度で、かつ、動画データ３１の第１乃至第４縮小画像５１～５４の各時刻に対して得られる類似度のピーク（図５に示す類似度グラフのピーク）と、第１乃至第４の縮小画像５１～５４とを、ラインＢ（破線）によって対応付けて表示している。これにより、表示制御手段２４は、使用者に対して、再生位置選択画面５ａに表示された複数の縮小画像のうち、閾値Ａを超える類似度に対応する縮小画像を視覚的に提示することができる。

なお、第１乃至第４の縮小画像５１～５４の表示態様としては、それぞれ静止画像であってもよく、動画像であってもよい。

本実施の形態では、再生位置選択画面５ａに対し、入力部６のフリック指マウスを操作して、第１乃至第４の縮小画像５１～５４上のそれぞれを左方向にフリックすると、フリックされた縮小画像に対応する動画データ３１の区間の先頭から動画の再生が開始される。一方、再生位置選択画面５ａに対し、入力部６のフリック指マウスを操作して第１乃至第４の縮小画像５１～５４上のそれぞれを右方向にフリックすると、フリックされた縮小画像に対応する動画データ３１の区間の直後から動画の再生が開始されるようになっている。

図６に示すように、特徴選択ボタン５０を押下すると、表示制御手段２４は、特徴の種類を選択可能な選択肢としての特徴選択メニュー５００を特徴選択画面５ｂに表示する。特徴選択メニューとしては、例えば「動き」、「音声」、「場所」、及びこれらの特徴の全てを含む「全体」が表示される。

ここで、特徴の種類とは、時系列データ受付手段２１がデータを受け付ける際において、複数種類のセンサ１０が設けられている場合に、どのセンサ１０の値を計算対象にするかを表すものである。

例えば使用者によって「動き」が選択された場合、再生位置決定手段２３は、加速度センサ、ジャイロスコープセンサから得られたデータのみを対象に類似度を計算する。これにより、使用者が所望の視点で自らの操作に類似する動画を参照することが可能である。

変形例として、表示制御手段２４によって表示されたそれぞれの動画データ３１に対応する第１乃至第４の縮小画像５１～５４に対して、動画データ３１全体における再生位置を表示してもよい。これにより、第１乃至第４の縮小画像の動画全体における位置を使用者に提示することができるので、使用者が見本の動画に対する自分の操作の時間的な位置を確認することができる。

また変形例として、表示制御手段２４は、表示部５に表示された第１乃至第４の縮小画像５１～５４に対応する動画データ３１の区間の各時刻に対応して得られる類似度のピークを表示してもよい。これにより、使用者が類似度のピークを定量的な情報として認識することができる。

図７に示すように、表示制御手段２４は、動画内容の種類別に分類分けされた第１乃至第４の候補縮小画像６１～６４を再生候補画面５ｃに表示する。また、表示制御手段２４は、各候補縮小画像内における再生候補の縮小画像を重ねて表示する。例えば、動画撮影装置１１によって撮影された動画の内容が複数種類ある場合、つまり、動画データ３１内に、料理方法に関する動画と、機械の使用方法に関する動画、草刈り方法に関する動画とが存在する場合、表示制御手段２４は、それぞれの種類別に候補の縮小画像を表示する。これにより、使用者は煩雑な操作を行うことなく、適切な動画を選択することが可能である。

（動画再生手段の構成）
動画再生手段２５は、再生位置決定手段２３によって出力された動画データ３１を再生する。

（再生位置決定手段の処理フロー）
次に、再生位置決定手段２３の処理の一例について図８に示すフローチャートを用いて説明する。図８は、本実施の形態に係る情報処理装置１の動作の一例を示すフローチャートである。

先ず、ステップＳ２１において、時系列データ受付手段２１が新しい計測時系列データ３３を受け付け、既に取得している計測時系列データ３３と合わせて、予め定められた時系列上の範囲（例えば１０秒間等）に相当する計測時系列データ３３として更新する。そして、ステップＳ２２の処理に進み、制御部２の再生位置決定手段２３は、記憶部３に記録されている対応付データ３４の任意の時系列上の範囲と、計測時系列データ３３とを比較して類似度を計算する（Ｓ２２）。

次に、制御部２の再生位置決定手段２３は、予め定められた閾値を超える類似度に対応する記録時系列データ３２の区間があるか否かを判定する（Ｓ２３）。閾値を超える記録時系列データ３２が存在する場合は（Ｓ２３：Ｙｅｓ）、再生位置決定手段２３が前記類似度に対応する動画データ３１の区間を出力し、表示制御手段２４が動画データ３１の区間に対応する縮小画像を表示部５に表示する（Ｓ２４）。一方、閾値を超える記録時系列データ３２が存在しない場合には（Ｓ２３：Ｎｏ）、ステップＳ２１の処理に戻る。

そして、表示制御手段２４が、使用者が表示部５に対して縮小画像を選択する操作を行ったか否かを判定し（Ｓ２５）、使用者によって表示部５に表示された縮小画像を選択する操作が行われた場合には（Ｓ２５：Ｙｅｓ）、動画再生手段２５が選択された縮小画像に対する動画データ３１を再生し、処理を終了する。一方、使用者によって表示部５に表示された縮小画像を選択する操作が行われない場合には（Ｓ２５：Ｎｏ）、ステップ２５の処理を繰り返す。

以上述べた図８に示す制御部２の処理フローは、使用者によって表示部５の画面に対して終了指示の操作を受けるまで、動作を繰り返す。

なお上記では再生位置決定手段２３が、固定的な時間に相当する計測時系列データ３３を類似度の計算に用いていたが、これに限定されない。例えば時系列データ受付手段２１により取得された計測時系列データ３３全てを類似度の計算に用いても良い。

さらには、適切な再生候補が得られた判断するための条件が予め決められ、その条件を満たすまで類似度の計算対象の時間を順次長くして類似度の計算を繰り返すように構成することが好ましい。適切な再生候補が得られた判断するための条件の例としては、抽出される再生候補の数が定数より少ない、抽出された類似度の値が定数より大きい、あるいはその組み合わせを用いることができる。

なお、図８におけるステップ２３の処理において、再生位置決定手段２３が閾値を超える類似度に対応する動画データ３１の区間が存在しない場合には、削除するようにしてもよい。これにより、記憶部３に記録された記録時系列データ３２及び計測時系列データ３３のデータ量を小さくすることができる。

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。上記実施の形態では、文書を編集する場合について説明したが、文書を作成する場合も本発明を適用することができる。

制御部２の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。

１…情報処理装置
２…制御部
３…記憶部
５…表示部
１０…センサ
２０…動画撮影手段
２１…時系列データ取得手段
２２…時系列データ記録手段
２３…再生位置決定手段
２４…表示制御手段
２５…動画再生手段
３０…プログラム
３１…動画データ
３２…記録時系列データ
３３…計測時系列データ
３４…対応付データ
３５…編集済みの動画データ
５０…特徴選択ボタン
５５…類似度表示部
１００…対象者
３２０…類似時系列データ
３２１…類似時系列データ
３５０…選定動画データ
３５１～３５３…第１乃至第３の動画データ
５１～５４…第１乃至４の縮小画像
６１～６４…第１乃至第４の候補縮小画像

Claims (7)

1. 第１の者の操作に関する第１の時系列データが関連付けられた、前記第１の者の操作を撮影した動画データと、第２の者の操作に関する第２の時系列データから、前記動画データの再生を開始する位置を出力する出力手段を備え、
   前記出力手段は、前記第１の時系列データと前記第２の時系列データとの類似度が予め定められた条件を満たす場合であって、前記第１の時系列データの区間に対応付けられた前記動画データの区間が複数存在する場合に、前記動画データの区間の前後関係、又は前記動画データの区間の再生履歴の何れかの情報を基に、複数の前記動画データの区間から前記動画データの区間を選択し、当該動画データの区間を、前記再生を開始する位置を含むものとして出力する、
   情報処理装置。
2. 前記出力手段によって出力された前記動画データの区間が複数ある場合に、複数の前記動画データの区間を表示画面に表示するよう制御する表示制御手段を、さらに備えた請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記動画データ全体における前記再生を開始する位置を前記表示画面に表示するよう制御する、
   請求項２に記載の情報処理装置。
4. 前記表示制御手段は、前記複数の動画データの区間の各時刻に対応して得られる前記類似度のピークを前記表示画面に表示するよう制御する、
   請求項２又は３に記載の情報処理装置。
5. 前記表示制御手段は、前記ピークと前記動画データの区間の縮小画像とを対応付けて前記表示画面に表示するよう制御する、
   請求項４に記載の情報処理装置。
6. 前記表示制御手段は、前記類似度を求めるのに使用する特徴の種類を選択可能な選択肢を前記表示画面に表示するよう制御する、
   請求項５に記載の情報処理装置。
7. コンピュータを、
   第１の者の操作に関する第１の時系列データが関連付けられた、前記第１の者の操作を撮影した動画データと、第２の者の操作に関する第２の時系列データから、前記動画データの再生を開始する位置を出力する出力手段として、機能させるためのプログラムであって、
   前記出力手段は、前記第１の時系列データと前記第２の時系列データとの類似度が予め定められた条件を満たす場合であって、前記第１の時系列データの区間に対応付けられた前記動画データの区間が複数存在する場合に、前記動画データの区間の前後関係、又は前記動画データの区間の再生履歴の何れかの情報を基に、複数の前記動画データの区間から前記動画データの区間を選択し、当該動画データの区間を、前記再生を開始する位置を含むものとして出力する、
   プログラム。

Images