JP7171212B2 - 情報処理装置、画像表示方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Description

本発明は、画像から取得可能な情報の提示技術に関する。

カメラで撮像された静止画像や動画像（以下、「撮像画像」という。）から所定の物体を検出し、検出した物体に関する属性情報を提示する技術がある。属性情報は、例えば撮像画像から検出した人物の性別や年齢等である。このような属性情報は、例えば、撮像画像から検出した人物の画像による推定や、検出した人物が予め辞書に属性情報とともに登録されている人物と同一人物かを照合することで取得される。属性情報の提示技術は、イベントや商業施設の来場者を分析するマーケティングや、集団の中から迷子等の特定の人物を検索する場合等に応用できる。

提示する属性情報には、名称等の簡易な情報である概要情報と、より詳細な詳細情報とがある。概要情報を提示する方法として、アノテーションやノーティフィケーションといった方法が知られている。

アノテーションは、拡張現実（ＡＲ：Augmented Reality）でよく用いられる方法である。アノテーションは、撮像画像内の物体に関連した名称等の概要情報を、該物体の近傍に重畳表示する。アノテーションの事例としては、頓智ドット株式会社が２００９年～２０１４年にサービスを提供していたセカイカメラ（登録商標）がある。このサービスは、「エアタグ」（登録商標）と呼ばれるアノテーションを用いている。ＭＥＴＡ社のＭｅｔａＰｒｏ（登録商標）は、シースルー型のＨＭＤ(Head Mounted Display)において、プロモーションビデオの中で吹き出し状のアノテーションを現実視界に重畳表示する例を紹介する。

ノーティフィケーションは、ユーザに所定の事象を伝えるために用いられる方法である。電話機の呼び出通知や発信者番号表示、スマートフォンの電子メールやＳＮＳ（Social Networking Service）通知は、ノーティフィケーションの例である。Google社が提供するGoogle Glass（登録商標）用のアプリケーションであるGoogle Now（登録商標）は、ユーザの位置及び時刻に応じた情報をユーザの眼前に表示するノーティフィケーションの例である。（非特許文献１）。

アノテーションやノーティフィケーションは、ユーザに概要情報を伝えるのに有効である。ユーザは、概要情報からさらに詳細な情報を知りたい場合がある。特許文献１は、ユーザに選択された概要情報から、関連する詳細情報を表示する画像表示装置を開示する。この画像表示装置は、実空間を撮像した撮像画像に、仮想物体の画像を重畳表示する。画像表示装置は、実空間内においてユーザに接近する物体を隠蔽しないように、仮想物体画像を表示する。これにより画像表示装置は、仮想物体を表示しながら、接近物をユーザに気づかせることができる。これらの用途においては、撮像画像とアノテーション、或いはアノテーション同士が重なり合うことでユーザによる情報の理解が妨げられないように、アノテーションを見やすく表示することが求められている。

特開２０１１－１２８８３８号公報

インターネット「http://support.google.com/glass/answer/3063237」

アノテーションやノーティフィケーションといった概要情報と同じ表示画面には、他の情報が複数表示されることがある。この場合、画像内の現実の物体が、提示された情報で隠れる、表示された情報が見づらくなる、或いは情報の把握が困難になるという問題が生じ易くなる。

本発明は、このような従来の問題を解決するため、ユーザによる画像内の物体の視認及び情報の把握が容易になるように、情報を提示する情報処理装置を提供することを主たる目的とする。

本発明の情報処理装置は、画像から所定の物体を検出する検出手段と、検出された前記物体の属性を判別する判別手段と、前記画像に対する前記物体の属性を示す情報を提示する領域の面積が所定の閾値より大きい場合に、前記物体の属性を示す情報を提示する領域をより小さくするように、前記物体の属性を提示する提示方法を決定する決定手段と、前記決定手段で決定した前記提示方法に基づいて、前記物体の属性と前記画像とを出力する出力手段と、を備えることを特徴とする。

本発明によれば、ユーザによる画像内の物体の視認及び情報の把握が容易になる。

情報処理装置のハードウェア構成図。 情報処理装置の機能説明図。 撮像画像から人を検出した場合の説明図。 属性情報の説明図。 提示情報の提示方法の表示例示図。 個別の提示情報の表示例示図。 画像表示方法を表すフローチャート。 情報処理装置の機能説明図。 提示条件に該当する物体の色を変更した場合の例示図。 画像表示方法を表すフローチャート。

以下、図面を参照して、実施形態を詳細に説明する。

（第１実施形態）
本実施形態では、実空間を撮像して得られる二次元画像である撮像画像から物体を検出し、提示する情報（提示情報）の撮像画像のサイズに対する面積比率が所定の閾値を超えることで、提示情報の提示方法を変更する。提示情報には、物体の関連する属性情報等の情報に基づいて生成される。

図１は、本実施形態の情報処理装置のハードウェア構成図である。情報処理装置１０００は、撮像装置であるカメラ１００が接続される。情報処理装置１０００は、ＣＰＵ（Central Processing Unit）４００１、ＲＡＭ（Random Access Memory）４００２、及びＲＯＭ（Read Only Memory）４００３を備えるコンピュータである。情報処理装置１０００は、入力装置としてキーボード４００４及びマウス４００５を備える。情報処理装置１０００は、出力装置として表示部４００６を備える。情報処理装置１０００は、外部記憶装置４００７、メディアドライブ４００８、及びＩ／Ｆ４００９を備える。ＣＰＵ４００１、ＲＡＭ４００２、ＲＯＭ４００３、キーボード４００４、マウス４００５、表示部４００６、外部記憶装置４００７、メディアドライブ４００８、及びＩ／Ｆ４００９は、バス４０１０を介して相互に通信可能に接続される。

ＣＰＵ４００１は、ＲＯＭ４００３、外部記憶装置４００７、及びメディアドライブ４００８に装着されたメディアの少なくとも一つに格納されるコンピュータプログラムを、ＲＡＭ４００２を作業領域に用いて実行する。例えばＣＰＵ４００１は、ＲＯＭ４００３に格納されるブートプログラムを起動時に実行する。ＣＰＵ４００１は、本実施形態の処理を実行するために、外部記憶装置４００７及びメディアドライブ４００８に装着されたメディアの少なくとも一方に格納されるプログラムを実行する。これによりＣＰＵ４００１は、情報処理装置１０００の動作を制御する。

キーボード４００４及びマウス４００５は、入力装置の一例であり、ユーザが操作することで、各種の指示をＣＰＵ４００１へ送信する。なお、入力装置は、ユーザが操作することで指示を入力することが可能であれば、タッチパネル等の他の一般的な入力装置であっても良い。表示部４００６は、例えばディスプレイである。表示部４００６は、ＣＰＵ４００１による処理結果を画像や文字等で表示する。本実施形態では、表示部４００６は、カメラによる撮像画像と、撮像画像中の人等の物体に関連する提示情報の画像や文字等を表示する。

外部記憶装置４００７は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。外部記憶装置４００７には、ＯＳ（オペレーティングシステム）、情報処理装置１０００に処理を実行させるためのコンピュータプログラム、各種データが格納されている。データは、例えば仮想物体モデルデータや、以降の説明で既知の情報として説明されるデータである。

メディアドライブ４００８は、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどのメディアからの読み出し、及びメディアへの書き込みを行う。なお、外部記憶装置４００７に格納されているものとして説明したプログラムやデータの一部若しくは全部がメディアに格納されていても良い。メディアドライブ４００８がメディアから読み出したプログラムやデータは、外部記憶装置４００７やＲＡＭ４００２に展開される。

Ｉ／Ｆ４００９は、外部機器との間でデータの送受信を行うインタフェースである。本実施形態では、Ｉ／Ｆ４００９は、外部機器としてカメラ１００が接続される。Ｉ／Ｆ４００９は、例えばアナログビデオポートやＩＥＥＥ１３９４等のデジタル入出力ポート、合成画像を出力するためのＤＶＩポート等により構成される。Ｉ／Ｆ４００９が受信したデータは、ＲＡＭ４００２や外部記憶装置４００７に格納される。
カメラ１００は、実空間を撮像して、動画像や静止画像等の二次元画像である撮像画像を生成する。Ｉ／Ｆ４００９は、カメラ１００から撮像画像を受信する。

図２は、このような情報処理装置１０００の機能説明図である。情報処理装置１０００は、画像取得部２００、物体検出部１１００、属性判別部１２００、提示方法変更判定部１３００、提示方法決定部１４００、及び出力部３００として機能する。情報処理装置１０００は、ＣＰＵ４００１がコンピュータプログラムを実行することで、上記の各構成を実現する。或いは情報処理装置１０００は、上記の各構成の少なくとも一部がハードウェアにより実現されても良い。

画像取得部２００は、ＣＰＵ４００１及びＩ／Ｆ４００９により実現され、カメラ１００から撮像画像を取得する。なお、画像取得部２００は、メディアドライブ４００８により実現することも可能である。この場合、画像取得部２００は、例えばメモリカードのような可搬型のメディアから記憶された画像を取得する。また、画像取得部２００は、ネットワークを介してカメラ１００から撮像画像を取得する構成によっても実現することができる。画像取得部２００は、カメラ１００から取得した撮像画像を物体検出部１１００へ送信する。

物体検出部１１００は、画像取得部２００から取得した撮像画像に含まれる物体を検出する。物体検出部１１００は、輪郭検出、各特徴量などを用いた画像処理、機械学習を用いた方法などの公知技術により、物体の検出を行う。図３は、撮像画像から物体として人を検出した場合の説明図である。物体検出部１１００は、検出した物体を表す物体情報を属性判別部１２００へ送信する。物体情報は、例えば検出した物体の画像、物体の種類（人、もの等）、物体の画像の撮像画像内における位置、物体の画像の領域（図３の人検出領域）を含む。

属性判別部１２００は、物体検出部１１００から取得した物体情報に基づいて、検出された物体の属性を判別して、属性を表す属性情報を取得する。例えば、検出された物体が人の場合、属性判別部１２００は、人の属性として性別、年齢などを判別する。属性の判別方法は、ディープラーニングを用いた方法などの公知技術が用いられる。また、属性判別部１２００は、予め顔画像と名前や住所などの個人情報との組を辞書として登録しておき、物体情報（顔画像）から個人情報を索出して属性情報を取得してもよい。属性判別部１２００は、本実施形態では、検出された人の性別及び年齢を属性情報として判別する。属性判別部１２００は、判別した属性情報を提示方法変更判定部１３００へ送信する。図４は、属性情報の説明図である。撮像画像内の全物体（すべての人）の性別及び年齢（属性情報）が判別される。

提示方法変更判定部１３００は、属性判別部１２００から取得した物体情報及び属性情報に基づいて、提示方法を変更するか否かを判定する。具体的には、提示方法変更判定部１３００は、提示方法変更の判定を、提示情報を提示する領域の撮像画像のサイズに対する面積比率に基づいて行う。提示方法変更判定部１３００は、面積比率が所定の閾値を超えた場合に、提示情報を提示する領域の面積比率を減らすように、提示方法を変更する。閾値は、ユーザによって自由に設定される。提示方法変更判定部１３００は、提示方法の変更可否の判定結果を提示方法決定部１４００へ通知する。

提示方法決定部１４００は、提示方法変更判定部１３００から取得した提示方法の変更可否の判定結果の通知に基づいて、提示情報の提示方法を決定する。提示情報は、グラフ、文字、数字、色、及びこれらの組み合わせにより表現される。このような提示方法は、提示情報に応じて決定される。図５は、提示情報の提示方法の表示例示図である。図５では、属性情報が文字、ヒストグラム、数字を用いて撮像画像の下部に提示される。この例では、イベントなどで集客層を知りたい場合にどのような性別、年齢の人が興味を持っているのかが、視覚的に把握しやすくなる。また、提示方法決定部１４００は、検出された各物体（人）の個別の提示情報を表示するように、提示方法を決定することも可能である。図６は、個別の提示情報の表示例示図である。提示方法決定部１４００は、例えばユーザが入力装置により所定の操作で提示情報を表示したい物体（人）を選択することで、該物体の個別の提示情報を表示するように決定する。このように提示方法決定部１４００は、撮像画像の枠外或いは撮像画像に重ねて、提示情報を表示するように提示方法を決定する。図６の例では、２０代、男性の人が強調表示される。提示方法決定部１４００は、決定した提示方法を出力部３００へ送信する。

出力部３００は、ＣＰＵ４００１及び表示部４００６により実現され、提示方法決定部１４００から取得した提示方法に基づいて、提示情報が付与された画像データを表示部４００６に表示させる。表示部４００６は、例えば提示情報の画像を撮像画像に重畳表示する。これにより表示部４００６は、図５や図６に示す画像を表示する。

以上のような構成の情報処理装置１０００による画像表示方法を説明する。図７は、本実施形態の画像表示方法を表すフローチャートである。

情報処理装置１０００は、画像取得部２００によりカメラ１００が撮像した撮像画像を取得する（Ｓ３０００）。物体検出部１１００は、取得した撮像画像から物体を検出する（Ｓ３１００）。属性判別部１２００は、検出された物体の属性を判別する（Ｓ３２００）。提示方法変更判定部１３００は、提示情報に基づいて提示方法を変更するか否かを決定する（Ｓ３３００）。提示方法決定部１４００は、提示情報と、提示方法を変更するか否かと、に基づいて提示情報の提示方法を決定する（Ｓ３４００）。出力部３００は、表示部４００６に、提示情報の画像及び撮像画像を提示方法に応じた位置に表示する（Ｓ３５００）。

以上のような本実施形態の情報処理装置１０００は、撮像画像のサイズに対する提示情報の提示領域の面積比率に応じて、該提示情報の提示方法を変更する。これにより、実空間内の物体の視認性を低下させることなく、提示情報を表示することができる。そのためにユーザは、物体に関する属性情報等の提示情報の把握が容易となる。

なお、提示方法変更判定部１３００は、撮像画像のサイズに対する提示情報の提示領域の面積比率以外のパラメータにより、提示方法の変更を決定しても良い。例えば提示方法変更判定部１３００は、検出された物体の画像の領域と提示情報の提示領域との重複率や、物体の検出数に基づいて、提示方法の変更を決定してもよい。検出された物体の画像のサイズに関わらず提示情報の提示領域の大きさが同じ場合、物体の検出数に比例して、撮像画像のサイズに対する提示情報の提示領域の占める割合が大きくなる。そのために提示方法変更判定部１３００は、物体の検出数による提示情報の提示領域の大きさに基づいて、撮像画像のサイズに対する提示情報の提示領域の面積比率を求めることができる。このように提示方法変更判定部１３００は、物体の検出数に基づいて提示方法の変更可否を判断しても良い。

提示方法変更判定部１３００は、検出された複数の物体間で共通する属性情報に基づいて、提示方法の変更可否を判断しても良い。例えば図４の場合、性別は男性、女性の２つに、年齢は２０代、３０代、４０代の３つに分類される。分類後に図５に示すように属性情報を提示する場合、提示方法変更判定部１３００は、分類前後の提示情報の提示領域を比較し、分類後の提示情報の提示領域が小さくなる場合に提示方法を変更する。このように、提示方法変更判定部１３００は、検出された物体間で共通している属性情報を用いて提示方法の変更可否を決定することができる。

（第２実施形態）
本実施形態では、実空間を撮像して得られる二次元画像である撮像画像から物体を多数検出した状況で、ユーザが指定した属性情報又は条件に該当する提示情報を表示する。これによりユーザは、多数の物体から特定のターゲットを容易に発見することができる。ここでは、球場でビールを販売するユースケースを例に説明する。カメラは、球場の客席を撮像する。情報処理装置は、撮像画像を分析することでビールが売れると予測される客席エリアを判定する。これにより、ビールの売り子を重点的に配置すべきエリアが明確になり、効率的なビールの販売が可能になる。

図８は、このような処理を実現する情報処理装置の機能説明図である。図８では、図２の情報処理装置１０００と同じ構成には同じ符号を付してある。同じ構成についての説明は省略する。なお、情報処理装置１００１のハードウェア構成は、図１に示す第１実施形態の情報処理装置１０００と同様である。
情報処理装置１００１は、図２の構成に追加して、提示条件選択部１２５０として機能する。情報処理装置１００１は、ＣＰＵ４００１がコンピュータプログラムを実行することで、上記の各構成を実現する。或いは情報処理装置１００１は、上記の各構成の少なくとも一部がハードウェアにより実現されても良い。

提示条件選択部１２５０は、所定の提示条件に基づいて属性情報の中から提示する属性情報を選択する。これにより属性情報がどのような場合に提示されるかが決定される。提示条件は、ユーザによる選択又はユースケースに適する属性情報に応じた自動選択により、決定される。提示条件をユースケースに適する属性情報に応じて自動選択により決定する場合について、球場でビールを販売するユースケースを例にして説明する。ビールを販売したい場合、ビールの一般的な購買層の統計データから「男性かつ３０代以上」などの条件が導かれる。これにより提示条件は、属性情報が「男性」かつ「３０代以上」の場合に提示情報を提示するように自動的に決定される。このように提示条件選択部１２５０は、ユースケースに適した統計データ或いは事前情報により提示条件を決定することで、提示に必要な属性情報を自動的に選択することができる。

提示方法決定部１４００は、提示条件選択部１２５０が選択した属性情報を有する物体の表示状態を変更する。図９は、表示状態の変更例として、提示条件に該当する物体の色を変更した場合の例示図である。このような表示により、ユーザは、物体が多数検出される状況でビールが売れると予測される客席エリアを色の分布から容易に判別することができる。表示状態の変更は色に限るものではなく、第１実施形態と同様にどのような方法であっても良い。

以上のような構成の情報処理装置１００１による画像表示方法を説明する。図１０は、本実施形態の画像表示方法を表すフローチャートである。図７の第１実施形態に示す処理と同じ処理には、同じステップ番号を付してある。

情報処理装置１００１は、画像取得部２００によりカメラ１００が撮像した撮像画像を取得する（Ｓ３０００）。物体検出部１１００は、取得した撮像画像から物体を検出する（Ｓ３１００）。属性判別部１２００は、検出された物体の属性を判別する（Ｓ３２００）。提示条件選択部１２５０は、提示条件に基づいて、提示する属性情報を選択する（Ｓ３２５０）。なお、提示条件選択部１２５０によるこの処理は、撮像画像の取得後であれば、ステップＳ３０００の処理の後、Ｓ３１００の処理の後、Ｓ３２００の処理の後のどのタイミングで行われてもよい。提示方法変更判定部１３００は、提示情報に基づいて提示方法を変更するか否かを決定する（Ｓ３３００）。提示方法決定部１４００は、提示情報と、提示方法を変更するか否かと、に基づいて提示情報の提示方法を決定する（Ｓ３４００）。出力部３００は、表示部４００６に、提示情報の画像及び撮像画像を提示方法に応じた位置に表示する（Ｓ３５００）。

以上のような本実施形態の情報処理装置１００１は、表示する属性情報又はその提示条件を指定することで、多数の検出された物体から所定の提示条件を満たす物体の情報のみを表示することができる。そのためにユーザは、物体が多数検出された状況下において特定のターゲットを容易に発見することができるようになる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (19)

1. 画像から所定の物体を検出する検出手段と、
   検出された前記物体の属性を判別する判別手段と、
   前記画像に対する前記物体の属性を示す情報を提示する領域の面積が所定の閾値より大きい場合に、前記物体の属性を示す情報を提示する領域をより小さくするように、前記物体の属性を提示する提示方法を決定する決定手段と、
   前記決定手段で決定した前記提示方法に基づいて、前記物体の属性と前記画像とを出力する出力手段と、を備えることを特徴とする、
   情報処理装置。
2. 前記決定手段は、前記画像に対する前記物体の属性を示す情報を提示する領域の面積の比率に基づいて、前記提示方法を決定することを特徴とする、
   請求項１記載の情報処理装置。
3. 前記決定手段は、検出された前記物体の画像の領域と前記物体の属性を示す情報を提示する領域との重複に基づいて、前記提示方法を決定することを特徴とする、
   請求項１記載の情報処理装置。
4. 前記決定手段は、検出された前記物体の検出数に基づいて、前記提示方法を決定することを特徴とする、
   請求項１記載の情報処理装置。
5. 前記検出手段により複数の物体が検出された場合に、前記決定手段は、検出された前記複数の物体間で共通する属性に基づいて、前記提示方法を決定することを特徴とする、
   請求項１記載の情報処理装置。
6. 前記決定手段は、前記物体の属性を提示する提示方法を変更するか否かを判定し、前記提示方法を変更すると判定した場合に、新たな提示方法を決定することを特徴とする、
   請求項１～５のいずれか１項記載の情報処理装置。
7. 前記提示方法は、表示手段に前記物体の属性と前記画像とを表示する位置を示すことを特徴とする、
   請求項１～６のいずれか１項記載の情報処理装置。
8. 所定の提示条件に基づいて、前記属性の中から提示する属性を選択する選択手段をさらに備え、
   前記決定手段は、前記選択された属性を有する物体の前記提示方法を決定することを特徴とする、
   請求項１～７のいずれか１項記載の情報処理装置。
9. 前記決定手段は、前記物体の属性をグラフ、文字、数字、色、及びこれらの組み合わせで表現して前記提示方法を決定することを特徴とする、
   請求項１～８のいずれか１項記載の情報処理装置。
10. 前記決定手段は、前記物体の属性を示す情報を前記画像に重ねて表示するように前記提示方法を決定することを特徴とする、
    請求項１～９のいずれか１項記載の情報処理装置。
11. 前記決定手段は、前記画像の枠外に前記物体の属性を示す情報を表示するように前記提示方法を決定することを特徴とする、
    請求項１～１０のいずれか１項記載の情報処理装置。
12. 前記検出手段により複数の物体が検出された場合に、前記決定手段は、前記画像の枠外に前記複数の物体についての前記属性の統計量を表示するように前記提示方法を決定することを特徴とする、
    請求項１１記載の情報処理装置。
13. 前記決定手段は、前記属性の統計量を個数または割合で表示するように前記提示方法を決定することを特徴とする、
    請求項１２記載の情報処理装置。
14. 前記決定手段は、前記属性の統計量をグラフまたはシンボルで表示するように前記提示方法を決定することを特徴とする、
    請求項１２又は１３記載の情報処理装置。
15. 前記決定手段は、前記画像の枠外に前記複数の物体についての前記属性の統計量を表示するとともに、前記複数の物体のうち指定された物体と対応付けて当該物体の属性を前記画像と重ねて表示するように前記提示方法を決定することを特徴とする、
    請求項１２～１４のいずれか１項記載の情報処理装置。
16. 前記所定の物体は人物であり、前記属性は性別または年齢を含むことを特徴とする、
    請求項１～１５のいずれか１項記載の情報処理装置。
17. 画像から所定の物体を検出するステップと、
    検出した前記物体の属性を判別するステップと、
    前記画像に対する前記物体の属性を示す情報を提示する領域の面積が所定の閾値より大きい場合に、前記物体の属性を示す情報を提示する領域をより小さくするように、前記物体の属性を提示する提示方法を決定するステップと、
    決定した前記提示方法に基づいて、前記物体の属性と前記画像とを出力するステップと、を含むことを特徴とする、
    画像表示方法。
18. コンピュータを、
    画像から所定の物体を検出する検出手段、
    検出された前記物体の属性を判別する判別手段、
    前記画像に対する前記物体の属性を示す情報を提示する領域の面積が所定の閾値より大きい場合に、前記物体の属性を示す情報を提示する領域をより小さくするように、前記物体の属性を提示する提示方法を決定する決定手段、
    前記決定手段で決定した前記提示方法に基づいて、前記物体の属性と前記画像とを出力する出力手段、
    として機能させるためのコンピュータプログラム。
19. 請求項１８に記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。

Images