JP7019357B2 - 棚情報推定装置及び情報処理プログラム - Google Patents

Description

本発明の実施形態は、棚情報推定装置及び情報処理プログラムに関する。

商品販売機会を失わないための効率的な商品棚の商品配置のための各種技術が提案されている。

例えば、フロア全体の画像から商品の配置状況に変化が生じると推定される位置を取得し、移動式撮像装置を用いて前記位置を含む画像を撮影する。撮影画像に写る商品の種別及び配置状況が所定のものと一致しているか判定することで、リアルタイム且つ効率的に商品棚を検査する。

国際公開第２０１６／１１７６００号公報

商品棚を検査する上で、どの商品棚を検査しているかが重要であり、そのため棚を特定する技術が望まれている。例えば、様々な商品が置かれた多くの棚から、撮影画像に含まれる棚を特定する技術が望まれている。

本発明の実施形態が解決しようとする課題は、撮影画像に含まれる棚がどの棚であるかを推定できる棚情報推定装置及び情報処理プログラムを提供することである。

実施形態に係る棚情報推定装置は、取得部と、認識部と、推定部とを備える。前記取得部は、撮影画像を取得する。前記認識部は、各棚に対応する棚識別情報と各棚に含まれる棚位置に対応する棚位置識別情報と各棚位置に置かれる物品に対応する物品特定情報とを関連付けた棚管理情報に基づき、前記撮影画像に含まれる複数の物品を認識する。前記推定部は、前記棚管理情報及び物品の認識結果に基づき、前記複数の物品が置かれる棚に対応する棚識別情報を推定する。

各実施形態に共通の棚推定システムの一例を示す図である。 各実施形態に共通の棚情報推定装置の一例を示すブロック図である。 第１の実施形態に係る棚推定システムによる棚推定の一例を示すフローチャートである。 第１の実施形態に係る撮影画像の一例を示す図である。 各実施形態に共通の棚管理情報の一部を示す例である。 第２の実施形態に係る棚推定システムによる棚推定の一例を示すフローチャートである。 第２の実施形態に係る物品の相対関係の一例を示す図である。 第２の実施形態に係る撮影画像の一例を示す図であり、撮影画像に複数の棚が含まれる例を示す。 第３の実施形態に係る棚推定システムによる棚推定の一例を示すフローチャートである。 第３の実施形態に係る棚の縁認識結果の一例を示す図である。

以下、図面を参照して第１、第２、及び第３の実施形態について説明する。

＜第１の実施形態＞
第１の実施形態では、物品の認識結果を利用した棚推定について説明する。

図１は、第１の実施形態に係る棚推定システムの一例を示す図である。なお、図１に示す棚推定システムは、第２及び第３の実施形態においても実質的に基本的な構成は同じであり同一構成の説明については適宜省略する。図１に示すように、棚推定システムは、棚情報推定装置１及びカメラ２を備える。カメラ２は、１以上の物品が陳列された棚を含む領域を撮影し、撮影画像を出力する。棚情報推定装置１は、カメラ２からの撮影画像に含まれる１以上の物品を認識し、１以上の物品の認識結果に基づき１以上の物品が陳列されている棚の棚識別情報（棚台番号）を推定する。

例えば、棚情報推定装置１は、データベース（ＤＢ）から棚管理情報を取得する。例えば、棚管理情報は、各棚に対応する棚識別情報（棚台番号（棚ＩＤ））と、各棚に含まれる棚段に対応する棚段識別情報（棚段番号）と、各棚（各段）に含まれる棚位置に対応する棚位置識別情報（棚位置番号）と、各棚位置に置かれる物品に対応する物品特定情報と、各棚位置に置かれる物品のフェース数と、各棚位置に置かれる物品のフェース面と、各棚位置に置かれる物品の積上陳列数とを関連付けた情報である。

なお、物品特定情報は、撮影画像中の物品を特定するための情報であり、物品の画像情報、物品の画像情報に含まれる局所特徴量情報、及び各棚位置に対応して貼り付けられる棚札に記録又は記憶される棚札識別情報のうちの少なくとも一つの情報と物品識別情報（物品の識別コード）とを関連付けた情報である。例えば、物品識別情報は、物品固有の情報及び物品の種別情報を含む。つまり、棚管理情報は、どの棚のどの位置にどのような種別の物品が配置されるかを示す情報を含む。

なお、棚札に物品識別情報を記録又は記憶するようにしてもよい。棚札は、紙媒体であってもよいし電子情報記憶媒体であってもよい。紙媒体の棚札であれば２次元コードやＱＲコード（登録商標）等により情報が記録（印刷）され、電子情報記憶媒体の棚札であれば所定フォーマットに従い情報を記憶する。電子情報記憶媒体は物品識別情報を出力するものであり、例えば物品識別情報を表示したり、無線通信により送信したりする。

各棚位置に置かれる物品のフェース数は、同じ物品が横並びに陳列される数を示し、同じ物品が横並びで１列に配置される場合は「１」、同じ物品が横並びで２列に配置される場合は「２」となる。各棚位置に置かれる物品のフェース面は、物品を構成する複数面のうち棚１１の前面に向いている面、つまりカメラ２に対向する面を示す。物品が直方体（６面）であれば物品の各面に対して「１」、「２」、「３」、「４」、「５」、「６」が割り振られ、カメラ２に対向する面が「１」であれば、物品のフェース面は「１」となる。物品の積上陳列数は、同じ物品が縦方向に陳列される数を示し、同じ物品が縦方向に１列で配置される場合は「１」、同じ物品が縦方向に２列で配置される場合は「２」となる。

なお、棚管理情報の一部（棚識別情報と棚段識別情報と棚位置識識別情報と物品識別情報との関連付け）を棚割計画情報と呼ぶ。

例えば、棚情報推定装置１は、物品管理情報に基づき、撮影画像に含まれる複数の物品に対応する物品特定情報を認識し、前記複数の物品それぞれが置かれる棚位置に対応する棚位置識別情報を認識する。また、棚情報推定装置１は、棚管理情報と認識結果に含まれる棚位置識別情報とに基づき、撮影画像に含まれる複数の物品が置かれる棚に対応する棚識別情報を推定する。

例えば、カメラ２は、物品１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄが陳列された棚１１を含む領域を撮影する。例えば、棚１１は第１の棚段１１１及び第２の棚段１１２を含む。第１の棚段１１１は棚位置１１１Ａ及び１１１Ｂを含み、第２の棚段１１２は棚位置１１２Ｃ及び１１２Ｄを含む。また、棚位置１１１Ａに対応して物品１０Ａが陳列される。さらに、棚位置１１１Ａに対応して棚札１２Ａが貼り付けられてもよい。また、棚位置１１１Ｂに対応して物品１０Ｂが陳列される。さらに、棚位置１１１Ｂに対応して棚札１２Ｂが貼り付けられてもよい。また、棚位置１１２Ｃに対応して物品１０Ｃが陳列される。さらに、棚位置１１２Ｃに対応して棚札１２Ｃが貼り付けられてもよい。また、棚位置１１２Ｄに対応して物品１０Ｄが陳列される。さらに、棚位置１１２Ｄに対応して棚札１２Ｄが貼り付けられてもよい。

棚札１２Ａは、棚位置１１１Ａに陳列される物品１０Ａに関する物品識別情報を含み、棚札１２Ｂは、棚位置１１１Ｂに陳列される物品１０Ｂに関する物品識別情報を含み、棚札１２Ｃは、棚位置１１２Ｃに陳列される物品１０Ｃに関する物品識別情報を含み、棚札１２Ｄは、棚位置１１２Ｄに陳列される物品１０Ｄに関する物品識別情報を含む。

図２は、第１の実施形態に係る棚情報推定装置の一例を示すブロック図である。なお、図２に示す棚情報推定装置は、第２及び第３の実施形態においても実質的に基本的な構成は同じであり同一構成の説明については適宜省略する。図２に示すように、棚情報推定装置１は、プロセッサ１０１、メモリ１０２と、操作Ｉ／Ｆ１０３と、入力Ｉ／Ｆ１０４と、表示Ｉ／Ｆ１０５を備える。

プロセッサ１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、メモリ１０２等に格納されたプログラムを展開し、プロセッサ１０１がこのプログラムを解釈及び実行することにより、プロセッサ１０１は、棚管理情報等に基づき、様々な情報処理、例えば、撮影画像に含まれる物品の認識処理、及び撮影画像に含まれる物品が置かれる棚（棚識別情報）を推定する棚情報推定処理を実行する。

メモリ１０２は、例えば、内蔵または外付けのフラッシュメモリなどの半導体メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含む。また、メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含んでもよいし、ＲＡＭ及びＲＯＭは、メモリ１０２とは別の構成であってもよい。また、メモリ１０２は、棚管理情報を記憶してもよい。

操作Ｉ／Ｆ１０３は、キーボード等の操作入力を受け付ける機器からの情報を取得するインタフェースである。なお、操作Ｉ／Ｆ１０３は、無線及び有線の何れにも対応可能とする。

入力Ｉ／Ｆ１０４は、カメラ２からの撮影画像を取得するインタフェースであり、さらに、データベース（ＤＢ）３に含まれる棚管理情報を取得するインタフェースでもある。例えば、入力Ｉ／Ｆ１０４により取得される棚管理情報は、メモリ１０２に記憶される。なお、入力Ｉ／Ｆ１０４は、無線及び有線の何れにも対応可能とする。

表示Ｉ／Ｆ１０５は、撮影画像に含まれる物品の認識結果及び撮影画像に含まれる物品が置かれる棚の推定結果等を表示デバイス４及びディスプレイ５へ出力するインタフェースである。

図３は、第１の実施形態に係る棚推定システムによる棚推定の一例を示すフローチャートである。図３に示すように、棚情報推定装置１のプロセッサ１０１は、入力Ｉ／Ｆ１０４を介して、カメラ２で撮影した撮影画像を取得する（ＡＣＴ１１）。

図４は、撮影画像の一例を示す図である。図４に示すように、撮影画像は、棚１１、物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、棚札１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ等を含む。なお、ここでは、棚札１２Ａ、１２Ｂ、１２Ｃ、１２Ｄが貼り付けられた棚１１の撮影により取得される撮影画像の一例を示したが、棚１１への棚札１２Ａ、１２Ｂ、１２Ｃ、１２Ｄの貼り付けは必須ではない。棚１１へ棚札１２Ａ、１２Ｂ、１２Ｃ、１２Ｄが貼り付けられていなければ、撮影画像は、棚１１、物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄを含み、棚札１２Ａ、１２Ｂ、１２Ｃ、１２Ｄは含まない。

プロセッサ１０１は、棚管理情報に基づき、撮影画像に含まれる複数の物品を認識する（ＡＣＴ１２）。例えば、プロセッサ１０１は、図４に示す撮影画像に含まれる物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄに対応する物品識別情報等を認識する。これにより、プロセッサ１０１は、撮影画像に含まれる複数の物品の種類等を認識することができる。なお、物品の認識には、テンプレートマッチングや特徴点マッチングなどを用いるものとし、撮影画像中の物品の種類を特定可能であれば手法は問わない。

また、プロセッサ１０１は、棚管理情報に基づき、撮影画像に含まれる棚札（複数の物品それぞれが置かれる棚位置に対応する棚札）から棚札識別情報を認識し、棚札識別情報に対応する物品識別情報を取得してもよい。なお、棚札に棚札識別情報に替えて物品識別情報を記録又は記憶するようにしてもよい。この場合、棚札から物品識別情報が認識される。このように、棚札を認識することにより、物品が置かれているか否かにかかわらず物品識別情報を得ることができる。例えば、図４に示す撮影画像に含まれる物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄそれぞれが置かれる棚位置１１１Ａ、１１１Ｂ、１１２Ｃ、１１２Ｄに対応する棚札１２Ａ、１２Ｂ、１２Ｃ、１２Ｄから物品識別情報が認識される。

なお、物品の認識処理と棚札の認識処理を併用してもよいし、どちらか一方の認識処理を実施するようにしてもよい。

プロセッサ１０１は、棚管理情報（棚割計画情報）と認識結果に含まれる物品識別情報とを比較し（ＡＣＴ１３）、比較結果に基づき撮影画像に含まれる複数の物品が置かれる棚を推定する（ＡＣＴ１４）。つまり、プロセッサ１０１は、撮影画像に含まれる複数の物品が置かれる棚に対応する棚識別情報を推定する。

図５は、棚管理情報の一部を示す例である。例えば、物品管理者は、棚管理情報に基づき棚１１等に物品を陳列する。棚情報推定装置１は、操作Ｉ／Ｆ１０３から入力される棚台番号で棚管理情報を照会し、入力される棚台番号に対応する情報を得ることができる。

ここで、撮影画像に含まれる複数の物品が置かれる棚の推定についてさらに説明する。例えば、プロセッサ１０１は、撮影画像に含まれる複数の物品が最も多く属する棚識別情報を推定結果として出力する。つまり、プロセッサ１０１は、撮影画像に含まれる複数の物品に対応する物品特定情報（物品識別情報）が最も多く属する棚識別情報を推定結果として出力する。言い換えれば、プロセッサ１０１は、撮影画像に含まれる複数の物品に対応する物品特定情報と各棚識別情報に属する物品特定情報とを比較して、最も一致率の高い棚識別情報を推定結果として出力する。

また、プロセッサ１０１は、撮影画像に含まれる複数の物品の種別が最も多く属する棚識別情報を推定結果として出力するようにしてもよい。言い換えれば、プロセッサ１０１は、撮影画像に含まれる複数の物品の種別と各棚識別情報に属する物品の種別とを比較して、最も一致率の高い棚識別情報を推定結果として出力する。

例えば図４及び図５の例では、撮影画像に含まれる物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄに対応する物品特定情報（例えば物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの物品識別コード）が最も多く属する棚識別情報（棚台番号１）を推定結果として出力する。なお、推定結果として、認識結果に含まれる物品特定情報（例えば物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの物品識別コード）と共に棚識別情報を出力するようにしてもよい。また、撮影画像をいくつかのブロックに分割し、各分割ブロックに含まれる物品に対応する物品特定情報と共に棚識別情報を出力するようにしてもよい。或いは、撮影画像に含まれる複数の物品に対応する画像と共に棚識別情報を出力するようにしてもよい。

＜第２の実施形態＞
第２の実施形態では、物品の相対関係を利用した棚推定について説明する。

第２の実施形態に係る棚推定システムは、第１の実施形態に係る棚推定システムと基本構成は同一である。第２の実施形態では、主に第１の実施形態との差分について説明する。

図６は、第２の実施形態に係る棚推定システムによる棚推定の一例を示すフローチャートである。また、図７は、第２の実施形態に係る物品の相対関係の一例を示す図である。また、図８は、第２の実施形態に係る撮影画像の一例を示す図であり、撮影画像に複数の棚が含まれる例を示す。

図６に示すように、棚情報推定装置１のプロセッサ１０１は、入力Ｉ／Ｆ１０４を介して、カメラ２で撮影した撮影画像を取得する（ＡＣＴ２１）。例えば、第１の実施形態で説明した撮影画像の取得と同様である。プロセッサ１０１は、棚管理情報に基づき、撮影画像に含まれる複数の物品を認識する（ＡＣＴ１２）。例えば、第１の実施形態で説明した複数の物品の認識と同様である。さらに、プロセッサ１０１は、撮影画像に含まれる複数の物品の領域を特定する。また、これらの特定に関しては、テンプレートマッチングや特徴点マッチングなどを用いるものとし、画像中の物品の種類に加えて、それぞれの物品の位置を特定可能であれば手法は問わない。

また、第１の実施形態と同様に物品の認識の認識処理と棚札の認識処理を併用してもよいし、どちらか一方の認識処理を実施するようにしてもよい。棚札の認識処理を利用する場合には、プロセッサ１０１は、撮影画像に含まれる棚札の領域を特定する。

プロセッサ１０１は、撮影画像における複数の物品の領域から、これら複数の物品の相対位置関係（図）を生成する（ＡＣＴ２３）。このように、撮影画像に含まれる複数の物品の認識結果から、これら複数の物品の相対位置関係を生成することを複数の物品の相対位置関係の認識と呼ぶ。さらに、プロセッサ１０１は、棚管理情報と認識結果に含まれる複数の物品に対応する物品特定情報（物品識別情報）とに基づき、複数の物品の相対位置関係（図）を生成する（ＡＣＴ２３）。このように、棚管理情報と認識された物品識別情報とから、これら複数の物品の相対位置関係を生成することを複数の物品の相対位置関係の推定と呼ぶ。この場合、相対位置関係が複数個生成（推定）されることもある。例えば、複数の棚において、認識結果に含まれる複数の物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄが陳列される場合、これら複数の棚における相対位置関係が生成（推定）されることになる。

例えば、図７に示すように、物品の中心座標を物品の座標とし、それぞれの物品がどのような位置関係にあるかを示す。なお、相対位置関係は図でなくとも、相対位置関係を示すことが可能であればテキストデータ等でもよく、形式を問わない。また、隣接した複数の同じ物品を一つにまとめても良いものとする。

プロセッサ１０１は、認識される相対位置関係と推定される相対位置関係とを比較し（ＡＣＴ２４）、比較結果に基づき複数の物品が置かれる棚に対応する棚識別情報を推定する（ＡＣＴ２５）。例えば、プロセッサ１０１は、比較結果に基づき最も類似度の高い比較結果を導き出す棚に対応する棚識別情報を推定結果として出力する。

認識された相対位置関係を示す図と推定された相対位置関係を示す図とを比較し、棚割計画のうちどの部分が撮影された場所であるかを推定する。比較方法としてはテンプレートマッチングなどを用いるものとし、物品の相対位置関係が似ている場所を特定可能な手法であれば手法は問わない。プロセッサ１０１は、比較結果に基づき、棚割計画情報のうち最も一致率が高い場所の棚識別情報を推定結果として出力する。また、プロセッサ１０１は、推定結果として、棚識別情報及び認識した物品識別情報とを関連付けて出力するようにしてもよい。

例えば、図７の例では、プロセッサ１０１は、棚台番号１及び物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの物品識別コードを関連付けて出力する。この時、棚台番号１の各領域の画像と物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの画像と関連付けて出力してもよい。

また、図８に示す撮影画像は異なる複数の棚を含む。この場合も同様に、相対位置関係図によって棚割計画のうちどの場所が撮影されたかを特定し、その結果として、棚台番号１の各領域の画像と物品１０Ｂと物品１０Ｄの画像とを関連付け、棚台番号１の各領域の画像と物品２０Ｅと物品２０Ｆの画像とを関連付けて出力してもよい。

＜第３の実施形態＞
第３の実施形態では、棚の認識を利用した棚推定について説明する。

第３の実施形態に係る棚推定システムは、第１及び第２の実施形態に係る棚推定システムと基本構成は同一である。第３の実施形態では、主に第１及び第２の実施形態との差分について説明する。

図９は、第３の実施形態に係る棚推定システムによる棚推定の一例を示すフローチャートである。

図９に示すように、棚情報推定装置１のプロセッサ１０１は、入力Ｉ／Ｆ１０４を介して、カメラ２で撮影した撮影画像を取得する（ＡＣＴ３１）。例えば、第１及び第２の実施形態で説明した撮影画像の取得と同様である。プロセッサ１０１は、棚管理情報に基づき、撮影画像に含まれる複数の物品を認識する（ＡＣＴ３２）。例えば、第１及び第２の実施形態で説明した複数の物品の認識と同様である。

プロセッサ１０１は、撮影画像からエッジ情報等を検出し、検出結果に基づき棚の縁を認識する（ＡＣＴ３３）。図１０は、棚の縁認識結果の一例を示す図である。この棚の縁認識に関しては、棚段を認識して棚段の高さが変わる場所を縁としても良いし、棚管理情報において棚の端にある物品が認識された場合に、その物品の端を棚の縁としても良く、棚の縁を認識可能であれば手法は問わない。

プロセッサ１０１は、棚の縁に囲まれた領域又は棚の縁で区切られた領域が属する棚の棚識別情報を推定する（ＡＣＴ３４）。例えば、プロセッサ１０１は、これら領域内に含まれる物品に対応する物品特定情報に基づき棚管理情報を照会し、多数決処理により、これら領域内に含まれる物品に対応する物品特定情報が最も多く属する棚識別情報を推定結果として出力する。

或いは、あらかじめメモリ１０２が、カメラ２により撮影した位置を示す位置情報及びカメラ２の向きを示す向き情報を記憶し、これら情報に基づき棚を推定するようにしてもよい。例えば、あらかじめメモリ１０２は、位置情報、向き情報、これら位置情報と向き情報を用いて大よそ写り込む棚の撮影画像、及びこの撮影画像に含まれる棚の棚識別情報を関連付けた棚推定情報を記憶する。プロセッサ１０１は、撮影動作中のカメラ２の位置情報及び向き情報と棚推定情報から、このカメラ２により撮影される撮影画像に含まれる棚に対応する棚識別情報を推定するようにしてもよい。撮影動作中のカメラ２の位置情報及び向き情報が分かれば、事前に収集した棚推定情報から、撮影画像中に含まれる棚を推定することができる。また、撮影画像から認識される物品が含まれる領域の中で最も大きい領域に対応する棚を推定するようにしてもよい。

図５及び図１０を参照して、多数決処理の一例を説明する。図１０に示すように、棚の縁に囲まれた領域に物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄが存在する。存在する物１０Ａ、１０Ｂ、１０Ｃ、１０Ｄに関して図５を参照すると、物品１０Ａ、１０Ｂ、１０Ｃ、１０Ｄはいずれも棚台番号１に配置予定であり、図５及び図１０により、棚の縁に囲まれた領域内には棚台番号１の物品が４つ存在することが分かる。これらの情報より、プロセッサ１０１は、棚の縁に囲まれた領域を棚台番号１と推定する。棚情報推定装置は結果として、推定した棚台番号と認識された複数の物品に対応する物品識別情報を関連付けて出力する。このとき、推定された棚台番号と棚の縁に囲まれた領域を出力するようにしてもよい。

以上説明した少なくとも一つの実施形態によれば、認識処理を利用することにより、無線デバイスやマーカ等を利用することなく物品が置かれる棚を精度良く推定することができる。また、棚札の情報を利用することにより、品薄状態、欠品状態でも物品が置かれる棚を精度良く推定することができる。また、認識処理を利用することにより、認識される物品の種別に基づき物品が置かれる棚を精度良く推定することができる。また、認識される相対位置関係に基づき物品が置かれる棚を精度よく推定することができる。また、認識される棚の縁に基づき物品が置かれる棚を精度よく推定することができる。また、棚の縁に囲まれた場所又は棚の縁で区切られた領域に基づき物品が置かれる棚を精度よく推定することができる。また、位置情報及び向き情報に基づき物品が置かれる棚を精度よく推定することができる。なお、上記説明した棚推定処理を適宜組み合わせて実行することにより、さらに棚の推定精度を向上させることができる。

なお、棚推定システムによる棚推定処理は１以上のソフトウェアに基づき１以上のプロセッサによって実行することが可能である。このため、上記説明した棚推定処理の手順を実行する１以上のプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じて１以上のプログラムを棚情報推定装置１のメモリ１０２等へインストールして実行するだけで、棚推定処理を容易に実現することができる。例えば、棚情報推定装置１は、上記プログラムをネットワーク経由でダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。或いは、棚情報推定装置１は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
撮影画像を取得する取得部と、
各棚に対応する棚識別情報と各棚に含まれる棚位置に対応する棚位置識別情報と各棚位置に置かれる物品に対応する物品特定情報とを関連付けた棚管理情報に基づき、前記撮影画像に含まれる複数の物品を認識する認識部と、
前記棚管理情報及び物品の認識結果に基づき、前記複数の物品が置かれる棚に対応する棚識別情報を推定する推定部と、
を備える棚情報推定装置。
［Ｃ２］
前記推定部は、物品の認識結果に含まれる物品特定情報が最も多く属する棚識別情報を推定結果として出力する［Ｃ１］の棚情報推定装置。
［Ｃ３］
前記推定部は、物品の認識結果に含まれる前記複数の物品の種別が最も多く属する棚識別情報を推定結果として出力する［Ｃ１］又は［Ｃ２］の棚情報推定装置。
［Ｃ４］
前記認識部は、前記撮影画像における前記複数の物品の相対位置関係を認識し、
前記推定部は、前記棚管理情報と認識結果に含まれる前記複数の物品に対応する物品特定情報とに基づき前記複数の物品の相対位置関係を推定し、認識される相対位置関係と推定される相対位置関係との比較に基づき前記複数の物品が置かれる棚に対応する棚識別情報を推定する［Ｃ１］の棚情報推定装置。
［Ｃ５］
前記認識部は、前記撮影画像に含まれる棚の縁の位置を認識し、
前記推定部は、認識結果に含まれる棚の縁の位置に基づき、前記複数の物品が置かれる棚に対応する棚識別情報を推定する［Ｃ１］の棚情報推定装置。
［Ｃ６］
撮影画像を取得する手順と、
各棚に対応する棚識別情報と各棚に含まれる棚位置に対応する棚位置識別情報と各棚位置に置かれる物品に対応する物品特定情報とを関連付けた棚管理情報に基づき、前記撮影画像に含まれる複数の物品を認識する手順と、
前記棚管理情報及び物品の認識結果に基づき、前記複数の物品が置かれる棚に対応する棚識別情報を推定する手順と、
をコンピュータに実行させる情報処理プログラム。

１…棚情報推定装置
２…カメラ
３…データベース（ＤＢ）
４…表示デバイス
５…ディスプレイ
１１…棚
１０１…プロセッサ
１０２…メモリ
１０３…操作Ｉ／Ｆ
１０４…入力Ｉ／Ｆ
１０５…表示Ｉ／Ｆ

Claims (6)

1. 撮影画像を取得する取得部と、
   各棚に対応する棚識別情報と各棚に含まれる棚位置に対応する棚位置識別情報と各棚位置に置かれる物品に対応する物品特定情報とを関連付けた棚管理情報に基づき、前記撮影画像に含まれる複数の物品を認識する認識部と、
   前記棚管理情報及び物品の認識結果に基づき、前記複数の物品が置かれる棚に対応する棚識別情報を推定する推定部と、
   を備え、
   前記認識部は、前記撮影画像における前記複数の物品の相対位置関係を認識し、
   前記推定部は、前記棚管理情報と認識結果に含まれる前記複数の物品に対応する物品特定情報とに基づき前記複数の物品の相対位置関係を推定し、認識される相対位置関係と推定される相対位置関係との比較に基づき前記複数の物品が置かれる棚に対応する棚識別情報を推定する棚情報推定装置。
2. 前記推定部は、物品の認識結果に含まれる物品特定情報が最も多く属する棚識別情報を推定結果として出力する請求項１の棚情報推定装置。
3. 前記推定部は、物品の認識結果に含まれる前記複数の物品の種別が最も多く属する棚識別情報を推定結果として出力する請求項１又は２の棚情報推定装置。
4. 前記認識部は、前記撮影画像に含まれる棚の縁の位置を認識し、
   前記推定部は、認識結果に含まれる棚の縁の位置に基づき、前記複数の物品が置かれる棚に対応する棚識別情報を推定する請求項１の棚情報推定装置。
5. 前記推定部は、認識される相対位置関係と推定される相対位置関係との比較に基づき最も類似度の高い比較結果を導き出す棚に対応する棚識別情報を推定する請求項１の棚情報推定装置。
6. 撮影画像を取得する手順と、
   各棚に対応する棚識別情報と各棚に含まれる棚位置に対応する棚位置識別情報と各棚位置に置かれる物品に対応する物品特定情報とを関連付けた棚管理情報に基づき、前記撮影画像に含まれる複数の物品を認識する手順と、
   前記棚管理情報及び物品の認識結果に基づき、前記複数の物品が置かれる棚に対応する棚識別情報を推定する手順と、
   をコンピュータに実行させる情報処理プログラムであって、
   前記複数の物品を認識する手順は、前記撮影画像における前記複数の物品の相対位置関係を認識し、
   前記棚識別情報を推定する手順は、前記棚管理情報と認識結果に含まれる前記複数の物品に対応する物品特定情報とに基づき前記複数の物品の相対位置関係を推定し、認識される相対位置関係と推定される相対位置関係との比較に基づき前記複数の物品が置かれる棚に対応する棚識別情報を推定する、情報処理プログラム。
   

Images