JP6473014B2 - 情報提供システム及び情報提供装置 - Google Patents

Description

本発明は、印刷媒体を用いて情報を提供する情報提供システム及び情報提供装置に関する。

一般的に、ダイレクトメールのように広告宣伝等を目的として送付される印刷物においては、差出人が受取人に通知したい情報が文字や絵図として所定の用紙に印刷されている。そして、印刷物が受取人にて受け取られて開封されることにより、印刷された文字や絵図が受取人に通知されることになる。

ところが、このような印刷物は、送付先において開封されることなく廃棄されてしまうことが多い。そのため、開封意欲を掻き立てるための様々な工夫が考えられている。

ところで、特許文献１には、印刷物に表示されたキャラクターを撮影すると、そのキャラクターの三次元モデルが生成されて表示される技術が開示されている。この技術を上述したような印刷物にも適用することで、ダイレクトメールのように広告宣伝等を目的として送付される印刷物においても、受取人に興味を持たせることができ、開封意欲を掻き立てることができるようになる。

特開２０１４−２９５６６号公報

特許文献１に開示された技術においては、印刷物に表示されたキャラクターの三次元モデルが表示されるだけであるため、例えば、同一のキャラクターが表示されたダイレクトメールの送付先には、同一のキャラクターの三次元モデルが表示されるだけのものとなり、ダイレクトメールの送付先毎にユニークな情報を提供することができない。そのため、印刷物の受取人において、自分のための印刷物であることの意識が生じにくく、それにより、印刷物がその提供先にとって十分に興味があるものとなっているとは言い難い。

本発明は、上述したような従来の技術が有する問題点に鑑みてなされたものであって、印刷媒体を用いて魅力的でかつユニークな情報を提供できる情報提供システム及び情報提供装置を提供することを目的とする。

上記目的を達成するために本発明は、
絵図が表示された絵図表示領域と、固有識別情報が表示される識別情報表示領域とを有する印刷媒体と、
前記絵図表示領域に表示された絵図と、前記識別情報表示領域に表示された固有識別情報とを、画像データとして認識する画像認識手段と、
前記画像認識手段にて認識された画像データを、前記絵図と前記固有識別情報とに切り分ける切り分け手段と、
前記切り分け手段にて切り分けられた絵図の三次元モデルを生成する三次元モデル生成手段と、
前記切り分け手段にて切り分けられた固有識別情報を認識し、該固有識別情報に応じた音声データを生成する音声データ生成手段と、
前記三次元モデル生成手段にて生成された絵図の三次元モデルを表示出力するとともに、前記音声データ生成手段にて生成された音声データを出力する出力手段とを有する。

上記のように構成された本発明においては、印刷媒体に表示された絵図及び固有識別情報が画像認識手段にて画像データとして認識されると、まず、切り分け手段において、画像認識手段にて認識された画像データが、絵図と固有識別情報とに切り分けられ、絵図については、三次元モデル生成手段において三次元モデルが生成され、固有識別情報については、音声データ生成手段において固有識別情報に応じた音声データが生成される。その後、出力手段において、三次元モデル生成手段にて生成された絵図の三次元モデルが表示出力されるとともに、音声データ生成手段にて生成された音声データが出力される。そのため、例えば、固有識別情報として、印刷媒体の提供先の氏名や名称等、印刷媒体の提供先を識別可能なものを用いることにより、この提供先の氏名や名称が音声出力されたり、提供先に応じた情報が音声出力されたりすることになる。これにより、印刷媒体の提供先に、印刷媒体に表示された絵図の三次元モデルを提供しながら、ユニークな情報を音声にて提供することができる。

また、印刷媒体に絵図の下絵を表示しておき、画像認識手段において、下絵に着色された状態の絵図を画像データとして認識すれば、印刷媒体の提供先において下図に好みの着色が施された絵図の三次元モデルが表示出力されることとなり、絵図についても印刷媒体の提供先毎にユニークな情報を提供することができるようになる。

本発明によれば、例えば、固有識別情報として、印刷媒体の提供先の氏名や名称等、印刷媒体の提供先を識別可能なものを用いることにより、この提供先の氏名や名称が音声出力されたり、提供先に応じた情報が音声出力されたりすることになり、これにより、印刷媒体に表示された絵図の三次元モデルを提供しながら、ユニークな情報を音声にて提供することができる。

また、印刷媒体に絵図の下絵を表示しておき、画像認識手段において、下絵に着色された状態の絵図を画像データとして認識するものにおいては、印刷媒体の提供先において下図に好みの着色が施された絵図の三次元モデルが表示出力されることとなり、絵図についても印刷媒体の提供先毎にユニークな情報を提供することができる。

本発明の情報提供システムの第１の実施の形態を示すブロック図である。 図１に示した印刷物の構成を示す図である。 図１及び図２に示した情報提供システムにおける情報提供方法を説明するためのフローチャートである。 図２に示した印刷物の氏名記入領域に利用者の氏名である氏名情報が記入された状態を示す図である。 スマートフォンにてキャラクター絵の三次元モデルが表示出力されるとともに氏名情報の音声データが出力されている状態を示す図である。 本発明の情報提供システムの第２の実施の形態を示すブロック図である。 図６に示した印刷物の構成を示す図である。 図６及び図７に示した情報提供システムにおける情報提供方法を説明するためのフローチャートである。 図７に示した印刷物のキャラクター下絵に着色が施された状態を示す図である。 スマートフォンにてキャラクター絵の三次元モデルが表示出力されるとともに二次元コードに応じた音声データが出力されている状態を示す図である。

以下に、本発明の実施の形態について図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の情報提供システムの第１の実施の形態を示すブロック図である。図２は、図１に示した印刷物１０の構成を示す図である。

本形態における情報提供システムは図１に示すように、印刷媒体となる印刷物１０と、情報提供装置となるスマートフォン２０とから構成されている。

印刷物１０は図２に示すように、絵図表示領域１１と、識別情報表示領域となる氏名記入領域１２とを有している。

絵図表示領域１１には、絵図となるキャラクター絵１１ａが表示されている。このキャラクター絵１１ａは、任意のキャラクターの絵が着色されて完成した状態で表示されている。

氏名記入領域１２は、この印刷物１０の提供先の利用者の氏名を記入するための領域である。

スマートフォン２０は図１に示すように、撮影部２１と、画像認識部２２と、切り分け部２３と、三次元モデル生成部２４と、音声データ生成部２５と、合成部２６と、表示部２７と、音声出力部２８と有し、合成部２６、表示部２７及び音声出力部２８から本発明の出力手段が構成されている。なお、スマートフォン２０には、これ以外の入力手段や通信手段が設けられているが、本発明に直接関係のない構成要素は省略している。

撮影部２１は、印刷物１０を撮影するためのものである。

画像認識部２２は、撮影部２１にて撮影された印刷物の撮影データから、印刷物１０の絵図表示領域１１に表示されたキャラクター絵１１ａと、氏名記入領域１２に記入された固有識別情報となる氏名情報とを、画像データとして認識する。

切り分け部２３は、画像認識部２２にて認識された画像データを、絵図表示領域１１に表示されたキャラクター絵１１ａと、氏名記入領域１２に記入された氏名情報とに切り分ける。

三次元モデル生成部２４は、切り分け部２３にて切り分けられたキャラクター絵１１ａの三次元モデルを生成する。この三次元モデルの生成は、例えば、特許文献１に開示されたもののように、切り分け部２３にて切り分けられたキャラクター絵１１ａを三次元テクスチャ形式に変換し、この三次元テクスチャ形式のデータを三次元形状データにマッピングすることによって行うこと等、周知な技術を用いることができる。

音声データ生成部２５は、切り分け部２３にて切り分けられた氏名情報を認識し、この氏名情報に応じた音声データを生成する。なお、音声データの生成についても、テキストデータから音声データを生成する一般的な方法で行うことができる。

合成部２６は、三次元モデル生成部２４にて生成されたキャラクター絵１１ａの三次元モデルと、音声データ生成部２５にて生成された氏名情報の音声データとを合成する。

表示部２７は、液晶ディスプレイ等からなり、合成部２６にて合成されたデータのうち、キャラクター絵１１ａの三次元モデルを表示出力する。

音声出力部２８は、スピーカ等からなり、合成部２６にて合成されたデータのうち、氏名記入領域１２に記入された氏名情報の音声データを出力する。

以下に、上記のように構成された情報提供システムにおける情報提供方法について説明する。

図３は、図１及び図２に示した情報提供システムにおける情報提供方法を説明するためのフローチャートである。

図１及び図２に示した情報提供システムにおいては、印刷物１０に表示された情報を用いてスマートフォン２０にて情報を表示することで、利用者に情報を提供することになる。

印刷物１０の提供先となる利用者は、この情報提供システムを用いて情報の提供を受ける場合は、印刷物１０の氏名記入領域１２に自分の氏名を記入し（ステップ１）、スマートフォン２０を用いて印刷物１０を撮影する（ステップ２）。

図４は、図２に示した印刷物１０の氏名記入領域１２に利用者の氏名である氏名情報１２ａが記入された状態を示す図である。

図４に示すように氏名記入領域１２に氏名情報１２ａが記入された状態の印刷物１０が撮影部２１にて撮影されると、画像認識部２２において、撮影部２１にて撮影された印刷物１０の撮影データから、印刷物１０の絵図表示領域１１に表示されたキャラクター絵１１ａと、氏名記入領域１２に記入された氏名情報１２ａとが、画像データとして認識される（ステップ３）。

次に、切り分け部２３において、画像認識部２２にて認識された画像データが、絵図表示領域１１に表示されたキャラクター絵１１ａと、氏名記入領域１２に記入された氏名情報１２ａとに切り分けられる（ステップ４）。これは、絵図表示領域１１と氏名記入領域１２の範囲をそれぞれ予め指定していき、その指定された範囲に応じて切り分けてもよいし、一般的な文字認識技術を用いて氏名情報１２ａを認識し、その他の部分をキャラクター絵１１ａとして切り分けてもよい。

切り分け部２３にて切り分けられたキャラクター絵１１ａと氏名情報１２ａのうちキャラクター絵１１ａは、三次元モデル生成部２４に入力される。三次元モデル生成部２４においては、上述したように、例えば、切り分け部２３にて切り分けられたキャラクター絵１１ａが三次元テクスチャ形式に変換され、この三次元テクスチャ形式のデータが三次元形状データにマッピングされることによって、キャラクター絵１１ａの三次元モデルが生成される（ステップ５）。

切り分け部２３にて切り分けられたキャラクター絵１１ａと氏名情報１２ａのうち氏名情報１２ａは音声データ生成部２５に入力される。音声データ生成部２５においては、まず、切り分け部２３にて切り分けられた氏名情報１２ａがＯＣＲ（Optical Character Recognition/Reader：光学的文字認識）等によって認識され、テキストデータに変換される（ステップ６）。

次に、音声データ生成部２５において、氏名情報１２ａのテキストデータが音声データに変換され、それにより、氏名情報１２ａに応じた音声データが生成される（ステップ７）。

三次元モデル生成部２４にてキャラクター絵１１ａの三次元モデルが生成され、また、音声データ生成部２５にて氏名情報１２ａの音声データが生成されると、合成部２６においてこれらキャラクター絵１１ａの三次元モデルと氏名情報１２ａの音声データとが合成され（ステップ８）、キャラクター絵１１ａの三次元モデルが表示部２７にて表示出力されるとともに、氏名情報１２ａの音声データが音声出力部２８から出力される（ステップ９）。

図５は、スマートフォン２０にてキャラクター絵１１ａの三次元モデルが表示出力されるとともに氏名情報１２ａの音声データが出力されている状態を示す図である。

図５に示すように、上述した一連の処理によって、スマートフォン２０の表示部２７には、キャラクター絵１１ａによるキャラクターがキャラクター３Ｄモデル１３により立体的となって印刷物１０上に乗っているように表示されるとともに、音声出力部２８からは、氏名記入領域１２に記入された氏名情報１２ａ「とっきょいちろう」が敬称を付けた音声となって出力される。

これにより、印刷物１０に表示されたキャラクター絵図１１ａの三次元モデルを提供しながら、印刷物１０の利用者の氏名を音声にて提供することができ、利用者にとって印刷物１０の魅力が向上する。

（第２の実施の形態）
図６は、本発明の情報提供システムの第２の実施の形態を示すブロック図である。図７は、図６に示した印刷物１１０の構成を示す図である。

本形態における情報提供システムは図６及び図７に示すように、第１の実施の形態にて示したものに対して、スマートフォン１２０が通信部１２９を有し、通信回線１４０を介してデータベースサーバ１３０にアクセス可能に構成されており、また、印刷物１１０においては、識別情報表示領域として、固有識別情報となる二次元コード１１２ａが表示された識別コード表示領域１１２が設けられているとともに、絵図表示領域１１１に、着色されずにキャラクター絵としては未完成のキャラクター下絵１１１ａが表示されている点が異なるものである。二次元コード１１２ａは印刷物１１０毎に固有であり、通信部１２９によるアクセス先を指定するアクセス情報が含まれている。

撮影部１２１は、第１の実施の形態にて示したものと同様に、印刷物１１０を撮影するためのものである。

画像認識部１２２は、撮影部１２１にて撮影された印刷物の撮影データから、印刷物１１０の絵図表示領域１１１に表示されたキャラクター下絵１１１ａに着色が施されたキャラクター絵と、識別コード表示領域１１２に表示された二次元コード１１２ａとを、画像データとして認識する。

切り分け部１２３は、画像認識部１２２にて認識された画像データを、絵図表示領域１１１に表示されたキャラクター下絵１１１ａに着色が施されたキャラクター絵と、識別コード表示領域１１２に表示された二次元コード１１２ａとに切り分ける。

三次元モデル生成部１２４は、第１の実施の形態にて示したものと同様に、切り分け部１２３にて切り分けられたキャラクター絵の三次元モデルを生成する。

音声データ生成部１２５は、切り分け部１２３にて切り分けられた二次元コード１１２ａを解析して解析結果を通信部１２９に通知し、また、通信部１２９を介してデータベースサーバ１３０から取得したテキストデータを音声データに変換する。これにより、音声データ生成部１２５は、二次元コード１１２ａに応じた音声データを生成することになる。

合成部１２６は、第１の実施の形態にて示したものと同様に、三次元モデル生成部１２４にて生成されたキャラクター絵の三次元モデルと、音声データ生成部１２５にて生成された音声データとを合成する。

表示部１２７は、第１の実施の形態にて示したものと同様に、液晶ディスプレイ等からなり、合成部１２６にて合成されたデータのうち、キャラクター絵の三次元モデルを表示出力する。

音声出力部１２８は、スピーカ等からなり、合成部１２６にて合成されたデータのうち、音声データ生成部１２５にて生成された音声データを出力する。これにより、音声出力部１２８は、識別コード表示領域１１２に表示された二次元コード１１２ａに応じた音声データを出力する。

以下に、上記のように構成された情報提供システムにおける情報提供方法について説明する。

図８は、図６及び図７に示した情報提供システムにおける情報提供方法を説明するためのフローチャートである。

図６及び図７に示した情報提供システムにおいては、第１の実施の形態にて示したものと同様に、印刷物１１０に表示された情報を用いてスマートフォン１２０にて情報を表示することで、利用者に情報を提供することになる。

印刷物１１０の提供先となる利用者は、この情報提供システムを用いて情報の提供を受ける場合は、印刷物１１０の絵図表示領域１１１に表示されたキャラクター下絵１１１ａに好みの色で着色を施し（ステップ１０１）、スマートフォン１２０を用いて印刷物１１０を撮影する（ステップ１０２）。

図９は、図７に示した印刷物１１０のキャラクター下絵１１１ａに着色が施された状態を示す図である。

図９に示すようにキャラクター下絵１１１ａに着色が施されることでキャラクター絵１１１ｂが表示された状態となった印刷物１１０が撮影部１２１にて撮影されると、画像認識部１２２において、撮影部１２１にて撮影された印刷物の撮影データから、印刷物１１０の絵図表示領域１１１に表示されたキャラクター絵１１１ｂと、識別コード表示領域１１２に表示された二次元コード１１２ａとが、画像データとして認識される（ステップ１０３）。

次に、切り分け部１２３において、画像認識部２２にて認識された画像データが、絵図表示領域１１１に表示されたキャラクター絵１１１ｂと、識別コード表示領域１１２に表示された二次元コード１１２ａとに切り分けられる（ステップ１０４）。これは、第１の実施の形態にて示したものと同様に、絵図表示領域１１１と識別コード表示領域１１２の範囲をそれぞれ予め指定していき、その指定された範囲に応じて切り分けてもよいし、画像認識部１２２にて認識された画像データの中から二次元コード１１２ａを認識し、その他の部分をキャラクター絵１１１ｂとして切り分けてもよい。

切り分け部１２３にて切り分けられたキャラクター絵１１１ｂと二次元コード１１２ａのうちキャラクター絵１１１ｂは、三次元モデル生成部１２４に入力され、第１の実施の形態にて示したものと同様に、三次元モデル生成部１２４においてキャラクター絵１１１ｂの三次元モデルが生成される（ステップ１０５）。

切り分け部１２３にて切り分けられたキャラクター絵１１１ｂと二次元コード１１２ａのうち二次元コード１１２ａは音声データ生成部１２５に入力される。音声データ生成部１２５においては、まず、切り分け部１２３にて切り分けられた二次元コード１１２ａが解析され、解析結果が通信部１２９に通知される（ステップ１０６）。

上述したように、二次元コード１１２ａには、通信部１２９によるアクセス先を指定するアクセス情報が含まれているため、通信部１２９において、音声データ生成部１２５から通知された解析結果を用いてデータベースサーバ１３０の音声情報データベース１３１のアクセスが行われる。

音声情報データベース１３１には、例えば、利用者の年齢や性別、居住地、趣味趣向等、利用者の属性情報に対応づけて、音声情報として提供すべき情報がテキストデータとして登録されている。一方、印刷物１１０の識別コード表示領域１１２ｂに表示された二次元コード１１２ａには、音声情報データベース１３１における利用者の属性情報に対応する情報の登録場所を示すアクセス情報が含まれている。そのため、二次元コード１１２ａに含まれるアクセス情報を用いて、利用者に提供すべき情報が検索され、通信部１２９にて通信回線１４０を介して音声情報データベース１３１から取得される（ステップ１０７）。

通信部１２９にて取得された情報は音声データ生成部２５に入力され、音声データ生成部２５において、通信部１２９から入力されたテキストデータによる情報が音声データに変換され、それにより、二次元コード１１２ａに応じた音声データが生成される（ステップ１０８）。

三次元モデル生成部１２４にてキャラクター絵１１１ｂの三次元モデルが生成され、また、音声データ生成部１２５にて二次元コード１１２ａに応じた音声データが生成されると、合成部１２６においてこれらキャラクター絵１１１ｂの三次元モデルと二次元コード１１２ａに応じた音声データとが合成され（ステップ１０９）、キャラクター絵１１１ｂの三次元モデルが表示部１２７にて表示出力されるとともに、二次元コード１１２ａに応じた音声データが音声出力部１２８から出力される（ステップ１１０）。

図１０は、スマートフォン１２０にてキャラクター絵１１１ｂの三次元モデルが表示出力されるとともに二次元コード１１２ａに応じた音声データが出力されている状態を示す図である。

図１０に示すように、上述した一連の処理によって、スマートフォン１２０の表示部１２７には、キャラクター絵１１１ｂによるキャラクターがキャラクター３Ｄモデル１１３により立体的となって印刷物１１０上に乗っているように表示されるとともに、音声出力部１２８からは、二次元コード１１２ａに応じた音声情報が出力される。

これにより、印刷物１１０に表示されたキャラクター絵図１１１ｂの三次元モデルを提供しながら、印刷物１１０の利用者毎にユニークな情報を音声にて提供することができ、利用者にとって印刷物１１０の魅力が向上する。また、印刷物１１０に表示されたキャラクター下絵１１１ａに利用者が好みの着色を施したキャラクター絵図１１１ｂの三次元モデルが表示出力されることにより、絵図についても印刷物１１０の利用者毎にユニークな情報を提供することができる。

なお、本形態においては、音声情報データベース１３１に、音声情報として提供すべき情報がテキストデータとして登録されており、音声データ生成部１２５において、このテキストデータを音声データに変換しているが、音声情報データベース１３１に音声データそのものを登録しておき、音声データ生成部１２５において音声情報データベース１３１から音声データを取得するものであってもよい。

また、スマートフォン１２０が、データベースサーバ１３０にアクセスして音声データとして提供すべき情報を取得するのではなく、スマートフォン１２０にインストールされたアプリケーションに、二次元コード１１２ａに応じた情報を登録しておき、音声データ生成部１２５において、二次元コード１１２ａを用いて音声データを検索してもよい。

また、二次元コード１１２ａに、音声データとして提供する情報そのものを含ませておき、音声データ生成部１２５において、二次元コード１１２ａに含まれている情報を音声データに変換してもよい。

また、本形態においても、利用者の氏名を音声データとして出力する構成としてもよい。その場合、利用者の氏名を二次元コード１１２ａに含ませたり、利用者の氏名を識別コード表示領域１１２に表示したりしておけばよい。

また、上述した２つの実施の形態においては、合成部２６，１２６において、三次元モデル生成部２４，１２４にて生成された三次元モデルと、音声データ生成部２５，１２５にて生成された音声データとが合成され、三次元モデルが表示部２７，１２７にて表示出力されるとともに、音声データが音声出力部２８，１２８から出力されているが、これら三次元モデルと音声データとを合成することなく同時出力する構成であってもよい。

１０，１１０ 印刷物
１１，１１１ 絵図表示領域
１１ａ，１１１ｂ キャラクター絵
１２ 氏名記入領域
１２ａ 氏名情報
１３，１１３ キャラクター三次元モデル
２０，１２０ スマートフォン
２１，１２１ 撮影部
２２，１２２ 画像認識部
２３，１２３ 切り分け部
２４，１２４ 三次元モデル生成部
２５，１２５ 音声データ生成部
２６，１２６ 合成部
２７，１２７ 表示部
２８，１２８ 音声出力部
１１１ａ キャラクター下絵
１１２ 識別コード表示領域
１１２ａ 二次元コード
１２９ 通信部
１３０ データベースサーバ
１３１ 音声情報データベース
１４０ 通信回線

Claims (3)

1. 絵図が表示された絵図表示領域と、固有識別情報が表示される識別情報表示領域とを有する印刷媒体と、
   前記絵図表示領域に表示された絵図と、前記識別情報表示領域に表示された固有識別情報とを、画像データとして認識する画像認識手段と、
   前記画像認識手段にて認識された画像データを、前記絵図と前記固有識別情報とに切り分ける切り分け手段と、
   前記切り分け手段にて切り分けられた絵図の三次元モデルを生成する三次元モデル生成手段と、
   前記切り分け手段にて切り分けられた固有識別情報を認識し、該固有識別情報に応じた音声データを生成する音声データ生成手段と、
   前記三次元モデル生成手段にて生成された絵図の三次元モデルを表示出力するとともに、前記音声データ生成手段にて生成された音声データを出力する出力手段とを有する情報提供システム。
2. 請求項１に記載の情報提供システムにおいて、
   前記印刷媒体は、前記絵図の下絵を前記絵図表示領域に表示し、
   前記画像認識手段は、前記下絵に着色された状態の絵図を画像データとして認識する情報提供システム。
3. 印刷媒体に表示された絵図及び固有識別情報を画像データとして認識する画像認識手段と、
   前記画像認識手段にて認識された画像データを、前記絵図と前記固有識別情報とに切り分ける切り分け手段と、
   前記切り分け手段にて切り分けられた絵図の三次元モデルを生成する三次元モデル生成手段と、
   前記切り分け手段にて切り分けられた固有識別情報を認識し、該固有識別情報に応じた音声データを生成する音声データ生成手段と、
   前記三次元モデル生成手段にて生成された絵図の三次元モデルを表示出力するとともに、前記音声データ生成手段にて生成された音声データを出力する出力手段とを有する情報提供装置。

Images