JP6030945B2 - 視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラム - Google Patents

Description

本発明は、聴覚障がいがあるユーザやその家族のユーザなど、手話や口話を用いてコミュニケーションをとるユーザが、テレビ放送をはじめとするコンテンツ映像を視聴する際に、コミュニケーションをより円滑にする視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラムに関する。

「テレビを見ながら家族と会話をする」という行為は、聴者（聴覚に障害がない人のこと）のユーザにとってはごく自然な行為である。これは、聴者同士は音声のみによってコミュニケーションをとることが可能であり、コンテンツ映像の視聴を中断せずにコミュニケーションをとることができるからである。一方で、手話や口話によってコミュニケーションをとる聴覚障がい者やその家族のユーザは、コンテンツ映像の視聴時にコミュニケーションをとろうとすると、「番組本編を見逃さないように、CM中、番組終了後だけおしゃべりする」、「お互いの様子、手話や顔の表情が見やすいように座る位置を工夫する」など、様々な制約がともなう。手話や口話は相手と目を合わせることで成立するコミュニケーション方法であり、コンテンツ映像の視聴時に会話をするためには、視聴を中断して相手と向き合う必要があるからである。

このような問題に対して、例えば非特許文献１のような遠隔コミュニケーションに用いるシステムを適用することが考えられる。

特開2008-217536号公報

上述のように、聴覚障がい者やその家族のユーザが、テレビなどのコンテンツ映像の視聴時にコミュニケーションをとろうとすると、様々な制約がともなうため、円滑なコミュニケーションを実現することが難しい。

特許文献１のシステムは、遠隔コミュニケーションに用いるシステムであって、コンテンツ映像を視聴する際に、聴覚障がい者などの円滑なコミュニケーションを図ることについては考慮されていない。

例えば、画面に表示される自己画像は、ユーザの状態に応じて表示/非表示を制御されることはなく、常時表示される。しかし、ユーザが、コンテンツ映像を視聴中、ユーザをビデオカメラにより撮影した映像（以下では、ユーザ映像と呼ぶ）は、例えば、ユーザが手話や口話などの会話をしているなどの状況に応じて表示/非表示を制御される必要がある。ユーザが会話を行っていない間、ユーザ映像は表示されている必要はなく、コンテンツ映像やテロップや字幕等の文字情報の見やすさを考えると、表示されない方が望ましいからである。

また、ユーザが会話を行っていない間でも、ユーザの表情に変化があればユーザ映像が表示されることが望ましい。ユーザ映像を通して互いの表情の変化に気がつくことで、会話を開始するきっかけとなったり、逆に話しかけるのを控えるべきだと判断したりするなど、コミュニケーションをより円滑にすることを可能とするためである。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、聴覚に障がいがあるユーザがコンテンツ映像を視聴する際に、コミュニケーションをより円滑にする視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラムを提供することにある。

上記目的を達成するため、本発明は、視聴者の映像の表示を制御する視聴者映像表示制御装置であって、コンテンツ映像を視聴している視聴者を撮影するカメラから入力されるカメラ映像を解析し、前記視聴者の映像を検出する映像解析部と、前記コンテンツ映像がCM中であるか否かを判断するTV内容判断部と、前記カメラ映像を用いて前記視聴者が手話をしているか否かを検出する手話検出部と、前記TV内容判断部による判断がCM中でない場合は、前記手話検出部が手話をしていると検出したタイミングで、前記視聴者が手話をしている間だけ、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成する映像合成部と、を備え、前記手話映像は、前記視聴者が手話を行っている場合に手話の動作が視認できる映像である。

上記視聴者映像表示制御装置において、前記TV内容判断部による判断がCM中である場合は、前記映像合成部は、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成してもよい。

上記視聴者映像表示制御装置において、前記カメラ映像を用いて前記視聴者の顔の表情変化を検出する表情変化検出部をさらに備え、前記TV内容判断部による判断がCM中でない場合であって、前記視聴者が手話をしていない場合、前記映像合成部は、前記表情変化検出部が前記表情変化を検出したタイミングで、前記視聴者の映像を用いた表情映像を前記コンテンツ映像に重畳して合成してもよい。

上記視聴者映像表示制御装置において、前記カメラ映像を用いて前記視聴者の顔の表情変化を検出する表情変化検出部と、前記視聴者の映像を用いた手話映像、または前記視聴者の映像を用いた表情映像を強調するための強調処理を、前記手話検出部または前記表情変化検出部が検出してから所定の時間、行う強調部と、をさらに備え、前記映像合成部は、前記強調処理がなされた手話映像または表情映像を前記コンテンツ映像に重畳して合成してもよい。

本発明は、コンピュータが行う、視聴者の映像の表示を制御する視聴者映像表示制御方法であって、コンテンツ映像を視聴している視聴者を撮影するカメラから入力されるカメラ映像を解析し、前記視聴者の映像を検出する映像解析ステップと、前記コンテンツ映像がCM中であるか否かを判断するTV内容判断ステップと、前記TV内容判断ステップにおいてCM中でないと判断された場合、前記視聴者が手話を開始したタイミングで、前記視聴者が手話をしている間だけ、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成する映像合成ステップと、を行い、前記手話映像は、前記視聴者が手話を行っている場合に手話の動作が視認できる映像である。

上記視聴者映像表示制御方法において、前記TV内容判断ステップにおいてCM中であると判断された場合、前記映像合成ステップは、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成してもよい。

上記視聴者映像表示制御方法において、前記TV内容判断ステップにおいてCM中でないと判断された場合であって、前記視聴者が手話をしていない場合、前記映像合成ステップは、前記視聴者の顔の表情が変化したタイミングで、前記視聴者の映像を用いた表情映像を前記コンテンツ映像に重畳して合成してもよい。

上記視聴者映像表示制御方法において、前記検出された視聴者の映像を用いた手話映像を手話の開始から所定の時間、強調させる処理を行う、または、前記検出された視聴者の映像を用いた表情映像を表情変化から所定の時間、強調させる処理を行う強調ステップをさらに行い、前記映像合成ステップは、前記強調ステップの処理がなされた手話映像または表情映像を、前記コンテンツ映像に重畳して合成してもよい。

本発明は、前記視聴者映像表示制御装置が備える各部としてコンピュータを機能させる視聴者映像表示制御プログラムである。

本発明によれば、聴覚に障がいがあるユーザがコンテンツ映像を視聴する際に、コミュニケーションをより円滑にする視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラムを提供することができる。

本発明の実施形態に係るシステムの全体構成を示す構成図である。 制御装置の構成を示すブロック図である。 手話判断部および表情変化判断部の構成を示すブロック図である。 ユーザ映像生成部の構成を示すブロック図である。 TV内容判断部及び手話判断部の処理を表すフローチャートである。 表情変化判断部の処理を表すフローチャートである。 ユーザ映像生成部の処理を示す模式図である。 手話映像または表情映像が表示された画面例のイメージ図である。 手話映像または表情映像が表示された画面例のイメージ図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係るシステムの全体構成図である。図示するシステムは、コンテンツ映像を表示する画面１と、当該画面１の近くに設置され、コンテンツ映像を視聴しているユーザ（視聴者）を撮影するビデオカメラ２と、カメラ入力インタフェース３と、画面出力インタフェース４と、ユーザが使用するリモコン５と、ユーザ入力インタフェース６と、制御装置７（視聴者映像表示制御装置）と、地上デジタルテレビ放送受像機などのコンテンツ映像を出力する映像コンテンツ出力装置８とを備える。

制御装置７には、ビデオカメラ２により撮影されたカメラ映像が、カメラ入力インタフェース３を介して制御装置７に入力される。また、制御装置７には、映像コンテンツ出力装置８から出力されるコンテンツ映像が入力される。また、制御装置７には、リモコン５を用いてユーザが入力したユーザ入力データ（指示情報、設定情報など）が、ユーザ入力インタフェース６を介して入力される。

制御装置７は、入力されたカメラ映像からユーザの顔及び上半身の検出、ユーザの手話の動作の検出、表情の変化の検出、コンテンツ映像におけるテレビCMの検出などを行う。そして、制御装置７は、ユーザが手話をしている間とテレビCM中は、手話映像をユーザが視聴しているコンテンツ映像に重畳して合成し、画面出力インタフェース４を介して画面１に出力する。また、制御装置７は、手話はしていないが、表情変化があったときには、表情映像をユーザが視聴しているコンテンツ映像に重畳して合成し、画面出力インタフェース４を介して画面１に出力する。

なお、制御装置７には、例えば、画面１に接続されたPCやテレビに搭載されたブラウザなどを用いること考えられる。

次に、図２を用いて制御装置７の詳細を説明する。図２は、制御装置７の構成を示すブロック図である。図示する制御装置７は、カメラ映像解析部７１と、TV内容判断部７２と、手話判断部７３と、表情変化判断部７４と、ユーザ映像生成部７５と、映像合成部７６とを備える。

ビデオカメラ２は、画面１に表示されるコンテンツ映像を視聴するユーザを撮影し、撮影したカメラ映像をフレーム単位でカメラ映像解析部７１に入力する。カメラ映像解析部７１は、入力されたカメラ映像フレームを画像解析し、ユーザ毎にユーザの映像（顔及び上半身など）を検出する。そして、各ユーザの顔及び上半身の画像領域を表す座標情報とカメラ映像フレームとを、TV内容判断部７２に出力する。ＴＶ内容判断部７２は、映像コンテンツ出力装置８から出力されるコンテンツ映像がCM中か、すなわちCMに切り替わったか否かを検知する。

手話判断部７３は、カメラ映像フレームを用いて、ユーザが手話をしているか否かを検出する。表情変化判断部７４は、カメラ映像フレームを用いて、ユーザの顔の表情変化を検出する。ユーザ映像生成部７５は、カメラ映像解析部７１が検出したユーザの顔および上半身を用いて、ユーザの手話映像または表情映像を生成する。映像合成部７６は、ユーザの手話映像および表情映像をコンテンツ映像に重畳して合成し、画面出力インタフェース４を介して画面１に出力し、画面１上に表示させる。

図３は、制御装置７の手話判断部７３および表情変化判断部７４の構成を示すブロック図である。図示する手話判断部７３は、手話検出部７３１と、手話非検出時間参照部７３２とを備え、表情変化判断部７４は、表情変化検出部７４１と、表情変化検出時間参照部７４２と、アイコン判断部７４３とを備える。これらの処理については、図５および図６を用いて後述する。

図４は、制御装置７のユーザ映像生成部７５の構成を示すブロック図である。図示するユーザ映像生成部７５は、ユーザ映像抽出部７５１と、ユーザ映像エフェクト処理部７５２と、ユーザ映像サイズ決定部７５３と、ユーザ映像位置座標決定部７５４と、文字情報検出部７５５とを備える。これらの処理については、図７を用いて後述する。

上記説明した制御装置７には、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた制御装置７用のプログラムを実行することにより、制御装置７の各機能が実現される。また、制御装置７用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

次に、本実施形態の制御装置７の処理について説明する。

まず、ビデオカメラ２は、コンテンツを視聴しているユーザを撮影する。このカメラ映像は、カメラ入力インタフェース３を介して、制御装置７のカメラ映像解析部７１にフレーム単位で入力される。

カメラ映像解析部７１は、入力されたカメラ映像フレームからユーザの映像（ここでは、顔及び上半身）をユーザ毎に検出する。そして、カメラ映像解析部７１は、ユーザの顔及び上半身の画像領域を表す座標情報とカメラ映像フレームとを、TV内容判断部７２に出力する。なお、ユーザの顔及び上半身を検出するには、例えば以下の参考文献１のような技術を用いることができる。具体的には、顔の向きに応じた特徴量の抽出と、その特徴量を用いた類似度算出を行い、算出された類似度に基づいてユーザの映像を認識・検出する。

［参考文献１］：特開2009-157766号公報
図５は、TV内容判断部７２及び手話判断部７３が行う処理を表すフローチャートである。まず、TV内容判断部７２には、映像コンテンツ出力装置８から出力されるコンテンツ映像がフレーム単位で入力されるとともに、カメラ映像解析部７１からユーザの顔及び上半身の画像領域を表す座標情報とカメラ映像フレームとがフレーム単位で入力される（Ｓ１１）。

TV内容判断部７２は、入力されたコンテンツ映像フレームがテレビCMであるか否かを判断する（Ｓ１２）。入力されたコンテンツ映像フレームがテレビCMであるか否かは、例えば以下の参考文献２のような技術を用いて判断することができる。

［参考文献２］：武 小萌、佐藤 真一、「超高速CM検出に関する研究とその知識発見への応用」、電子情報通信学会技術研究報告、2011年6月、PRMU2011-53、p．119-124
本実施形態では、コンテンツ映像がCM中の場合は、ユーザが手話をしているか否かにかかわらず、手話映像をコンテンツ映像に重畳して画面１に表示するものとする。手話映像は、ユーザが手話を行っている場合に手話の動作が視認できるユーザの映像であって、本実施形態では、手話映像として、ユーザの顔及び上半身を含む映像とする。また、コンテンツ映像がCM中でない場合は、ユーザが手話をしている間だけ、手話映像をコンテンツ映像に重畳して画面１に表示するものとする。

また、本実施形態では、手話をしていない状態から手話をしている状態に遷移した場合（すなわち、手話が開始された場合）、手話の開始から所定の時間（t1秒間）は、手話が開始されたことをユーザに気づかせるためのエフェクト処理（強調処理）を施すためのマーカーを当該カメラ映像フレームに設定することとする。

具体的には、入力されたコンテンツ映像フレームがCMの場合（Ｓ１２：ＹＥＳ）、TV内容判断部７２は、Ｓ１１で入力されたカメラ映像フレームとユーザの顔及び上半身の画像領域を表す座標情報とを、手話判断部７３に出力する。手話判断部７３の手話検出部７３１は、入力されたカメラ映像フレームを用いて、ユーザが手話をしているか否かを判断する（Ｓ１３）。ユーザが手話をしているか否かは、例えば以下の参考文献３のような技術を用いて判断することができる。

［参考文献３］：山田 寛、松尾 直志、島田 伸敬、白井 良明「手話認識のための見えの学習による手領域検出と形状識別」、画像の認識・理解シンポジウム、2009 年 7 月、MIRU2009、p．635-642
入力されたカメラ映像フレームで手話が行われていない場合（Ｓ１３：ＮＯ）、手話判断部７３の手話非検出時間参照部７３２は、現在時間をn1としてメモリなどの記憶部に保存し（Ｓ１４）、カメラ映像フレームとユーザの顔及び上半身の画像領域を表す座標情報とをユーザ映像生成部７５へ出力する（Ｓ１５）。

入力されたカメラ映像フレームで手話が行われていた場合（ユーザが複数いる場合は、その内の少なくとも１人が手話を行っていた場合）（Ｓ１３：ＹＥＳ）は、手話非検出時間参照部７３２は、記憶部に直前に保存されたn1と現在時間とを照らし合わせ、その差分を算出する。算出した差分が予め指定されたt1秒以内の場合（Ｓ１６：ＹＥＳ）、手話開始からt1秒以内であると判断する。この場合、手話非検出時間参照部７３２は、手話が開始されたことを、コンテンツ映像を視聴している他のユーザに気づかせる（注意を喚起させる）ためのエフェクト処理を行わせるために、Ｓ１１で入力されたカメラ映像フレームに任意のマーカーを付け、ユーザの顔及び上半身の画像領域を表す座標情報とともにユーザ映像生成部７５へ出力する（Ｓ１７）。

直前に保存されたn1と現在時間との差分がt1秒を超える場合（Ｓ１６：ＮＯ）、手話非検出時間参照部７３２は、手話の開始からt1秒を経過していると判断し、マーカーを付けることなく、カメラ映像フレームとユーザの顔及び上半身の画像領域を表す座標情報とをユーザ映像生成部７５へ出力する（Ｓ１５）。

一方、入力されたコンテンツ映像フレームがCMではない場合（Ｓ１２：ＮＯ）、TV内容判断部７２は、手話判断部７３にカメラ映像フレームとユーザの顔及び上半身の画像領域を表す座標情報を出力する。手話判断部７３の手話検出部７３１は、入力されたカメラ映像フレームを用いて、ユーザが手話をしているか否かを判断する（Ｓ１８）。

入力されたカメラ映像フレームで手話が行われていない場合（Ｓ１８：ＮＯ）、手話判断部７３の手話非検出時間参照部７３２は、現在時間をn2としてメモリなどの記憶部に保存し（Ｓ２２）、表情変化判断部７４へカメラ映像フレームとユーザの顔の画像領域を表す座標情報とを出力する（Ｓ２３）。

入力されたカメラ映像フレームで手話が行われていた場合（ユーザが複数いる場合は、その内の少なくとも１人が手話を行っていた場合）（Ｓ１８：ＹＥＳ）は、手話非検出時間参照部７３２は、記憶部に直前に保存されたn2と現在時間とを照らし合わせ、その差分が予め指定されたt1秒以内の場合（Ｓ１９：ＹＥＳ）、手話の開始からt1秒以内であると判断し、手話が開始されたことをコンテンツ映像を視聴している他のユーザに気づかせるために、Ｓ１１で入力されたカメラ映像フレームに任意のマーカーを付け、ユーザの顔及び上半身の画像領域を表す座標情報とともにユーザ映像生成部へ出力する（Ｓ２０）。

直前に保存されたn2と現在時間との差分がt1秒を超える場合は（Ｓ１９：ＮＯ）、手話非検出時間参照部７３２は、手話の開始からｔ1秒を経過していると判断し、マーカーを付けることなく、カメラ映像フレームとユーザの顔及び上半身の画像領域を表す座標情報をユーザ映像生成部７５へ出力する（Ｓ２１）。

なお、図５の処理は、入力されるカメラ映像およびコンテンツ映像のフレーム毎に繰り返し行われるものである。

図６は、表情変化判断部７４の処理を表すフローチャートである。

本実施形態では、コンテンツ映像がCM中でない場合であって、ユーザが手話をしていない場合でユーザに表情変化が発生した場合、所定の時間（t2秒間）、変化した後の表情映像をコンテンツ映像に重畳して画面１に表示するものとする。また、本実施形態では、表情変化が発生したことをユーザに気づかせるためのエフェクト処理（強調処理）を施すためのマーカーをカメラ映像フレームに設定することとする。

表情変化判断部７４の表情変化検出部７４１には、図４のＳ２３により、手話判断部７３により出力されたカメラ映像フレームとユーザの顔の画像領域を表す座標情報とが入力される（Ｓ３１）。

表情変化検出部７４１は、入力されたカメラ映像フレームを用いて、ユーザの表情変化が発生したか否かを検出する（Ｓ３２）。ユーザの表情変化の検出には、例えば参考文献４のような技術を用いることができる。

［参考文献４］：太田 寛志、佐治 斉、中谷 広正「顔面筋に基づいた顔構成要素モデルによる表情変化の認識」、電子情報通信学会論文誌。 D-II、 情報・システム、 II-パターン処理 Vol． J82-D-II(7)、pp．1129-1139、1999年7月
表情変化が検出された場合（Ｓ３２：ＹＥＳ）、表情変化検出部７４１は、カメラ映像フレームとユーザの顔の画像領域を表す座標情報と、どのような表情変化なのか（例えば、笑顔になったのか、驚いた顔になったのかなどの変化した後の表情）を表すタグAをともに、表情変化検出時間参照部７４２へ出力する。表情変化検出時間参照部７４２は、現在時間をn3としてメモリなどの記憶部に保存するとともに、入力されたカメラ映像フレームとユーザの顔の画像領域を表す座標情報も記憶部に保存し、表情変化を表すタグAと、カメラ映像フレームと、ユーザの顔の画像領域を表す座標情報とをアイコン判断部７４３に出力する（Ｓ３３）。

アイコン判断部７４３は、表情変化があった場合に、画面１に表示する表情映像を、カメラ映像フレームから取得するユーザの顔の映像とするのか、ユーザの表情を表す任意のアイコンとするのかを判別する（Ｓ３４）。なお、カメラ映像フレームの映像とするかアイコンとするかについては、アイコン判断部７４３は、ユーザが設定した設定情報にもとづいて判断するものとする。ユーザは、リモコン５などを用いて予め（またはコンテンツ映像を視聴中に）、カメラ映像フレームの映像とするかアイコンとするかを、アイコン判断部７４３に設定する。

なお、表情映像は、ユーザの表情が視認できる映像であって、本実施形態では、表情映像として、カメラ映像フレームから取得した映像の場合はユーザの顔を含む映像とし、アイコンの場合は顔の表情が判るものとする。

カメラ映像フレームの表情映像をユーザが設定していた場合は（Ｓ３４：ＮＯ）、アイコン判断部７４３は、カメラ映像フレームとユーザの顔の画像領域を表す座標情報とをユーザ映像生成部７５へ出力する（Ｓ３５）。そして、表情変化が起こったことを、コンテンツ映像を視聴している他のユーザに気づかせるために、アイコン判断部７４３は、Ｓ３１で入力されたカメラ映像フレームに任意のマーカーを付け、ユーザの顔の画像領域を表す座標情報とともにユーザ映像生成部７５へ出力する。

アイコンの表情映像をユーザが指定していた場合は（Ｓ３４：ＹＥＳ）、アイコン判断部７４３は、タグAの表す表情に対応するアイコンを選択し（Ｓ３６）、選択したアイコンの情報をユーザ映像生成部７５へ出力する（Ｓ３７）。なお、タグAはn3と対応づけてアイコン判断部７４３内のメモリなどの記憶部に保存する。

入力されたカメラ映像フレームで表情変化がなかった場合（Ｓ３２：ＮＯ）、表情変化検出部７４１は、カメラ映像フレームとユーザの顔の画像領域を表す座標情報とを表情変化検出時間参照部７４２へ出力する。表情変化検出時間参照部７４２は、現在時間と直前に記憶部に保存されたn3とを照らし合わせ、その差分が予め設定された所定の時間（t2秒間）以内の場合（Ｓ３８：ＹＥＳ）、表情変化が発生してからt2秒以内である（画面１への表情映像の表示期間内）と判別する。そして、表情変化検出時間参照部７４２は、直前にＳ３３で保存された情報を用いて、n3時点での顔の位置と現時点での顔の位置との差分がαピクセル以内であるか否かを判断する（Ｓ３９）。これにより、直前に表情変化が発生したカメラ映像フレームのユーザの顔と、現在のカメラ映像フレームのユーザの顔が同一人物であるか否かを判別する。

差分がαピクセル以内の場合（Ｓ３９：ＹＥＳ）、表情変化検出時間参照部７４２は、過去の顔と同一人物であると判別し、アイコン判断部７４３にカメラ映像フレームとユーザの顔の画像領域を表す座標情報とを出力する。アイコン判断部７４３は、カメラ映像フレームの表情映像をユーザが設定していた場合（Ｓ４０：ＮＯ）、カメラ映像フレームとユーザの顔の画像領域を表す座標情報とをユーザ映像生成部７５へ出力する（Ｓ４１）。アイコンの表情映像をユーザが設定していた場合は（Ｓ４０：ＹＥＳ）、アイコン判断部７４３は、直前のＳ３６で記憶部に保存しておいたタグAの表す表情に対応するアイコンを選択し（Ｓ４２）、当該アイコンの情報をユーザ映像生成部７５へ出力する（Ｓ４３）。

一方、現在時間とn3の差分が予め指定されたt2秒を超える場合（Ｓ３８：ＮＯ）、表情変化検出時間参照部７４２は、表情変化が発生してからt2秒（画面１への表情映像の表示期間）を経過したと判別し、アイコン判断部７４３への出力を行わない（Ｓ４３）。これにより、これまで画面１に表示されていた表情映像が消えることになる。

また、差分がαピクセルを超える場合（Ｓ３９：ＮＯ）も、表情変化検出時間参照部７４２は、過去の顔と違うユーザであると判別し、アイコン判断部７４３への出力を行わない（Ｓ４３）。これにより、これまで画面１に表示されていた表情映像が消えることになる。

なお、図６の処理は、入力されるカメラ映像のフレーム毎に繰り返し行われるものである。

また、図６に示す実施形態では、マーカーが付されるカメラ映像フレームはＳ３５に該当するカメラ映像フレームのみであるが、t2の値が小さい場合は、Ｓ４１のカメラ映像フレームにもマーカーを付してエフェクト処理を行わせることとしてもよい。すなわち、画面１に表情映像を表示する間、エフェクト処理を行うこととしてもよい。

図７は、ユーザ映像生成部７５の処理を、図５および図６の処理により入力される情報の種類毎に表わしたものである。

（ａ）マーカー付きのカメラ映像フレームとユーザの顔及び上半身の画像領域を表す座標情報が、ユーザ映像生成部７５に入力された場合（図５のＳ１７、Ｓ２０）
まず、ユーザ映像抽出部７５１は、カメラ映像フレームからユーザの顔及び上半身部分の画像領域を表す座標情報にもとづいて、ユーザの顔及び上半身部分を抽出し、手話映像を生成する（Ｓ５１）。そして、ユーザ映像エフェクト処理部７５２は、生成した手話映像に、手話映像の表示を目立たせるようなエフェクト処理（強調処理）をかける（Ｓ５２）。エフェクトとしては、例えば、手話映像の周囲に目立つ色の枠をつける、枠を点滅させる、手話映像のサイズを予め設定した通常よりも拡大するなどが考えられる。その他に、ユーザがリモコン５などを用いて予め指定したエフェクトあれば、それにもとづいたエフェクトもあわせてかけることも考えられる。

次に、ユーザ映像サイズ決定部７５３は、ユーザがリモコン５などを用いて予め指定した大きさに手話映像の大きさを調整する（Ｓ５３）。次に、ユーザ映像位置座標決定部７５４は、ユーザによって予め指定された位置、または後述する実施例にもとづいて位置座標を付与し（Ｓ５３）、手話映像と位置座標とを映像合成部７６へ出力する（Ｓ５４）。

（ｂ）カメラ映像フレームとユーザの顔及び上半身の画像領域を表す座標情報が、ユーザ映像生成部７５に入力された場合（図５：Ｓ１５、Ｓ２１）
まず、ユーザ映像抽出部７５１は、カメラ映像フレームからユーザの顔及び上半身部分の画像領域を表す座標情報にもとづいて、ユーザの顔及び上半身部分を抽出し、手話映像を生成する（Ｓ６１）。そして、ユーザがリモコン５などにより予め手話映像にエフェクトをかけることを指定している場合には、ユーザ映像エフェクト処理部７５２は、指定されたエフェクトをかける（Ｓ６２）。ユーザによるエフェクトの指定が無い場合は、エフェクト処理を行わない。

次に、ユーザ映像サイズ決定部７５３は、ユーザによって予め指定された大きさに手話映像の大きさを調整する（Ｓ６３）。次に、ユーザ映像位置座標決定部７５４は、ユーザによって予め指定された位置、または後述する実施例にもとづいて位置座標を付与し（Ｓ６３）、手話映像と位置座標とを映像合成部へ出力する（Ｓ６４）。

（ｃ）マーカー付きのカメラ映像フレームとユーザの顔の画像領域を表す座標情報が、ユーザ映像生成部７５に入力された場合（図６：Ｓ３５）
まず、ユーザ映像抽出部７５１は、カメラ映像フレームからユーザの顔の画像領域を表す座標情報にもとづいてユーザの顔部分を抽出し、表情映像を生成する（Ｓ７１）。そして、ユーザ映像エフェクト処理部７５２は、生成した表情映像に、表情映像の表示を目立たせるようなエフェクトをかける。エフェクトについては、(ａ)のＳ５２と同様である。

次に、ユーザ映像サイズ決定部７５３は、ユーザによって予め指定された大きさに表情映像の大きさを調整する（Ｓ７３）。次に、ユーザ映像位置座標決定部７５４は、ユーザによって予め指定された位置、または後述する実施例にもとづいて位置座標を付与し（Ｓ７３）、表情映像と位置座標とを映像合成部７６へ出力する（Ｓ７４）。

（ｄ）カメラ映像フレームとユーザの顔の画像領域を表す座標情報が、ユーザ映像生成部７５に入力された場合（図６：Ｓ４１）
まず、ユーザ映像抽出部７５１は、カメラ映像フレームからユーザの顔の画像領域を表す座標情報にもとづいてユーザの顔部分を抽出し、表情映像を生成する（Ｓ８１）。そして、ユーザ映像エフェクト処理部７５２は、予めユーザが表情映像にエフェクトをかけることを指定している場合、指定されたエフェクトをかける（Ｓ８２）。ユーザによるエフェクトの指定が無い場合は、エフェクト処理を行わない。

次に、ユーザ映像サイズ決定部７５３は、ユーザによって予め指定された大きさに表情映像の大きさを調整する（Ｓ８３）。次に、ユーザ映像位置座標決定部７５４は、ユーザによって予め指定された位置、または後述する実施例にもとづいて位置座標を付与し（Ｓ８３）、表情映像と位置座標とを映像合成部７６へ出力する（Ｓ８４）。

（ｅ）表情映像としてアイコンの情報がユーザ映像生成部７５に入力された場合（図６：Ｓ３７、Ｓ４３）
まず、予めユーザがアイコンにエフェクトをかけることを指定している場合は、ユーザ映像エフェクト処理部７５２は、指定されたエフェクトをかける（Ｓ９１）。次に、ユーザ映像サイズ決定部７５３は、ユーザによって予め指定された大きさにアイコン映像の大きさを調整する（Ｓ９２）。次に、ユーザ映像位置座標決定部７５４は、ユーザによって予め指定された位置、または後述する実施例にもとづいて位置座標を決定し（Ｓ９２）、アイコンの情報と位置座標とを映像合成部７６へ出力する（Ｓ９３）。

なお、図７の処理は、入力される情報に応じて繰り返し行われるものである。

以上説明した（ａ）から（ｅ）の処理において、ユーザ映像位置座標決定部７５４が、コンテンツ映像に含まれる文字情報の位置に基づいて、手話映像および表情映像の位置座標を決定する場合、文字情報検出部７５５は、コンテンツ映像の中から文字情報の表示位置を検出する。なお、文字情報の検出には、例えば、参考文献５のような技術を用いることができる。文字情報は、時刻表示や番組ロゴなどを除く、コンテンツ映像における台詞やナレーションなどの音声を文字によって表現した字幕、テロップなどの情報である。

［参考文献５］：門馬孝雄，沢村英治，都木徹，白井克彦，“オフライン字幕制作実用システムにおける自動整形技術の開発”，2003年映像メディア学会冬季大会
以下に、ユーザ映像位置座標決定部７５４が、手話映像および表情映像の位置座標を決定する際の実施例を説明する。

ここでは、聴覚に障がいがあるユーザにとっての見やすさを考えると、手話映像および表情映像は、字幕やテロップなどの非定常的にコンテンツ映像に重畳される文字情報との重なりをできる限り避けるとともに、視線の移動が少なくて済むように文字情報とできる限り近接していることが望ましいと考える。ここでは、手話映像については、画面の4隅のうち、文字情報にもっとも近接する隅に表示し、表情映像については、文字情報の末尾に表示するものとする。手話映像は、手話の内容を見えるようにするため映像サイズが大きくなる場合が多いため、文字情報の末尾では手話映像が収まらない場合を考慮し、画面の4隅とした。

また、文字情報が画面上の複数箇所に検出された場合は、手話映像は、画面上の最も下部に検出された文字情報に近接する隅に表示し、また、表情映像は、画面上の最も下部に検出された文字情報の末尾に表示するものとする。

図８および図９は、このような実施例において、手話映像と表情映像の位置座標を決定した画面の一例のイメージ図を示すものである。

図８の画面８１は、文字情報が画面中央に検出されたときに、手話映像を表示する画面例であり、コンテンツ映像を視聴するユーザの手話映像８１１、８１２が、文字情報８１０にもっとも近接する下部の左右の隅に表示されている。図８の画面８２は、文字情報が画面中央に検出されたときに、表情映像を表示する画面例であり、コンテンツ映像を視聴するユーザの表情映像８２１、８２２が、文字情報８２０の末尾に表示にされている。

図８の画面８３は、文字情報が画面下部に検出されたときに、手話映像を表示する画面例であり、手話映像８３１、８３２が、文字情報８３０に最も近接する下部の左右の隅に表示されている。図８の画面８４は、文字情報が画面下部に検出されたときに、表情映像を表示する画面例であり、表情映像８４１、８４２が、文字情報８４０の末尾に表示にされている。

図９の画面９１および画面９２は、文字情報が画面上部に検出されたときに、手話映像および表情映像をそれぞれ表示する画面例である。また、図９の画面９３は、文字情報が複数検出され場合であって、最も下部の文字情報に近接する隅に手話映像を表示する画面例であり、図９の画面９４は、文字情報が複数検出され場合であって、最も下部の文字情報の末尾に、表情映像を表示する画面例である。

このように、手話映像および表情映像の画面内での表示位置は、文字情報に重ならないような位置に決定する。なお、上記実施例以外にも、ユーザの任意の位置に手話映像および表情映像を表示することとしてもよい。

そして、映像合成部７６は、映像コンテンツ出力装置８から出力されるコンテンツ映像に、ユーザ映像生成部７５から出力される手話映像または表情映像を、指定された位置座標の位置に重畳した合成映像を生成し、画面出力インタフェース４を介して画面１に送出する。これにより、画面１には、コンテンツ映像を視聴するユーザの手話映像または表情映像が重畳された合成映像が表示される。

以上説明した本実施形態では、聴覚に障がいがあるユーザが手話をしている間と、ユーザが視聴しているコンテンツ映像がテレビCMに切り替わっている間にのみ、ユーザの手話映像をコンテンツ映像に重畳して表示することで、コンテンツ映像の見易さを考慮しつつ、コンテンツ映像に重畳された手話映像越しにコミュニケーションをとることを可能とし、聴覚に障がいがあるユーザがコンテンツ映像を視聴する際のコミュニケーションをより円滑にすることができる。

具体的には、ユーザの手話の動作を検出して手話をしている間、ユーザの手話映像をコンテンツ映像に重畳して表示するとともに、視聴しているコンテンツ映像がテレビCMに切り替わっている間は、ユーザの会話が発生しやすいタイミングとみなし、手話映像をコンテンツ映像に重畳して表示することで、円滑なコミュニケーションを実現し、コミュニケーションの促進を図ることができる。

また、本実施形態では、ユーザの表情の変化を検出した際に、ユーザの顔部分の表情映像をコンテンツ映像に重畳して表示することで、お互いに画面の方向を向いていてはわからない、お互いの表情変化を相手に知らせ、コミュニケーションをより円滑にすることができる。

また、本実施形態では、手話映像や表情映像の表示を開始する際には、それらの映像を目立たせるようなエフェクトをかけ、ユーザがコンテンツ映像に集中していても、手話映像や表情映像の表示が開始され、相手が手話をし始めたことや、相手の表情が変化したことに気がつきやすくする。これにより、ユーザは、手話映像や表情映像を有効に活用することができ、より円滑なコミュニケーションを実現することができる。

また、本実施形態では、手話映像や表情映像の画面上での表示位置をテロップや字幕等の文字情報に重ならないように決定する。これにより、コンテンツ映像に含まれる文字情報の見やすさを考慮しつつ、映像越しに円滑なコミュニケーションをとることができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

１ ：画面
２ ：ビデオカメラ
３ ：カメラ入力インタフェース
４ ：画面出力インタフェース
５ ：リモコン
６ ：ユーザ入力インタフェース
７ ：制御装置
７１：カメラ映像解析部
７２：ＴＶ内容判断部
７３：手話判断部
７４：表情変化判断部
７５：ユーザ映像生成部
７６：映像合成部
８ ：映像コンテンツ出力装置

Claims (9)

1. 視聴者の映像の表示を制御する視聴者映像表示制御装置であって、
   コンテンツ映像を視聴している視聴者を撮影するカメラから入力されるカメラ映像を解析し、前記視聴者の映像を検出する映像解析部と、
   前記コンテンツ映像がCM中であるか否かを判断するTV内容判断部と、
   前記カメラ映像を用いて前記視聴者が手話をしているか否かを検出する手話検出部と、
   前記TV内容判断部による判断がCM中でない場合は、前記手話検出部が手話をしていると検出したタイミングで、前記視聴者が手話をしている間だけ、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成する映像合成部と、を備え、
   前記手話映像は、前記視聴者が手話を行っている場合に手話の動作が視認できる映像であること
   を特徴とする視聴者映像表示制御装置。
2. 請求項１に記載の視聴者映像表示制御装置であって、
   前記TV内容判断部による判断がCM中である場合は、前記映像合成部は、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成すること
   を特徴とする視聴者映像表示制御装置。
3. 請求項１に記載の視聴者映像表示制御装置であって、
   前記カメラ映像を用いて前記視聴者の顔の表情変化を検出する表情変化検出部をさらに備え、
   前記TV内容判断部による判断がCM中でない場合であって、前記視聴者が手話をしていない場合、前記映像合成部は、前記表情変化検出部が前記表情変化を検出したタイミングで、前記視聴者の映像を用いた表情映像を前記コンテンツ映像に重畳して合成すること
   を特徴とする視聴者映像表示制御装置。
4. 請求項１に記載の視聴者映像表示制御装置であって、
   前記カメラ映像を用いて前記視聴者の顔の表情変化を検出する表情変化検出部と、
   前記視聴者の映像を用いた手話映像、または前記視聴者の映像を用いた表情映像を強調するための強調処理を、前記手話検出部または前記表情変化検出部が検出してから所定の時間、行う強調部と、をさらに備え、
   前記映像合成部は、前記強調処理がなされた手話映像または表情映像を前記コンテンツ映像に重畳して合成すること
   を特徴とする視聴者映像表示制御装置。
5. コンピュータが行う、視聴者の映像の表示を制御する視聴者映像表示制御方法であって、
   コンテンツ映像を視聴している視聴者を撮影するカメラから入力されるカメラ映像を解析し、前記視聴者の映像を検出する映像解析ステップと、
   前記コンテンツ映像がCM中であるか否かを判断するTV内容判断ステップと、
   前記TV内容判断ステップにおいてCM中でないと判断された場合、前記視聴者が手話を開始したタイミングで、前記視聴者が手話をしている間だけ、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成する映像合成ステップと、を行い、
   前記手話映像は、前記視聴者が手話を行っている場合に手話の動作が視認できる映像であること
   を特徴とする視聴者映像表示制御方法。
6. 請求項５に記載の視聴者映像表示制御方法であって、
   前記TV内容判断ステップにおいてCM中であると判断された場合、前記映像合成ステップは、前記視聴者の映像を用いた手話映像を前記コンテンツ映像に重畳して合成すること
   を特徴とする視聴者映像表示制御方法。
7. 請求項５に記載の視聴者映像表示制御方法であって、
   前記TV内容判断ステップにおいてCM中でないと判断された場合であって、前記視聴者が手話をしていない場合、前記映像合成ステップは、前記視聴者の顔の表情が変化したタイミングで、前記視聴者の映像を用いた表情映像を前記コンテンツ映像に重畳して合成すること
   を特徴とする視聴者映像表示制御方法。
8. 請求項５に記載の視聴者映像表示制御方法であって、
   前記検出された視聴者の映像を用いた手話映像を手話の開始から所定の時間、強調させる処理を行う、または、前記検出された視聴者の映像を用いた表情映像を表情変化から所定の時間、強調させる処理を行う強調ステップをさらに行い、
   前記映像合成ステップは、前記強調ステップの処理がなされた手話映像または表情映像を、前記コンテンツ映像に重畳して合成すること
   を特徴とする視聴者映像表示制御方法。
9. 請求項１から４のいずれか１項に記載の視聴者映像表示制御装置が備える各部としてコンピュータを機能させる視聴者映像表示制御プログラム。

Images