JP2010066844A - 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム - Google Patents

Abstract

【課題】写っている人物の感情を的確に判定し、判定した感情に基づいて動画コンテンツを加工する。
【解決手段】顔検出部３６は、動画コンテンツを構成する静止画の各フレームから顔を検出したり、時系列的変化や動きを検出したりする。表情認識部３７は、検出された顔の表情を認識する。動き検知部３８は、顔が検出された人物の動きを検知する。声抽出部３９は、顔が検出された人物の声を抽出する。音声感情認識部４０は、顔が検出された人物の音声感情を認識する。感情判定部４１は、感情ＤＢ４５に格納された感情テーブル５１を参照しながら、顔が検出された人物の感情を判定する。装飾画像取得部４２は、感情判定部４１で判定された感情に対応する装飾画像を、装飾画像ＤＢ４６から取得する。合成処理部４３は、装飾画像取得部４２で取得された装飾画像を、動画コンテンツに合成する。
【選択図】図９

Description

本発明は、写っている人物の感情に基づいて動画コンテンツを加工する動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラムに関する。

インターネット上には、動画コンテンツの配信サービスを提供するYouTube（登録商標）、ニコニコ動画（登録商標）、Yahoo!（登録商標）動画などといった配信サイトが存在する。最近の動画コンテンツの配信サイトでは、ユーザーからのコメントや装飾画像を合成した動画コンテンツを提供することでサービスの付加価値を高めている。

動画コンテンツの加工技術としては、写っている人物の顔付きから感情を判定し、判定した感情に対応する装飾画像を合成するものがある（例えば、特許文献１、２参照）。
特開２００８−０８４２１３号公報 特開２００６−１８５３２９号公報

ところで、総じて大人は、人前において顔に感情を出すことを我慢することがある。例えば、怒りを抑えて笑うこともあり、このような顔付き（顔の表情）からは感情を判定することが難しい。すなわち、顔付きだけから感情を判定する特許文献１、２の発明では、感情を的確に判定できず、動画コンテンツに相応しい装飾画像を合成することができないおそれがある。

本発明は、上記課題を鑑みてなされたものであり、写っている人物の感情を的確に判定し、判定した感情に基づいて動画コンテンツを加工する動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラムを提供することを目的とする。

上記目的を達成するために、本発明の動画コンテンツの加工装置は、動画コンテンツから顔を検出する顔検出部と、前記顔検出部で検出された顔の表情を認識する表情認識部と、動画コンテンツから、前記顔検出部で顔が検出された人物の動きを検知する動き検知部と、動画コンテンツから、前記顔検出部で顔が検出された人物の声を抽出する声抽出部と、前記表情認識部で認識された表情、前記動き検知部で検知された人物の動き、及び前記声抽出部で抽出された声から、前記顔検出部で顔が検出された人物の感情を判定する感情判定部と、前記感情判定部で判定された感情に基づいて動画コンテンツを加工する加工処理部とを備えている。

請求項２に記載の発明では、前記声抽出部で抽出された声から音声感情を認識する音声感情認識部と、顔から認識される表情、人物の動き、及び音声感情の組合せと、感情とを対応させて記憶した感情テーブルを格納した感情データベースとを備え、前記感情判定部は、前記感情テーブルを用いて、前記表情認識部で認識された表情、前記動き検知部で検知された人物の動き、及び前記音声感情認識部で認識された音声感情の組合せに対応する感情を、前記顔検出部で顔が検出された人物の感情であると判定する。

請求項３に記載の発明では、動画コンテンツに装飾する装飾コンテンツを、感情と対応させて記憶した装飾コンテンツデータベースと、前記感情判定部で判定された感情に対応する前記装飾コンテンツを前記装飾コンテンツデータベースから取得する装飾コンテンツ取得部とを備え、前記加工処理部は、前記装飾コンテンツ取得部で取得された前記装飾コンテンツを動画コンテンツに合成する合成処理部である。

請求項４に記載の発明では、前記装飾コンテンツデータベースに感情と対応して記憶された前記装飾コンテンツは複数種類であり、前記装飾コンテンツ取得部は、入力された種類の前記装飾コンテンツを取得する。

請求項５に記載の発明では、前記顔検出部で検出された顔、及び前記声抽出部で抽出された声から、前記顔検出部で顔が検出された人物の性別を推定する性別推定部を備え、前記加工処理部は、前記性別判別部で推定された性別に基づいて動画コンテンツを加工する。

請求項６に記載の発明では、前記顔検出部で検出された顔、及び前記声抽出部で抽出された声から、前記顔検出部で顔が検出された人物の年齢を推定する年齢推定部を備え、前記加工処理部は、前記年齢判別部で推定された年齢に基づいて動画コンテンツを加工する。

本発明の動画コンテンツの加工方法は、顔検出部において、動画コンテンツから顔を検出する顔検出ステップと、前記顔検出ステップで検出された顔から表情を表情認識部で認識する表情認識ステップと、動画コンテンツから、前記顔検出ステップで顔が検出された人物の動きを動き検知部で検知する動き検知ステップと、動画コンテンツから、前記顔検出ステップで顔が検出された人物の声を声抽出部で抽出する声抽出ステップと、前記表情認識ステップで認識された表情、前記動き検知ステップで検知された人物の動き、及び前記声抽出ステップで抽出された声から、前記顔検出ステップで顔が検出された人物の感情を感情判定部で判定する感情判定ステップと、前記感情判定ステップで判定された感情に基づいて動画コンテンツを加工処理部で加工する加工ステップとを備えている。

本発明の動画コンテンツの加工プログラムは、動画コンテンツから顔を検出する顔検出ステップと、前記顔検出ステップで検出された顔から表情を認識する表情認識ステップと、動画コンテンツから、前記顔検出ステップで顔が検出された人物の動きを検知する動き検知ステップと、動画コンテンツから、前記顔検出ステップで顔が検出された人物の声を抽出する声抽出ステップと、前記表情認識ステップで認識された表情、前記動き検知ステップで検知された人物の動き、及び前記声抽出ステップで抽出された声から、前記顔検出ステップで顔が検出された人物の感情を判定する感情判定ステップと、前記感情判定ステップで判定された感情に基づいて動画コンテンツを加工する加工ステップとをコンピュータに実行させる。

本発明の動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラムによれば、写っている人物の感情を的確に判定し、判定した感情に基づいて動画コンテンツを加工することができる。

［第１実施形態］
図１において、第１実施形態における動画コンテンツの加工装置は、動画コンテンツの加工プログラム４４（図３参照）のインストールによってサーバ１１に構築される形式で実現される。動画コンテンツの加工装置は、写っている人物の感情に基づいて動画コンテンツを加工する。本明細書において動画コンテンツとは、音声を伴う動画のことを意味する。なお、本実施形態では、動画コンテンツを構成する静止画のフレームに装飾画像を合成することによって動画コンテンツを加工する場合を例に説明するが、音声その他のコンテンツを合成することによって動画コンテンツを加工するようにしてもよい。

サーバ１１は、インターネット１２を介して接続されたクライアント端末１３とともに、ネットワークシステム１４を構成する。クライアント端末１３は、例えば周知のパーソナルコンピュータやワークステーションであり、各種操作画面などを表示するモニタ１５と、操作信号を出力するマウス１６及びキーボード１７からなる操作部１８とを備えている。

クライアント端末１３には、デジタルカメラ１９で撮影して得られた動画コンテンツや、メモリカードやＣＤ−Ｒなどの記録媒体２０に記録された動画コンテンツが送信され、あるいは、インターネット１２を経由して動画コンテンツが転送される。

デジタルカメラ１９は、例えば、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）などに準拠した通信ケーブルや、無線ＬＡＮなどによりクライアント端末１３に接続され、クライアント端末１３とのデータの相互通信が可能となっている。また、記録媒体２０も同様に、専用のドライバを介してクライアント端末１３とのデータの遣り取りが可能となっている。

図２に示すように、クライアント端末１３を構成するＣＰＵ２１は、操作部１８から入力される操作信号などに従ってクライアント端末１３全体を統括的に制御する。ＣＰＵ２１には、操作部１８の他に、データバス２２を介して、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、通信インターフェース（通信Ｉ／Ｆ）２５、及びモニタ１５が接続されている。

ＲＡＭ２３は、ＣＰＵ２１が処理を実行するための作業用メモリである。ＨＤＤ２４には、クライアント端末１３を動作させるための各種プログラムやデータが記憶されている他に、デジタルカメラ１９、記録媒体２０、あるいは、インターネット１２から取り込まれた動画コンテンツが記憶される。ＣＰＵ２１は、ＨＤＤ２４からプログラムを読み出してＲＡＭ２３に展開し、読み出したプログラムを逐次処理する。

通信Ｉ／Ｆ２５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りをする。また、通信Ｉ／Ｆ２５は、デジタルカメラ１９や記録媒体２０などの外部機器とのデータ通信も行う。

図３に示すように、サーバ１１を構成するＣＰＵ３１は、インターネット１２を経由してクライアント端末１３から入力される操作信号に従ってサーバ１１全体を統括的に制御する。ＣＰＵ３１には、データバス３２を介して、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、通信インターフェース（通信Ｉ／Ｆ）３５、顔検出部３６、表情認識部３７、動き検知部３８、声抽出部３９、音声感情認識部４０、感情判定部４１、装飾画像取得部４２、及び合成処理部（加工処理部）４３が接続されている。

ＲＡＭ３３は、ＣＰＵ３１が処理を実行するための作業用メモリである。ＨＤＤ３４には、サーバ１１を動作させるための各種プログラムやデータが記憶されている。また、ＨＤＤ３４には、動画コンテンツの加工プログラム４４が記憶されている。ＣＰＵ３１は、ＨＤＤ３４からプログラムを読み出してＲＡＭ３３に展開し、読み出したプログラムを逐次処理する。

ＨＤＤ３４には、感情データベース（感情ＤＢ）４５と、装飾画像データベース（装飾画像ＤＢ）４６とが設けられている。感情ＤＢ４５には、図４に示す感情テーブル５１が格納されている。

感情テーブル５１は、顔の表情、人物の動き、及び音声感情の組合せと、この組合せから観念される感情とを対応させて記憶している。音声感情とは、声から認識される感情のことを意味するが、以下では、感情の強弱を示す要素である場合を例に説明する。顔の表情が「無表情」、「笑顔」、「怒り顔」、「悲しみ顔」の四つであり、人物の動きが「なし」、「小」、「中」、「大」の四段階であり、音声感情が「無音」、「なし」、「小」、「中」、「大」の五段階であれば、８０（＝４×４×５）通りの組合せそれぞれに対応した感情が記憶されていることになる。例えば図４に示すように、顔の表情が「笑顔」であり、人物の動きが「なし」であり、音声感情が「無音」である組合せに対応して、感情として「愛想笑い」が記憶されている。

装飾画像ＤＢ４６には、複数種類の装飾画像が、感情と対応させて記憶されている。例えば図５に示すように、感情「愛想笑い」に対応して、三種類の装飾画像が記憶されている。一種類目は、心の内を示す吹出しとして「早く帰りたいな〜。」が記憶され、二種類目は、擬音及び漫符として「たら〜／汗マーク」が記憶され、三種類目は、台詞の吹出しとして「。。。」が記憶されている。漫符とは、感情や感覚を視覚化した符号のことをいう。デフォルトでは、一種類目の心の内を示す吹出しの装飾画像が選択される。クライアント端末１３からの操作指示に基づいて、選択される装飾画像は切り替わる。具体的には、二種類目の擬音及び漫符の装飾画像、若しくは三種類目の台詞の吹出しの装飾画像が選択されたり、複数種類の装飾画像が選択されたり、又はランダムに選択されたりするように切り替わる。

通信Ｉ／Ｆ３５は、例えばモデムやルータであり、インターネット１２に適合した通信プロトコルの制御を行い、インターネット１２を経由したデータの遣り取りをする。通信Ｉ／Ｆ３５を介して入力されたデータは、ＲＡＭ３３に一時的に記憶される。

顔検出部３６は、動画コンテンツがサーバ１１に入力されると、その動画コンテンツを構成する静止画の各フレームから顔を検出したり、時系列的変化や動きを検出したりする。顔の検出には、特開２００５−２６７５１２号公報で開示されている赤目検出を用いた方法などを利用する。詳しい説明は、特開２００５−２６７５１２号公報などを参照されたい。なお、顔の検出には、パターンマッチングや、肌色検出などを用いた技術を利用してもよい。

表情認識部３７は、顔検出部３６で検出された顔の表情を認識する。顔の表情の認識には、特開平１０−２５５０４３号公報で開示されている隠れマルコフモデル（ＨＭＭ）を用いた技術などを利用する。なお、詳しい説明は、特開平１０−２５５０４３号公報などを参照されたい。

動き検知部３８は、顔検出部３６で顔が検出された人物の動きを検知する。人物の動きの検知には、特開平０９−２５１５４２号公報で開示されている統計的データを用いた技術などを利用する。なお、詳しい説明は、特開０９−２５１５４２号公報などを参照されたい。また、顔検出部３６で検出された顔の位置をフレーム間で比較することによって、人物の動きを検知してもよい。

声抽出部３９は、サーバ１１に入力された動画コンテンツを構成する音声から、人物の声を抽出する。そして、抽出された声が、顔検出部３６で顔が検出された人物の声であるか否かを判定する。声の抽出にはバンドパスフィルタなどを、上記の判定には特開平０９−１２７９７５号公報、あるいは特開平１１−１１９７９１号公報などで開示されている技術をそれぞれ利用する。上記の判定についての詳しい説明は、特開平０９−１２７９７５号公報、特開平１１−１１９７９１号公報などを参照されたい。なお、上記の判定には、口角の変化、すなわち口角の動きを検知して判定をする技術を利用してもよい。

音声感情認識部４０は、声抽出部３９で抽出された声を元に、顔検出部３６で顔が検出された人物の音声感情を認識する。音声感情の認識には、特開平０９−１２７９７５号公報、特開平１０−０４９１８８号公報あるいは特開平１１−１１９７９１号公報などで開示されている技術を利用する。なお、詳しい説明は、特開平０９−１２７９７５号公報、特開平１０−０４９１８８号公報、特開平１１−１１９７９１号公報などを参照されたい。

感情判定部４１は、感情ＤＢ４５にアクセスし、図４に示す感情テーブル５１を用いて、顔検出部３６で顔が検出された人物の感情を、所定のスパン（例えば５秒のスパン）毎に判定する。具体的には、顔検出部３６で顔が検出された人物毎に、表情認識部３７で認識された顔の表情、動き検知部３８で検知された人物の動き、及び音声感情認識部４０で認識された音声感情の組合せに対応する感情を、当該人物の感情であると判定する。

例えば、顔検出部３６で顔が検出された人物について、表情認識部３７で顔の表情が「笑顔」であると認識され、動き検知部３８で人物の動きが「なし」であると検知され、且つ、音声感情認識部４０で音声感情が「無音」であると認識された場合、感情判定部４１は、当該人物の感情が「愛想笑い」と判定する（図４の上から３段目の欄参照）。なお、所定のスパンの中で、表情認識部３７で認識された顔の表情、又は音声感情認識部４０で認識された音声感情が変化している場合には、感情判定部４１は、変化前の顔の表情、又は音声感情を用いて上記の判定を行う。

装飾画像取得部４２は、装飾画像ＤＢ４６にアクセスし、感情判定部４１で判定された感情に対応する装飾画像を取得する。例えば、感情判定部４１で感情が「愛想笑い」と判定された場合、デフォルトでは、心の内を示す吹出しの装飾画像である「早く帰りたいな〜。」を取得する。クライアント端末１３からの操作指示があった場合には、その操作指示に基づいて、擬音及び漫符の装飾画像である「たら〜／汗マーク」、又は台詞の吹出しの装飾画像である「。。。」を取得したりする。

合成処理部４３は、装飾画像取得部４２が取得した装飾画像を、動画コンテンツを構成する静止画の各フレームに合成する。図６を参照しながら、顔検出部３６で三つの顔が検出された場合を例に説明する。顔の表情が「笑顔」で、人物の動きが「なし」で、且つ、音声感情が「無音」であるフレーム上方に写る人物は、感情が「愛想笑い」と判定され、デフォルトでは、装飾画像取得部４２で一種類目の心の内を示す吹出しの装飾画像である「早く帰りたいな〜。」が取得されている。合成処理部４３は、装飾画像取得部４２で取得された装飾画像である「早く帰りたいな〜。」を、フレーム上方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

顔の表情が「笑顔」で、人物の動きが「小」で、且つ、音声感情が「小」であるフレーム左方に写る人物は、感情が「ややふざけている」と判定され、デフォルトでは、装飾画像取得部４２で一種類目の心の内を示す吹出しの装飾画像である「うふふふ。ワタシ写ってる？」が取得されている。合成処理部４３は、装飾画像取得部４２で取得された装飾画像である「うふふふ。ワタシ写ってる？」を、フレーム左方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

顔の表情が「笑顔」で、人物の動きが「大」で、且つ、音声感情が「大」であるフレーム右方に写る人物は、感情が「とても楽しい」と判定され、デフォルトでは、装飾画像取得部４２で一種類目の心の内を示す吹出しの装飾画像である「すごく楽しいな♪」が取得されている。合成処理部４３は、装飾画像取得部４２で取得された装飾画像である「すごく楽しいな♪」を、フレーム右方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

また、図７に示すように、フレーム上方に写る人物について、二種類目の擬音及び漫符の装飾画像である「たら〜／汗マーク」が取得されている場合には、合成処理部４３は、取得されている装飾画像である「たら〜／汗マーク」を、フレーム上方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

フレーム左方に写る人物について、二種類目の擬音及び漫符の装飾画像である「ニヤニヤ」が取得されている場合には、合成処理部４３は、取得されている装飾画像である「ニヤニヤ」を、フレーム左方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

フレーム右方に写る人物について、二種類目の擬音及び漫符の装飾画像である「あはは（笑）」が取得されている場合には、合成処理部４３は、取得されている装飾画像である「あはは（笑）」を、フレーム右方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

同様に、図８に示すように、フレーム上方に写る人物について、三種類目の台詞の吹出しの装飾画像である「。。。」が取得されている場合には、合成処理部３４は、取得されている装飾画像である「。。。」を、フレーム上方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

フレーム左方に写る人物について、三種類目の台詞の吹出しの装飾画像である「現金ですかぁ！！」が取得されている場合には、合成処理部４３は、取得されている装飾画像である「現金ですかぁ！！」を、フレーム左方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画のフレームに合成する。

フレーム右方に写る人物について、三種類目の台詞の吹出しの装飾画像である「元気ですかぁ！！」が取得されている場合には、合成処理部４３は、取得されている装飾画像である「元気ですかぁ！！」を、フレーム右方に写る人物の周囲に配置するように、動画コンテンツを構成する静止画の各フレームに合成する。

次に、上記構成のサーバ１１（図１及び図３参照）が動画コンテンツの加工装置として機能したときの処理手順について、図９のフローチャートを参照しながら説明する。ユーザーは、クライアント端末１３の操作部１８を操作して、サーバ１１に動画コンテンツを入力する。サーバ１１に入力された動画コンテンツは、ＲＡＭ３３に記憶される。

サーバ１１に入力された動画コンテンツは、所定のスパン（例えば５秒のスパン（１５０フレーム））毎にリアルタイムで加工処理が施される。動画コンテンツは、まず、ＲＡＭ３３から顔検出部３６、動き検知部３８、声抽出部３９にそれぞれ読み出される。顔検出部３６では、動画コンテンツを構成する静止画の各フレームから顔が検出されたり、時系列的変化や動きが検出されたりする。検出された顔や、時系列的変化及び動きは、ＲＡＭ３３に記憶される。

顔検出部３６で検出された顔や、時系列的変化及び動きは、ＲＡＭ３３から表情認識部３７に読み出される。表情認識部３７では、顔検出部３６で検出された顔の表情が認識される。認識された顔の表情は、ＲＡＭ３３に記憶される。

表情認識部３７で認識された顔の表情は、ＲＡＭ３３から動き検知部３８に読み出される。動き検知部３８では、顔検出部３６で顔が検出された人物の動きが検知される。検知された人物の動きは、ＲＡＭ３３に記憶される。

声抽出部３９では、動画コンテンツを構成する音声から、顔検出部３６で顔が検出された人物の声が抽出される。抽出された人物の声は、ＲＡＭ３３に記憶される。

声抽出部３９で抽出された人物の声は、ＲＡＭ３３から音声感情認識部４０に読み出される。音声感情認識部４０では、顔検出部３６で顔が検出された人物の音声感情が認識される。認識された人物の音声感情は、ＲＡＭ３３に記憶される。

表情認識部３７で認識された顔の表情、動き検知部３８で検知された人物の動き、及び音声感情認識部４０で認識された音声感情は、ＲＡＭ３３から感情判定部４１に読み出される。感情判定部４１では、感情ＤＢ４５に格納された感情テーブル５１（図４参照）が参照されながら、顔検出部３６で顔が検出された人物の感情が判定される。判定された感情は、ＲＡＭ３３に記憶される。

感情判定部４１で判定された感情は、ＲＡＭ３３から装飾画像取得部４２に読み出される。装飾画像取得部４２では、感情判定部４１で判定された感情に対応する装飾画像（図５参照）が、装飾画像ＤＢ４６から取得される。取得された装飾画像は、ＲＡＭ３３に記憶される。

装飾画像取得部４２で取得された装飾画像は、ＲＡＭ３３から合成処理部４３に読み出される。合成処理部４３では、装飾画像取得部４２で取得された装飾画像が、動画コンテンツを構成する静止画のフレームに合成される。装飾画像が合成された動画コンテンツは、ＲＡＭ３３に記憶される。

合成処理部４３で装飾画像が合成された動画コンテンツは、顔検出→表情認識→動き検知→声抽出→音声感情認識→感情判定→性別判定→年齢判定→装飾画像取得→画像合成の一連の処理が終了した所定のスパン毎に、ＲＡＭ３３から読み出される。

ＲＡＭ３３から読み出された動画コンテンツは、インターネット１２を介してクライアント端末１３に送信される。クライアント端末１３に送信された動画コンテンツは、ＲＡＭ２３に記憶される。

クライアント端末１３に送信された動画コンテンツは、ＲＡＭ２３から読み出され、リアルタイムでモニタ１５に表示される。

以上説明したように、顔の表情だけでなく、人物の動き、及び音声感情を用いて総合的に感情を判定し、判定した感情に対応する装飾画像を合成したから、動画コンテンツに相応しい装飾画像を合成することができる。また、感情に関連性のない装飾画像を当該感情に対応させて装飾画像ＤＢ４６に記憶させておくことで、意外性のある新しいストーリーを有した動画コンテンツを加工することができる（図８参照）。

［第２実施形態］
上記第１実施形態の動画コンテンツの加工装置では、写っている人物の性別・年齢と関連性のない装飾画像を合成するから、例えば、女児が写っている動画コンテンツに対して老父の台詞の吹出しの装飾画像を合成した場合、女児が老父の台詞を発していることになり、当該動画コンテンツを見た人に違和感を与えてしまう。確かに、男性が写っている動画コンテンツに対して女性の台詞の吹出しの装飾画像を合成した場合、男性が女性の台詞を発していることになるから、その動画コンテンツを見た人にその男性がニューハーフであると感じさせるなど、意外性を楽しませることも可能である。しかし、全ての人物について性別・年齢と関連性のない装飾画像を合成することは、違和感を与えるだけであり好ましいことではない。そこで、次に説明する第２実施形態の動画コンテンツの加工装置では、写っている人物の性別・年齢と関連性のある装飾画像を合成し、動画コンテンツを見た人に違和感を与えないようにする。

図１０において、第２実施形態における動画コンテンツの加工装置は、動画コンテンツの加工プログラム４４のインストールによってサーバ６１に構築される形式で実現される。ＣＰＵ３１には、データバス３２を介して、性別推定部６２、及び年齢推定部６３などが接続されている。

装飾画像ＤＢ４６には、複数種類の装飾画像が、感情、性別、及び年齢の組合せと対応させて記憶されている。

性別推定部６２は、顔検出部３６で顔が検出された人物の性別を推定する。具体的には、顔検出部３６で検出された顔、表情認識部３７で認識された顔の表情、声抽出部３９で抽出された人物の声、及び音声感情認識部４０で認識された音声感情を元に、人物の性別を推定する。性別の推定には、特開２００７−０８００５７号公報などで開示されている技術を利用する。なお、詳しい説明は、特開２００７−０８００５７号公報などを参照されたい。

年齢推定部６３は、顔検出部３６で顔が検出された人物の年齢を推定する。具体的には、顔検出部３６で検出された顔、表情認識部３７で認識された顔の表情、声抽出部３９で抽出された人物の声、及び音声感情認識部４０で認識された音声感情を元に、人物の年齢を推定する。年齢の推定には、特開２００７−０８００５７号公報などで開示されている技術を利用する。なお、詳しい説明は、特開２００７−０８００５７号公報などを参照されたい。

装飾画像取得部４２は、装飾画像ＤＢ４６にアクセスし、感情判定部４１で判定された感情、性別推定部６２で推定された性別、及び年齢推定部６３で推定された年齢の組合せに対応する装飾画像を取得する。なお、上記第１実施形態と同様の構成については、その説明を省略する。

次に、上記構成のサーバ６１（図１０参照）が動画コンテンツの加工装置として機能したときの処理手順について、図１１のフローチャートを参照しながら説明する。なお、上記第１実施形態と同様の処理手順については、その説明を省略する。

顔検出部３６で検出された顔、表情認識部３７で認識された顔の表情、声抽出部３９で抽出された人物の声、及び音声感情認識部４０で認識された音声感情は、ＲＡＭ３３から性別推定部６２、及び年齢推定部６３のそれぞれに読み出される。性別推定部６２では、顔検出部３６で顔が検出された人物の性別が推定される。推定された性別は、ＲＡＭ３３に記憶される。なお、顔検出部３６で顔が検出された人物の性別が一旦推定された場合、該当する人物については、性別推定部６２による処理を省略してもよい。

年齢推定部６３では、顔検出部３６で顔が検出された人物の性別が推定される。推定さえた年齢は、ＲＡＭ３３に記憶される。なお、顔検出部３６で顔が検出された人物の年齢が一旦推定された場合、該当する人物については、年齢推定部６３による処理を省略してもよい。

感情判定部４１で判定された感情、性別推定部６２で推定された性別、及び年齢推定部６３で推定された年齢は、ＲＡＭ３３から装飾画像取得部４２に読み出される。装飾画像取得部４２では、感情判定部４１で判定された感情、性別推定部６２で推定された性別、及び年齢推定部６３で推定された年齢の組合せに対応する装飾画像が、装飾画像ＤＢ４６から取得される。

合成処理部４３で装飾画像が合成された動画コンテンツは、顔検出→表情認識→動き検知→声抽出→音声感情認識→感情判定→性別推定→年齢推定→装飾画像取得→画像合成の一連の処理が終了した所定のスパン毎に、ＲＡＭ３３から読み出される。

以上説明したように、写っている人物の性別・年齢と関連性のある装飾画像を合成するようにしたから、例えば、女児が老父の台詞を発しているような動画コンテンツになることはなく、動画コンテンツを見た人に違和感を与えることはない。

なお、上記各実施形態では、インターネット１２に接続されたサーバ１１に動画コンテンツの加工装置が構築され、万人がアクセス可能である場合を例に説明したが、これに限定されるものではない。例えば、個人が使用するパーソナルコンピュータに動画コンテンツの加工装置が構築されるようにしてもよい。また、動画撮影可能なデジタルカメラに、動画コンテンツの加工機能を備えるようにしてもよい。

また、上記各実施形態では、所定のスパンに区切られた全てに対して加工処理が施されたが、感情が変化した時にだけ加工処理が施されるようにしてもよい。この場合、装飾画像取得部４２及び合成処理部４３は、感情判定部４１で判定された感情が変化した時にだけ処理を実行することになる。

また、上記各実施形態では、心の内を示す吹出し、擬音及び漫符、及び台詞の吹出しの装飾画像の場合を例に説明したが、この場合に限定されることはない。また、旅行、結婚式、入学式、誕生日などの場面に応じた装飾画像を用いてもよい。

また、上記各実施形態では、ユーザーがクライアント端末１３で選択した種類の装飾画像が合成される場合を例に説明したが、動画コンテンツの加工装置がランダムに選択した種類の装飾画像が合成されるようにしてもよい。

また、上記各実施形態では、静止画である装飾画像を合成する場合を例に説明したが、動画、音声、その他のコンテンツを合成するようにしてもよい。

また、上記各実施形態で示した動画コンテンツの加工装置は一例にすぎず、本発明の趣旨を逸脱しなければ、如何様な態様にも適宜変更することができる。

ネットワークシステムの構成を示す概略図である。 クライアント端末の内部構成を示すブロック図である。 サーバの内部構成を示すブロック図である。 感情テーブルの構成を示す説明図である。 装飾画像ＤＢに記憶されている装飾画像の一覧表である。 動画コンテンツを構成する静止画のフレームに、一種類目の装飾画像を合成する処理を説明した図である。 動画コンテンツを構成する静止画のフレームに、二種類目の装飾画像を合成する処理を説明した図である。 動画コンテンツを構成する静止画のフレームに、二種類目の装飾画像を合成する処理を説明した図である。 動画コンテンツの加工処理手順を説明するフローチャートである。 別の形態のサーバの内部構成を示すブロック図である。 別の形態の動画コンテンツの加工処理手順を説明するフローチャートである。

符号の説明

１１、６１ サーバ（動画コンテンツの加工装置）
３６ 顔検出部
３７ 表情認識部
３８ 動き検知部
３９ 声抽出部
４０ 音声感情認識部
４１ 感情判定部
４２ 装飾画像取得部
４３ 合成処理部
４４ 動画コンテンツの加工プログラム
４５ 感情データベース（感情ＤＢ）
４６ 装飾画像データベース（装飾画像ＤＢ）
５１ 感情テーブル
６２ 性別推定部
６３ 年齢推定部

Claims (8)

1. 動画コンテンツから顔を検出する顔検出部と、
   前記顔検出部で検出された顔の表情を認識する表情認識部と、
   動画コンテンツから、前記顔検出部で顔が検出された人物の動きを検知する動き検知部と、
   動画コンテンツから、前記顔検出部で顔が検出された人物の声を抽出する声抽出部と、
   前記表情認識部で認識された顔の表情、前記動き検知部で検知された人物の動き、及び前記声抽出部で抽出された声から、前記顔検出部で顔が検出された人物の感情を判定する感情判定部と、
   前記感情判定部で判定された感情に基づいて動画コンテンツを加工する加工処理部とを備えたことを特徴とする動画コンテンツの加工装置。
2. 前記声抽出部で抽出された声から音声感情を認識する音声感情認識部と、
   顔の表情、人物の動き、及び音声感情の組合せと、感情とを対応させて記憶した感情テーブルを格納した感情データベースとを備え、
   前記感情判定部は、前記感情テーブルを用いて、前記表情認識部で認識された顔の表情、前記動き検知部で検知された人物の動き、及び前記音声感情認識部で認識された音声感情の組合せに対応する感情を、前記顔検出部で顔が検出された人物の感情であると判定することを特徴とする請求項１に記載の動画コンテンツの加工装置。
3. 動画コンテンツに装飾する装飾コンテンツを、感情と対応させて記憶した装飾コンテンツデータベースと、
   前記感情判定部で判定された感情に対応する前記装飾コンテンツを前記装飾コンテンツデータベースから取得する装飾コンテンツ取得部とを備え、
   前記加工処理部は、前記装飾コンテンツ取得部で取得された前記装飾コンテンツを動画コンテンツに合成する合成処理部であることを特徴とする請求項１又は２に記載の動画コンテンツの加工装置。
4. 前記装飾コンテンツデータベースに感情と対応して記憶された前記装飾コンテンツは複数種類であり、
   前記装飾コンテンツ取得部は、入力された種類の前記装飾コンテンツを取得することを特徴とする請求項３に記載の動画コンテンツの加工装置。
5. 前記顔検出部で検出された顔、及び前記声抽出部で抽出された声から、前記顔検出部で顔が検出された人物の性別を推定する性別推定部を備え、
   前記加工処理部は、前記性別判別部で推定された性別に基づいて動画コンテンツを加工することを特徴とする請求項１〜４のいずれかに記載の動画コンテンツの加工装置。
6. 前記顔検出部で検出された顔、及び前記声抽出部で抽出された声から、前記顔検出部で顔が検出された人物の年齢を推定する年齢推定部を備え、
   前記加工処理部は、前記年齢判別部で推定された年齢に基づいて動画コンテンツを加工することを特徴とする請求項１〜５のいずれかに記載の動画コンテンツの加工装置。
7. 顔検出部において、動画コンテンツから顔を検出する顔検出ステップと、
   前記顔検出ステップで検出された顔の表情を表情認識部で認識する表情認識ステップと、
   動画コンテンツから、前記顔検出ステップで顔が検出された人物の動きを動き検知部で検知する動き検知ステップと、
   動画コンテンツから、前記顔検出ステップで顔が検出された人物の声を声抽出部で抽出する声抽出ステップと、
   前記表情認識ステップで認識された顔の表情、前記動き検知ステップで検知された人物の動き、及び前記声抽出ステップで抽出された声から、前記顔検出ステップで顔が検出された人物の感情を感情判定部で判定する感情判定ステップと、
   前記感情判定ステップで判定された感情に基づいて動画コンテンツを加工処理部で加工する加工ステップとを備えたことを特徴とする動画コンテンツの加工方法。
8. 動画コンテンツから顔を検出する顔検出ステップと、
   前記顔検出ステップで検出された顔の表情を認識する表情認識ステップと、
   動画コンテンツから、前記顔検出ステップで顔が検出された人物の動きを検知する動き検知ステップと、
   動画コンテンツから、前記顔検出ステップで顔が検出された人物の声を抽出する声抽出ステップと、
   前記表情認識ステップで認識された顔の表情、前記動き検知ステップで検知された人物の動き、及び前記声抽出ステップで抽出された声から、前記顔検出ステップで顔が検出された人物の感情を判定する感情判定ステップと、
   前記感情判定ステップで判定された感情に基づいて動画コンテンツを加工する加工ステップとをコンピュータに実行させることを特徴とする動画コンテンツの加工プログラム。

Images