[go: up one dir, main page]

JP2013238991A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2013238991A
JP2013238991A JP2012110930A JP2012110930A JP2013238991A JP 2013238991 A JP2013238991 A JP 2013238991A JP 2012110930 A JP2012110930 A JP 2012110930A JP 2012110930 A JP2012110930 A JP 2012110930A JP 2013238991 A JP2013238991 A JP 2013238991A
Authority
JP
Japan
Prior art keywords
person
event
profile
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012110930A
Other languages
English (en)
Inventor
Noriyuki Ochi
敬之 越智
Kazuhiro Nakagome
一浩 中込
Yorimitsu Naito
頼光 内藤
Takamasa Sato
崇正 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012110930A priority Critical patent/JP2013238991A/ja
Priority to US13/837,894 priority patent/US9501721B2/en
Priority to CN2013101646219A priority patent/CN103425982A/zh
Publication of JP2013238991A publication Critical patent/JP2013238991A/ja
Priority to US15/338,916 priority patent/US20170046572A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • G06F16/337Profile generation, learning or modification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】イベントに参加した人物のプロフィールを推定可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供すること。
【解決手段】人物が参加するイベントに関するイベント情報を解析するイベント情報解析部と、前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析する人物画像群解析部と、前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するプロフィール推定部と、を備える情報処理装置。
【選択図】図3

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、画像解析により、画像に含まれる人物の年齢、性別などを判別する技術が開示されている。
例えば、下記の特許文献1には、撮像する人物の人種、性別、体格などの属性を画像解析により判別し、当該人物までの距離を算出する技術が開示されている。また、当該技術では、更に、当該人物までの距離の算出結果を用いて、フォーカス制御を行っている。
特開2007−328212号公報
しかし、上記の特許文献1に開示された技術では、人物のプロフィールが生成されることはない。そのため、ユーザは、判別した人物の属性情報を特定の目的に一時的に利用することしかできない。
そこで、本技術は、上記のような事情を受けて考案されたものであり、イベントに参加した人物のプロフィールを推定可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供することを意図している。
本開示によれば、人物が参加するイベントに関するイベント情報を解析するイベント情報解析部と、前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析する人物画像群解析部と、前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するプロフィール推定部と、を備える情報処理装置が提供される。
また、本開示によれば、人物が参加するイベントに関するイベント情報を解析するステップと、前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析するステップと、前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するステップと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、人物が参加するイベントに関するイベント情報を解析するイベント情報解析機能と、前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析する人物画像群解析機能と、前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するプロフィール推定機能と、を実現させるためのプログラムが提供される。
以上説明したように本開示によれば、イベントに参加した人物のプロフィールを推定可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムが提供される。
人物画像群解析に基づく人物のプロフィール推定を行う情報処理装置について説明するための説明図である。 人物画像群解析に基づく人物のプロフィール推定を行う情報処理装置が行う処理の流れの一例を示す流れ図である。 本開示の第1実施形態の基本構成に係る情報処理装置について説明するための説明図である。 同実施形態に係るイベント情報について説明するための説明図である。 同実施形態に係る人物画像群取得部が行う処理の一例について説明するための説明図である。 同実施形態に係る人物画像特徴量算出部が行う処理の一例について説明するための説明図である。 同実施形態に係る人物属性判別部116が行う処理の一例について説明するための説明図である。 同実施形態に係るイベント付帯情報について説明するための説明図である。 同実施形態に係るプロフィール項目について説明するための説明図である。 同実施形態に係るプロフィール項目の確信度について説明するための説明図である。 同実施形態の変形例に係る情報処理装置について説明するための説明図である。 同実施形態に係る変形例について説明するための説明図である。 同実施形態に係る変形例について説明するための説明図である。 同実施形態に係る第1応用例について説明するための説明図である。 同実施形態に係る第2応用例について説明するための説明図である。 同応用例について説明するための説明図である。 同実施形態に係る情報処理装置が行う処理の流れの一例を示す流れ図である。 同実施形態の変形例に係る情報処理装置が行う処理の流れの一例を示す流れ図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1:はじめに
1−1:人物画像群解析に基づくプロフィール推定について(図1)
1−2:人物画像群解析に基づくプロフィール推定の流れ(図2)
2:情報処理装置10の基本構成(画像解析+イベント情報;図3〜図10)
3:変形例(画像解析+イベント情報+ウェブサイト情報)
3−1:変形例に係る情報処理装置の構成(図11)
3−2:プロフィール更新部158が行う処理
3−2−1:画像を利用したプロフィール更新方法(図12)
3−2−2:確信度を利用したプロフィール更新方法(図13)
3−2−3:画像及び確信度を利用したプロフィール更新方法
4:応用例
4−1:第1応用例(確信度を利用したプロフィール表示;図14)
4−2:第2応用例(確信度を利用したイベント検索;図15及び図16)
5:情報処理装置10が行う処理の流れ
5−1:基本構成の場合の処理の流れ(図17)
5−2:変形例の場合の処理の流れ(図18)
6:まとめ
<1:はじめに>
本実施形態に係る技術の説明に先立ち、本実施形態に係る技術で利用可能なプロフィール推定技術について紹介する。当該プロフィール推定技術は、人物が被写体として含まれる一又は複数の人物画像からなる人物画像群を解析することにより、当該人物のプロフィールを推定する方法に関する。
以下では、まず、図1を参照しながら、当該技術を適用した情報処理装置50の構成の一例について説明する。次に、図2を参照しながら、当該情報処理装置50が行う処理の流れについて説明する。
[1−1:人物画像群解析に基づくプロフィール推定について(図1)]
図1は、人物画像群解析に基づく人物のプロフィール推定を行う情報処理装置50について説明するための説明図である。図1に示すように、情報処理装置50は、人物画像群解析部501と、プロフィール推定部502とを主に備える。
人物画像群解析部501は、入力された画像を解析し、撮像された人物の属性を判別する。プロフィール推定部502は、人物画像群解析部501により判別された人物属性に基づいて、当該人物のプロフィールを推定する。以下では、人物画像群解析部501及びプロフィール推定部502が行う処理について詳細に説明する。
人物画像群解析部501の人物画像群取得部512には、画像データベースなどから一又は複数の画像からなる画像群が入力される。以下では、人物画像群取得部512に入力される画像群P’に含まれる1枚の画像に着目して、説明を進める。
人物画像群取得部512に入力される画像が人物以外の被写体も含む撮像画像である場合に、人物画像群取得部512は、入力された撮像画像から人物が含まれる部分である人物画像P’を抽出する人物画像抽出部として機能する。
また、1枚の撮像画像に複数の人物が含まれる場合には、人物画像群取得部512は、各人物が含まれる部分を取得し、各人物の人物画像とする。
人物画像群取得部512により取得された人物画像P’は、人物画像特徴量算出部514に入力される。人物画像P’が入力されると、人物画像特徴量算出部514は、人物画像P’の特徴量を算出する。
算出される特徴量は、後述する人物属性判別部516が人物の属性を判別するために用いるものである。例えば、人物画像特徴量算出部514は、人物の瞼のライン上の複数の点の位置を特徴量として算出したり、算出した瞼のライン上の複数の点の位置に基づいて瞼の形状を特徴量として算出したりする。
また、人物画像群取得部512により取得された人物画像P’は、人物画像データベースに格納される。
人物画像特徴量算出部514により算出された人物画像の特徴量は、人物属性判別部516に入力される。人物属性判別部516は、入力された特徴量に基づいて、人物画像P’に対応する人物の属性を判別する。
人物の属性は、例えば、当該人物の「性別」、「年齢」などである。人物の「年齢」は、「10代」や「20代」などのように、所定の幅をもった年齢層を候補として算出されてもよい。人物属性判別部516からは、例えば「性別」は「男性」であり、「年齢」は「30代」であるという人物属性情報が出力される。
人物属性判別部516により判別された人物属性情報は、人物属性データベースに格納される。人物属性データベースは、情報処理装置50の内部に含まれていてもよく、情報処理装置50がアクセス可能なサーバなどの内部に含まれていてもよい。
プロフィール推定部502は、人物属性データベースから、人物属性情報を取得する。また、プロフィール推定部502は、人物画像データベースから、人物画像を取得する。
プロフィール推定部502は、取得した人物属性情報及び人物画像から、各人物のプロフィールを推定する。ここで、本稿におけるプロフィールとは、一又は複数のプロフィール項目及びその値並びにプロフィール画像の組をよぶこととする。
プロフィール推定部502は、取得した人物属性情報をそのまま当該人物のプロフィール項目とその値して推定してもよく、取得した人物属性情報に基づき、当該人物のプロフィール項目を新たに推定してもよい。
取得した人物属性情報に基づき、当該人物のプロフィール項目を新たに推定する例としては、取得した属性情報に当該人物の「年齢」が「20代」であった場合に、プロフィール推定部502が、プロフィール項目「世代」を、「若者」と推定することがあげられる。
また、人物画像群撮像時の当該人物の「年齢」が「20歳」である場合に、当該人物の「生年」を「人物画像群撮像時の20年前」と推定することがあげられる。
また、例えば、人物画像群取得部512は、取得した年齢情報が「10歳未満」であり、性別情報が「男性」である場合に、年齢と性別を統合したプロフィール項目の値を、「男の子」と推定してもよい。
また、プロフィール推定部502は、取得した人物画像のうち、一又は複数をプロフィール画像として選択する。例えば、プロフィール推定部502は、取得した人物画像からプロフィール画像をランダムに選択する。
また、プロフィール推定部502は、取得した人物画像のうち、当該人物が最も大きく撮像された人物画像を選択したり、輪郭が最もはっきりと撮像された人物画像を選択したりすることも考えられる。
プロフィール推定部502により推定されたプロフィールPRO’は、プロフィールデータベースに格納される。
プロフィールデータベースに格納されたプロフィールPRO’は、各人物に関するプロフィールが統合されているため、例えば、ある人物のあるプロフィール項目の値を検索キーとして、当該人物の他のプロフィール項目の値を検索したりすることが可能である。
なお、撮像画像に複数の人物が含まれる場合には、人物画像群取得部512は、撮像画像に含まれる複数の人物を区別して人物画像を取得し、情報処理装置50の他の各部が各人物画像について上記の処理を行えばよい。
以上、図1を参照しながら、本実施形態に関連する情報処理装置50の構成の一例について説明した。
[1−2:人物画像群解析に基づくプロフィール推定の流れ(図2)]
以下では、図2を参照しながら、本実施形態に関連する情報処理装置50が行う処理の流れについて説明する。図2は、人物画像群解析に基づく人物のプロフィール推定を行う情報処理装置が行う処理の流れの一例を示す流れ図である。
図2に示すように、まず、人物画像群取得部512に一又は複数の画像(画像群)が入力される(S102)。
次に、人物画像群取得部512は、入力された画像群に基づいて、人物画像群を取得し、取得した人物画像群を、人物画像データベースへ格納する(S104)。例えば、人物画像群取得部512は、入力された画像群を画像解析することにより、当該画像群の被写体に含まれる人物を抽出する。
次に、人物画像特徴量算出部514は、人物画像群取得部512により取得された人物画像群に含まれる各人物画像の特徴量を算出する(S106)。
次に、人物属性判別部516は、各人物について、人物画像特徴量算出部514により算出された当該人物の人物画像群に含まれる人物画像の特徴量に基づき、人物の属性を判別し、判別した属性を、人物属性データベースへ格納する(S108)。
次に、プロフィール推定部502は、人物画像データベース及び人物属性データベースから人物画像及び人物属性を取得し、更に、取得した情報に基づいて判別された人物のプロフィールを推定する(S110)。
情報処理装置50は、入力された画像群に含まれる全人物について、上記ステップS106〜ステップS110の処理を行うと、一連の処理を終了する(S112)。
以上、図2を参照しながら、本実施形態に関連する情報処理装置50が行う処理の流れの一例について説明した。
<2:情報処理装置10の基本構成(画像解析+イベント情報;図3〜図10)>
以下では、図3を参照しながら、情報処理装置10の基本構成について説明する。図3は、本実施形態に係る情報処理装置の基本構成を説明するための説明図である。なお、図3に示す基本構成は一例であり、一部の構成要素を省略したり、追加したり、或いは変更したりしてもよい。
(概要)
本実施形態に係る技術は、イベント時に撮像されたイベント画像と、イベント場所やイベントタイトルなどのイベント付帯情報とを含むイベント情報から、イベントに参加した人物のプロフィールを推定する方法に関する。
図3に示すように、情報処理装置10は、人物画像群解析部101と、プロフィール推定部102と、イベント情報解析部103と、確信度算出部104とを主に備える。
人物画像群解析部101は、入力されたイベント画像から人物画像を取得し、取得した人物画像を解析し、撮像された人物の属性を判別する。イベント情報解析部103は、入力されたイベント画像及びイベント付帯情報を解析し、撮像されたイベントの属性を判別する。
プロフィール推定部102は、人物画像群解析部101により判別された人物属性と、イベント情報解析部103により判別されたイベント属性とに基づいて、当該人物のプロフィールを推定する。確信度算出部104は、プロフィール推定部102により推定された各プロフィール項目について、確信度を算出する。確信度の定義については後述する。
(詳細)
情報処理装置10には、イベント情報が入力される。図4に示すように、イベント情報は、イベント画像群Pと、イベント付帯情報Mとからなる。
イベント画像群Pは、同一のイベント時に撮像されたイベント画像PE1、PE2、PE3、…を一組としてまとめたものである。また、イベント付帯情報は、イベント日時、イベント場所、イベントタイトル、イベント種別、イベント主役名などのイベント付帯項目とその値からなる。
イベント画像群Pは、人物画像群解析部101の人物画像群取得部112と、イベント情報解析部103のイベント画像特徴量算出部132とへ入力される。また、イベント付帯情報は、イベント情報解析部103のイベント付帯情報解析部136へ入力される。
以下では、まず、人物画像群解析部101が行う処理について詳細に説明する。人物画像群解析部101は、人物画像群取得部112と、人物画像特徴量算出部114と、人物属性判別部116とを含む。
人物画像群解析部101は、前述した情報処理装置50の人物画像群解析部501と同様の処理を行う。前述した人物画像群解析部501の人物画像群取得部512には、多種の画像からなる画像データベースから、画像群が入力された。人物画像群解析部101の人物画像群取得部112には、イベント画像からなるイベント画像データベースから、イベント画像群Pが入力される。
人物画像群取得部112に入力されるイベント画像群Pが人物以外の被写体も含む撮像画像からなる場合に、人物画像群取得部112は、入力されたイベント画像群Pから人物が含まれる部分である人物画像群を抽出する人物画像抽出部として機能する。
1枚のイベント画像に複数の人物が含まれる場合、人物画像群取得部112は、それぞれの人物についての人物画像を取得する。例えば、図5に示すように、イベント画像PE1に3人の人物が含まれている場合、人物画像群取得部112は、1枚のイベント画像PE1から、3枚の人物画像PH1A〜PH1Cを取得する。
なお、人物画像の取得に際して、その処理の一部又は全部を手動で行ってもよい。また、人物画像取得部112により取得された人物画像を、手動で修正してもよい。
また、人物画像群取得部112により取得された人物画像群PH1は、人物画像データベースに格納される。人物画像データベースは、情報処理装置50の内部に含まれていてもよく、情報処理装置50がアクセス可能なサーバなどの内部に含まれていてもよい。
なお、人物画像群取得部112は、予めイベント画像群の人物部分を抽出した人物画像群が記憶されたデータベースなどから人物画像群を取得してもよい。
人物画像群取得部112により取得された人物画像群PH1は、人物画像特徴量算出部114に入力される。人物画像群PH1が入力されると、人物画像特徴量算出部114は、人物画像群PH1に含まれる各人物画像の特徴量を算出する。
算出される特徴量は、後述する人物属性判別部116が人物の属性を判別するために用いるものである。例えば、人物属性判別部116は、人物の瞼のライン上の複数の点の位置を特徴量として算出したり、算出した瞼のライン上の複数の点の位置に基づいて瞼の形状を特徴量として算出したりする。
例えば図6に示すように、人物画像特徴量算出部114は、まず、瞳のライン上や唇のライン上の特徴点F〜F13を検出する。次に、人物画像特徴量算出部114は、検出した特徴点F〜F13の位置や特徴点同士の距離などから特徴量を算出する。
また、特徴量は、上記のように特徴点の位置検出に基づくものに限定されない。例えば、人物画像特徴量算出部114は、顔領域を検出した後、検出した顔領域の色を示す特徴量などを算出してもよい。
人物画像特徴量算出部114により算出された各人物画像の特徴量は、人物属性判別部116に入力される。人物属性判別部116は、入力された各人物画像群に含まれる人物画像の特徴量に基づいて、当該人物画像群に対応する人物の属性を判別する。
以下では、1枚の人物画像から人物の属性を判別する方法についてまず説明する。
人物の属性は、例えば、当該人物の性別、年齢などである。人物の年齢は、「10代」や「20代」などのように、所定の幅をもった年齢層を候補として算出されてもよい。人物属性判別部116からは、例えば「性別」は「男性」であり、「年齢」は「30代」であるという人物属性情報が出力される。
また、人物の各属性は、数値で表現されてもよい。例えば、「年齢」について、「男性である可能性」を数値で表現することが考えられる。つまり、「男性である可能性が100%」である場合に、属性「年齢」の値を「1」とし、「女性である可能性が100%」である場合に、属性「年齢」の値を「0」とするような表現を行うことも可能である。
人物画像に基づく人物属性判別方法には、例えば、年齢が判明している人物の複数の人物画像から、各年齢の人物画像に対応する特徴量のモデルを予め作成しておき、入力された人物画像と各年齢の場合の特徴量のモデルとを比較することが考えられる。
例えば図7に示すように、人物属性判別部116に入力された人物画像PH1Aの特徴量と、「20代」の人物の人物画像群PH_20の特徴量のモデルとを比較する。一方で、人物属性判別部116に入力された人物画像PH1Aの特徴量と、「30代」の人物の人物画像群PH_30の特徴量のモデルとを比較する。
人物属性判別部116は、入力された人物画像PH1Aと最も近い特徴量を有する年齢を、人物画像の人物の年齢であると判別する。
人物画像PH1Aと、各年齢の人物画像群のモデルとの近さは、例えば、各特徴量の値を成分とする特徴ベクトル同士の距離の短さで表現する。図7の例のように、入力された人物画像PH1Aが、「30代」の特徴量のモデルの特徴量と最も近い値の特徴量を有する場合に、人物属性判別部116は、人物画像PH1Aの人物の年齢を「30代」と判別する。
以上、1枚の人物画像から人物属性を判別する方法について説明した。
人物画像群が複数の人物画像から構成される場合には、例えば、以下の2つの方法により人物画像群全体から人物属性を判別することができる。
第1の方法は、人物属性判別部116が、複数の人物画像の特徴量の代表値(例えば平均値等)を算出し、算出した代表値について上記の処理を行い、人物の属性を判別する方法である。
また、第2の方法は、人物属性判別部116が、複数の人物画像それぞれから人物属性を判別し、その結果を用いて人物画像群全体として最終的に用いる人物の属性を判別する方法である。
上記第2の方法の具体例として、例えば、人物画像群に含まれる人物画像のうち、所定の枚数以上の人物画像から判別した人物属性が同一のものであるときに、当該人物属性を、人物画像群全体から判別された結果として用いることが考えられる。
上記のように、所定の枚数以上の人物属性判別結果が得られた場合のみ当該人物属性判別結果を用いることにより、より信頼性の高い結果を取得することが可能になる。
また、上記第2の方法の具体例として、例えば、各人物属性について、人物画像群に含まれる各人物画像から判別した人物属性の値のうち最多の値を、人物画像群全体から判別された結果として用いることも考えられる。
上記のような方法で各人物画像群について判別された人物属性情報は、人物属性データベースに格納される。なお、人物属性データベースは、情報処理装置10の内部に含まれていてもよく、情報処理装置10がアクセス可能なサーバなどの内部に含まれていてもよい。
なお、人物属性判別部116により取得された人物属性を、手動で修正するようにしてもよい。
以上、人物画像群解析部101が行う処理について説明した。
次に、イベント情報解析部103が行う処理について説明する。図3に示すように、イベント情報解析部103は、イベント画像特徴量算出部132と、イベント属性判別部134と、イベント付帯情報解析部136とを含む。
イベント画像特徴量算出部132には、イベント画像データベースからイベント画像群Pが入力される。イベント画像特徴量算出部132は、イベント画像群Pが入力されると、各イベント画像の特徴量を算出する。
なお、イベント画像の特徴量は、後述するイベント属性判別部134がイベントの属性を判別する際に利用されるものであり、例えば、イベント画像に含まれる物体の形状、模様、色彩等を表す特徴量である。
このように、イベント画像特徴量算出部132により算出された各イベント画像の特徴量は、イベント属性判別部134へ入力される。
一方、イベント付帯情報解析部136には、イベント付帯情報データベースからイベント付帯情報が入力される。ここで、図8は、イベント付帯情報の例を説明するための説明図である。図8に示すように、イベント付帯情報は、例えば、「イベント日時」、「イベント場所」、「イベントタイトル」、「イベント種別」、「イベント主役名」などである。
なお、イベント付帯情報は、情報処理装置10のユーザが各イベントについて直接付与してもよく、情報処理装置10が入力された他のイベント付帯情報などから推定してもよい。
「イベント日時」の値は、例えば、「2011年11月10日」といった特定の年月日を表す値だけでなく、「2012年1月」というように、特定の期間を表す値であってもよい。「イベント日時」の値は、ユーザが入力したものであってもよく、イベント画像が撮像装置により撮像された際に、イベント画像に付与されたものであってもよい。
「イベント場所」の値は、例えば、「Aホテル」や「太郎くんの家」等である。「イベント場所」の値は、「イベント日時」と同様に、ユーザが入力したものであってもよく、イベント画像が撮像装置により撮像された際に、イベント画像に付与されたものをであってもよい。
「イベントタイトル」の値は、イベントの内容に応じてユーザが付与したものである。例えば、「B大学OB会」や「太郎くんの誕生日会」などのようにイベント内容に応じて付与される場合もあれば、「2012年京都旅行」などのように、イベント内容の他にイベントの時期や場所に応じて付与される場合もある。
「イベント種別」の値は、「誕生日会」などのようにイベントの内容などに応じたイベントの分類である。また、誕生日会などのイベントの主役がいる場合には、「太郎くん」などのように特定の人物名が「イベント主役名」の値である。また、OB会などのイベントの主役がいない場合には、「イベント主役名」の値はない。
また、イベント付帯情報解析部136は、入力された「イベントタイトル」を、形態素解析などにより、「イベント日時」、「イベント場所」、「イベント主役名」、「イベント種別」などの他のイベント付帯項目の値に変換することも可能である。
例えば、図8に示すように、「イベントタイトル」として「太郎くんの誕生日会」が入力された場合に、イベント付帯情報解析部136は、「イベント主役名」の値を「太郎くん」とし、「イベント種別」の値を「誕生日会」とする。
上述したように、イベント付帯情報解析部136は、入力されたイベント付帯情報をそのまま出力する場合もあれば、他のイベント付帯情報に変換して出力する場合もある。
イベント付帯情報解析部136により解析されたイベント付帯情報は、イベント属性判別部134に入力される。
また、イベント付帯情報解析部136により解析されたイベント付帯情報を、ユーザが確認や修正を行うことができるようにしてもよい。
イベント属性判別部134には、イベント画像特徴量算出部132により算出された各イベント画像の特徴量が入力される。また、イベント属性判別部134には、イベント付帯情報解析部136により解析されたイベント付帯情報も入力される。
ここで、イベント画像群Pが複数のイベント画像から構成される場合には、例えば、イベント属性判別部134が、複数のイベント画像の特徴量の代表値(例えば平均値等)を算出し、算出した代表値をイベント画像群Pの特徴量として用いる。
イベント属性判別部134は、入力されたイベント画像群Pの特徴量及びイベント付帯情報Mに基づき、イベント属性を判別する。
イベント属性判別部134は、例えば、イベント画像群Pの特徴量から、イベント画像群Pに含まれる所定の物体を認識することにより、イベント属性情報「イベント種別」を判別する。
例えば、イベント画像群Pに含まれる多数の画像で中心となる人物が共通しており、「ケーキ」が認識された場合には、イベント属性判別部134は、イベント属性情報「イベント種別」の値を「誕生日会」としたりすることが考えられる。
また、例えば、イベント画像群Pに立ち姿勢の多数の人物が含まれ、その人物の多くがグラスや皿を保持している場合に、イベント属性判別部134は、イベント属性情報「イベント種別」の値を「立食パーティ」としたりすることが考えられる。
また、イベント属性判別部134は、既に「イベント名」、「イベント種別」、「イベント主役」、「イベント日時」、「イベント場所」等のイベント属性情報の値が判明しているイベント画像を利用してもよい。既にイベント属性情報の値が判明しているイベント画像の特徴量と、入力されたイベント画像群Pを構成するイベント画像の特徴量とを比較することにより、入力されたイベントの「イベント名」、「イベント種別」、「イベント主役」、「イベント日時」、「イベント場所」等のイベント属性情報の値を推定することなどが可能である。
イベント属性判別部134は、例えば、既に属性が判別されているイベント画像の特徴量からなる特徴ベクトルと、入力されたイベント画像群Pの特徴量からなる特徴ベクトルとの距離とを算出する。次に、イベント属性判別部134は、入力されたイベント画像との距離が最短のイベント画像の属性を、入力されたイベント画像のイベント属性と判別する。
また、イベント属性判別部134は、イベント付帯情報解析部136から入力されたイベント付帯情報にも基づいて、イベント属性を判別する。
イベント属性判別部134は、イベント付帯情報をそのままイベント属性としてもよい。また、例えば、イベント属性判別部134は、イベント付帯情報「イベント場所」の値が「東京都港区×丁目○番地△号」の場合に、イベント属性情報「イベント場所」の値を「東京都」と変換したりしてもよい。
このようにイベント付帯情報をより上位概念化したり、分類し直したりしたイベント属性を、人物のプロフィール推定に用いることにより、ユーザが取得したい項目でのプロフィールの推定を行うことが可能になる。
イベント属性には、「イベントタイトル」、「イベント種別」、「イベント主役名」、「イベント日時」、「イベント場所」など、イベント情報と一対一対応するもののほか、それらを合わせて意味解析などをして得られる属性も含まれる。
例えば、イベント属性判別部134は、年末年始の自宅以外の場所での長期間に渡るイベントであれば、イベント属性情報「イベント種別」の値を「帰省」と判別したりしてもよい。
また、イベント属性判別部134は、入力されたイベント画像特徴量及びイベント付帯情報の整合性がとれる場合のみ、イベント付帯情報をイベント属性として判別してもよい。
例えば、入力されたイベント画像特徴量から判別すると「イベント場所」は「自宅」であるにも関わらず、入力されたイベント付帯情報の「イベント場所」は「学校」であるというような場合には、どちらか一方が誤った情報である可能性が高いため、イベント属性判別部134は、イベント属性のうち、「イベント場所」の値を「無」としたりしてもよい。
イベント属性判別部134により判別されたイベント属性Aは、イベント属性データベースに格納される。
なお、イベント属性判別部134により取得された人物属性Aを、手動で修正するようにしてもよい。
以上、イベント情報解析部103の処理について説明した。
以下では、プロフィール推定部102が行う処理について説明する。プロフィール推定部102は、まず、人物画像データベースから人物画像群を取得する。また、プロフィール推定部102は、人物属性データベースから人物属性情報を取得する。更に、プロフィール推定部102は、イベント属性データベースからイベント属性情報を取得する。
プロフィール推定部102は、取得した人物画像群、人物属性情報及びイベント属性情報を用いて、人物のプロフィールを推定する。ここで、上述したように、本稿におけるプロフィールとは、一又は複数のプロフィール項目及びその値並びにプロフィール画像の組をよぶ。
なお、プロフィール項目の値は、数値に限られず、テキストを含むものであってもよい。
プロフィール推定部102は、入力された人物画像群に含まれる人物画像のうち、一又は複数をプロフィール画像として選択する。例えば、プロフィール推定部102は、取得した人物画像群に含まれる人物画像から、プロフィール画像をランダムに選択する。
また、プロフィール推定部102は、取得した人物画像群に含まれる人物画像のうち、当該人物が最も大きく撮像された人物画像を選択したり、輪郭が最もはっきりと撮像された人物画像を選択したりしてもよい。
また、プロフィール推定部102は、入力された人物画像、人物属性情報及びイベント属性情報に基づき、各プロフィール項目の値を推定する。
図9は、プロフィール推定部102により推定されるプロフィール項目とその値の例を示した説明図である。図9に示すように、プロフィール項目は、「氏名」、「性別」、「年齢」、「居住地」、「出身地」、「生年月日」、「出身大学」、「勤務先」などである。
プロフィール推定部102は、プロフィール推定部502と同様に人物属性情報から当該人物のプロフィールを推定するほか、イベントでしか知りえなかったような「氏名」、「誕生日」、「出身地」、「居住地」などを推定する。
例えば、入力されたイベント属性情報として、「イベントタイトル」が「太郎くんの誕生日会」であり、「イベント主役名」が「太郎くん」であり、「イベント種別」が「誕生日会」、「イベント日時」が「2011年7月」である場合について説明する。
プロフィール推定部102は、まず、人物画像を解析することにより、人物画像群に含まれるいずれの人物が「イベント主役名」であるかを判別する。
例えば、プロフィール推定部102は、人物画像群に最も多く含まれる人物を、「イベント主役名」と判別する。
また、例えば、プロフィール推定部102は、人物画像群に占める面積が最も大きい人物のプロフィール項目「氏名」を、イベント属性「イベント主役名」の値と推定してもよい。
また、例えば、プロフィール推定部102は、人物画像における所定の範囲(例えば人物画像の中心付近)に含まれる回数が最も多い人物のプロフィール項目「氏名」を、イベント属性「イベント主役名」の値と推定してもよい。
プロフィール推定部102は、人物画像群に含まれる何れの人物が「イベント主役名」であるかを判別すると、「イベント主役名」である人物のプロフィール項目「氏名」を、イベント属性「イベント主役名」の値と推定してもよい。
例えば、「イベント主役名」が「太郎くん」である場合、プロフィール推定部102は、イベント属性「イベント主役名」の値「太郎くん」から、「イベント主役名」であると判別した人物画像群に含まれる人物の「氏名」を、「太郎」と推定してもよい。
更に、「イベント種別」が「誕生日会」であること、及び「イベント日時」が「2011年7月」であることを考慮して、プロフィール推定部102は、「氏名」が「太郎」であると推定した人物の「誕生日」を、「7月」と推定する。
また、プロフィール推定部102は、他のイベントについて各人物のプロフィールを推定した結果であるプロフィールデータベースから、「イベント主役名」に該当する人物のプロフィールを参照し、参照したプロフィール上のプロフィール項目(例えば、「誕生日」)の値が、現在処理を行っているイベントから推定されるプロフィール項目(例えば、「誕生日」)の値と一致する場合に、当該プロフィール項目(例えば、「誕生日」)の推定範囲を狭く推定することも可能である。
例えば、イベント名が「太郎くんの誕生日会」であるイベントが毎年7月頃行われているとする。この場合、今までに行われた「太郎くんの誕生日会」から、「氏名」が「太郎」である人物の「誕生日」が「6月下旬から7月上旬」であることが分かる。
一方で、プロフィール推定部102が、現在入力されている「太郎くんの誕生日会」のイベント解析から、「氏名」が「太郎」である人物の「誕生日」から「7月上旬から7月中旬」であることを判別したとする。
この場合、プロフィール推定部102は、今までに行われた「太郎くんの誕生日会」の情報及び現在入力されている「太郎くんの誕生日会」の情報を統合し、「氏名」が「太郎」である人物の「誕生日」を「7月上旬」であるというように、さらに狭い期間で推定し直したりすることが可能である。
プロフィール推定部102は、あるイベント属性(以下、イベント属性A)が所定の値の場合にのみ、他のイベント属性(以下、イベント属性B)の値が所定の値になる場合、イベント属性Aとイベント属性Bとを関連づけて、所定のプロフィール項目の値を推定するようにしてもよい。
以下では、上記のイベント属性Aが「イベント種別」であり、上記のイベント属性Bが「イベント場所」である場合に、プロフィール項目「出身地」や「居住地」を推定する場合について説明する。
例えば、他のイベントについては「イベント場所」が「東京」であるが、「イベント種別」が「帰省」の場合にのみ、「イベント場所」が「大阪」である場合について考える。この場合、プロフィール推定部102は、撮影を行った人物の「出身地」を「大阪」と推定し、「居住地」を「東京」と推定する。
また、プロフィール推定部102は、所定のイベント属性が所定の値である場合に、当該イベントに参加した人物の所定のプロフィール項目の値を所定の値と推定してもよい。
例えば、「イベントタイトル」が「△△大学OB会」である場合には、プロフィール推定部102は、イベントに参加した人物のプロフィール項目「出身大学」の値を、「△△大学」であると推定することが考えられる。また、例えば、「イベント種別」が「女子会」である場合には、プロフィール推定部102は、イベントに参加した人物のプロフィール項目「性別」の値を、「女性」であると推定することが考えられる。
上記のように、プロフィール推定部102により推定されたプロフィールPRO_1は、プロフィールデータベースへ格納される。また、当該プロフィールPRO_1は、確信度算出部104へ入力される。なお、各プロフィール項目推定方法に関する情報も、確信度算出部104へ入力される。
上記のように、各プロフィール項目推定方法には、例えば、イベント画像を解析することによりプロフィール項目の値を推定する方法、ユーザが手動で入力したイベント付帯情報に基づいてプロフィール項目の値を推定する方法、撮像装置により自動で付与されたイベント付帯情報に基づいてプロフィール項目の値を推定する方法及びこれらの方法の組み合わせなどがある。
確信度算出部104は、プロフィール推定部102により推定された各プロフィール項目について、確信度を算出する。ここで、本稿における確信度とは、プロフィール推定部102により推定された各人物のプロフィールPRO_1の各プロフィール項目の値が、当該人物の実際のプロフィール項目の値と一致している確からしさについての指標をさす。
確信度算出部104は、各プロフィール項目の推定方法に関する情報に応じて、推定された各プロフィール項目の確信度を算出する。
確信度の値は連続値でも離散値でもよいが、プロフィール項目推定方法の信頼性を反映する指標であることが必要である。例えば、ユーザが手動で入力したイベント付帯情報に基づいて推定されたプロフィール項目については、情報の信頼性が高いと考えられるため、確信度算出部104は、信頼度を高く算出する。
また、例えば、撮像装置により自動で付与された時刻情報や位置情報に基づいて推定されたプロフィール項目についても、情報が誤っている可能性が低いと考えられるため、確信度算出部104は、信頼度を高めに算出する。
一方、例えば、イベント画像解析により推定されたプロフィール項目は、ユーザが手動で入力した情報と比較して信頼性が低いと考えられるため、確信度算出部104は、イベント画像解析により推定されたプロフィール項目の確信度を、ユーザが手動で入力した情報に基づくプロフィール項目の確信度より低く算出する。
なお、各プロフィール項目、当該プロフィール項目の値及び当該プロフィール項目の確信度は、各イベント間で共有される。つまり、情報処理装置10にイベント情報が入力される度に、情報処理装置10は、入力されたイベントに参加した人物のプロフィール項目の値を変更したり、プロフィール項目の値は変更しないものの、当該プロフィール項目の確信度を変更したりする。
例えば、あるイベントAの情報からは、当該イベントAに参加したある人物のあるプロフィール項目の確信度は低かったとする。この場合において、その後更に別のイベントBの情報が情報処理装置10に入力され、イベントBによるプロフィール項目の値の推定結果と、データベースに保持されたイベントAによる当該プロフィール項目の値とが一致しているとき、当該プロフィール項目の確信度を、イベントAのみから算出した際の値より高くする。
また、確信度算出部104は、プロフィール項目のうちあるプロフィール項目の値に応じて、他のプロフィール項目の確信度を算出してもよい。
例えば、赤ん坊や子供などの年齢が低い人物の画像からは、その人物の性別の判別精度が悪いと考えられる。そのため、確信度算出部104は、例えば、人物画像群を解析することにより、プロフィール項目「年齢」の値が所定の値より低いと推定された人物については、プロフィール項目「性別」の確信度を低く算出する。
図10は、プロフィール項目の確信度について説明するための説明図である。図10には、ある人物のプロフィール項目、当該プロフィール項目の値及び当該プロフィール項目の確信度を列挙した例である。
例えば、プロフィール項目「出身大学」が「△△大学」であることは、ユーザが手動で入力したイベント付帯情報をそのまま用いたイベント属性に基づいて推定されているため、確信度を「95」としている。
また、例えば、プロフィール項目「氏名」が「山田 太郎」であることは、ユーザが手動で入力したイベント付帯情報から変換されたイベント属性に基づいて推定されているため、確信度を「70」としている。
また、例えば、プロフィール項目「性別」が「男性」であることは、人物画像を解析することにより推定されているため、確信度を「30」としている。
確信度算出部104により算出された確信度K1は、プロフィールデータベースに格納される。
プロフィール推定部102により推定された各人物のプロフィール及びプロフィール項目ごとの確信度は、複数のイベント間で共有される。
以上、図3〜図10を参照しながら、本実施形態に係る情報処理装置10の基本構成の一例について説明した。
上記のように、本実施形態によれば、入力されるイベント画像群に基づいて、イベントに参加した人物のプロフィールを推定する。
特に、イベント画像群を解析することにより、人物画像群からだけでは推定できないプロフィール項目についても値を推定したり、より精度の高いプロフィール推定を行ったりすることが可能になる。
また、本実施形態によれば、イベント画像群の所有者自身が各人物のプロフィールを入力する手間を省いたり、入力する際に推定したプロフィールを予測値として提示してプロフィール入力の補助を行ったりすることが可能になる。
また、本実施形態によれば、複数のイベント間で推定されたプロフィールや確信度が共有されるため、1つのイベントからプロフィールを推定するよりも、精度よくプロフィールの推定を行うことが可能になる。
また、本実施形態によれば、イベント画像群の所有者自身が気づいていなかった人物のプロフィールを推定することも可能である。例えば、イベント画像群に含まれる所有者以外の人物の趣味や好きなもの等についての新たな発見につながることが考えられる。
<3:変形例(画像解析+イベント情報+ウェブサイト情報)>
[3−1:変形例に係る情報処理装置の構成(図11)]
上記の基本構成は、イベント情報解析及び人物画像群解析に基づき、イベントに参加した人物のプロフィールを推定する構成であった。
本変形例は、当該基本構成に、ウェブサイト情報統合部105を追加した構成である。本変形例では、上記の基本構成により推定されたプロフィールを、ウェブサイトからの情報に基づき更新する。
以下では、図11を参照しながら、本実施形態に係る変形例について説明する。図11は、本変形例の全体構成について説明するための説明図である。但し、以下の説明では、上記の基本構成により、イベントに参加した各人物の画像が人物画像データベースに、人物属性情報が人物属性データベースに、プロフィールがプロフィールデータベースに記憶されていることを前提とする。
ウェブサイト情報統合部105は、ユーザアカウント抽出部152と、ユーザ情報取得部153と、プロフィール更新部158と、確信度更新部160とを含む。また、ユーザ情報取得部153は、ユーザ画像取得部154と、ユーザプロフィール取得部156とを含む。
ユーザアカウント抽出部152には、SNS(Social Networking Service)等、ネットワークを介してユーザ同士の情報共有を行うコミュニティ型のウェブサイトに関する一又は複数のウェブサイト情報Sが入力される。ウェブサイト情報は、例えば、あるユーザのアカウント情報と、当該ユーザとウェブサイト上で情報共有を行っているユーザのアカウント情報などが含まれる。
ユーザアカウント抽出部152は、入力されたウェブサイト情報Sに基づき、一又は複数のユーザアカウントを抽出する。例えば、ユーザアカウント抽出部152は、情報を入力したユーザ自身のアカウントと、当該ユーザとウェブサイト上で情報共有を行っているユーザのアカウントとを抽出する。
抽出されたユーザアカウントは、ユーザ画像取得部154及びユーザプロフィール取得部156に入力される。
ユーザ情報取得部153のユーザ画像取得部154は、ユーザアカウントが入力されると、入力された各ユーザアカウントに対応するユーザ画像を、ユーザ画像データベースから取得する。ユーザ画像は、例えば、ユーザによってアップロードされ、ウェブサイト上の当該ユーザアカウントに対応するページに表示されるプロフィール画像などである。
またユーザ画像取得部154は、ユーザによってアップロードされたイベント画像から、当該ユーザ部分を抽出した人物画像を、ユーザ画像として取得してもよい。
ユーザ画像取得部154により取得されたユーザ画像Pは、プロフィール更新部158へ入力される。
一方、ユーザ情報取得部153のユーザプロフィール取得部156は、ユーザアカウント抽出部152からユーザアカウントが入力されると、当該ユーザアカウントに対応するユーザのプロフィールを、ユーザプロフィールデータベースから抽出する。ユーザプロフィール項目は、例えば、「ユーザ名」、「誕生日」、「出身地」、「居住地」、「趣味」、「出身大学」、「勤務先」などである。
ユーザプロフィール取得部156により抽出されたユーザプロフィールPRO_Wは、プロフィール更新部158へ入力される。
プロフィール更新部158は、入力されたユーザ画像P及びユーザプロフィールPRO_Wに基づいて、プロフィールデータベースを更新する。また、プロフィール更新部158は、入力されたユーザ画像P及びユーザプロフィールPRO_Wに基づいて、人物画像データベース及び人物属性データベースも更新する。プロフィール更新部158が行う処理の詳細については後述する。
プロフィール更新部158により更新されたプロフィールPRO_2は、確信度更新部160へ入力される。
確信度更新部160は、プロフィールPRO_2が入力されると、入力されたプロフィール項目の確信度を更新する。SNSなどのウェブサイトのユーザプロフィールは、ユーザ自身により入力されているため、信頼性が高いと考えられる。
そこで、例えば、確信度更新部160は、ウェブサイトのユーザプロフィール項目の値と、プロフィール推定部102により推定されたプロフィール項目の値とが一致している場合に、確信度算出部104により算出された確信度より高い値になるように、確信度を更新する。
一方、例えば、確信度更新部160は、ウェブサイトのユーザプロフィール項目の値と、プロフィール推定部102により推定されたプロフィール項目の値とが一致しない場合に、確信度算出部104により算出された確信度より低い値になるように、確信度を更新する。
プロフィールデータベースの確信度は、K1からK2へ更新される。
以上、図11を参照しながら、本実施形態に係る変形例の全体構成について説明した。
[3−2:プロフィール更新部158が行う処理]
以下では、図12及び図13を参照しながら、プロフィール更新部158が行う処理について、より詳細に説明する。特に、ウェブサイトのユーザと、イベントに参加した人物との照合方法について説明する。
(3−2−1:画像を利用したプロフィール更新方法(図12))
以下では、人物画像データベースに記憶された各人物と、ウェブサイトの各ユーザとを照合する第1の方法について図12を参照しながら説明する。
例えば、プロフィール更新部158は、各人物画像Pと、各ユーザ画像Pとの特徴量を特徴ベクトル化することなどにより比較し、各人物画像Pと最も近い特徴量を有するユーザ画像Pとを対応付ける。このように、人物とユーザの対応付けが行われる。
図12に示すように、プロフィール更新部158は、人物画像PH1Aの人物と、最も似た特徴を有するユーザ画像PUAのユーザとを同一人物として対応づける。
その後、プロフィール更新部158は、人物画像PH1Aの人物のプロフィールを、ユーザ画像PUAのユーザのユーザプロフィールで更新する。
(プロフィール項目の値同士が一致している場合)
プロフィール更新部158は、当該プロフィール項目の値をそのままプロフィールデータベースに格納したり、確信度更新部160に出力したりする。
(プロフィール項目の値同士が一致していない場合)
例えば、プロフィール更新部158は、ウェブサイトのユーザプロフィール項目の値で、プロフィール推定部102により推定されたプロフィール項目の値を置換する。一般に、ウェブサイトが保有しているユーザプロフィールは、ユーザ自身により入力されたものであり、信頼性が高いと考えられるためである。
但し、ウェブサイトの情報の信頼性などにより、プロフィール更新部158は、プロフィール推定部102により推定されたプロフィール項目の値を、ウェブサイトのユーザプロフィール項目の値に優先させてプロフィールの更新を行ったりしてもよい。
(ウェブサイトのみから得られるプロフィール項目がある場合)
例えば、プロフィール更新部158は、ウェブサイトのみから値を取得することが可能なユーザプロフィール項目がある場合、プロフィール推定部102により推定されたプロフィール項目に、ウェブサイトから取得したプロフィール項目とその値を追加する。
以上、人物画像データベースに記憶された各人物と、ウェブサイトの各ユーザとを照合する第1の方法について、図12を参照しながら説明した。
(3−2−2:確信度を利用したプロフィール更新方法(図13))
以下では、人物画像データベースに記憶された各人物と、ウェブサイトの各ユーザとを照合する第2の方法について、図13を参照しながら説明する。
プロフィール推定部102により推定されたある人物のプロフィールと、確信度算出部104により算出された確信度とが図13の表T1のように表されるとする。また、ユーザプロフィール取得部156が抽出したあるユーザのプロフィール項目とその値とが表T2のように表されるとする。
ここで、表T1と表T2とを比較すると、表T1における「出身地」や、表T2における「年齢」のように、一方に値が存在しないプロフィール項目もあるものの、確信度の高いプロフィール項目である「氏名」、「出身大学」及び「勤務先」の値同士が一致している。確信度の高いプロフィール項目が一致しているウェブサイトのユーザと、イベントに参加した人物とは、同一人物である可能性が高いと考えられる。
従って、プロフィール推定部102が、確信度の高いプロフィール項目の値を、ウェブサイトのユーザと、イベントに参加した人物とについて照合し、値が一致した場合に、当該ユーザと当該人物とを同一人物と推定する構成も可能である。
上記のように、確信度が高いプロフィール項目を優先してプロフィールを照合することにより、精度良く、ウェブサイトのユーザとイベントに参加した人物とを対応付けることが可能になる。
プロフィール更新部158は、ウェブサイトのユーザと、イベントに参加した人物を対応付けると、当該ユーザのプロフィールに基づき、当該人物のプロフィールを更新する。
例えば、プロフィール更新部158は、ウェブサイトのみから値を取得することが可能なユーザプロフィール項目がある場合、プロフィール推定部102により推定されたプロフィール項目に、ウェブサイトから取得したプロフィール項目とその値を追加する。
また、例えば、図13の例の「居住地」のように、プロフィール推定部102により推定されたプロフィール項目の値(図13の例では「東京都」)よりも、ウェブサイトのユーザプロフィール項目の値(図13の例では「東京都港区」)の方がより詳細な情報である場合、プロフィール更新部158は、プロフィール推定部102により推定されたプロフィール項目の値を、ウェブサイトのユーザプロフィール項目の値で置換してもよい。
以上、人物画像データベースに記憶された各人物と、ウェブサイトの各ユーザとを照合する第2の方法について、図13を参照しながら説明した。
(3−2−3:画像及び確信度を利用したプロフィール更新方法)
以上では、画像又は確信度を利用した人物画像データベースに記憶された各人物と、ウェブサイトの各ユーザとを照合する方法について説明したが、画像及び確信度の両方を利用した照合を行ってもよい。
例えば、各人物画像Pと、各ユーザ画像Pとをまず照合する。次に、画像同士が最も類似している人物とウェブサイトのユーザのプロフィールについて、確信度の高いプロフィール項目の値を優先して照合する。
上記の照合方法によれば、最終的に、画像の類似度が高く、確信度の高いプロフィール項目が一致している人物とユーザとを対応付けることが可能になる。
また、上記のようにまず画像を比較した後でプロフィール項目の値を照合することにより、プロフィール推定部102により推定されたプロフィール項目に対応するユーザプロフィール取得部156により抽出されたプロフィール項目がない場合等にも、精度よく人物とユーザの対応付けを行うことが可能になる。
以上、図11〜図13を参照しながら、本実施形態に係る変形例について説明した。
上記のように、本変形例では、ウェブサイト情報を解析することにより、プロフィールを更新する。ユーザ自身により入力された情報を利用するため、より精度の高いプロフィールに更新したり、イベント情報解析や人物画像解析だけでは推定できないプロフィール項目の値を取得したりすることが可能になる。
また、イベント画像群やウェブサイトに散在していた同一人物についての情報を、統合することにより、情報管理がしやすくなる。
なお、上記の本変形例では、人物画像解析及びイベント情報解析により推定されたプロフィールを、ウェブサイトからの情報に基づき更新することとしたが、本実施形態に係る技術の適用範囲はこれに限定されない。
例えば、イベント情報を考慮せず、人物画像解析により判別される人物属性及びウェブサイトからの情報に基づき、人物のプロフィール推定や確信度の算出などを行ってもよい。
<4:応用例>
以下では、上記の基本構成又は変形例によって推定されたプロフィールの表示方法及び利用方法に関する応用例について説明する。
[4−1:第1応用例(確信度を利用したプロフィール表示;図14)]
以下では、図14を参照しながら、確信度を利用したプロフィール表示方法に関する第1応用例について説明する。図14は、本実施形態に係る第1応用例について説明するための説明図である。
なお、以下では、上記の変形例に係る確信度更新部160により更新された確信度を利用するものとして説明を進めるが、上記の基本構成に係る確信度算出部104により算出された確信度をそのまま利用して、プロフィール表示を行うことも可能である。
各人物のプロフィールの表示方法として、例えば、当該人物の人物画像PPROと、各プロフィール項目の値とを表示する方法がある。本応用例では、各プロフィール項目の値を表示する際に、当該プロフィール項目の確信度に応じて表示方法を変える。
例えば、図14に示すように、本実施形態に係る情報処理装置10又は他の装置が備えるプロフィール表示制御部202は、各プロフィール項目の確信度が高いほど、各プロフィール項目の値を表示する文字を大きく表示させる。
プロフィール表示制御部202は、例えば、ユーザが人物画像に付与したプロフィール項目の値T1(山田 太郎)については、確信度が高いため、大きな文字で表示する。
また、プロフィール表示制御部202は、例えば、人物画像の解析により推定されたプロフィール項目の値T2(30代)及び値T3(男性)については、確信度が低いため、小さな文字で表示する。
また、プロフィール表示制御部202は、例えば、イベント付帯情報を解析することにより推定されたプロフィール項目の値T4(7月生まれ)、T5(大阪府出身)及びT6(東京都在住)については、確信度が中程度のため、中程度の大きさの文字で表示する。
また、例えば、ウェブサイト情報を解析することにより推定されたプロフィール項目の値T7(△△大学卒)及びT8(××株式会社勤務)については、確信度が高いため、大きな文字で表示する。
また、プロフィール表示制御部202は、例えば人物画像群解析及びウェブサイト情報解析等の複数の情報に基づいて推定されたプロフィール項目の値については、確信度が高いため、大きな文字で表示する。
また、プロフィール表示制御部202は、プロフィールとして、各プロフィール項目の値の代わりに、又は各プロフィール項目の値とともに、各プロフィール項目を表示してもよい。このとき、各プロフィール項目についても、その確信度に応じて表示形式を変えてもよい。
また、各プロフィール項目の値を表示する際の文字の大きさを確信度に応じて変える他に、プロフィール表示制御部202は、確信度の高さに応じて文字の色を変えたり、確信度の高さに応じて文字の透明度を変えたり、確信度の高いプロフィール項目の値のみを所定の色にしたり、下線を引いたりしてもよい。
また、プロフィール表示制御部202は、各プロフィール項目の値とともに、各プロフィール項目の確信度や各プロフィール項目を推定するために使用した情報の出所を表示してもよい。
上記のように各プロフィール項目の確信度の高さに応じて、各プロフィール項目の値の表示形式を変えることにより、ユーザが各プロフィール項目の確信度を直観的に把握し、プロフィールを利用する際の参考にすることが可能になる。
以上、図14を参照しながら、確信度を利用したプロフィール表示方法に関する第1応用例について説明した。
[4−2:第2応用例(確信度を利用したイベント検索;図15)]
以下では、図15及び図16を参照しながら、確信度を利用したイベント検索に関する第2応用例について説明する。図15及び図16は、本実施形態に係る第2応用例について説明するための説明図である。
上記の基本構成又は変形例により、各イベントに参加した各人物について、プロフィールが推定される。推定されたプロフィール項目の値は、イベントの検索に利用することが可能である。
ここで、プロフィールを利用しないイベント画像検索では、例えば、「△△大学卒」の人物が参加したイベントを検索したい場合に、イベント画像のファイル名やイベント画像を格納したフォルダ名に「△△大学」を含んでいないと検索できなかったり、所望のイベント画像が検索結果に含まれていなかったりした。
一方、上記の基本構成又は変形例によれば、イベント画像に含まれる各人物のプロフィールを推定し、推定したプロフィール項目の値を当該イベントにラベル付けしておくことができる。その結果、ユーザは、所望のイベントを容易かつ確実に検索することが可能になる。
本実施形態に係る情報処理装置10又は他の装置が備えるイベント検索部204は、例えば、図15に示すように、プロフィール項目「出身大学」の値が「△△大学」である人物を含むイベント検索結果として、「△△大学OB会」や「太郎くんの誕生日会」を表示する。
プロフィールを利用しないイベント画像検索では、検索ワードを「△△大学」とした場合に、イベント画像のフォルダ名等が「△△大学OB会」である場合のように、検索ワードを含むものしか検索結果として抽出できない。
しかし、本応用例によれば、イベント画像のフォルダ名が「太郎くんの誕生日会」のように、一見「△△大学」と関係なさそうなイベントでも、「△△大学」の人物が参加しているものも抽出することが可能である。
更に、プロフィール項目の値を検索ワードとしてイベント検索を行う場合に、検索ワードであるプロフィール項目の確信度を利用することも考えられる。
例えば、イベント検索部204は、検索対象となる各イベントについて、検索ワードである当該プロフィール項目の値を有する人物を抽出する。次に、各イベントについて抽出した全人物の確信度を加算し、当該イベント全体の確信度として算出する。
また、例えば、検索対象となる各イベントについて、検索ワードである当該プロフィール項目の値を有するだけでなく、その確信度が所定の閾値以上である人物を抽出し、イベント全体の確信度を算出してもよい。
上記の2つの方法等によってイベント全体の確信度を算出することにより、検索ワードであるプロフィール項目の値を有する人物が参加したイベントが複数ある場合、イベント検索部204は、当該プロフィール項目の確信度が高い人物が参加したイベントを優先して検索結果として表示することができる。
図15に示す例では、検索ワードを「△△大学」とした場合の検索結果を示している。「出身大学」が「△△大学」である確信度が高い人物が多数含まれると考えられる「△△大学OB会」が、ユーザの意図を反映している可能性が高い検索結果として、最初に表示される。
図15に示す例では、イベントタイトル自体に「△△大学」が含まれないものの、「△△大学」である人物がゲストとして参加した「太郎くんの誕生日会」も検索結果として表示される。但し、イベント全体の確信度が最も高い「△△大学OB会」よりは後に表示される。
また、検索結果のイベントとともに、検索ワードであるプロフィール項目の値を有する当該イベントの人物について加算した確信度を、イベントが当該検索ワードの検索結果である確信度として表示してもよい。
また、ユーザが所望のプロフィール項目の値を検索ワードとしてイベント検索を行った場合に、イベント検索結果として表示するイベントの確信度に応じて、イベントの表示形式を変えてもよい。
例えば、図16に示す例のように、検索結果1より低い確信度の検索結果2を、検索結果1より小さく表示すること等、検索結果同士を確信度に応じて差別化することが考えられる。
以上、図15及び図16を参照しながら、確信度を利用したイベント検索に関する第2応用例について説明した。
上記のように、本応用例によれば、イベントを検索した際の複数の検索結果を表示する際に、各結果表示の順番や表示形式を、算出された確信度を利用して変える。その結果、イベント検索を行った人の意図をより反映した検索結果をより分かりやすく表示することが可能になる。
<5:情報処理装置10が行う処理の流れ>
以下では、情報処理装置10が行う処理の流れについて説明する。まず、図17を参照しながら、第2章に記載した基本構成の場合の処理の流れについて説明する。次に、図18を参照しながら、第3章に記載した変形例の場合の処理の流れについて説明する。
また、以下で説明する各処理の流れは一例であり、一部の処理ステップを省略したり、変形したり、順序を入れ替えたりしてもよい。
[5−1:基本構成の場合の処理の流れ(図17)]
以下では、図17を参照しながら、基本構成の場合の処理の流れについて説明する。図17は、同実施形態に係る情報処理装置が行う処理の流れの一例を示す流れ図である。
図17に示すように、情報処理装置10に、1つ以上のイベントが入力されると(S202)、情報処理装置10は、イベントに付帯情報があるかを判定する(S204)。
イベントに付帯情報がある場合、イベント付帯情報解析部136は、イベント付帯情報を解析する(S206)。一方、イベントに付帯情報がない場合、処理を次のステップS208に進める。
次に、イベント画像特徴量算出部132は、イベントに含まれる画像群(イベント画像群)の特徴量を算出する(S208)。
次に、イベント属性判別部134は、イベント付帯情報及びイベント画像群の特徴量に基づいて、イベントの属性を判別する(S210)。
情報処理装置10に入力された全イベントについて、上記のステップS204〜S210により属性を判別すると、情報処理装置10は、処理をステップS224へ進める(S212)。
以上で説明したステップS202〜S212が、イベント情報解析部103の各部が行う処理である。次に、人物画像群解析部101の各部が行うステップS214〜S222について説明する。
人物画像群取得部112には、全イベントの全画像が入力される(S214)。画像が入力されると、人物画像群取得部112は、画像解析により、入力された全画像から人物画像群を取得する(S216)。
人物画像特徴量算出部114は、人物画像群取得部112から入力された人物画像の特徴量を算出する(S218)。人物属性判別部116は、算出された特徴量に基づいて、イベントに参加した人物の属性を判別する(S220)。
情報処理装置10に入力されたイベント画像群に含まれる全人物について、上記のステップS218及びS220により属性を判別すると、情報処理装置10は、処理をステップS224へ進める(S222)。
以上で説明したステップS214〜S222が、人物画像群解析部101の各部が行う処理である。
次に、プロフィール推定部102は、入力されたイベント及び人物の属性に基づいて、人物のプロフィールを推定する(S224)。なお、プロフィール推定部102により推定されたプロフィールは、プロフィールデータベースへ格納される。
次に、確信度算出部104は、推定された各プロフィール項目の確信度を算出する(S226)。なお、確信度算出部104により算出された各プロフィール項目の確信度は、プロフィールデータベースへ格納される。
情報処理装置10に入力されたイベント画像群に含まれる全人物について、上記のステップS224及びS226によりプロフィール推定及びその確信度を算出すると、情報処理装置10は、プロフィール推定の一連の処理を終了する(S228)。
以上、図17を参照しながら、情報処理装置10の基本構成の場合の処理の流れの一例について説明した。
なお、ステップS202〜S212の処理とステップS214〜S222の処理とは、どちらを先に行ってもよく、並列で行ってもよい。ステップS212で判別されたイベント属性と、ステップS222で判別された人物属性とがそろった時点で、ステップS224の処理を開始すればよい。
[5−2:変形例の場合の処理の流れ(図18)]
以下では、図18を参照しながら、上記の変形例の場合の処理の流れについて説明する。図18は、同実施形態の変形例に係る情報処理装置が行う処理の流れの一例を示す流れ図である。
但し、上記の変形例は、上記の基本構成の一連の処理を行った後、更に処理を追加するものである。よって、以下では、基本構成の処理を行ったものとして、変形例についての処理の流れの説明を行う。つまり、全イベントのイベント画像群に含まれる全人物について、プロフィールが推定され、推定された全プロフィール項目の確信度が算出されていることを前提とする。
図18に示すように、まず、ウェブサイト情報統合部105に1つ以上のウェブサイト情報が入力される(S302)。ウェブサイト情報が入力されると、ユーザアカウント抽出部152は、各ユーザのユーザアカウントを抽出する(S304)。
次に、ユーザプロフィール取得部156は、各ユーザのユーザアカウントに対応するユーザプロフィールを、ユーザプロフィールデータベースから抽出する(S306)。
次に、ウェブサイト情報統合部105は、ユーザアカウントから取得できる画像又は画像群があるか否かを判定する(S308)。ユーザアカウントから取得できる画像又は画像群がある場合に、ユーザ画像取得部154は、ユーザアカウントから取得できる画像又は画像群を取得する(S310)。
次に、プロフィール更新部158には、取得されたユーザ画像及びユーザプロフィールが入力される。また、プロフィール更新部158には、イベントに参加した人物について、人物画像データベースに記憶された人物画像群、人物属性データベースに記憶された人物属性及びプロフィールデータベースに記憶されたプロフィールも入力される。
プロフィール更新部158は、上記の入力情報に基づいて、イベントに参加した各人物と、ウェブサイトの各ユーザとを対応付ける(S312)。
プロフィール更新部158は、更に、各ユーザアカウントに紐づけられたユーザプロフィールに基づいて、イベントに参加した各人物のプロフィールを更新する(S314)。
次に、確信度更新部160は、更新された各プロフィール項目について、確信度を更新する(S316)。
情報処理装置10は、ウェブサイトの全ユーザアカウントのプロフィールに基づいて、イベントに参加した各人物のプロフィールを、上記のステップS306〜S316の処理により更新する(S318)。
更に、情報処理装置10は、複数のウェブサイトの情報が入力された場合に、上記ステップS304〜S318の処理を、全ウェブサイトについて行うと、プロフィール更新に関する一連の処理を終了する(S320)。
以上、図18を参照しながら、本実施形態の変形例の場合の処理の流れについて説明した。
<6:まとめ>
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、PC、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
(1)
人物が参加するイベントに関するイベント情報を解析するイベント情報解析部と、
前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析する人物画像群解析部と、
前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するプロフィール推定部と、
を備える情報処理装置。
(2)
ネットワークを介してユーザ同士の情報共有を行うサービスに登録されたユーザについて、当該ユーザに関するユーザ情報を取得するユーザ情報取得部と、
前記人物と前記ユーザとを対応づけて、前記プロフィール推定部により推定された人物のプロフィールを、当該人物と対応付けられた前記ユーザの前記ユーザ情報に基づいて更新するプロフィール更新部と、
を更に備える、
前記(1)に記載の情報処理装置。
(3)
前記人物についての前記プロフィールは、一又は複数のプロフィール項目からなり、
推定された前記プロフィール項目の確からしさを示す確信度を、前記各プロフィール項目について算出する確信度算出部を更に備える、
前記(1)又は(2)に記載の情報処理装置。
(4)
ネットワークを介してユーザ同士の情報共有を行うサービスに登録されたユーザについて、当該ユーザに関するユーザ情報を取得するユーザ情報取得部と、
前記人物と前記ユーザとを対応づけて、前記人物の各前記プロフィール項目の前記確信度を、当該人物と対応付けられた前記ユーザの前記ユーザ情報に応じて更新する確信度更新部を更に備える、
前記(3)に記載の情報処理装置。
(5)
前記プロフィール項目に対応付けられた前記確信度の高さに応じて、前記プロフィール項目の表示形式を制御するプロフィール表示制御部を更に備える、
前記(3)又は(4)に記載の情報処理装置。
(6)
前記確信度算出部は、
前記人物画像群解析部により解析される前記人物画像群に含まれる前記人物画像の枚数が多いほど、当該人物画像群に基づいて推定された前記プロフィール項目の前記確信度を高く算出する、
前記(3)〜(5)のいずれかに記載の情報処理装置。
(7)
前記イベントに関する前記イベント情報は、
当該イベントを撮像した画像である一又は複数のイベント画像からなるイベント画像群と、
当該イベント画像群に付帯するイベント付帯情報と、
を含む、
前記(1)〜(6)のいずれかに記載の情報処理装置。
(8)
前記確信度算出部は、
手動で入力された前記イベント情報に基づいて推定された前記プロフィール項目の確信度を、他の前記イベント情報に基づいて推定された前記プロフィール項目の確信度及び前記人物画像に基づいて推定された前記プロフィール項目の確信度より高く算出する、
前記(3)〜(7)のいずれかに記載の情報処理装置。
(9)
所定の前記プロフィール項目を検索条件として、イベントを検索するイベント検索部を更に備え、
前記イベント検索部は、
当該検索条件に合致する前記イベントが複数ある場合に、
当該複数のイベントそれぞれについて、当該イベントに含まれる一又は複数の前記人物に関する前記プロフィール項目の前記確信度の高さに応じて、当該イベントの確信度を算出し、
算出した各前記イベントの前記確信度に応じて、複数の前記イベントそれぞれの表示形式を選択するイベント検索部を更に備える、
前記(3)、4及び6〜(8)のいずれかに記載の情報処理装置。
(10)
前記人物画像群解析部は、
前記イベント画像のうち、前記人物が含まれる領域を前記人物画像として取得する人物画像群取得部を備える、
前記(7)〜(9)のいずれかに記載の情報処理装置。
(11)
複数の前記イベントに参加した人物について、各前記イベントに基づいて推定したプロフィールを各イベント間で共有する、
前記(1)〜(10)のいずれかに記載の情報処理装置。
(12)
前記イベント付帯情報は、
前記イベントを開催したイベント日時と、
前記イベントを開催したイベント場所と、
前記イベントについてユーザが付与したイベントタイトルと、
イベント種別と、
イベント主役名と、
のうち、一又は複数に関する情報を含む、
前記(7)〜(11)のいずれかに記載の情報処理装置。
(13)
前記プロフィール項目は、
前記人物の氏名と、
前記人物の性別と、
前記人物の年齢と、
前記人物の居住地と、
前記人物の出身地と、
前記人物の生年月日と、
のうち、一又は複数に関する項目を含む、
前記(3)〜(12)のいずれかに記載の情報処理装置。
(14)
前記プロフィール推定部は、
前記イベントを撮像した画像である一又は複数のイベント画像からなるイベント画像群に含まれる人物のうち、前記人物画像群を構成する前記人物画像の枚数が最多の人物の前記氏名を、当該イベントのイベント主役名と推定する、
前記(13)に記載の情報処理装置。
(15)
前記確信度算出部は、
前記プロフィール項目のうち第1プロフィール項目の値に応じて、前記プロフィール項目のうち前記第1プロフィール項目と異なる第2プロフィール項目の前記確信度を算出する、
前記(3)〜(15)のいずれかに記載の情報処理装置。
(16)
前記ユーザ情報は、
前記サービスにおいて前記ユーザを示すユーザ画像を含む、
前記(2)〜(15)のいずれかに記載の情報処理装置。
(17)
前記プロフィール更新部は、
前記人物の前記人物画像群と類似する前記ユーザ画像を有する前記ユーザを、当該人物と同一人物であるとして対応付ける、
前記(16)に記載の情報処理装置。
(18)
前記人物についての前記プロフィールは、一又は複数のプロフィール項目からなり、
前記プロフィール更新部は、
前記人物の前記プロフィール項目のうち、その確からしさを示す確信度が高い前記プロフィール項目と一致する前記ユーザ情報を有する前記ユーザを、当該人物と同一人物であるとして対応付ける、
前記(2)〜(17)のいずれかに記載の情報処理装置。
(19)
人物が参加するイベントに関するイベント情報を解析するステップと、
前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析するステップと、
前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するステップと、
を含む情報処理方法。
(20)
コンピュータに、
人物が参加するイベントに関するイベント情報を解析するイベント情報解析機能と、
前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析する人物画像群解析機能と、
前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するプロフィール推定機能と、
を実現させるためのプログラム。
(備考)
ウェブサイトは、イベントネットワークを介してユーザ同士の情報共有を行うサービスの一例である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
101 人物画像解析部
102 プロフィール推定部
103 イベント情報解析部
104 確信度算出部
105 ウェブサイト情報統合部
112 人物画像取得部
114 人物画像特徴量算出部
116 人物属性判別部
132 イベント画像特徴量算出部
134 イベント属性判別部
136 イベント付帯情報解析部
152 ユーザアカウント抽出部
153 ユーザ情報取得部
154 ユーザ画像取得部
156 ユーザプロフィール抽出部
158 プロフィール更新部
160 確信度更新部

Claims (20)

  1. 人物が参加するイベントに関するイベント情報を解析するイベント情報解析部と、
    前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析する人物画像群解析部と、
    前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するプロフィール推定部と、
    を備える情報処理装置。
  2. ネットワークを介してユーザ同士の情報共有を行うサービスに登録されたユーザについて、当該ユーザに関するユーザ情報を取得するユーザ情報取得部と、
    前記人物と前記ユーザとを対応づけて、前記プロフィール推定部により推定された人物のプロフィールを、当該人物と対応付けられた前記ユーザの前記ユーザ情報に基づいて更新するプロフィール更新部と、
    を更に備える、
    請求項1に記載の情報処理装置。
  3. 前記人物についての前記プロフィールは、一又は複数のプロフィール項目からなり、
    推定された前記プロフィール項目の確からしさを示す確信度を、前記各プロフィール項目について算出する確信度算出部を更に備える、
    請求項1に記載の情報処理装置。
  4. ネットワークを介してユーザ同士の情報共有を行うサービスに登録されたユーザについて、当該ユーザに関するユーザ情報を取得するユーザ情報取得部と、
    前記人物と前記ユーザとを対応づけて、前記人物の各前記プロフィール項目の前記確信度を、当該人物と対応付けられた前記ユーザの前記ユーザ情報に応じて更新する確信度更新部を更に備える、
    請求項3に記載の情報処理装置。
  5. 前記プロフィール項目に対応付けられた前記確信度の高さに応じて、前記プロフィール項目の表示形式を制御するプロフィール表示制御部を更に備える、
    請求項3に記載の情報処理装置。
  6. 前記確信度算出部は、
    前記人物画像群解析部により解析される前記人物画像群に含まれる前記人物画像の枚数が多いほど、当該人物画像群に基づいて推定された前記プロフィール項目の前記確信度を高く算出する、
    請求項3に記載の情報処理装置。
  7. 前記イベントに関する前記イベント情報は、
    当該イベントを撮像した画像である一又は複数のイベント画像からなるイベント画像群と、
    当該イベント画像群に付帯するイベント付帯情報と、
    を含む、
    請求項1に記載の情報処理装置。
  8. 前記確信度算出部は、
    手動で入力された前記イベント情報に基づいて推定された前記プロフィール項目の確信度を、他の前記イベント情報に基づいて推定された前記プロフィール項目の確信度及び前記人物画像に基づいて推定された前記プロフィール項目の確信度より高く算出する、
    請求項3に記載の情報処理装置。
  9. 所定の前記プロフィール項目を検索条件として、イベントを検索するイベント検索部を更に備え、
    前記イベント検索部は、
    当該検索条件に合致する前記イベントが複数ある場合に、
    当該複数のイベントそれぞれについて、当該イベントに含まれる一又は複数の前記人物に関する前記プロフィール項目の前記確信度の高さに応じて、当該イベントの確信度を算出し、
    算出した各前記イベントの前記確信度に応じて、複数の前記イベントそれぞれの表示形式を選択するイベント検索部を更に備える、
    請求項3に記載の情報処理装置。
  10. 前記人物画像群解析部は、
    前記イベント画像のうち、前記人物が含まれる領域を前記人物画像として取得する人物画像群取得部を備える、
    請求項7に記載の情報処理装置。
  11. 複数の前記イベントに参加した人物について、各前記イベントに基づいて推定したプロフィールを各イベント間で共有する、
    請求項1に記載の情報処理装置。
  12. 前記イベント付帯情報は、
    前記イベントを開催したイベント日時と、
    前記イベントを開催したイベント場所と、
    前記イベントについてユーザが付与したイベントタイトルと、
    イベント種別と、
    イベント主役名と、
    のうち、一又は複数に関する情報を含む、
    請求項7に記載の情報処理装置。
  13. 前記プロフィール項目は、
    前記人物の氏名と、
    前記人物の性別と、
    前記人物の年齢と、
    前記人物の居住地と、
    前記人物の出身地と、
    前記人物の生年月日と、
    のうち、一又は複数に関する項目を含む、
    請求項3に記載の情報処理装置。
  14. 前記プロフィール推定部は、
    前記イベントを撮像した画像である一又は複数のイベント画像からなるイベント画像群に含まれる人物のうち、前記人物画像群を構成する前記人物画像の枚数が最多の人物の前記氏名を、当該イベントのイベント主役名と推定する、
    請求項13に記載の情報処理装置。
  15. 前記確信度算出部は、
    前記プロフィール項目のうち第1プロフィール項目の値に応じて、前記プロフィール項目のうち前記第1プロフィール項目と異なる第2プロフィール項目の前記確信度を算出する、
    請求項3に記載の情報処理装置。
  16. 前記ユーザ情報は、
    前記サービスにおいて前記ユーザを示すユーザ画像を含む、
    請求項2に記載の情報処理装置。
  17. 前記プロフィール更新部は、
    前記人物の前記人物画像群と類似する前記ユーザ画像を有する前記ユーザを、当該人物と同一人物であるとして対応付ける、
    請求項16に記載の情報処理装置。
  18. 前記人物についての前記プロフィールは、一又は複数のプロフィール項目からなり、
    前記プロフィール更新部は、
    前記人物の前記プロフィール項目のうち、その確からしさを示す確信度が高い前記プロフィール項目と一致する前記ユーザ情報を有する前記ユーザを、当該人物と同一人物であるとして対応付ける、
    請求項2に記載の情報処理装置。
  19. 人物が参加するイベントに関するイベント情報を解析するステップと、
    前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析するステップと、
    前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するステップと、
    を含む情報処理方法。
  20. コンピュータに、
    人物が参加するイベントに関するイベント情報を解析するイベント情報解析機能と、
    前記イベントに参加した人物について、当該人物を含む一又は複数の人物画像からなる人物画像群を解析する人物画像群解析機能と、
    前記人物画像群の解析結果及び前記イベント情報の解析結果に基づき、前記イベントに参加した人物のプロフィールを推定するプロフィール推定機能と、
    を実現させるためのプログラム。
JP2012110930A 2012-05-14 2012-05-14 情報処理装置、情報処理方法及びプログラム Pending JP2013238991A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012110930A JP2013238991A (ja) 2012-05-14 2012-05-14 情報処理装置、情報処理方法及びプログラム
US13/837,894 US9501721B2 (en) 2012-05-14 2013-03-15 Information processing apparatus, information processing method, and program for estimating a profile for a person
CN2013101646219A CN103425982A (zh) 2012-05-14 2013-05-07 信息处理设备、信息处理方法以及程序
US15/338,916 US20170046572A1 (en) 2012-05-14 2016-10-31 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012110930A JP2013238991A (ja) 2012-05-14 2012-05-14 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2013238991A true JP2013238991A (ja) 2013-11-28

Family

ID=49548669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012110930A Pending JP2013238991A (ja) 2012-05-14 2012-05-14 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (2) US9501721B2 (ja)
JP (1) JP2013238991A (ja)
CN (1) CN103425982A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019516175A (ja) * 2016-03-29 2019-06-13 アリババ グループ ホウルディング リミテッド 情報の表示方法、デバイス、及びシステム
CN110019916A (zh) * 2018-08-17 2019-07-16 平安普惠企业管理有限公司 基于用户画像的事件处理方法、装置、设备和存储介质
JP2019532434A (ja) * 2016-10-13 2019-11-07 イーベイツ インコーポレイテッドEbates Inc. ユーザに価格変更を通知するウェブブラウザ内のウィッシュリストユーザインタフェース

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238991A (ja) * 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法及びプログラム
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
JP2018163601A (ja) * 2017-03-27 2018-10-18 富士通株式会社 対応付け方法、情報処理装置及び対応付けプログラム
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10599950B2 (en) * 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
US11256951B2 (en) * 2017-05-30 2022-02-22 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10515296B2 (en) * 2017-11-14 2019-12-24 Adobe Inc. Font recognition by dynamically weighting multiple deep learning neural networks
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
EP4109877A4 (en) * 2020-02-17 2023-08-09 Sony Group Corporation INFORMATION PROCESSING METHOD, SERVER DEVICE, AND PROGRAM
CN111428503B (zh) * 2020-03-11 2024-05-03 合肥工业大学 同名人物的识别处理方法及处理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4207980B2 (ja) 2006-06-09 2009-01-14 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US8122356B2 (en) * 2007-10-03 2012-02-21 Eastman Kodak Company Method for image animation using image value rules
WO2009116049A2 (en) * 2008-03-20 2009-09-24 Vizi Labs Relationship mapping employing multi-dimensional context including facial recognition
US8700540B1 (en) * 2010-11-29 2014-04-15 Eventbrite, Inc. Social event recommendations
WO2012129771A1 (en) * 2011-03-29 2012-10-04 Nokia Corporation Method and apparatus for creating an ephemeral social network
US8819009B2 (en) * 2011-05-12 2014-08-26 Microsoft Corporation Automatic social graph calculation
JP2013003631A (ja) 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP2013003635A (ja) 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013238991A (ja) * 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019516175A (ja) * 2016-03-29 2019-06-13 アリババ グループ ホウルディング リミテッド 情報の表示方法、デバイス、及びシステム
US11036991B2 (en) 2016-03-29 2021-06-15 Advanced New Technologies Co., Ltd. Information display method, device, and system
JP2019532434A (ja) * 2016-10-13 2019-11-07 イーベイツ インコーポレイテッドEbates Inc. ユーザに価格変更を通知するウェブブラウザ内のウィッシュリストユーザインタフェース
CN110019916A (zh) * 2018-08-17 2019-07-16 平安普惠企业管理有限公司 基于用户画像的事件处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN103425982A (zh) 2013-12-04
US20170046572A1 (en) 2017-02-16
US20130301939A1 (en) 2013-11-14
US9501721B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
JP2013238991A (ja) 情報処理装置、情報処理方法及びプログラム
CN105824959B (zh) 舆情监控方法及系统
US20240061887A1 (en) Information search method and apparatus, computer device and storage medium
CN103699594B (zh) 一种信息推送方法及系统
US9251395B1 (en) Providing resources to users in a social network system
CN106933867B (zh) 一种图像查询方法和装置
CN104537341B (zh) 人脸图片信息获取方法和装置
CN108305180B (zh) 一种好友推荐方法及装置
CN106227815A (zh) 一种多模态线索的个性化应用程序功能推荐方法及其系统
US20150019206A1 (en) Metadata extraction of non-transcribed video and audio streams
JP2021520567A (ja) 顔マッチング方法および装置、記憶媒体
CN103425649A (zh) 添加好友信息的方法及装置
CN113704623A (zh) 一种数据推荐方法、装置、设备及存储介质
CN106951433B (zh) 一种检索方法及装置
JP5125558B2 (ja) 推薦情報提供装置、推薦情報提供方法、推薦情報提供システムおよび推薦情報提供プログラム
CN104778283A (zh) 一种基于微博的用户职业分类方法及系统
US20120143598A1 (en) Server, dictionary creation method, dictionary creation program, and computer-readable recording medium recording the program
JP2014229129A (ja) 組み合わせ提示装置及びコンピュータプログラム
US20210075754A1 (en) Method for sharing a photograph
JP6375706B2 (ja) 属性推定プログラム及び情報処理装置
JP2015179399A (ja) テキスト生成装置、テキスト生成プログラム及びテキスト生成方法
CN109657143B (zh) 展品信息的推送方法、装置、设备和存储介质
JPWO2021240791A5 (ja) システム、クエリ生成装置、クエリ生成方法及びプログラム
KR20180020654A (ko) Ar 정보공유 기반 커뮤니케이션 제공 방법
KR101379935B1 (ko) 메시지 정보 추출 시스템 및 그 방법