[go: up one dir, main page]

JP6277329B2 - 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ - Google Patents

立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ Download PDF

Info

Publication number
JP6277329B2
JP6277329B2 JP2017514946A JP2017514946A JP6277329B2 JP 6277329 B2 JP6277329 B2 JP 6277329B2 JP 2017514946 A JP2017514946 A JP 2017514946A JP 2017514946 A JP2017514946 A JP 2017514946A JP 6277329 B2 JP6277329 B2 JP 6277329B2
Authority
JP
Japan
Prior art keywords
dimensional
viewpoint
space
data
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017514946A
Other languages
English (en)
Other versions
JPWO2016194441A1 (ja
Inventor
彰洋 志村
彰洋 志村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsu Inc filed Critical Dentsu Inc
Publication of JPWO2016194441A1 publication Critical patent/JPWO2016194441A1/ja
Application granted granted Critical
Publication of JP6277329B2 publication Critical patent/JP6277329B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

この発明は、自由視点動画データにおける立体広告枠決定システムに関し、特に、広告枠の設定に関する。
特許文献１には、自由視点動画データについて、自由視点からの任意の投影枠を広告枠として表示することが開示されている。
かかるシステムにおいては、広告枠を３Ｄ空間に設定できるので、従来の２Ｄ画面における広告と異なり、無数の広告枠を設定することができる。
特開2014-41259号公報
しかしながら、特許文献１に記載の方法では、以下のような問題があった。本来、広告枠は広告効果のために設定するものであるにもかかわらず、少しずれただけで広告が表示されないという問題があった。
この発明は、自由視点動画において効果的な広告枠を設定可能な広告システムを提供することを目的とする。
この発明の特徴、他の目的、用途、効果等は、実施例および図面を参酌することにより明らかになるであろう。
１）本発明にかかる立体広告枠決定システムは、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、A）前記ユーザ端末はさらに下記を備え、
前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段を備えている。
したがって、効果的な広告枠を設定可能な立体広告枠決定システムを提供することができる。
２）本発明にかかる立体広告枠決定システムは、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、A）前記ユーザ端末はさらに下記を備え、前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、を備えている。
したがって、効果的な広告枠を設定可能な立体広告枠決定システムを提供することができる。
３）本発明にかかる立体広告枠決定システムにおいては、前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴からコンテンツ別の立体広告枠を決定する。したがって、複数のユーザ別の変遷履歴からコンテンツ別の立体広告枠を決定することができる。
４）本発明にかかる立体広告枠決定システムにおいては、前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴における重複注目空間から前記立体広告枠を決定する。したがって、複数のユーザ別の変遷履歴における重複注目空間からコンテンツ別の立体広告枠を決定することができる。
５）本発明にかかる立体広告枠決定システムにおいては、前記立体広告枠は、前記コンテンツデータを視聴したユーザの視点条件によって時系列に変動する立体広告枠である。したがって、実際にユーザが視聴した視点条件において変動する時系列立体広告枠を提供することができる。
６）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、現在指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域を前記注目空間として決定する。したがって、任意の空間領域を時系列立体広告枠として提供することができる。
７）本発明にかかる立体広告枠決定システムにおいては、前記奥行特定データは、前記コンテンツデータに付加されている。したがって、コンテンツの特性に応じて、奥行き方向における注目領域を決定することができる。
８）本発明にかかる立体広告枠決定システムにおいては、前記奥行特定データが、前記コンテンツによって変動する。したがって、コンテンツによって、前記奥行き方向における注目領域を変更することができる。
９）本発明にかかる立体広告枠決定システムにおいては、前記奥行特定データが、自由視点動画のズーム率に応じて変動する。これにより、ズームで拡大縮小した場合に、奥行き方向の注目領域を変更することができる。
１０）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域全体を前記注目空間として決定する。したがって、前記空間領域全体を前記注目空間として扱うことができる。
１１）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域の一部を前記注目空間として決定する。したがって、前記空間領域の一部についてを前記注目空間として扱うことができる。
１２）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間のほぼ中央領域を前記注目空間として決定する。したがって、前記空間領域のほぼ中央を前記注目空間として扱うことができる。
１３）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間における移動オブジェクトが存在する領域である。したがって、前記移動オブジェクトが存在する領域を前記注目空間として扱うことができる。
１４）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、前記検出された領域について、周辺にいくほど重み付けを小さくする。したがって、前記空間領域について、より中央近辺を強調した立体広告枠を設定できる。
１５）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、前記検出された領域について、ＸＹ方向に離れるほど重み付けを小さくする。したがって、前記空間領域について、ＸＹ方向の中央近辺を強調した立体広告枠を設定できる。
を特徴とする立体広告枠決定システム。
１６）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、前記検出された領域について、奥行き方向に離れるほど重み付けを小さくする。したがって、前記空間領域について、奥行き方向の中央近辺を強調した立体広告枠を設定できる。
１７）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、現在のユーザが注目している空間を検出する注目空間検出手段を有しており、かかる注目空間検出手段により検出された領域を前記注目空間として決定する。したがって、現実の注目領域に基づいた立体広告枠を生成することができる。
１８）本発明にかかる立体広告枠決定コンピュータは、下記ユーザ端末と接続される立体広告枠決定コンピュータであって、前記ユーザ端末は、視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って特定視点からの動画データを表示手段に表示するとともに前記表示された特定視点動画データについて操作者から視点特性を変更する視点特性変更データが与えられるとこの視点特性変更データに基づいた特定視点動画データを表示するユーザ端末、下記手段を備えている。前記表示手段に表示された各特定視点動画データの注目空間の変遷履歴を、ユーザ別履歴データとして受信するユーザ別履歴データ受信手段、前記ユーザ別履歴データを前記コンテンツ別に記憶するユーザ別履歴データ記憶手段、前記ユーザ別履歴データから前記コンテンツの立体広告枠を決定する立体広告枠決定手段。
したがって、前記注目空間のユーザ別履歴から決定した立体広告枠を得ることができる。
１９）本発明にかかる立体広告枠決定コンピュータは、下記ユーザ端末と接続される立体広告枠決定コンピュータであって、前記ユーザ端末は、視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを表示するユーザ端末であって、前記ユーザ端末に表示される特定視点動画データにおける注目空間を決定するための注目空間決定基礎データの変遷履歴を受信するユーザ別履歴データ受信手段、前記注目空間決定基礎データの変遷履歴を記憶する記憶手段、前記注目空間決定基礎データの変遷履歴から、ユーザ別の注目空間の履歴を決定する決定手段、前記ユーザ別の注目空間の履歴に基づいて、コンテンツ別の立体広告枠を決定する立体広告枠決定手段を備えている。
したがって、前記注目空間決定基礎データの変遷履歴から決定した立体広告枠を得ることができる。
２０）本発明にかかるユーザ端末は、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段を備えている。したがって、前記特定視点動画データにおける注目空間を、前記立体広告枠決定コンピュータに供給することができる。
２１）本発明にかかるユーザ端末は、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、前記表示手段に表示される特定視点動画データにおける注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段を備えている。したがって、前記注目空間基礎データの変遷履歴から立体広告枠決定コンピュータにて、立体広告枠を決定することができる。
２２）本発明にかかる立体広告枠決定方法は、配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、A）前記ユーザ端末は下記ステップを備え、前記表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定するステップ、前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信すると、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する。したがって、効果的な立体広告枠を供給することができる。
２３）本発明にかかる立体広告枠決定方法は、配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、
A）前記ユーザ端末は下記ステップを備え、前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成するステップ、前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信すると、この変遷履歴から求めたコンテンツ別の立体広告枠を決定する。したがって、効果的な立体広告枠を供給することができる。
２４）本発明にかかるデータは、ユーザ端末より受信したコンテンツ別の注目空間の変遷履歴データであって、コンテンツ別に、ユーザ端末に表示された自由視点動画についての各再生時刻におけるユーザの注目空間領域を特定する領域特定情報が時系列に構成されたデータである。したがって、かかる変遷履歴データを複数収集することにより、コンテンツ別の重複注目空間を立体広告枠として決定することができる。
２５）本発明にかかるデータは、ユーザ端末の表示手段に表示される特定視点動画データに基づいて決定された前記特定視点動画における注目空間を決定するための注目空間決定基礎データであって、コンテンツ別に、ユーザ端末に表示された自由視点動画についての各再生時刻におけるユーザの注目空間領域を特定するための注目空間決定基礎データが時系列に構成されたデータ。したがって、かかる変遷履歴データを複数収集することにより、コンテンツ別の重複注目空間を立体広告枠として決定することができる。
本明細書において、自由視点動画とは、視点を自由に切り替えてコンテンツを表示できる動画はすべて含む。また、視点特性変更データとは、視点および視点方向の組み合わせの少なくとも一方が変更されるデータであって、かつ、開始からの相対経過時間における変更データをいい、本実施形態においては、視点、視点方向、ズームおよび相対経過時間の組み合わせで構成した。なお、ズームは必須ではない。また、再生開始から再生終了まで、１の視点および視点方向で動画再生する場合には、１の視点および視点方向で構成される。また、これ以外の他の視点特性を変更するデータを含んでもよい。また、現在の視点特性からの相対な変化量で表してもよい。
自由視点動画配信システム１の概要を示す図である。 自由視点動画配信システム１における配信コンピュータ、ユーザ端末、および立体広告枠決定コンピュータの機能ブロック図である。 配信コンピュータ２のハードウェア構成である。 自由視点動画の一例を示す。 ユーザ端末のハードウェア構成である。 立体広告枠決定コンピュータのハードウェア構成を示す図である。 自由視点動画配信表示処理のフローチャートである。 視点特性データのデータ構造の一例である。 投影表示処理のフローチャートである。 ユーザ端末に表示される自由視点映像の一例である。 ユーザ端末に表示される操作ボタンの一例である。 ユーザ端末に表示される自由視点映像の一例である。 自由視点映像において対象物の回転処理を説明する図である。 投影変更割り込み処理のフローチャートである。 ポイント付与処理のフローチャートである。 個別領域と注目領域の関係を説明する図である。 配信サーバ２に記憶されたユーザ別操作データのデータ構造を示す。 履歴データの送信処理フローチャートである。 異なる時刻におけるヒートマップの一例である。 立体広告枠決定処理フローチャートである。 広告処理フローチャートである。 第２実施形態における配信コンピュータ、ユーザ端末、立体広告枠決定コンピュータの機能ブロック図である。 立体広告枠決定コンピュータにおける距離Lの決定処理を説明する図である。
１・・・・ 自由視点動画配信システム
２３・・・ＣＰＵ
２７・・・メモリ
１２３・・・ＣＰＵ
１２７・・・メモリ
２２３・・・ＣＰＵ
２２７・・・メモリ
自由視点動画配信システム１の概要
図１に、本発明にかかる自由視点動画配信システム１の構成を示す。自由視点動画配信システム１は、配信コンピュータ５１と、複数のユーザ端末５０AN１〜５０ANM、５０ANN〜５０ANRおよび立体広告枠決定コンピュータ５２、広告管理コンピュータ５６P1を有している。
配信コンピュータ５１は、各ユーザ端末５０AN１〜５０ANKに対して、コンテンツIDが特定された自由視点動画データおよび視聴する視点を変更するための視点特性データ（視点および視点方向）を配信する。
各ユーザ端末５０AN１〜５０ANKは、受信した自由視点動画データおよび視点特性データから、動画を生成して表示する。表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、ユーザ端末５０AN１〜５０ANKは、この視点特性変更データに基づく特定視点動画データを生成する。ユーザ端末５０AN１〜５０ANKは、表示された画像について注目されている領域の履歴データを抽出し、これを立体広告枠決定コンピュータ５２に送信する。
立体広告枠決定コンピュータ５２はユーザID毎、コンテンツID毎に前記履歴データを記憶し、各コンテンツIDについて、複数のユーザの注目領域から共通の領域を抽出して、当該領域を立体広告枠として決定する。
決定された立体広告枠は、配信コンピュータ５１に送信されて、各自由視点動画を配信する際に、ユーザ端末５０ANN〜５０ANRに配信される。
広告管理コンピュータ５６P1は、広告依頼コンピュータ(図示せず)からの要請に応じて、前記各コンテンツの立体広告枠について合致する広告条件の立体広告枠があれば、出稿指示を行う。これにより、ユーザ端末５０ANN〜５０ANRに、各自由視点動画において、多くのユーザが注目する空間に立体広告枠が設定される。このような立体的な広告枠を設定することにより、ざっくりとした広告領域が定義されるため、自由視点動画であっても効果的な広告枠を設定することができる。
機能ブロック図
図２に、自由視点動画配信システム１における配信コンピュータ５１、ユーザ端末５０AN1、および立体広告枠決定コンピュータ５２の機能ブロック図を示す。
２．１ 配信コンピュータ５１
配信コンピュータ５１は、記憶手段４、配信手段５を備えている。記憶手段４は、視聴する視点を変更可能な自由視点動画データを複数記憶する。配信手段５は、自由視点動画データのIDを特定した配信要求があると、特定された自由視点動画データを、配信要求したユーザ端末５０AN１に配信する。
２．２ ユーザ端末５０AN1
ユーザ端末５０AN１は、要求手段６１、受信手段６２、記憶手段６３、特定視点画像生成手段６４、表示制御手段６５、表示手段６６、および画像変更手段６７、注目空間決定手段６８、および送信手段６９を備えている。
要求手段６１は、配信コンピュータ５１に対して自由視点動画データを要求する。受信手段６２は配信コンピュータ５１から送られてきた自由視点動画データを受信する。記憶手段６３は、受け取った自由視点動画データを記憶する。特定視点画像生成手段６４は、視点特性データが与えられると、記憶された自由視点動画データについて前記視点特性データに基づいた特定視点動画データを生成する。表示制御手段１２は、前記生成された特定視点動画データを表示手段１３に表示させる。画像変更手段１５は、表示手段１３に表示された特定視点動画データについて、ユーザ端末５０AN1の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づく特定視点動画データを視点画像生成手段６４に生成させる。注目空間決定手段６８は、生成された特定視点動画データにおける注目空間を決定する。送信手段６９は、前記注目空間の変遷履歴データを立体広告枠決定コンピュータ５２に送信する
２．３ 立体広告枠決定コンピュータ５２
立体広告枠決定コンピュータ５２のユーザ別操作データ受信手段７３は、注目空間の変遷履歴データを受信する。ユーザ別操作データ記憶手段７２は、前記受信したユーザ別の注目空間の変遷履歴データをユーザ別履歴データとして記憶する。立体広告枠決定手段７１は、前記複数のユーザのユーザ別履歴データから求めたコンテンツ別の重複注目空間を立体広告枠として決定する
立体広告枠決定手段７１は、配信コンピュータ５１に自由視点動画データごとに広告枠情報として、前記立体広告枠を送信する。配信コンピュータ５１は、受け取った立体広告枠を対応する自由視点動画データとともに記憶し、別のユーザ端末から自由視点動画データの配信要求があると、対応する立体広告枠を併せて配信する。
このように、各自由視点動画データについて、複数のユーザのユーザ別履歴データから求めた重複注目空間を立体広告枠として設定することにより、自由視点動画であっても効果的な広告枠の設定が可能となる。
図２においては、ユーザ端末５０AN1を代表として、説明したが、他のユーザ端末の機能についても同様である。
３．ハードウェア構成
３．１ 配信コンピュータ２のハードウェア構成
配信コンピュータ２のハードウェア構成について、図３を用いて説明する。同図は、配信コンピュータ２を、ＣＰＵを用いて構成したハードウェア構成の一例である。
配信コンピュータ２は、ＣＰＵ２３、メモリ２７、ハードディスク２６、モニタ３０、光学式ドライブ２５、入力デバイス２８、通信ボード３１、およびバスライン２９を備えている。ＣＰＵ２３は、ハードディスク２６に記憶された各プログラムにしたがいバスライン２９を介して、各部を制御する。
ハードディスク２６は、オペレーティングシステムプログラム２６ｏ（以下ＯＳと略す）、メインプログラム２６ｐが記憶される。メインプログラム２６ｐの処理の詳細は後述するが、ユーザ端末から動画IDを特定した配信要求を受けると、対応する自由視点動画データを配信する。
自由視点動画データ記憶部２６dには、複数の自由視点動画が記憶されている。各自由視点動画は、動画データID、再生時間、インデックスワードを有する（図示せず）。図４に自由視点動画の一例を示す。この例では、XYZ座標系において、1人のダンサーが移動しながら踊っている自由視点動画である。また、視点P1、視点方向θ１、φ１、ズーム無しでの投影画像とするための初期投影条件が付与されている。本実施形態においては、視点方向として、水平角度θおよび仰角φで特定したが他の特定方法であってもよい。
本実施形態においては、オペレーティングシステムプログラム（ＯＳ）２６ｏとして、Windows2008R2（登録商標または商標）を採用したが、これに限定されるものではない。
なお、上記各プログラムは、光学式ドライブ２５を介して、プログラムが記憶されたＣＤ−ＲＯＭ２５ａから読み出されてハードディスク２６にインストールされたものである。なお、ＣＤ−ＲＯＭ以外に、フレキシブルディスク（ＦＤ）、ＩＣカード等のプログラムをコンピュータ可読の記録媒体から、ハードディスクにインストールさせるようにしてもよい。さらに、通信回線を用いてダウンロードするようにしてもよい。
本実施形態においては、プログラムをＣＤ−ＲＯＭからハードディスク２６にインストールさせることにより、ＣＤ−ＲＯＭに記憶させたプログラムを間接的にコンピュータに実行させるようにしている。しかし、これに限定されることなく、ＣＤ−ＲＯＭに記憶させたプログラムを光学式ドライブ２５から直接的に実行するようにしてもよい。なお、コンピュータによって、実行可能なプログラムとしては、そのままインストールするだけで直接実行可能なものはもちろん、一旦他の形態等に変換が必要なもの（例えば、データ圧縮されているものを、解凍する等）、さらには、他のモジュール部分と組合して実行可能なものも含む。
３．２ ユーザ端末５０AN1のハードウェア構成
ユーザ端末５０AN1のハードウェア構成を図５に示す。ハードディスク１２６にはブラウザプログラム１２６b、操作処理プログラム１２６pが記憶されている。ＣＰＵ１２３はブラウザプログラム１２６bにより、自由視点動画をモニタ１３０に表示する。ＣＰＵ１２３は操作処理プログラム１２６pに基づき、ユーザがおこなった所定の操作による視点切り替え画像の生成及び、単位時間毎の注目領域の履歴データを履歴記憶部１２６rに記憶する。かかる視点切り替え画像の生成および履歴データについては後述する。
ＣＰＵ１２３は、前記単位時間毎の注目領域の履歴データを立体広告枠決定コンピュータ５２に送信する。
他の構成は一般的なパソコンなどと同じである。なお、ユーザ端末は、タブレットコンピュータ、スマートフォン、ゲーム機、スマートテレビ、その他の家電製品などであってもよい。
また、操作処理プログラム１２６pは予めハードディスク１２６に記憶するようにしたが、これは必要なプログラムをブラウザプログラムにプラグイン処理で実行させるようにしてもよい。
また、本実施形態においては、ハードディスク１２６に、ブラウザプログラム１２６P、操作処理プログラム１２６p、投影変更履歴記憶部１２６rが記憶されている場合について説明したが、これらの記憶場所については限定されない。
３．３ 立体広告枠決定コンピュータ５２のハードウェア構成
立体広告枠決定コンピュータ５２のハードウェア構成を図６に示す。ハードディスク２２６には、各ユーザ端末から受け取った単位時間毎の注目領域の履歴データを記憶する。ＣＰＵ２２３はメインプログラム２２６pに基づき、配信コンピュータ５１が配信した自由視点動画毎に、立体広告枠を決定する。
他の構成は一般的なコンピュータと同様である。
４. フローチャート
（４．１ 自由視点動画配信処理）
図７を用いて、自由視点動画配信表示処理について説明する。
ユーザ端末５０AN1のＣＰＵ１２３は、ユーザから配信要求命令があるか否か判断しており（図７ステップＳ２０１）、配信要求命令があれば、配信要求を配信コンピュータに送信する（ステップＳ２０２）。配信コンピュータのＣＰＵ２３(図３参照)は、ユーザ端末５０AN1から自由視点動画IDを特定した配信要求があるか否か判断しており（ステップＳ２０３）、かかる配信要求があると、ＣＰＵ１２３は、自由視点動画および設定データを、ユーザ端末５０AN1に配信する（ステップS２０７）。本実施形態においては、設定データとして、図８Ｃの視点特性データとした。
ユーザ端末５０AN1のＣＰＵ１２３は、自由視点動画を受信するか否か判断しており（ステップＳ２０８）、自由視点動画を受信すると前記設定データを用いて、投影処理を行う（ステップＳ２０９）。
このようにして、自由視点動画IDを複数種類記憶しておき、リスト要求があるとこれをユーザ端末に送信して、ユーザ端末にてリスト表示し、ユーザが選択した特定の自由視点動画をユーザ端末に配信することができる。
（４．２ 投影表示処理）
ステップS２０９の投影処理について図９を用いて説明する。ユーザ端末３は、表示画面の再生ボタン（図示せず）が選択されると、配信された自由視点動画データおよび設定データから投影画像を生成して、モニタ１３０に表示する（図９ステップS３０１）。
この場合、図８Cの視点特性データから、二次元投影データが生成される。図８Cに示す設定データは、時刻t0にて視点P1、視点方向θ１、φ１での投影画像、時刻t2にて視点P2に移動して、視点方向θ２、φ２での投影画像、時刻t3にて視点P3に移動して視点方向θ３、φ３での投影画像、時刻t4にて視点P4に移動して視点方向θ４、φ４にて投影画像、ズーム2倍、時刻t5にて視点P5に移動して視点方向θ５、φ５、ズーム2倍にて投影画像を生成するというデータである。この場合、対象の自由視点動画が時間の経過とともに、1名のダンサーが位置を変えつつ踊る動画だとすると、図１０に示すように、視点および視点方向が切り替わるような投影動画が表示される。
なお、自由視点動画からの投影画像の生成については周知の座標変換技術を用いればよい。
（４．３ ユーザによる投影変更処理）
ユーザ端末５０AN1では、前記設定データに基づく表示がなされるが、かかる表示は、ユーザが所望の切り替え処理をすることにより、投影画像が変更される。本実施形態においては、「視点」、「視点方向」、および「ズームの有無」を切り替えることにより、投影画像を切り替え表示できるようにした。かかる投影画像の変更について図１１を用いて説明する。
ユーザ端末３には投影動画が表示される表示領域の外に、図１１A〜Dの操作ボタンが表示される。図１１Aの操作ボタンは、自由視点動画が投影される二次元平面については変更せずに、画面の表示領域が移動するモード、具体的には、図１２に示すように、ユーザにとっては視点が平行移動するように見えるモード（平行移動モード）である。移動量は、ユーザが入力デバイスにて指定することにより決定される。
図１１Bの操作ボタンは、自由視点動画が投影される二次元平面が移動するとともに変更するモード、すなわちユーザにとっては自由視点空間における特定軸を中心に視点が回転移動するように見えるモードである。移動量は、ユーザが入力デバイスにて指定することにより決定される。例えば、図１０に示すような視点からの投影動画となる。
図１１Ｃの操作ボタンは、画面のズームイン・ズームアウトである。拡大量および縮小量はユーザが入力デバイスにて指定することにより決定される。図１１Ｄの操作ボタンは、図１３のように画面内のオブジェクトを指定して、単体で回転させるモードである。回転軸は任意に設定可能であり、さらに、回転軸自体も回転させることができる。かかる操作は、もともとの動画には存在しない動きをユーザが望む場合である。
自由視点動画の再生中に、各操作ボタンが選択された場合の投影画像の変更について、説明する。以下では、図８Cの投影条件で再生したユーザが、時刻t2で視点は同じでズームを2倍とし、その後、t3で視点P6、時刻t4で視点P７へ切り替えた場合について説明する。
ユーザは、時刻t3にて視点P3に移動して視点方向θ１、φ１にて視点が切り替わった時に、投影変更割り込み処理ボタン(図示せず)を操作する。本実施形態においては、投影変更割り込み処理ボタンとして、マウスの右クリックを割り当てたがどのボタンを割り当てるかは任意である。これより、図１４に示す投影変更割り込み処理が開始する。ＣＰＵ１２３は、再生表示を停止し(図１４ステップS３１１）、前記投影変更割り込み処理ボタンが選択されたタイミングを記憶する（ステップS３１３）。本実施形態においては、選択されたタイミングは動画再生スタートからの経過時間で記憶するようにしたが、フレーム数などであってもよい。
ユーザ端末３の操作者は、図１１Ｃに示すズームボタンを操作するとともに、ズーム量をユーザ端末３に与える。ここで所望の処理は、ズームだけなので、割り込み処理終了命令を与える。本実施形態においては、かかる割り込みモードで再度、マウスの右クリックが操作された場合に、この割り込み処理終了命令が与えられるとしたが、これに限定されない。
ＣＰＵ１２３は、かかる終了命令が与えられるか否か判断しており(ステップS３１５)、かかる命令が与えられると、操作量を記憶する（ステップS３１７）。この場合、具体的には、時刻t2にて、「ズーム２倍」が記憶される。ＣＰＵ１２３は、表示停止を解除し（ステップS３１９）、投影変更割り込み処理を終了する。
これにより動画の再生がされる。つぎに、ユーザは、時刻t3にて、投影変更割り込み処理ボタン(図示せず)を操作する。ユーザは、視点P6、視点方向θ6、φ6、ズーム2倍に投影条件を切り替える。投影変更割り込み処理を終了し、時刻t4にて、同様にして、視点P7、視点方向θ７、φ７、ズーム2倍に投影条件を切り替える。
このようにして、ユーザ端末に、図８Dに示すユーザ別操作データが記憶される。
（４．４ 注目領域の決定処理）
つぎに、本発明にかかる注目領域の決定処理について説明する。ＣＰＵ１２３は、操作処理プログラム１２６pに基づき、単位時間毎に図１５のポイント付与処理を行う。
ＣＰＵ１２３は、現在のモードが再生停止か、再生中か、視点移動中か、オブジェクトの回転中かを判断する（ステップS３）。再生中である場合には、ポイントを「＋１」とする（ステップS１１）。
ＣＰＵ１２３は現在の視点条件を取得する（ステップS２１）。ここでは、時刻t101にて視点P101、視点方向θ101、φ101だったものとする。ＣＰＵ１２３は対象領域を決定する（ステップS２３）。本実施形態においては、対象領域を図１６に示すように複数の個別空間に分割した場合に、前記視点条件（視点P1、視点方向θ１、φ１）から距離L1で特定される投影領域と交わる個別空間とした。距離L1については各コンテツの属性に応じて所定の値を決めておくようにした。例えばサッカーの試合のように全体としての領域が広い場合はL1を長めに、卓球の試合などのように全体としての領域が狭い場合は、L1を短めに設定しておく。ここでは個別領域B(211,487,599),B(212,488,598),B(213,489,600)・・・B(212,477,588),が対象領域として決定されたものとする。
ＣＰＵ１２３は、前記決定された対象領域にステップS１１で決定したポイントを付与する。これにより、図１７に示すように、時刻t101において、前記個別領域B(211,487,599),B(212,488,598),B(213,489,600)・・・B(212,477,588)にポイントが１ずつ付与される。
本実施形態においては、付与されるポイントを現在のモードによって変更している。例えば、ステップ図１５ステップS３にて、現在のモードが視点移動中の場合は、ポイントを「＋２」とする（ステップS１３）。また、オブジェクトの回転中であればポイントを「＋３」とする（ステップS１５）。
これらの処理は、ユーザが現在の表示領域について強く注目している状態と推測されるからである。
また、停止中の場合は停止のさせ方によってポイントを切り替えている。すなわち、画面タッチによる停止でない場合にはポイントを「０」とし（ステップS１９）、画面タッチによる停止である場合にはポイントを「＋１」とする（ステップS１８）。画面タッチによる停止か否かでポイントを変えたのは、画面タッチによる停止させた場合には、ユーザは画面上の表示領域に注目していると推測されるからである。これに対して、画面タッチによる停止でない場合、すなわち停止ボタン（図示せず）による停止は、席を外すなどの表示領域には注目していない状態と推測されるからである。
（４．５ 履歴データ送信処理）
図１８を用いて、かかる注目領域の履歴データを立体広告枠決定コンピュータ５２に送信する処理について説明する。
ユーザ端末のＣＰＵ１２３は、送信条件に合致するか否か判断しており(ステップＳ４０２)、送信条件に合致すると、立体広告枠決定コンピュータへ送信する(ステップＳ４０３)。本実施形態においては、送信条件として、記憶してからの経過時刻を採用し、ＣＰＵ１２３が所定時刻経過した場合にユーザ端末から立体広告枠決定コンピュータへ送信するようにした。かかる送信条件としては、これらに限定されず、当該自由視点動画の視聴終了後や、特定の操作終了後などを採用してもよい。
また、立体広告枠決定コンピュータから、送信すべき履歴がないかを問い合わせて、これをユーザ端末が判断するようにしてもよい。
立体広告枠決定コンピュータのＣＰＵ２２３は、かかる履歴を受け取ったか否か判断しており(ステップＳ４０４)、受信するとこれを、ユーザ別の履歴データとして記憶する(ステップＳ４０５)。
立体広告枠決定コンピュータのＣＰＵ２２３は、立体広告枠生成処理を行う(ステップS４０６）。
（４．５ 立体広告枠決定処理）
立体広告枠決定コンピュータ５２における立体広告枠決定処理について図１９を用いて説明する。
ＣＰＵ２２３は、各ユーザの履歴データを読み出し(ステップS５０１）、経過時間毎に総計する(ステップS５０３）。
ＣＰＵ２２３は、各経過時間におけるヒートマップを生成する。ヒートマップとは、図１６に示す各個別空間におけるポイントの総計の大小を色の濃淡で表現した可視化グラフである。図２０においては、グレースケールで表現しているが、実際は濃淡だけでなく、色も使い分けている（数値の高い個別空間は赤で、数値の低い個別空間は緑でなど）。
かかるヒートマップは経過時間毎に生成される。図２０では、時刻tm〜時刻tn〜時刻tpにおいて注目されている個別領域の群分布が、経過時間によって変わっているのがわかる。
ＣＰＵ２２３は、立体広告枠を決定する（図１９ステップS５０７）。本実施形態においては、群として構成される個別領域の数が総数閾値を超え、かつその総ポイント数が総計ポイント閾値を超えるものを立体広告枠として決定した。
ＣＰＵ２２３は、配信コンピュータ５１にかかるコンテンツ別の立体広告枠を各コンテンツとともに配信するよう要請する（ステップS５０９）。
これにより、配信コンピュータ５１は次回以降、立体広告枠が設定されたコンテンツ（自由視点動画）について、配信要求があると立体広告枠の配信をする。
本実施形態においては、ヒートマップを生成することにより、群分布をもとめるようにしたが、ステップS５０３の総計から、連結されている個別領域を決定するようにしてもよい。
本実施形態においては、ステップS５０７の処理として、群として構成される個別領域の数が総数閾値を超え、かつその総ポイント数が総計ポイント閾値を超えるものを立体広告枠として決定したが、いずれか一方だけでもよい。また、別の基準を採用してもよい。
本実施形態においては、立体広告枠として決定するにあたって、複数のユーザの操作履歴が重なる領域を求めるようにした。すなわち複数のユーザの操作履歴についてAND演算を行うようにした。しかしこれに限定されず、各ユーザから操作履歴のOR演算をすることにより、各個別領域が１の領域として認識できる場合に、これを立体広告枠として決定するようにしてもよい。
また、前記AND演算、前記OR演算によって得られた領域が多少離れている場合には、１つの領域にまとめるようにしてもよい。例えば、ある個別領域に隣接する8個の個別領域のいずれかが、１つの群として認識されている場合には、１つの領域としてまとめるようにすればよい。
特にAND演算で得られた立体広告枠が多少離れている場合には、１つの領域にまとめるようにしてもよい。
また、AND演算で得られた立体広告枠とOR演算で得られた立体広告枠とで立体広告枠としての属性を変更してもよい。例えば、前者は多くのユーザが注目している注目空間であるので、小さい領域であっても、特定のユーザ層に対しては広告効果が高い広告枠として枠を販売することもできる。また、逆に後者は特定のユーザ層に対しての広告効果としてはそれほど高くないが、広いユーザ層が注目する広告枠として枠を販売することもできる。
本実施形態においては、複数のユーザからの操作履歴にてヒートマップの生成を行うようにしたが、一人のユーザの操作履歴にてヒートマップを生成するようにしてもよい。
（４．６ 広告処理）
図１に示す広告管理コンピュータ５６P1は、決定された立体広告枠について、広告枠を管理する。具体的には従来の２次元のウェブサイトにおける広告枠と同様にして、広告を希望する広告依頼コンピュータに販売する。かかる広告枠の販売処理については従来のインターネット広告の場合と同じなので、説明は省略する。
ユーザ端末における広告表示処理について図２１を用いて、説明する。ＣＰＵ２２３は、現在の視点を読み出す（ステップS６０１）。かかる視点に合致する立体広告枠があるか否か判断し（ステップS６０３）、合致する場合は、当該立体広告枠に広告を表示する（ステップS６０５）。
このように、自由視点動画についてユーザが注目している空間についての共通領域を立体広告枠として設定することにより、効果的な広告枠を設定することができる。
ステップS６０３における、視点に合致する立体広告枠があるか否かは、図１５ステップS２３と同様に、距離Lを決定して判断するようにすればよいがこれに限定されない。
例えば、立体広告枠と合致するかにおいて、奥行き方向は合致の条件としないようにしてもよい。すなわち、視点Px、視点方向θ２、φ２で決定される直線が、立体広告枠を通過する場合には、奥行き方向に限らず、合致すると判断してもよい。
なお、本実施形態においては、配信コンピュータ５１から個別配信する場合に、立体広告枠をコンテンツとともに、配信するようにしたが、かかる立体広告枠に広告を含めた自由視点動画を生成し、それを放送するようにしてもよい。この場合、従来のTV放送のように、各立体広告枠について、事前に広告枠を販売すればよい。
本実施形態において開示した発明を、下記のシステムとして把握することもできる。
配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
A）前記ユーザ端末はさらに下記を備え、
前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、
前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
B）前記立体広告枠決定コンピュータは、
前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
を備えたことを特徴とする立体広告枠決定システム。
５. 第２実施形態
上記実施形態においては、ユーザ端末にて自由視点動画を生成するようにしたが、配信装置に視点切り替えデータを与えて、配信装置にて自由視点動画を生成して、ユーザ端末に送信するようにしてもよい。この場合、自由視点動画配信システムは図２２に示すように、下記のような構成となる。
配信コンピュータ、ユーザ端末、および立体広告枠決定コンピュータで構成される自由視点動画配信システムであって、
Ａ）前記配信コンピュータは下記を備え、
視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを記憶する記憶手段、
ユーザ端末に前記コンテンツデータを配信する配信手段、
Ｂ）前記ユーザ端末は下記を備え、
前記コンテンツデータを受信する受信手段、
前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
前記表示手段に表示された特定視点動画データについて、ユーザから視点および視点方向の切り替え指示が与えられると、この切り替え指示を前記配信コンピュータに与える画像変更手段、
Ｃ）前記配信コンピュータは、前記切り替え指示が与えられると、前記コンテンツデータについて前記切り替え指示に基づいた特定視点からのコンテンツデータを生成する特定視点画像生成手段を有しており、
前記配信手段は、前記ユーザ端末に前記生成したコンテンツデータを配信し、
Ｄ）前記ユーザ端末はさらに、下記を有し、
前記生成された特定視点動画データにおける注目空間を決定する注目空間決定手段、
前記注目空間の変遷履歴データを前記立体広告枠決定コンピュータに送信する送信手段、
Ｅ）前記立体広告枠決定コンピュータは、
前記コンテンツデータについて前記注目空間の履歴を受信するユーザ別履歴データ受信手段、
前記複数のユーザのユーザ別履歴データから立体広告枠を決定する立体広告枠決定手段、
を特徴とする立体広告枠決定システム。
すなわち、自由視点動画の変更処理は配信サーバ、ユーザ端末のいずれでおこなうようにしてもよい。
６. 第３実施形態
自由視点動画によっては、自由視点動画中に存在するオブジェクトの位置情報を記憶しているものもある。このような場合には、距離Ｌに幅を持たせて、その幅内にオブジェクトが存在するか否かを判断し、存在する場合にはポイントを高くするようにしてもよい。
また、かかるオブジェクトの位置情報を記憶させる場合、オブジェクトの属性を立体広告枠決定コンピュータに与えることにより、立体広告枠に属するオブジェクトの属性に応じた広告が可能となる。例えば、ある立体広告枠がサッカーのキッカーを含んでおり、そのオブジェクト属性として「サッカーの靴」が設定されている場合、サッカーの靴に連動させたい広告依頼者に対して、かかる立体広告枠を提供することができる。
７. 第４実施形態
上記実施形態においては、現在の視点における投影画面の中央を注目領域と推測して、前記立体広告枠を生成した。しかしこれに限定されず投影画面全体としてもよい。
また、このように投影画面における一部を注目領域とする場合には、中央に位置する個別領域はポイントを高く、離れるに従って低くするように重み付けをしてもよい。XY方向はもちろん、z方向（奥行き方向）についても同様である。
本実施形態においては、ユーザの注目領域を投影画面のほぼ中央としたが、アイトラッキング部をユーザ端末に設け、検出結果からユーザの注目領域をより確実に取得することもできる。この場合も、XY方向は判明するが、奥行き方向は不明であるので、上記実施形態と同様に判断すればよい。
かかるアイトラッキング部の構成については、従来周知のものを採用すればよい。
８. 第5実施形態
上記実施形態においては、ユーザ端末にて注目領域を決定する場合について説明したが、ユーザ端末にて、視点条件の変更履歴を抽出して立体広告枠決定コンピュータに送信し、立体広告枠決定コンピュータにて注目領域を決定するようにしてもよい。かかる変更履歴の時系列データとしては例えば、図８のような切り替えタイミングにおけるデータでもよいし、時刻毎の視点条件であってもよい。
この場合、下記のような発明として把握される。
配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
A）前記ユーザ端末はさらに下記を備え、
前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、
前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
B）前記立体広告枠決定コンピュータは、
前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
を備えたことを特徴とする立体広告枠決定システム。
また、上記実施形態においては、注目領域を決定する距離Lをコンテンツによって固定としたが、複数ユーザの履歴データとしてズーム率を含めて立体広告枠決定コンピュータに送信しておき、これを参照して、立体広告枠決定コンピュータにて動的に変更できるようにしてもよい。例えば、あるサッカー試合のコンテンツにおいて、時刻tqにおいて、各ユーザからは距離L1で決定した注目領域が送信されていたとして、そのときのズーム率が拡大されていた場合、距離L1を小さくして、注目領域を再計算するようにしてもよい。これにより、複数のユーザからの操作履歴を考慮した注目領域を決定することができる。
また、上記各実施形態においては、距離 Lについて、ユーザ端末にてコンテンツ毎に決定している。これは、注目領域の奥行き方向は、何らかの手法で距離Lを決定しなければならないからである。しかし、立体広告枠決定コンピュータに、各ユーザ端末から視点条件の時系列変化を送信させ、複数のユーザの視点条件から、立体広告枠決定コンピュータが奥行きを決定してもよい。具体的には、特定のコンテンツについて、各時刻における各ユーザからの視点条件の履歴を立体広告枠決定コンピュータに与える。立体広告枠決定コンピュータは、図２３に示すように、ユーザＵｍとユーザＵｎの同じ再生時刻における異なる視線方向ＳｍとＳｎがあれば、これらの異なる視線方向が重複する位置Pnまでの距離を奥行き方向の距離Lm、Lnとすればよい。当然、コンテンツ内で時刻によって距離Ｌも変更されることとなる。これにより、注目領域についての奥行き方向の決定がより、確実となる。なお、図２３においては、同じコンテンツでもユーザによってズーム率が異なる場合もあるので、距離Lm、Lnと複数の距離が設定できるようにしているが、これはコンテンツ毎に共通であってもよい。。
このように注目領域の決定は、ユーザ端末だけでなく、その一部を立体広告枠決定コンピュータでおこなうようにしてもよい。
なお、自由視点動画の変更処理、および注目領域の決定処理について、任意のコンピュータで行うことができる。
９. 第６実施形態
本実施形態においては、立体広告枠に現在の視点条件が合致すれば、設定した広告枠を表示するようにした。具体的には、立体広告枠内に視点条件が合致すれば、いずれの方向からの視点条件でも表示がなされる。すなわち、視点方向に関係なく、二次元の広告枠を表示させるというやり方である。しかし、かかる広告表示のさせ方としては、下記のような表示も可能である。
一つが、現実の世界と同じく、前記広告枠に対してある方向に広告を表示し、現在の視点条件からの画像に変換して表示するというものである。この場合、2次元の広告でも変わった表示が可能である。また、広告を3次元化（立体化）することにより、視点方向によって異なる広告も可能となる。
また、立体広告枠をさらに視線方向によって分割して、広告枠として設定してもよい。例えば、１の立体広告枠をXY方向における0-180度と、180-360度と2つに分けて、それぞれについて広告枠として設定してもよい。かかる分割数はXYZ方向において、任意の分割数に分けることが可能である。
また、上記実施形態においては、立体広告枠に2次元の広告枠を設定する場合について説明したが、立体広告枠に３次元形状の広告枠を設定するようにしてもよい。
１０. その他の実施形態
本実施形態においては、自由視点動画の視点条件を自由に切り替えられる場合について説明したが、当初は視点条件の切り替えができず、表示された広告をクリックすると、視点切り替えができるというように、視点切り替え機能について制約を設けてもよい。このように、広告を見れば視点切り替えができることにより、広告のクリック率をより高くすることができる。具体的には、例えば、ユーザ端末の操作処理プログラム１２６pが、広告をクリックすると視点条件の切り替えができる切り替え許可フラグがたっているの否かを判断する処理を実行するようにすればよい。なお、切り替え許可フラグは広告をクリックするとオンとするようにすればよい。
本実施形態においては、距離L1については各コンテツの属性に応じて所定の値を決めておくようにしたが、コンテンツに距離L1をパラメータとして記憶させて配信するようにしてもよい。
本実施形態では、ズーム処理された場合には、注目領域であるとしてポイントを高くしたが、かかる特別処理は必須ではない。
また、本実施形態においては、視点座標および視点方向θ、φを記憶するようにしたが、かかるデータとしては、要はどこからどの方向の投影画像かを特定できればよく、直接または間接に特定できる形式であればどのような形式であってもよい。
また、本実施形態においては、１つの推奨視点を供給するようにしたが、１の自由視点動画について、複数の視点からの動画を画面上に表示して、ユーザ端末にてユーザが構成する個別動画の組み合わせを変えられるようにしてもよい。かかる履歴を記憶することにより、自由視点動画の構成をも切り換えることができる。
上記実施形態においては、ユーザ端末の処理は、ブラウザプログラムで実行させたが、専用ハードウェアまたはソフトウェアを搭載させることも可能である。
また、ユーザ端末はパソコンではなく、携帯端末などであってもよい。
上記実施形態においては、図２に示す機能を実現するために、ＣＰＵを用い、ソフトウェアによってこれを実現している。しかし、その一部若しくはすべてを、ロジック回路等のハードウェアによって実現してもよい。
なお、上記プログラムの一部の処理をオペレーティングシステム（ＯＳ）にさせるようにしてもよい。
なお、本実施形態においては、自由視点画像についてイメージ・ベースド・レンダリングを採用した場合について説明したが、これ以外のデータ構成で、自由視点画像を生成する技術についても同様に適用することができる。例えば、特開2014-056466号公報（US2014071131(A1))に開示されている技術などを採用してもよい。
また、自由視点画像の視点については任意である。例えばサッカーの試合の場合、ピッチの外側からの視点だけでなく、選手や審判からの視点で表示させることも可能である。かかる視点からの動画については、例えば、選手や審判などにカメラをつけて撮像したものであってもよいし、また、外部から撮像した動画から生成するようにするなど、種々のやり方が可能である。
また、本実施形態においては、自由視点動画を2次元平面に投影する場合について説明したが、自由視点動画を変更した視点条件にて三次元表示するシステムについても、同様に、広告枠をどのように設定すれば効果的な広告ができるのかという問題が生ずる。本件発明は、かかる三次元動画データについても同様に適用することができる。例えば、三次元スモークスクリーンのホログラフィ映像について、視点条件を切り替えた場合に、三次元スモークスクリーン上に、同様にして立体広告枠を設定することができる。この場合も距離Lについては、上記実施形態と同じように決定すればよい。
本実施形態においては、図１１に示すようなアイコンで、自由視点の視点条件を変更できるようにしたが、このようなアイコン表示ではなく、マウスポインタ自体が操作アイコンとしてもよい。
上記においては、本発明を好ましい実施形態として説明したが、各用語は、限定のために用いたのではなく、説明のために用いたものであって、本発明の範囲および精神を逸脱することなく、添付のクレームの範囲において、変更することができる。

Claims (24)

  1. 配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
    A）前記ユーザ端末はさらに下記を備え、
    前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、
    前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    B）前記立体広告枠決定コンピュータは、
    前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
    前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
    を備え、
    前記注目空間決定手段は、前記自由視点動画で定義されている三次元空間を複数に分割した三次元個別領域のうち、前記指定された視点、視点方向および与えられた奥行特定データで特定される二次元表示領域と交わった三次元個別領域を前記注目空間として決定すること、
    を特徴とする立体広告枠決定システム。
  2. 請求項１の立体広告枠決定システムにおいて、
    前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴からコンテンツ別の立体広告枠を決定すること、
    を特徴とする立体広告枠決定システム。
  3. 請求項２の立体広告枠決定システムにおいて、
    前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴における重複注目空間から前記立体広告枠を決定すること、
    を特徴とする立体広告枠決定システム。
  4. 請求項１〜請求項３のいずれかの立体広告枠決定システムにおいて、
    前記立体広告枠は、前記コンテンツデータを視聴したユーザの視点条件によって時系列に変動する立体広告枠であること、
    を特徴とする立体広告枠決定システム。
  5. 請求項４の立体広告枠決定システムにおいて、
    前記注目空間は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間における移動オブジェクトが存在する領域であること、
    を特徴とする立体広告枠決定システム。
  6. 請求項５の立体広告枠決定システムにおいて、
    前記注目空間決定手段は、前記交差する個別領域のうち、二次元表示領域の中央から外れるほど重み付けを小さくすること、
    を特徴とする立体広告枠決定システム。
  7. 請求項１〜請求項６のいずれかの立体広告枠決定システムにおいて、
    前記注目空間決定手段は、前記二次元表示領域と交わった各三次元個別領域について、加算ポイントを付与し、総加算ポイントが閾値を超えた三次元個別領域を前記注目空間として決定すること、
    を特徴とする立体広告枠決定システム。
  8. 請求項７の立体広告枠決定システムにおいて、
    前記注目空間決定手段は、現在のモードが、動画再生が停止モードである場合、画面タッチにより停止されたのか、または停止ボタンにより停止されたのかを判断し、停止ボタンにより動画再生が停止されている状態における前記二次元表示領域と交わった各三次元個別領域については、前記加算ポイントを付与しないこと、
    を特徴とする立体広告枠決定システム。
  9. 配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
    A）前記ユーザ端末はさらに下記を備え、
    前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間基礎データを生成する注目空間基礎データ生成手段、
    前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    B）前記立体広告枠決定コンピュータは、
    前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
    前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
    を備え、
    前記注目空間基礎データ生成手段は、前記自由視点動画で定義されている三次元空間を複数に分割した三次元個別領域のうち、前記指定された視点、視点方向および与えられた奥行特定データで特定される二次元表示領域と交わった三次元個別領域を前記注目空間として決定し、前記注目空間基礎データを生成すること、
    を特徴とする立体広告枠決定システム。
  10. 請求項９の立体広告枠決定システムにおいて、
    前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴からコンテンツ別の立体広告枠を決定すること、
    を特徴とする立体広告枠決定システム。
  11. 請求項１０の立体広告枠決定システムにおいて、
    前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴における重複注目空間から前記立体広告枠を決定すること、
    を特徴とする立体広告枠決定システム。
  12. 請求項９〜請求項１１のいずれかの立体広告枠決定システムにおいて、
    前記立体広告枠は、前記コンテンツデータを視聴したユーザの視点条件によって時系列に変動する立体広告枠であること、
    を特徴とする立体広告枠決定システム。
  13. 請求項１２の立体広告枠決定システムにおいて、
    前記注目空間は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間における移動オブジェクトが存在する領域であること、
    を特徴とする立体広告枠決定システム。
  14. 請求項１３の立体広告枠決定システムにおいて、
    前記注目空間基礎データ生成手段は、前記交差する個別領域のうち、二次元表示領域の中央から外れるほど重み付けを小さくすること、
    を特徴とする立体広告枠決定システム。
  15. 請求項９〜請求項１４のいずれかの立体広告枠決定システムにおいて、
    前記注目空間基礎データ生成手段は、前記二次元表示領域と交わった各三次元個別領域について、加算ポイントを付与し、総加算ポイントが閾値を超えた三次元個別領域を前記注目空間として決定すること、
    を特徴とする立体広告枠決定システム。
  16. 請求項１５の立体広告枠決定システムにおいて、
    前記注目空間基礎データ生成手段は、現在のモードが、動画再生が停止モードである場合、画面タッチにより停止されたのか、または停止ボタンにより停止されたのかを判断し、停止ボタンにより動画再生が停止されている状態における前記二次元表示領域と交わった各三次元個別領域については、前記加算ポイントを付与しないこと、
    を特徴とする立体広告枠決定システム。
  17. 配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、
    前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、
    前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    を備え、
    前記注目空間決定手段は、前記自由視点動画で定義されている三次元空間を複数に分割した三次元個別領域のうち、前記指定された視点、視点方向および与えられた奥行特定データで特定される二次元表示領域と交わった三次元個別領域を前記注目空間として決定すること、
    を特徴とするユーザ端末。
  18. 配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、
    前記表示手段に表示される特定視点動画データにおける注目空間を決定するための注目空間基礎データを生成する注目空間基礎データ生成手段、
    前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    を備え、
    前記注目空間基礎データ生成手段は、前記自由視点動画で定義されている三次元空間を複数に分割した三次元個別領域のうち、前記指定された視点、視点方向および与えられた奥行特定データで特定される二次元表示領域と交わった三次元個別領域を前記注目空間として決定し、前記注目空間基礎データを生成すること、
    たことを特徴とするユーザ端末。
  19. 配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、
    前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、
    A）前記ユーザ端末は下記ステップを備え、
    前記表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定ステップ、
    前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、
    B）前記立体広告枠決定コンピュータは、
    前記コンテンツデータについて前記変遷履歴を受信すると、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定し、
    前記注目空間決定ステップでは、前記自由視点動画で定義されている三次元空間を複数に分割した三次元個別領域のうち、前記指定された視点、視点方向および与えられた奥行特定データで特定される二次元表示領域と交わった三次元個別領域を前記注目空間として決定すること、
    を特徴とする立体広告枠決定方法。
  20. 請求項１９の立体広告枠決定方法において、
    前記注目空間決定ステップでは、前記二次元表示領域と交わった各三次元個別領域について、加算ポイントを付与し、総加算ポイントが閾値を超えた三次元個別領域を前記注目空間として決定すること、
    を特徴とする立体広告枠決定方法。
  21. 請求項２０の立体広告枠決定方法において、
    前記注目空間決定手段は、現在のモードが、動画再生が停止モードである場合、画面タッチにより停止されたのか、または停止ボタンにより停止されたのかを判断し、停止ボタンにより動画再生が停止されている状態における前記二次元表示領域と交わった各三次元個別領域については、前記加算ポイントを付与しないこと、
    を特徴とする立体広告枠決定方法。
  22. 配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、
    前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、
    A）前記ユーザ端末は下記ステップを備え、
    前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間基礎データを生成する注目空間基礎データ生成ステップ、
    前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、
    B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信すると、この変遷履歴から求めたコンテンツ別の立体広告枠を決定するステップを備えており、
    前記ユーザ端末は、前記注目空間基礎データ生成ステップでは、前記自由視点動画で定義されている三次元空間を複数に分割した三次元個別領域のうち、前記指定された視点、視点方向および与えられた奥行特定データで特定される二次元表示領域と交わった三次元個別領域を前記注目空間として決定し、前記注目空間基礎データを生成すること、
    を特徴とする立体広告枠決定方法。
  23. 請求項２２の立体広告枠決定方法において、
    前記注目空間基礎データ生成ステップでは、前記二次元表示領域と交わった各三次元個別領域について、加算ポイントを付与し、総加算ポイントが閾値を超えた三次元個別領域を前記注目空間として決定すること、
    を特徴とする立体広告枠決定方法。
  24. 請求項２３の立体広告枠決定方法において、
    前記注目空間基礎データ生成ステップでは、現在のモードが、動画再生が停止モードである場合、画面タッチにより停止されたのか、または停止ボタンにより停止されたのかを判断し、停止ボタンにより動画再生が停止されている状態における前記二次元表示領域と交わった各三次元個別領域については、前記加算ポイントを付与しないこと、
    を特徴とする立体広告枠決定方法。
JP2017514946A 2015-06-02 2016-03-22 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ Active JP6277329B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015112367 2015-06-02
JP2015112367 2015-06-02
PCT/JP2016/058912 WO2016194441A1 (ja) 2015-06-02 2016-03-22 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ

Publications (2)

Publication Number Publication Date
JPWO2016194441A1 JPWO2016194441A1 (ja) 2017-08-31
JP6277329B2 true JP6277329B2 (ja) 2018-02-07

Family

ID=57442364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514946A Active JP6277329B2 (ja) 2015-06-02 2016-03-22 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ

Country Status (4)

Country Link
US (1) US10873768B2 (ja)
EP (1) EP3306571A4 (ja)
JP (1) JP6277329B2 (ja)
WO (1) WO2016194441A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6435373B1 (ja) * 2017-06-14 2018-12-05 株式会社アルファコード 広告情報処理システム、広告表示領域評価方法および広告情報処理用プログラム
JP6362757B1 (ja) * 2017-11-20 2018-07-25 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
JP2019197340A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10841662B2 (en) * 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
JP7467074B2 (ja) 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
WO2022209361A1 (ja) 2021-03-31 2022-10-06 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US12456271B1 (en) 2021-11-19 2025-10-28 Apple Inc. System and method of three-dimensional object cleanup and text annotation
WO2023141535A1 (en) 2022-01-19 2023-07-27 Apple Inc. Methods for displaying and repositioning objects in an environment
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
JP7209985B1 (ja) 2022-09-20 2023-01-23 株式会社日本学術サポート 多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法
KR20250075620A (ko) * 2022-09-24 2025-05-28 애플 인크. 3차원 환경을 제어하고 그와 상호작용하기 위한 방법들

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3945160B2 (ja) * 2000-12-25 2007-07-18 日本電気株式会社 情報提供サーバ、クライアント、情報提供システムの処理方法、及びプログラムを記録した記録媒体
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US20050021472A1 (en) * 2003-07-25 2005-01-27 David Gettman Transactions in virtual property
JP5593356B2 (ja) * 2012-08-22 2014-09-24 ヤフー株式会社 広告配信装置、広告配信方法および広告配信プログラム
JP6021541B2 (ja) 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法

Also Published As

Publication number Publication date
EP3306571A4 (en) 2019-01-16
JPWO2016194441A1 (ja) 2017-08-31
WO2016194441A1 (ja) 2016-12-08
EP3306571A1 (en) 2018-04-11
US20180084287A1 (en) 2018-03-22
US10873768B2 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
JP6277329B2 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
JP6236573B2 (ja) 自由視点映像データ配信システム
EP3628125B1 (en) System for providing multiple virtual reality views
TWI571130B (zh) 體積式視訊呈現
JP6566698B2 (ja) 表示制御装置および表示制御方法
JP5732129B2 (ja) 拡大表示ナビゲーション
US12114052B2 (en) Methods, systems, and media for presenting interactive elements within video content
CN108604175A (zh) 装置和关联方法
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
JP6784168B2 (ja) 情報処理装置、プログラム、閲覧システム
US11418857B2 (en) Method for controlling VR video playing and related apparatus
EP2874405B1 (en) A client device, system and software for providing a defined view of an image on a client device
KR20230152589A (ko) 화상 처리 시스템, 화상 처리방법, 및 기억매체
WO2017029918A1 (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
WO2025011347A1 (zh) 虚拟对象的显示方法、装置、存储介质与电子设备
WO2024196938A1 (en) Systems and methods for enabling an enhanced extended reality experience
EP3860109B1 (en) Method for processing vr video, and related apparatus
JP5861684B2 (ja) 情報処理装置、及びプログラム
US20220245887A1 (en) Image processing device and image processing method
JP2017041872A (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
US12327408B2 (en) Interactive video system for sports media
JP2025161164A (ja) 画像処理システム、画像処理方法、及びプログラム
JP5854018B2 (ja) 通信システム、情報処理装置、及びプログラム
JP5854019B2 (ja) 端末装置、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170315

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180115

R150 Certificate of patent or registration of utility model

Ref document number: 6277329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250