[go: up one dir, main page]

CN107079184A - 交互式双目镜视频显示器 - Google Patents

交互式双目镜视频显示器 Download PDF

Info

Publication number
CN107079184A
CN107079184A CN201580063854.7A CN201580063854A CN107079184A CN 107079184 A CN107079184 A CN 107079184A CN 201580063854 A CN201580063854 A CN 201580063854A CN 107079184 A CN107079184 A CN 107079184A
Authority
CN
China
Prior art keywords
video
scene
mobile device
high definition
definition video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580063854.7A
Other languages
English (en)
Other versions
CN107079184B (zh
Inventor
M.阿萨亚格
S.泰特
M.瓦瑟布拉特
T.里德
O.珀雷格
A.西瓦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107079184A publication Critical patent/CN107079184A/zh
Application granted granted Critical
Publication of CN107079184B publication Critical patent/CN107079184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4524Management of client data or end-user data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

本文描述用于在移动设备上提供可重定位视频显示来仿效用户控制的双目镜的各种系统和方法。在一个示例中,一个或多个高分辨率视频源(例如超HD视频拍摄装置)获得视频,其无线广播到移动设备。该移动设备基于观众的移动设备相对于移动设备视场内的场景的大致位点来处理广播。移动设备的位点可以从网络监测、拍摄装置输入、对象识别及类似物的组合推导。因此,观众可以从外部视频源(在观众的移动设备上显示)获得场景的虚拟放大。

Description

交互式双目镜视频显示器
优先权声明
该专利申请要求2014年12月23日提交的美国专利申请序列号14/581,548的优先权的权益,其通过引用全部合并于此。
技术领域
本文描述的实施例大体涉及视频内容的捕捉和显示,并且特别涉及视频内容经由移动设备的交互式显示。
背景技术
光学双目镜和单目镜通过观察大批观众以及其他场景(其中观看的人位于离演出很大距离处)中的人而得到广泛使用。例如,歌剧或戏剧观众可能使用双目镜或其他光学望远镜来获得关于所观察的表演舞台的特殊表达或细节的较近视图。采用相似方式,体育赛事观众可能使用光学双目镜来获得体育运动员或比赛的较近视图。光学双目镜的另一个用途是在户外视点-例如其中参观者使用投币式操作的三脚架安装的双目镜来观看风景中的细节的这样的地方。然而,在光学双目镜的这些和其他使用中,观众被迫使他或她的目光通过双目镜聚焦并且从而在透过双目镜镜头查看时脱离较宽图景。
因此,已开发有限机构来提供备选显示器并且增强观众视角。例如,在体育场馆和大型音乐或舞蹈演出中,舞台或比赛场地通常通过显示表演者的变焦拉近(zoomed-in)视频的一个或多个视频屏幕而增强。然而,观众并未控制视频场景并且因为显示的视频依赖于导演或视频制作者的选择而通常不能观看期望的人或对象。
附图说明
在图(其不必按比例绘制)中,类似的数字可以描述不同视图中的相似部件。具有不同字母后缀的类似数字可以代表相似部件的不同实例。一些实施例通过示例而非限制的方式在附图的图中图示,其中:
图1图示根据示例对于用移动设备显示的交互式虚拟双目镜视频输出的使用案例;
图2图示根据示例对于交互式虚拟双目镜视频输出的视频捕捉、处理、传送和输出设备的综览;
图3图示根据示例对于在表演区中提供的交互式虚拟双目镜视频输出的视频捕捉和网络传送位点的图;
图4图示根据示例对于交互式虚拟双目镜视频输出的视频和信息数据的数据传送图;
图5图示根据示例用于在移动设备处回放虚拟双目镜视频输出的方法的流程图;
图6图示根据示例用于在视频处理服务器处流播虚拟双目镜视频输出的方法的流程图;
图7图示根据示例对于交互式虚拟双目镜视频输出的系统的部件的框图;以及
图8图示根据示例的示例机器的框图,本文论述的技术(例如,操作、过程、方法和方法论)中的任一个或多个可在该机器上执行。
具体实施方式
在下列描述中,公开系统、方法和机器可读介质(其包括指令),其提供用于回放和控制“虚拟双目镜”视频的功能性,这允许事件的观众选择和观看人类可感知事件、风景或其他场景的特定增强(例如,变焦拉近和摇摄(panned))部分。该虚拟双目镜视角随移动设备的使用而提供,例如智能电话或平板,其配置成接收和处理期望场景的详细(例如,高质量、高清晰度)视频馈送。如本文描述的,用户可以使用他或她的移动设备经由视频回放控制输出期望场景的详细、增强视频视角,从而允许用户将捕捉的视频显示选择和指向为(例如,摇摄、变焦(zoom)或对其应用另一个增强)期望场景的特别部分。
下列技术描述用于关于该虚拟双目镜视频显示捕捉、处理、流播和显示视频输出的机构。在下文进一步描述的一个示例配置中,安装在待观看区后方(例如在音乐厅后方、在体育场地侧面、定位在观看区中或观看区前台附近)的许多高清晰度拍摄装置配置成对期望场景捕捉和流播高分辨率视频。可以从一个或多个角度(包括静态或者可再定位位置)定位这些高清晰度拍摄装置。高清晰度拍摄装置则对中央服务器提供相应视频流,该中央服务器接收视频并且对于虚拟双目镜观众将视频处理为不同的流。位点识别技术则可以用于使特定视频流与特定移动设备相关。该视频流则可以进一步处理、增强(摇摄、裁剪、变焦拉近)和精细化用于在移动设备上输出。
本文描述的用于提供和控制虚拟双目镜视频显示的技术可以随使用额外处理和显示技术而增强。例如,增强现实内容可以作为层添加在待由移动设备显示的虚拟双目镜视频上。各种位点和活动检测机构可以用于提供有用覆盖、广告、宣传和类似信息连同虚拟双目镜视频显示。作为另一个示例,可以从视频流馈送的使用收集用户反馈和数据并且由管理员监测以用于改进视频馈送或视频操作。另外,使用信息可以发送给艺术家或演出运营商来促成基础表演改变。
用于从观众提供变焦拉近聚焦显示的现有技术一般局限于使用光学和电子变焦机构。例如,一些现有智能电话和平板移动设备提供有限光学镜头用于直接在移动设备上变焦和数字变焦增强。然而,这样的设备的光学变焦能力典型地是非常有限的(例如,不到5x),并且从移动设备捕捉的视频或图片的质量可大大减小,特别在弱光环境中。如之前论述的,光学望远镜(例如双目镜或单目镜望远镜)的使用可以对用户提供期望场景的一部分的变焦拉近且详细的视角。然而,这样的双目镜或单目镜必须由用户单独携带并且必须靠近用户眼睛放置。从而,光学设备的个人使用需要用户选择是在变焦推远(zoomed-out)视角感知整个场景还是专门在变焦拉近视角感知场景的部分。
本文描述的数字视频处理、传送和显示技术克服与相关视频源的选择和输出关联的这些和其他技术问题。另外,本文描述的虚拟双目镜视频显示技术的使用可能够提供从用户视角不可能的额外视角和视图。例如,如果场景的部分被位于用户前面的障碍物或观众所隐藏,从重定位的拍摄装置获得的视角可以允许有对场景的无障碍视角和视频输出。通过目前描述的虚拟双目镜视频显示提供的视频输出可以提供这样的增强或无障碍的视图同时为了更现实和准确的输出还利用基于位点的信息的益处。
图1提供根据本文描述的示例技术提供的交互式虚拟双目镜视频输出的使用案例的图示100。图1中的视频输出提供显示器,其具有风景的一部分(如图示的,金门大桥(Golden Gate bridge)的一部分)的特写镜头视角(close-up perspective)。在该示例中,视频输出与在眺望风景的视点所采取的视频捕捉相协调。
如示出的,用户110在用户的视场内操作移动设备120(例如,智能电话),例如通过使设备保持在用户110前面(在用户110与感兴趣区之间)。例如,假设用户希望观看场景中的视频拍摄的对象140的一部分,在这里是桥的一部分。通过在移动设备120上输出的直播视频显示内感兴趣区的放大部分的输出,视频显示器130提供视频拍摄的对象140(桥)的一部分的增强变焦拉近视角。
对于图1中描绘的虚拟双目镜视频显示的使用案例可以牵涉一个或多个拍摄装置,以在远离移动设备120和朝向场景内的感兴趣区的观看方向上捕捉场景。例如,一个拍摄装置可以在中心位点定位在相对于多个观众的视点,并且来自该视点的视频可以配置成向相应移动设备提供数字视频内容的一个或多个流。在另一个示例中,多个拍摄装置可以在视点定位在相对于多个观众的不同位点。(例如,多个拍摄装置可以遍及不同位置位于视点,以允许有不同拍摄装置视图和视角,这取决于观看者相对于视频拍摄的对象140的角度,或取决于观看者所面对的更精确方向)。为了部署多个拍摄装置,本文进一步论述的位点确定技术可以用于确定选择和传送哪个拍摄装置视图(和哪个拍摄装置视角)以供在虚拟双目镜视频显示中使用。本文进一步论述的位点确定和图像识别技术还可以用于提供移动设备120相对于视频拍摄的对象140的位置和取向的交互式控制和匹配,这可以牵涉选择不同拍摄装置视图;裁剪、比例缩放(scaling)、变焦、旋转、摇摄或另外增强(或改变)从拍摄装置视图捕捉的视频输出;或从用户110与移动设备120的交互模仿双目镜的使用的其他技术。
图2图示根据示例描绘与交互式虚拟双目镜视频输出的视频捕捉、处理、传送和输出一起使用的各种电子设备的系统图200。如示出的,由相应人类用户操作的许多数字移动设备210A、210B、210C(例如,智能电话)建立电子连接以接收从流播服务器230提供的视频。如图示的,该电子连接经由Wi-Fi广播接入点240A、240B、240C(例如,对于遵循IEEE 802.11标准(例如IEEE 802.11a/b/g/n/ac/ad/af或对IEEE 802.11标准的后续修改)操作无线局域网的Wi-Fi接入点)提供有无线网络连接。
流播服务器230操作成提供从相应超高清(UHD)拍摄装置220A、220B、220C获得的视频的相应流,例如配置成捕捉采用4K UHD(例如,4096像素x 2160行)或8K UHD(例如,7680像素x 4320行)格式的视频的拍摄装置。在一些示例中,流播服务器230经由接入点240A、240B、240C在每个Wi-Fi网络提供共同视频流,并且操作成将相应视频流从特定拍摄装置组播到相应Wi-Fi接入点上(或对于多个Wi-Fi接入点)的多个连接设备。在其他示例中,流播服务器230操作成提供个体视频流,其中个体视频流中的内容对个体连接设备定制。将理解流播服务器230可以关于视频流到移动设备210A、210B、210C的无线传送利用流播、播送和视频服务技术的任何组合。
如在图2中进一步示出的,流播服务器230进一步连接到管理站,其识别为监测和增强现实站250。例如,监测和增强现实站250可以用于从UHD拍摄装置220A、220B、220C获得的视频流和视频内容的人工辅助或自动监测和控制,包括来自拍摄装置的视频馈送的切换、增强和终止或恢复。监测和增强现实站250还可以连同增强现实内容的人工辅助或自动生成及其到视频流上的覆盖一起使用。
在另外的示例中,连同监测和增强现实站250一起供应的增强现实内容可以包括额外内容、信息或元数据。例如,这样的内容可以包括表演者(例如音乐家或运动员的姓名)或对象的识别,其作为字幕覆盖在视频输出上。在移动设备210A、210B、210C上的虚拟双目镜视频显示内可以自动应用(或随使用人工控制(管理员或最终用户)而应用)允许基于人、对象、标记及类似物的识别来添加和呈现内容的任意数量的增强现实技术。
例如,增强现实内容可以根据用户在虚拟双目镜视频显示中应用的特定变焦级别来定制和显示。在这样的示例中,某些增强现实内容可以仅在对特定特征变焦拉近(或特定特征在移动视频屏幕内明显可见)时添加和显示,以提供关于某些特征的更多信息,因为这些特征在视频显示中变得更突出。采用相似方式,这样的增强现实内容可以在变焦推远视频流中的对象或摇摄到视频流中的对象时被移除或切换。
在另外的示例中,相应设备210A、210B、210C处的虚拟双目镜视频输出可以根据观众的位点以及观众的移动设备210A、210B、210C的位点和取向来定制。观众的移动设备210A、210B、210C的大致位点可以通过到例如已知接入点布局中的特定Wi-Fi接入点240A、240B、240C的连接来推导。在其他示例中,观众的移动设备210A、210B、210C的大致位点可以通过相对于一个或多个接入点的信号强度或对于从多个Wi-Fi接入点240A、240B、240C接收的信号或信息的比较而应用的三角测量或三边测量技术来推导。在其他示例中,观众的大致位点可以连同低能量蓝牙(Bluetooth low energy)信标、RFID标签或其他临时或永久位点标记来确定。
在另外的示例中,观众相对于所捕捉的场景的位点可以连同位点确定(例如,从Wi-Fi接入点240A、240B、240C)的组合以及从移动设备直接在观众的位点处捕捉的视频或静态图像中所观察的位点标记的检测而确定。例如定位在观众远处的移动设备210A、210B、210C(例如移动设备210A、210B、210C位于观众与待观察的对象之间)的拍摄装置可以捕捉视场的图像。该图像可以捕捉若干位点标记,例如放置在舞台上、特定表演者附近、体育场地的限定区处及类似物的标记。然后可以检测标记并且在使观众的特定视角与视场中(以及观众的限定观察区内)的感兴趣区相关方面使用它们。可见标记的数字图像可以在一定时间间隔、在设备的每个移动后(或在设备的一系列移动后)及类似物期间被连续捕捉并且处理。标记数字图像的处理和位点协调可以在移动设备210A、210B、210C处或在服务器处的位点处理部件处执行。
图3提供根据示例对表演区的视频所提供的交互式虚拟双目镜视频输出的视频捕捉和网络传送位点的系统图300的图示。在系统图300内,表演区310(例如,音乐、戏剧或其他表演的舞台)用定位在例如舞台角落的多个舞台标记311、312、313、314来识别。
在表演区310前面,对观众这样的受众限定三个座位区350、360、370。这三个座位区350、360、370分别对应于位于座位区内或靠近座位区(例如,在后面、上面)的三个UHD视频拍摄装置320A、320B、320C。UHD视频拍摄装置320A、320B、320C例如可以定位在指向表演区310的视线内而在三个座位区350、360、370内的观众这样的受众没有遭遇障碍。
多个Wi-Fi接入点进一步位于三个座位区350、360、370中的每个内。例如,座位区350包括Wi-Fi接入点351、352、353;座位区360包括Wi-Fi接入点361、362、363;座位区370包括Wi-Fi接入点371、372、373。相应Wi-Fi接入点可以具有重叠覆盖范围,但一般定位成向与UHD视频拍摄装置关联的特定座位区内的用户提供最强信号(以及最大可能的覆盖和网络连接)。如此,特定移动设备的位点可以基于移动设备到位于已知座位区中的已知Wi-Fi接入点的连接来确定。
流播服务器330配置成基于座位区350、360或370内观众的移动设备的位点以及观众的移动设备到相应Wi-Fi接入点的连接从相应视频拍摄装置向连接到各种Wi-Fi接入点的观众提供视频。Wi-Fi接入点名称或服务集标识符例如与移动设备位点的相关性可以用于选择定位在Wi-Fi接入点的覆盖区内或邻近该覆盖区定位的相关拍摄装置(例如对应于座位或观看区的拍摄装置)。因此,移动设备所接入的特定Wi-Fi接入点可以提供观众位点的粗略近似,并且从而,可以用于从UHD视频拍摄装置选择合适的视频馈送来流播到移动设备。在一些示例中,特定UHD视频拍摄装置和高清晰度视频流可以根据相应Wi-Fi接入点的连接而自动确定和开始。
如示出的,表演区310包括位于舞台周围的一系列红外(IR)标记311、312、313、314(例如,红外光)。这些标记311、312、313、314可以连同虚拟双目镜视频显示的另外的位点和重定位一起使用,来匹配观众期望的相对于移动设备的位置和三维取向的视频摇摄和变焦级别。例如,标记可以由移动设备检测以基于相对于观众的视场和移动设备(例如,在空中、保持在观众前面)的特定取向(例如,姿势)自动摇摄或变焦高清晰度视频流。因此,高清晰度视频流的自动摇摄和变焦可以用于有效仿效“双目镜”效应,其匹配或接近类似于观众的视场和人类感知环境。
在另外的示例中,标记311、312、313、314不需要使用IR但可以牵涉其他彩色标记、条形码或QR码,或移动设备可识别的其他人类或机器可检测标记或对象。因此,对于视频流可以自动出现(或为了辅助手动控制而出现)各种重定位、变焦、摇摄和视频增强或修改技术。在其他示例中,其他机器到机器通信和对象检测技术(其包括面部检测)可以用于协调移动设备相对于期望视频输出的取向以及对视频流的对应变焦、摇摄和其他修改。例如,移动设备可以使用人类轮廓或面部检测技术来识别该人(例如,特定音乐家)位于场景内,伴随的高清晰度视频流可以变焦并且集中在该特定人上。
在一些示例中,UHD视频拍摄装置320A、320B、320C位于临时或永久固定位置处,以允许多个用户访问通常放置的视频馈送。在其他示例中,一个或多个UHD视频拍摄装置320A、320B、320C可以由于管理员命令或连同观众反馈或控制而重定位。例如,UHD视频拍摄装置320A、320B、320C的定位可以基于移动设备对表演区310的相对位点、位于受众观看区的不同区内的观众数量、观看或选择视频流部分的用户活动及类似物而改变。在重定位UHD视频拍摄装置320A、320B、320C的情况下可以出现自适应处理来修改视频流以及视频在移动设备上的显示。
在另外的示例中,虚拟双目镜视频输出进一步基于观众活动以及与观众的移动设备的交互而可定制。例如,虚拟双目镜视频输出可以对变焦观众所请求的变焦因子来定制。因此,观众可以用移动设备获得虚拟变焦体验同时能够同步感知实时事件。例如,在其他示例中,用户可希望将感兴趣区的视角从其他位点切换以从另一个观众角度或座位区侧观看感兴趣区。可以向观众呈现各种用户界面命令以允许在不同UHD视频拍摄装置和视角之中的馈送之间切换。在一些示例中,在移动设备上执行视频的变焦、摇摄、裁剪或其他显示修改以对向多个用户广播的视频流执行显示修改。在其他示例中,在服务器侧上执行视频的变焦、摇摄、裁剪或其他显示修改以对一个或有限数量的用户所定制的视频流执行显示修改。
图4图示根据示例对于交互式虚拟双目镜视频输出的视频和信息数据的数据传送图400。如示出的,移动设备410可以连接到Wi-Fi接入点430来接收音频/视频数据流432(例如,使用在上文参考图3描述的Wi-Fi视频流播技术)。在一些示例中,音频/视频数据流432专门提供没有音频内容的基于视频或图像的内容。
音频/视频数据流432到相应移动设备的传送可以关于个体数据连接、到用户组的数据连接、视频数据流的组播和广播及类似物来进行。音频/视频数据流432可以伴随着接收内容信息数据424,例如增强现实信息内容、促销和广告信息或从内部服务器或从基于互联网的源获得的类似信息。移动设备410然后可以输出音频/视频数据流432和内容信息数据424(其包括在增强现实视角中内容信息数据424的覆盖)。
音频/视频数据流432还可以伴随着接收位点数据422。位点数据422可以提供在显示或控制音频/视频数据流432的输出中使用的特定信息,其包括使用数据来提供改变移动设备410上输出的视频内容的视角的选项。另外,位点数据442还可以连同低能量蓝牙(BLF)信标440或像近场通信(NFC)设备一起提供。例如,来自这样的信标/NFC设备的信息可以与位点服务(本地或远程操作)一起使用以用于协调标识符与特定位点,在控制或影响移动设备410上显示的视频流中使用。关于信标440的信息例如可以用于对特定移动设备识别特定视频馈送或视频视角。
在图4中描绘的示例中,可以接收音频/视频内容流连同组播音频/视频数据流426。例如,组播音频/视频数据流426可以从经由无线广域网420(例如长期演进(LTE)或另一个3G/4G蜂窝数据网络)向多个移动设备用户广播的内容的多用户广播技术来提供。如在图4中进一步示出的,移动设备410还可以接收内容信息数据424和位点数据422连同无线广域网420。例如,由移动设备410经由互联网连接通过无线广域网420获得的信息可以用于补充来自Wi-Fi接入点430的视频流的显示和回放。
关于视频流显示使用的数据处理可以牵涉客户端侧和服务器侧处理的许多可能性。例如,在成千上万用户可试图使用虚拟双目镜视频显示的大型环境中,这些用户中的每个将数据(例如,位点标识符,或来自拍摄装置的静态图像,其包括标记)传递回到服务器以用于处理,这可能不可行。在这样的环境中,每个个体设备可以配置成确定用户的位点,并且然后执行移动设备位点与合适的变焦、摇摄和视角增强之间的协调以应用于高清晰度视频流。
作为另外的示例,为了减少上传到服务器的数据量,高质量、高分辨率视频流可以在单一时间广播和组播到大的用户组(或甚至所有用户)。位点信息与视频显示参数的协调可以在客户端侧出现,其中个体设备确定特定视角以用虚拟双目镜视频显示来渲染。例如,图像捕捉和识别(其包括位点标记、某些对象或人的识别)可以用于使大的视频流的显示重新取向至仅选择的视频流的增强部分(例如,摇摄和变焦拉近)。
虚拟双目镜视频显示的使用可以连同专用软件、硬件和外设提供。例如,与虚拟双目镜视频显示关联的功能性可以连同专用软件应用(例如,移动app)使用,该专用软件应用可以在主题表演之前或期间安装在移动设备上。该软件应用可以用于协调视频流并且就视角信息来访问拍摄装置。与虚拟双目镜视频显示关联的功能性还可以合并为通信程序的部分,例如即时消息、聊天或视频会议程序。在其他示例中,与虚拟双目镜视频显示关联的功能性可以集成到移动设备的操作系统功能性内。
图5图示根据示例对于移动设备处的虚拟双目镜视频输出的回放方法的流程图500。该方法操作可以包括基于位点的操作,用于确定移动设备的位点(操作510),并且使移动设备的位点与特定视频流相关(操作520)。例如,基于位点的操作可以连同特定Wi-Fi接入点的识别或信标或RFID标签标识符对远程服务器的提供来执行。位点信息可以用于请求与从感兴趣位点或区的视角相关的特定视频流。响应于该请求,特定视频流可以无线传送到移动设备(并且在其处接收)(操作530)。
来自视频流的视频输出的定位和摇摄、变焦和重新取向以匹配从移动设备的视角可以连同位点识别、图像匹配或使移动设备位点(和用户视角)与视频流的一部分相关的其他技术来进行。例如,移动设备可以执行操作来识别感兴趣对象或区附近可见的特定标记(操作540),并且使检测的感兴趣对象或区与视频流的选择部分相关(操作550)。检测的感兴趣对象或区可以用于集中、摇摄、变焦或另外修改视频流的显示输出,例如在移动设备上仅显示视频流的选择部分(操作560)。
如在流程图500中进一步图示的,可以向移动设备提供例如信息覆盖(例如,增强现实内容的)等额外信息并且将其显示(操作570)。例如,该信息覆盖可以放置在变焦拉近且摇摄到特定人、对象或场景的视频显示的选择部分上。
图6图示关于虚拟双目镜视频输出流播视频的方法的流程图600,该方法用在视频处理服务器处执行的操作来执行。将理解,流程图600的操作可以在单个服务器处、基于云的或分布式服务器处或通过对视频处理功能性协调多个计算设备或平台而进行。
如图示的,方法操作包括对于特定视频流选择的基于位点的操作。该选择可以从随接收对视频流请求(操作610)和接收移动设备的位点信息(操作620)而获得的数据执行。基于位点信息,可以确定移动设备的位点并且使其与选择视频流相关(操作630),该选择视频流定位在移动设备位点处的用户的视场中。选择视频流然后可以传送到移动设备用于输出(操作640)。
另外,信息覆盖可以连同视频流来生成和产生。例如,服务器可以接收与视频流的选择部分有关的额外位点或视觉信息(例如,来自位点标记的标识符)(操作650),例如选择视频流的增强变焦拉近、摇摄部分。从该位点信息可以对显示的视频流的选择部分生成信息覆盖,例如增强现实标签、识别信息及类似物(操作660)。该信息覆盖可以传送到移动设备(操作670)以作为例如显示的视频流上方的层而在移动设备上输出。
图7图示根据示例对于交互式虚拟双目镜视频输出的电子系统的部件的框图。如示出的,电子系统图示为移动计算设备710,其通过无线接入点的集和联网设备740电子连接到视频流播服务器730。视频流播服务器730可以与拍摄装置控制服务器750、管理设备760和拍摄装置视频源770电子通信。电子系统还可以包括位点标记780或与之一起操作。将理解电子系统的操作可以包括额外计算设备、服务器和联网设备,以及在电子系统中操作的部件之间的备选联网连接。
如示出的,移动计算设备710(例如,智能电话或平板)包括用于执行经由无线接入点和联网设备740中的一个或多个从视频流播服务器730接收的视频流的处理的一系列模块(例如,软件、硬件或软件配置的硬件)。移动计算设备的模块可以包括用户交互模块712、视频处理模块716、运动处理模块718、显示模块720和无线联网模块722。移动计算设备710可以进一步包括拍摄装置714和关联的拍摄装置图像捕捉模块,以及显示屏,例如配置成接收手势的触控显示屏。
用户交互模块712可以配置成接收用户命令来选择、开始或停止在移动计算设备710上的视频显示输出中提供的交互式视频馈送。用户交互模块712可以包括用于接收交互和命令来控制显示模块720上的视频显示输出的特征,这些交互和命令可以包括对于以下的交互和命令:摇摄和变焦视频(其包括通过使用触屏手势)、提供分屏查看、锁定或冻结关于特定人或对象的视频显示及类似物。
显示模块720可以配置成用于显示移动计算设备指向或面对的视场中的特定部分的视频。例如,视场中的该特定部分可以连同使用拍摄装置714(用于从移动计算设备710的视角捕捉本地拍摄装置图像)并且连同本地拍摄装置图像与视频流的相关性来确定。
视频处理模块716可以配置成用于接收视频流、确定与本地拍摄装置图像的相关性、对视频实现变焦、摇摄和其他增强效果以及提供对于显示模块720的输出。运动处理模块718可以配置成用于适配变焦/摇摄视频的显示,其包括处理移动计算设备相对于所观察的位点标记的移动和运动输入和处理如由加速计和陀螺仪检测的移动计算设备的移动以及其他机制。运动处理模块718可以连同视频处理模块716和显示模块720一起操作以在移动计算设备移动并且被用户重定位时实现对视频显示的交互式改变。
为了经由无线网络接收视频流,移动计算设备710的无线联网模块722可以包括建立和管理与无线网络的连接的功能性。例如通过报告接收的Wi-Fi信号的设置和质量,或通过向服务器提供原始数据(或拍摄装置图像)来计算移动计算设备的大致位点,无线联网模块722还可以提供功能性来指示观看或座位区中移动计算设备710的大致位点。
如示出的,视频流播服务器730包括用于执行视频流的处理和对相应移动计算设备的视频流供应的一系列模块(例如,软件、硬件或软件配置的硬件)。视频流播服务器730的模块可以包括视频处理模块732、位点处理模块734、视频内容模块736和视频流传送模块738。视频流播服务器730从视频源770接收不同的视频流,并且将最合适的流分配给移动计算设备中的每个(基于移动计算设备的位点和移动计算设备的观看角度)。
视频处理模块732可以用于接收和处理多个视频流,并且根据移动计算设备710的位点、设备特性或交互来分配最合适的视频流。视频处理模块732可以连同位点处理模块734一起操作。位点处理模块734可以用于获得映射或已知环境中特定移动计算设备(或多个设备)的位点并且使其与特定视频馈送相关。位点处理模块734还可以用于对移动计算设备710提供通用位点信息,或对于特定视频馈送的位点依赖型显示设定值。
视频内容模块736可以关于增强现实或其他内容覆盖技术提供额外内容。例如,视频内容模块736可以用于提供在视频馈送中描绘的对象和人的额外元数据层。这些元数据层可以包括例如字幕、歌词、表演者或运动员信息及类似物等信息。
视频流传送模块738可以适于采用一个或多个流播格式和编解码器提供相应视频流(和伴随的对于视频的广播技术)和伴随的增广视频信息。视频流传送模块738还可以收集对于由艺术家、演出运营商及类似物待处理和使用的视频馈送的使用信息。
在另外的示例中,视频流播服务器730可以用于提供对于特定设备或用户的已支付或受控访问内容。视频流播服务器730还可以与虚拟双目镜视频输出的基于服务的提供的预订特征和记账一起集成。另外,视频流播服务器730可以提供加密视频馈送,其中预订用户使用解密密钥来访问广播视频流。
无线接入点和联网设备740可以包括配置成建立与相应移动设备的无线联网连接的各种Wi-Fi传送装备和多个设备。在一些示例中,无线接入点可以设置在多个位点中使得所有观众设备在至少一个接入点的范围内,并且确保约20Mbps的下载流播的信号质量。
系统的其他部件允许进一步控制和定制由视频流播服务器730传送的视频输出。例如,拍摄装置控制服务器750可以包括对于视频源770的管理员、表演者或外部控制(其包括重定位)的额外功能性。管理设备760可以包括对于系统使用和操作的管理员监测和控制的功能性。在另外的示例中,可以包括对于视频流的特定控制覆盖内容并且通过使用管理设备760来修改它。
视频源770可以包括一个或多个视频拍摄装置,例如UHD视频拍摄装置。视频源可以设置成从演出或表演空间的深远背景捕捉视频,并且将视频流传送到视频流播服务器730。视频源的数量可以取决于剧院大小,因为增加拍摄装置和拍摄装置视角的数量可以使观众体验更加真实。然而在例如户外视点等一些环境中,一个拍摄装置可以用于生成视频流。在一些示例中,例如在向具有较低分辨率、带宽或处理能力的显示设备提供视频时,可以使用标准清晰度或次HD视频拍摄装置。
位点标记780可以实现为红外标记、电子信标、人类或机器可读标识符或其他类型的可检测对象。例如,红外标记集可以定位在舞台或表演区周围,从而产生对人眼不可见但对所有智能电话拍摄装置可见的光。如同样在上文论述的,位点标记780的使用可以被移动计算设备710的操作所替代或补充以在内部拍摄装置的图像与广播视频之间相关,并且使图示的图像对准。
尽管本文描述的示例中的许多指的是在音乐会、体育赛事和类似表演中使用移动设备、拍摄装置和视频流播操作,将理解,这些视频技术的可适用性可以应用于任意数量的设定,其中远距离对象的拍摄装置视角可以传递给用户人员。尽管示例中的许多在本文参考移动设备(例如智能电话)提供,将理解虚拟双目镜技术可以与其他类型的计算机、平板、可穿戴设备(例如,智能眼镜)以及具有显示功能性的设备一起使用。此外,本文描述的位点和无线网络传送技术不限于使用无线局域网(例如IEEE 802.11网络),而可以随使用任意数量的短域、局域和广域无线通信技术而进一步应用。
用于促进和执行本文描述的技术的实施例可以在硬件、固件和软件中的一个或组合中实现。实施例还可以实现为存储在至少一个机器可读存储设备上的指令,其可以由至少一个处理器读取和执行来执行本文描述的操作。机器可读存储设备可以包括用于采用机器(例如,计算机)可读形式存储信息的任何非暂时性机构。例如,机器可读存储设备可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储器设备以及其他存储设备和介质。
如本文描述的示例可以包括逻辑或许多部件、模块或机构或可以在它们上操作。模块可以是通信地耦合于一个或多个处理器以便实施本文描述的操作的硬件、软件或固件。模块可以是硬件模块,并且如此模块可以被认为是能够执行规定操作的有形实体并且可以采用某一方式配置或设置。在示例中,电路可以采用规定方式设置(例如,在内部或关于外部实体,例如其他电路)为模块。在示例中,一个或多个计算机系统(例如,独立、客户端或服务器计算机系统)或一个或多个硬件处理器的整体或部分可以由固件或软件(例如,指令、应用部分或应用)配置为操作成执行规定操作的模块。在示例中,软件可以驻存在机器可读介质上。在示例中,软件在由模块的底层硬件执行时促使硬件执行规定操作。因此,术语硬件模块理解成包含有形实体,即物理构造、专门配置(例如,硬接线)或暂时(例如,短暂)配置(例如,被编程)成采用规定方式操作或执行本文描述的任何操作的部分或全部的实体。考虑到其中暂时配置模块的示例,这些模块中的每个不需要在任一时刻被例示。例如,在模块包括使用软件配置的通用硬件处理器的情况下;通用硬件处理器可以在不同时间配置为相应的不同模块。软件因此可以配置硬件处理器例如以便在一个时间实例构成特定模块并且在不同时间实例构成不同模块。模块也可以是软件或固件模块,其操作成执行本文描述的方法论。
图8是图示根据示例实施例采用计算机系统800的示例形式的机器的框图,指令集或序列可以在该计算机系统800内执行以促使该机器执行本文论述的方法论中的任一个。计算机系统机器800可以由移动设备120、210、410、710、流播服务器230、330、监测和增强现实站250、视频拍摄装置的部件、无线网络接入点、信标和位点设备以及无线广播硬件或本文描述或提及的任何其他电子处理或计算平台体现。此外,本文描述的机动车辆中包括的先进驾驶员辅助系统子系统可以包括与下面描述的计算机系统大致相似地运作的处理系统。
在备选实施例中,机器作为独立设备操作或可以连接(例如,联网)到其他机器。在联网部署中,机器可以在服务器-客户端网络环境中以服务器或客户端机器的身份操作,或它可以充当对等(或分布式)网络环境中的对等机器。机器可以是车载系统、可穿戴设备、个人计算机(PC)、平板PC、混合平板、个人数字助理(PDA)、移动电话或能够执行规定该机器待采取的动作的指令(相继或用别的方式)的任何机器。此外,尽管仅图示单个机器,术语“机器”还应被认为包括独立或联合执行指令集(或多个集)来执行本文论述的方法论中的任一个或多个的机器的任何集合。相似地,术语“基于处理器的系统”应被认为包括由处理器(例如,计算机)控制或操作来独立或联合执行指令以执行本文论述的方法论中的任一个或多个的一个或多个机器的任何集。
示例计算机系统800包括至少一个处理器802(例如,中央处理单元(CPU)、图形处理单元(GPU)或两者兼而有之、处理器核、计算节点,等)、主存储器804和静态存储器806,其经由互连808(例如,链路、总线等)而彼此通信。计算机系统800可以进一步包括视频显示单元810、字母数字输入设备812(例如,键盘)和用户界面(UI)导航设备814(例如,鼠标)。在一个实施例中,视频显示单元810、输入设备812和用户界面(UI)导航设备814并入触屏显示器。计算机系统800可以另外包括存储设备816(例如,驱动单元)、信号生成设备818(例如,扬声器)、输出控制器832、功率管理控制器834、网络接口设备820(其可以包括以下或可操作地与之通信:一个或多个天线830、收发器或其他无线通信硬件)和一个或多个传感器826,例如全球定位系统(GPS)传感器、罗盘、加速计、位点传感器或其他传感器。
存储设备816包括机器可读介质822,在其上存储数据结构和指令824(例如,软件)的一个或多个集,这些数据结构和指令体现本文论述的方法论或功能中的一个或多个或由其所使用。指令824在由计算机系统800执行期间还可以驻存(完全或至少部分)在主存储器804、静态存储器806内和/或处理器802内,其中主存储器804、静态存储器806和处理器802也构成机器可读介质。
尽管机器可读介质822在示例实施例中图示为单个介质,术语“机器可读介质”可以包括存储一个或多个指令824的单个介质或多个介质(例如,集中式或分布式数据库,和/或关联的高速缓存和服务器)。术语“机器可读介质”还应被认为包括能够存储、编码或承载指令以供机器执行并且促使机器执行本公开的方法论中的任一个或多个或能够存储、编码或承载由这样的指令所使用或与之关联的数据结构的任何有形介质。术语“机器可读介质”因此应被认为包括但不限于固态存储器,以及光和磁介质。机器可读介质的特定示例包括非暂时性存储器,其通过示例包括但不限于:半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪速存储器设备;磁盘,例如内部硬盘和可移除盘;磁光盘;以及CD-ROM和DVD-ROM盘。
指令824可以进一步通过通信网络828使用传送介质经由网络接口设备820使用许多众所周知的传输协议(例如,HTTP)中的任一个来传送或接收。通信网络的示例包括局域网(LAN)、广域网(WAN)、因特网、移动电话网络、普通老式电话(POTS)网络和无线数据网络(例如,Wi-Fi、3G和4G LTE/LTE-A或WiMAX网络)。术语“传送介质”应被认为包括能够存储指令、对其编码或承载指令以供机器执行的任何无形介质,并且包括数字或模拟通信信号或其他无形介质用于促进这样的软件的通信。
目前描述的方法、系统和设备实施例中的额外示例包括下面的非限制性配置。下面的非限制性示例的每个可以独立存在,或可以以任何排列或组合与在下文或在整个本公开中提供的其他示例中的任何一个或多个组合。
示例1包括用于提供虚拟双目镜视频显示的移动计算设备的主旨(例如由设备、装置、机器或机器可读介质体现),该移动计算设备包括:处理器;无线联网模块,用于与该处理器一起操作,该无线联网模块经由无线网络从视频流播服务器接收选择的视频数据的流;视频处理模块,用于与处理器一起操作,该视频处理模块处理来自视频数据流的视频内容,其中选择的视频数据流基于位于视频数据中捕捉的场景附近的观看区中移动计算设备的位点来选择;和显示模块,用于与处理器一起操作,该显示模块在移动计算设备的显示屏上输出视频内容的选择增强部分,该选择增强部分基于移动计算设备相对于视频数据中捕捉的场景的取向来确定。
在示例2中,示例1的主旨可以包括:经由处理器实现的用户交互模块,该用户交互模块接收用户命令来实行显示屏上视频内容的选择增强部分的输出的控制,其中视频内容的选择增强部分提供来自视频数据流的视频内容的变焦和摇摄的部分。
在示例3中,示例1至2中的任一个的主旨可以包括,经由处理器实现的运动处理模块,该运动处理模块基于移动计算设备所检测的至少一个运动输入来改变显示屏上视频内容的选择增强部分。
在示例4中,示例1至3中的任一个的主旨可以包括,其中无线联网模块经由无线网络根据IEEE 802.11无线网络协议的操作接收视频数据流,其中选择的视频数据的流基于移动计算设备相对于位于观看区内的无线网络的至少一个接入点的位点来选择,并且其中移动计算设备相对于无线网络的接入点的位点的识别传递到视频流播服务器来指示移动计算设备的位点。
在示例5中,示例1至4中的任一个的主旨可以包括,其中视频处理模块使在视频内容中检测的至少一个指标与移动计算设备相对于视频数据中捕捉的场景的取向相关。
在示例6中,示例1至5中的任一个的主旨可以包括拍摄装置,该拍摄装置捕捉场景中包括至少一个指标的至少一部分的图像,其中视频处理模块使场景中包括至少一个指标的至少该部分的图像与视频内容的选择增强部分相关。
在示例7中,示例1至6中的任一个的主旨可以包括,其中视频处理模块进一步将拍摄装置捕捉的场景的至少该部分的图像与视频数据中捕捉的场景的图像比较并且使它们匹配,来确定移动计算设备相对于场景的取向。
示例8包括用于在移动设备处显示流播视频的主旨(例如方法、用于执行动作的部件、机器可读介质或用于执行的装置,该机器可读介质包括指令,这些指令在由机器执行时促使该机器执行动作),由用该移动设备处的硬件部件执行的操作所实现,这些操作包括:在移动设备处访问选择的高清晰度视频流,该高清晰度视频流提供在远离移动设备并且朝向场景的感兴趣区的观看方向上捕捉的场景的高清晰度视频;使移动设备相对于感兴趣区的取向与场景的高清晰度视频的特定变焦部分相关;以及在移动设备上显示场景的高清晰度视频的特定变焦部分。
在示例9中,示例8的主旨可以包括,使场景的高清晰度视频摇摄到高清晰度视频的特定变焦部分,摇摄使用移动设备相对于感兴趣区的取向来执行;以及使场景的高清晰度视频变焦到高清晰度视频的特定变焦部分,变焦使用移动设备相对于感兴趣区的取向来执行。
在示例10中,示例8至9中的任一个的主旨可以包括:向远程服务器提供移动设备的位点信息,该位点信息指示在邻近场景的观察区中移动设备的位点;以及从多个高清晰度视频流中的一个接收高清晰度视频流,该高清晰度视频流由远程服务器基于移动设备的位点信息来选择。
在示例11中,示例8至10中的任一个的主旨可以包括,用移动设备捕捉场景的数字图像;用移动设备检测场景的数字图像中的标记;以及基于由移动设备在场景的高清晰度视频内检测的标记的位置来选择高清晰度视频的特定变焦部分,高清晰度视频的特定变焦部分提供较大高清晰度视频的子集。
在示例12中,示例8至11中的任一个的主旨可以包括,其中使移动设备的取向与高清晰度视频的特定变焦部分相关包括使场景的数字图像中的标记与场景的高清晰度视频的图像中的标记匹配,以在选择高清晰度视频的特定变焦部分中模拟从移动设备的场景的视角。
在示例13中,示例8至12中的任一个的主旨可以包括,其中标记由定位在场景中的至少一个红外光提供。
在示例14中,示例8至13中的任一个的主旨可以包括,其中标记是定位在场景中的机器可读对象,该机器可读对象提供与相对于场景的位点关联的标识符。
在示例15中,示例8至14中的任一个的主旨可以包括,用移动设备捕捉场景的数字图像;执行场景的数字图像中至少一个对象的图像识别;以及基于移动设备的取向与高清晰度视频的特定变焦部分的相关性来选择高清晰度视频的特定变焦部分,高清晰度视频的该特定变焦部分提供较大高清晰度视频的子集。
在示例16中,示例8至15中的任一个的主旨可以包括,在高清晰度视频的特定变焦部分上显示信息覆盖,该信息覆盖提供关于在高清晰度视频的特定变焦部分中描绘的至少一个现实世界项的信息。
在示例17中,示例8至16中的任一个的主旨可以包括,处理关于对于移动设备的图形用户界面输出所接收的至少一个用户输入,该至少一个用户输入用于:从多个高清晰度视频流之中选择高清晰度视频流;执行到场景的另一个感兴趣区的场景的高清晰度视频的摇摄;或执行场景的高清晰度视频的变焦来生成场景的感兴趣区的另一个部分的变焦显示。
示例18包括用于在移动计算设备上输出视频显示的主旨(例如由设备、装置、机器或机器可读介质体现),用指令实现,这些指令在执行时促使移动计算设备:建立与无线网络的连接;使用位于移动计算设备的第一侧上的拍摄装置从移动计算设备的第一侧的视角捕捉数字图像;处理感兴趣区的高清晰度视频流,该高清晰度视频流经由与无线网络的连接而接收;确定移动计算设备相对于在高清晰度视频流中提供的视频场景的取向的视角;以及在位于移动计算设备的第二侧上的显示屏上输出数字视频,其中该第二侧与第一侧相对,其中数字视频的输出包括被变焦和摇摄以类似于移动计算设备的视角的高清晰度视频流的视频场景的一部分。
在示例19中,示例18的主旨可以包括,进一步促使移动计算设备:处理用拍摄装置捕捉的感兴趣区的图像;检测感兴趣区的图像中的标记;以及使感兴趣区中的标记与视频场景的部分的取向相关。
在示例20中,示例18至19中的任一个的主旨可以包括,其中标记是机器可检测标记,该机器可检测标记包括红外光或机器可检测对象。
在示例21中,示例18至20中的任一个的主旨可以包括,进一步促使移动计算设备:将移动计算设备的位点信息传送到远程视频服务器;以及响应于位点信息从远程视频服务器接收高清晰度视频流,该高清晰度视频流从多个高清晰度视频流选择。
在示例22中,示例18至21中的任一个的主旨可以包括,其中移动计算设备的位点信息包括无线网络信息,该无线网络信息包括对于无线网络的无线接入点的SSID。
在示例23中,示例18至22中的任一个的主旨可以包括,其中移动计算设备的位点信息包括由移动计算设备从QR码、RFID标签或低能量蓝牙信标读取的标识符。
在示例24中,示例18至23中的任一个的主旨可以包括,其中指令在执行时进一步促使移动计算设备:检测和处理对移动计算设备的用户手势输入;以及基于该用户手势输入改变高清晰度视频流的视频场景的显示部分。
示例25包括用于虚拟双目镜视频显示的输出的主旨(例如方法、用于执行动作的部件、机器可读介质或用于执行的装置,该机器可读介质包括指令,这些指令在由机器执行时促使该机器执行动作),用移动计算设备的处理器和存储器的操作所执行,所述方法包括:经由无线网络从视频流播服务器接收选择的视频数据流,处理来自视频数据流的视频内容,其中选择的视频数据流基于位于视频数据中捕捉的场景附近的观看区中移动计算设备的位点来选择;以及输出视频内容的选择增强部分,该选择增强部分基于移动计算设备相对于视频数据中捕捉的场景的取向来确定。
在示例26中,示例25的主旨可以包括,接收用户命令来实行对视频内容的选择部分的输出的控制。
在示例27中,示例25至26中的任一个的主旨可以包括,基于由移动计算设备检测的至少一个运动输入来改变待显示的视频内容的选择部分。
在示例28中,示例25至27中的任一个的主旨可以包括,经由无线网络根据IEEE802.11无线网络协议的操作接收视频数据的流,其中该视频数据的流基于移动计算设备相对于场景的位点来选择,并且其中移动计算设备相对于无线网络的接入点的位点的识别传递到视频流播服务器来指示移动计算设备的位点。
在示例29中,示例25至28中的任一个的主旨可以包括,使在视频内容检测中的至少一个指标与移动计算设备相对于视频数据中捕捉的场景的取向相关。
在示例30中,示例25至29中的任一个的主旨可以包括,捕捉场景中包括至少一个指标的至少一部分的图像;处理场景中包括对于视频内容的选择部分的至少一个指标的至少该部分的图像;使拍摄装置捕捉的场景的至少该部分的图像与视频数据中捕捉的场景的图像相匹配,来确定移动计算设备相对于场景的取向。
示例31包括至少一个机器可读存储介质,其包括用于在移动计算设备处流播视频的指令,这些指令在由机器执行时促使该机器执行示例25-30中的任一个。
示例32包括一种装置,其包括用于执行示例25-30中的任一个的部件。
示例33包括主旨(例如设备、装置或机器),其包括:用于经由无线网络从视频流播服务器接收视频数据流的部件;用于处理来自视频数据流的视频内容的部件,其中选择的视频数据流基于在位于视频数据中捕捉的场景附近的观看区中移动计算设备的位点来选择;以及用于输出视频内容的选择增强部分的部件,选择增强部分基于移动计算设备相对于视频数据中捕捉的场景的取向来确定。
在示例34中,示例33的主旨可以包括,用于接收用户命令来实行对显示屏上视频内容的选择增强部分的输出的控制的部件,其中视频内容的选择增强部分提供来自视频数据流的视频内容的变焦和摇摄的部分。
在示例35中,示例33至34中的任一个的主旨可以包括,用于基于由移动计算设备检测的至少一个运动输入来改变显示屏上的视频内容的选择增强部分的部件。
在示例36中,示例33至35中的任一个的主旨可以包括,经由无线网络根据IEEE802.11无线网络协议的操作接收视频数据的流,其中选择的视频数据的流基于移动计算设备相对于位于观看区内的无线网络的至少一个接入点的位点来选择,并且并且其中移动计算设备相对于无线网络的接入点的位点的识别传递到视频流播服务器来指示移动计算设备的位点。
在示例37中,示例33至36中的任一个的主旨可以包括,用于使在视频内容中检测的至少一个指标与移动计算设备相对于视频数据中捕捉的场景的取向相关的部件;用于捕捉场景中包括至少一个指标的至少一部分的图像的部件;用于处理包括对于视频内容的选择部分的至少一个指标的场景中至少该部分的图像的部件;以及用于使由拍摄装置捕捉的场景的至少该部分的图像与视频数据中捕捉的场景的图像相匹配来确定移动计算设备相对于场景的取向的部件。
示例38包括用于移动设备的主旨(例如设备、装置或机器),该移动设备包括至少一个处理器用于执行操作,其中:访问选择的高清晰度视频流,该高清晰度视频流提供在远离移动设备并且朝向场景的感兴趣区的观看方向上捕捉的场景的高清晰度视频;使移动设备相对于感兴趣区的取向与场景的高清晰度视频的特定变焦部分相关;以及在移动设备上显示场景的高清晰度视频的特定变焦部分。
在示例39中,示例38的主旨可以包括,至少一个处理器,用于进一步执行操作,其中:使场景的高清晰度视频摇摄到高清晰度视频的特定变焦部分,摇摄使用移动设备相对于感兴趣区的取向来执行;以及使场景的高清晰度视频变焦到高清晰度视频的特定变焦部分,变焦使用移动设备相对于感兴趣区的取向来执行。
在示例40中,示例38至39中的任一个的主旨可以包括至少一个处理器,用于进一步执行操作,其中:向远程服务器提供移动设备的位点信息,该位点信息指示在邻近场景的观察区中移动设备的位点;以及从多个高清晰度视频流中的一个接收高清晰度视频流,该高清晰度视频流由远程服务器基于移动设备的位点信息来选择。
在示例41中,示例38至40中的任一个的主旨可以包括至少一个处理器,用于进一步执行操作,其中:用移动设备捕捉场景的数字图像;用移动设备检测场景的数字图像中的标记;以及基于由移动设备在场景的高清晰度视频内检测的标记的位置来选择高清晰度视频的特定变焦部分,高清晰度视频的该特定变焦部分提供较大高清晰度视频的子集。
在示例42中,示例38至41中的任一个的主旨可以包括至少一个处理器,用于进一步执行操作,其中:使移动设备的取向与高清晰度视频的特定变焦部分相关,包括,使场景的数字图像中的标记与场景的高清晰度视频的图像中的标记匹配,以在选择高清晰度视频的特定变焦部分中模拟从移动设备的场景的视角。
在示例43中,示例38至42中的任一个的主旨可以包括,其中标记由定位在场景中的至少一个红外光提供。
在示例44中,示例38至43中的任一个的主旨可以包括,其中标记是定位在场景中的机器可读对象,该机器可读对象提供与相对于场景的位点关联的标识符。
在示例45中,示例38至44中的任一个的主旨可以包括至少一个处理器,用于进一步执行操作,其中:用移动设备捕捉场景的数字图像;执行场景的数字图像中至少一个对象的图像识别;以及基于移动设备的取向与高清晰度视频的特定变焦部分的相关性来选择高清晰度视频的特定变焦部分,高清晰度视频的该特定变焦部分提供较大高清晰度视频的子集。
在示例46中,示例38至45中的任一个的主旨可以包括至少一个处理器,用于进一步执行操作,其中:在高清晰度视频的特定变焦部分上显示信息覆盖,该信息覆盖提供关于在高清晰度视频的特定变焦部分中描绘的至少一个现实世界项的信息。
在示例47中,示例38至46中的任一个的主旨可以包括至少一个处理器,用于进一步执行操作,其中:处理关于对于移动设备的图形用户界面输出所接收的至少一个用户输入,该至少一个用户输入用于:从多个高清晰度视频流之中选择高清晰度视频流;执行场景的高清晰度视频摇摄到场景的另一个感兴趣区;或执行场景的高清晰度视频的变焦来生成场景的感兴趣区的另一个部分的变焦显示。
示例48包括至少一个机器可读存储介质,其包括用于在移动设备处流播视频的指令,这些指令在由机器执行时促使该机器执行示例8-17中的任一个。
示例49包括一种装置,其包括用于执行示例8-17中的任一个的部件。
示例50包括主旨(例如设备、装置或机器),其包括:用于在移动设备处访问选择的高清晰度视频流的部件,该高清晰度视频流提供在远离移动设备并且朝向场景的感兴趣区的观看方向上捕捉的场景的高清晰度视频;用于使移动设备相对于感兴趣区的取向与场景的高清晰度视频的特定变焦部分相关的部件;以及用于在移动设备上显示场景的高清晰度视频的特定变焦部分的部件。
在示例51中,示例50的主旨可以包括,进一步包括:用于使场景的高清晰度视频摇摄到高清晰度视频的特定变焦部分的部件,摇摄使用移动设备相对于感兴趣区的取向来执行;以及用于使场景的高清晰度视频变焦到高清晰度视频的特定变焦部分的部件,变焦使用移动设备相对于感兴趣区的取向来执行。
在示例52中,示例50至51中的任一个的主旨可以包括,进一步包括:用于向远程服务器提供移动设备的位点信息的部件,该位点信息指示在邻近场景的观察区中移动设备的位点;以及用于从多个高清晰度视频流中的一个接收高清晰度视频流的部件,该高清晰度视频流由远程服务器基于移动设备的位点信息来选择。
在示例53中,示例50至52中的任一个的主旨可以包括,进一步包括:用于捕捉场景的数字图像的部件;用于检测场景的数字图像中的标记的部件;以及用于基于由移动设备在场景的高清晰度视频内检测的标记的位置来选择高清晰度视频的特定变焦部分的部件,高清晰度视频的该特定变焦部分提供较大高清晰度视频的子集。
在示例54中,示例50至53中的任一个的主旨可以包括,进一步包括:用于使移动设备的取向与高清晰度视频的特定变焦部分相关的部件,包括使场景的数字图像中的标记与场景的高清晰度视频的图像中的标记匹配,以在选择高清晰度视频的特定变焦部分中模拟从移动设备的场景的视角。
在示例55中,示例50至54中的任一个的主旨可以包括,进一步包括:用于检测由定位在场景中的至少一个红外光提供的标记的部件。
在示例56中,示例50至55中的任一个的主旨可以包括,进一步包括:用于检测是定位在场景中的机器可读对象的标记的部件,该机器可读对象提供与相对于场景的位点关联的标识符。
在示例57中,示例50至56中的任一个的主旨可以包括,进一步包括:用于捕捉场景的数字图像的部件;用于执行场景的数字图像中至少一个对象的图像识别的部件;以及用于基于移动设备的取向与高清晰度视频的特定变焦部分的相关性来选择高清晰度视频的特定变焦部分的部件,高清晰度视频的该特定变焦部分提供较大高清晰度视频的子集。
示例58包括主旨(例如方法、用于执行动作的部件、机器可读介质或用于执行的装置,该机器可读介质包括指令,这些指令在由机器执行时促使该机器执行动作),由移动计算设备的至少一个处理器执行,主旨包括:建立与无线网络的连接;用位于移动计算设备的第一侧上的拍摄装置捕捉数字图像,该数字图像从第一侧的视角捕捉;处理感兴趣区的高清晰度视频流,该高清晰度视频流经由与无线网络的连接而接收;确定移动计算设备相对于在高清晰度视频流中提供的视频场景的取向的视角;以及在位于移动计算设备的第二侧上的显示屏上输出数字视频,其中该第二侧与第一侧相对,输出包括用显示屏输出高清晰度视频流的较低分辨率部分,高清晰度视频流的视频场景被变焦和摇摄到该较低分辨率部分以类似于移动计算设备的视角。
在示例59中,示例58的主旨可以包括,进一步包括:处理用拍摄装置捕捉的感兴趣区的图像;检测感兴趣区的图像中的标记;以及使感兴趣区中的标记与视频场景的部分的取向相关。
在示例60中,示例58至59中的任一个的主旨可以包括,其中标记是机器可检测标记,该机器可检测标记包括红外光或机器可检测对象。
在示例61中,示例58至60中的任一个的主旨可以包括,进一步包括:将移动计算设备的位点信息传送到远程视频服务器;以及响应于位点信息从远程视频服务器接收高清晰度视频流,该高清晰度视频流从多个高清晰度视频流选择。
在示例62中,示例58至61中的任一个的主旨可以包括,其中移动计算设备的位点信息包括无线网络信息,该无线网络信息包括对于无线网络的无线接入点的SSID。
在示例63中,示例58至62中的任一个的主旨可以包括,其中移动计算设备的位点信息包括由移动计算设备从QR码、RFID标签或低能量蓝牙信标读取的标识符。
在示例64中,示例58至63中的任一个的主旨可以包括,进一步包括:检测和处理对移动计算设备的用户手势输入;以及基于该用户手势输入改变高清晰度视频流的视频场景的显示部分。
示例65包括一种装置,其包括用于执行示例58-64中的任一个的部件。
示例66包括用于移动计算设备的主旨(例如设备、装置或机器),该移动计算设备包括:至少一个处理器;无线收发器,该无线收发器建立与至少一个无线网络的连接;位于移动计算设备的第一侧上的拍摄装置,该拍摄装置从第一侧的视角捕捉数字图像;位于移动计算设备的第二侧上的显示屏,该显示屏输出数字视频,其中第二侧与第一侧相对;以及至少一个存储器,其包括指令,这些指令可操作成用于用至少一个处理器执行,并且指令在执行时促使移动计算设备:处理感兴趣区的高清晰度视频流,该高清晰度视频流经由无线收发器接收;确定移动计算设备相对于在高清晰度视频流中提供的视频场景的取向的视角;以及用显示屏输出高清晰度视频流的较低分辨率部分,高清晰度视频流的视频场景被变焦和摇摄到较低分辨率部分以类似于移动计算设备的视角。
在示例67中,示例66的主旨可以包括,存储器进一步包括指令,其在执行时促使移动计算设备:处理用拍摄装置捕捉的感兴趣区的图像;检测感兴趣区的图像中的标记;以及使感兴趣区中的标记与视频场景的部分的取向相关。
在示例68中,示例66至67中的任一个的主旨可以包括,其中标记是机器可检测标记,该机器可检测标记包括红外光或机器可检测对象。
在示例69中,示例66至68中的任一个的主旨可以包括,存储器进一步包括指令,其在执行时促使移动计算设备:将移动计算设备的位点信息传送到远程视频服务器;以及响应于位点信息从远程视频服务器接收高清晰度视频流,该高清晰度视频流从多个高清晰度视频流选择。
在示例70中,示例66至69中的任一个的主旨可以包括,其中移动计算设备的位点信息包括来自无线收发器的无线网络信息,该无线网络信息包括无线接入点的SSID。
在示例71中,示例66至70中的任一个的主旨可以包括,其中移动计算设备的位点信息包括由移动计算设备从QR码、RFID标签或低能量蓝牙信标读取的标识符。
在示例72中,示例66至71中的任一个的主旨可以包括,存储器进一步指令,其在执行时促使移动计算设备:检测和处理对移动计算设备的用户手势输入;以及基于该用户手势输入改变高清晰度视频流的视频场景的显示部分。
示例73包括用于向移动计算设备供应视频内容的视频流播服务器的主旨(例如设备、装置或机器),该视频流播服务器包括:视频处理模块,用于从多个高清晰度视频拍摄装置获得视频;位点处理模块,用于获得移动计算设备相对于多个高清晰度视频拍摄装置的位点;视频内容模块,用于处理来自多个高清晰度视频拍摄装置的视频内容;以及视频流传送模块,用于向相应移动计算设备提供多个视频流,该多个视频流包括向移动计算设备提供的高清晰度视频流。
在示例74中,示例73的主旨可以包括,其中视频流播服务器经由无线接入点传送多个视频流,这些无线接入点根据IEEE 802.11标准协议来通信。
在示例75中,示例73至74中的任一个的主旨可以包括,其中视频流播服务器与拍摄装置控制服务器通信,该拍摄装置控制服务器提供多个高清晰度视频拍摄装置的相应拍摄装置的重定位和控制。
在示例76中,示例73至75中的任一个的主旨可以包括,其中视频流播服务器与管理设备通信,该管理设备提供视频流播使用和视频流播服务器操作的监测和控制。
示例77包括用于将视频从流播服务器流播到移动计算设备的方法的主旨(例如方法、用于执行动作的部件、机器可读介质或用于执行的装置,该机器可读介质包括指令,这些指令在由机器执行时促使该机器执行动作),该方法包括:处理从多个高清晰度视频拍摄装置获得的感兴趣区的视频内容;获得移动计算设备相对于多个高清晰度视频拍摄装置中的至少一个和感兴趣区的位点;以及将视频内容的高清晰度视频流经由无线网络传送到移动计算设备;其中视频内容的显示在移动计算设备处基于靠近拍摄装置和靠近感兴趣区的所定义观察区内移动计算设备的位点来定制。
在示例78中,示例77的主旨可以包括,进一步包括:重定位和控制多个高清晰度视频拍摄装置的相应拍摄装置。
在示例79中,示例77至78中的任一个的主旨可以包括,其中视频内容的高清晰度视频流传送到移动计算设备,作为高清晰度视频内容到多个移动计算设备的组播的部分,其中移动计算设备中的每个基于相应移动计算设备相对于感兴趣区的位点提供高清晰度视频流的显示的自定义视角。
在示例80中,示例77至79中的任一个的主旨可以包括,进一步包括:对高清晰度视频流监测视频流播使用和视频流播服务器操作。
示例81包括至少一个机器可读存储介质,其包括用于向移动计算设备供应移动视频内容的指令,这些指令在由机器执行时促使该机器执行示例77-80中的任一个。
示例82包括一种装置,其包括用于执行示例77-80中的任一个的部件。
示例83包括主旨(例如设备、装置或机器),其包括:用于处理从多个高清晰度视频拍摄装置获得的感兴趣区的视频内容的部件;用于获得移动计算设备相对于多个高清晰度视频拍摄装置中的至少一个和感兴趣区的位点的部件;以及用于将视频内容的高清晰度视频流经由无线网络传送到移动计算设备的部件;其中视频内容的显示在移动计算设备处基于靠近高清晰度视频拍摄装置和靠近感兴趣区的所定义观察区内移动计算设备的位点来定制。
在示例84中,示例83的主旨可以包括,用于重定位和控制多个高清晰度视频拍摄装置的相应拍摄装置的部件。
在示例85中,示例83至84中的任一个的主旨可以包括,进一步包括:用于将视频内容的高清晰度视频流传送到移动计算设备作为高清晰度视频内容到多个移动计算设备的组播的部分的部件,其中移动计算设备中的每个基于相应移动计算设备相对于感兴趣区的位点提供高清晰度视频流的显示的自定义视角。
在示例86中,示例83至85中的任一个的主旨可以包括,进一步包括:用于监测视频流播使用和视频流播服务器操作的部件。
示例87包括主旨(例如设备、装置或机器),其包括:多个高清晰度视频拍摄装置;视频流播服务器,该视频流播服务器从多个高清晰度视频拍摄装置提供高清晰度视频的相应流;和多个接入点,其对无线网络建立覆盖区,该多个接入点无线传送对于多个高清晰度视频拍摄装置相对于无线网络覆盖区内相应移动设备的位点的流的数据。
在示例88中,示例87的主旨可以包括,进一步包括:多个标记,其中该多个标记由相应移动设备可检测来确定移动设备相对于多个高清晰度视频拍摄装置所捕捉的感兴趣区的位点。
在示例89中,示例87至88中的任一个的主旨可以包括,其中多个标记是红外标记,其中这些红外标记对相应移动设备提供指示,用于基于红外标记对移动设备的可见性能够选择多个高清晰度视频拍摄装置的特定流。
在示例90中,示例87至89中的任一个的主旨可以包括,进一步包括:相应移动设备,移动设备输出多个高清晰度视频拍摄装置相对于红外标记和移动设备的位点的相应流的选择部分。
在示例91中,红示例87至90中的任一个的主旨可以包括,其中多个接入点用IEEE802.11无线网络标准操作。
在示例92中,示例8的主旨可以包括,确定移动设备相对于场景的高清晰度视频的取向的视角;以及对移动设备的显示屏生成数字视频输出,其中该数字视频输出包括被变焦和摇摄以类似于移动设备的视角的场景的高清晰度视频的特定部分。
在示例93中,示例8或92中的任一个的主旨可以包括,使用位于移动设备的第一侧上的拍摄装置从移动设备的第一侧的视角捕捉数字图像,其中移动设备的该第一侧与移动设备的第二侧相对,并且其中显示屏位于移动设备的第二侧上;处理用拍摄装置捕捉的感兴趣区的图像;检测感兴趣区的图像中的标记;以及使感兴趣区中的标记与视频场景部分的取向相关。
在示例94中,示例8或92至93中的任一个的主旨可以包括,其中标记是机器可检测标记,该机器可检测标记包括红外光或机器可检测对象。
在示例95中,示例8或92至94中的任一个的主旨可以包括,建立与无线网络的连接;经由与无线网络的连接将移动设备的位点信息传送到远程视频服务器;以及响应于位点信息经由与无线网络的连接从远程视频服务器接收高清晰度视频流,该高清晰度视频流从多个高清晰度视频流选择。
在示例96中,示例8或92至95中的任一个的主旨可以包括,其中移动设备的位点信息包括无线网络信息,该无线网络信息包括对于无线网络的无线接入点的SSID。
在示例97中,示例8或92至96中的任一个的主旨可以包括,其中移动设备的位点信息包括由移动设备从QR码、RFID标签或低能量蓝牙信标读取的标识符。
在示例98中,主旨可以包括至少一个机器可读存储介质,其包括指令,这些指令在由机器执行时促使该机器执行示例92-97中的任一个。
在示例99中,主旨可以包括装置,其包括用于执行示例92-97中的任一个的部件。
上文的详细描述包括对附图(其形成详细描述的一部分)的参考。图通过图示的方式示出可以实践的特定实施例。这些实施例在本文也称为“示例”。这样的示例可以包括除示出或描述的那些以外的元件。然而,还预想包括示出或描述的元件的示例。此外,还预想使用示出或描述的那些元件的任何组合或排列(或其一个或多个方面)、或关于特定示例(或其一个或多个方面)或关于本文示出或描述的其他示例(或其一个或多个方面)的示例。
在该文献中,如在专利文献中常见的,使用术语“一”,来包括一个或超过一个,其独立于“至少一个”或“一个或多个”的任何其他实例或使用。在该文献中,术语“或”用于指非排他性,或使得“A或B”包括“A但不是B”、“B但不是A”以及“A和B”,除非另外指出。在附上的权利要求中,术语“包含”和“在…中”用作相应术语“包括”和“其中”的简明语言等同物。同样,在下列权利要求中,术语“包含”和“包括”是开放式的,即,包括除在权利要求中这样的术语后列出的那些以外的元件的系统、设备、物品或过程仍被认为落在该权利要求的范围内。此外,在下列权利要求中,术语“第一”、“第二”和“第三”等仅仅用作标签,并且不意在启示对它们的对象的数值顺序。
上文的描述意在为说明性,而非限制性的。例如,上文描述的示例(或其一个或多个方面)可以与其他结合使用。可以例如由本领域内普通技术人员在回顾上文的描述时使用其他实施例。提供摘要来允许读者快速弄清本技术公开的本质并且提交摘要要理解为将不用于解释或限制权利要求的范围或含义。同样,在上文的详细描述中,各种特征可以聚集在一起来使本公开通顺。然而,权利要求可未阐述本文公开的每个特征,因为实施例可以以所述特征的子集为特征。此外,实施例可包括比特定示例中公开的那些还少的特征。从而,下列权利要求由此并入详细描述中,其中每个权利要求立足于它自身作为独立的实施例。本文公开的实施例的范围要参考附上的权利要求连同这样的权利要求所拥有的等同物的全范围来确定。

Claims (25)

1.一种用于提供虚拟双目镜显示的移动计算设备,所述移动计算设备包括:
处理器;
无线联网模块,用于与所述处理器一起操作,所述无线联网模块用于经由无线网络从视频流播服务器接收选择的视频数据流;
视频处理模块,用于与所述处理器一起操作,所述视频处理模块用于处理来自所述视频数据流的视频内容,其中选择的视频数据流基于位于所述视频数据中捕捉的场景附近的观看区中所述移动计算设备的位点来选择;以及
显示模块,用于与所述处理器一起操作,所述显示模块用于在所述移动计算设备的显示屏上输出所述视频内容的选择增强部分,所述选择增强部分基于所述移动计算设备相对于所述视频数据中捕捉的场景的取向来确定。
2.如权利要求1所述的移动计算设备,其进一步包括,经由所述处理器实现的用户交互模块,所述用户交互模块用于接收用户命令来实行所述显示屏上所述视频内容的选择增强部分的输出的控制,其中所述视频内容的选择增强部分提供来自所述视频数据流的视频内容的变焦和摇摄的部分。
3.如权利要求1所述的移动计算设备,其进一步包括,经由所述处理器实现的运动处理模块,所述运动处理模块用于基于所述移动计算设备所检测的至少一个运动输入来改变所述显示屏上所述视频内容的选择增强部分。
4. 如权利要求1所述的移动计算设备,其中所述无线联网模块用于经由所述无线网络根据IEEE 802.11无线网络协议的操作接收所述视频数据流,其中选择的视频数据流基于所述移动计算设备相对于位于所述观看区内的无线网络的至少一个接入点的位点来选择,并且其中所述移动计算设备相对于所述无线网络的接入点的位点的识别传递到所述视频流播服务器来指示所述移动计算设备的位点。
5.如权利要求1所述的移动计算设备,其中所述视频处理模块用于使在所述视频内容中检测的至少一个指标与所述移动计算设备相对于所述视频数据中捕捉的场景的取向相关。
6.如权利要求5所述的移动计算设备,其进一步包括拍摄装置,所述拍摄装置用于捕捉所述场景中包括所述至少一个指标的至少一部分的图像,其中所述视频处理模块用于使所述场景中包括所述至少一个指标的至少所述部分的图像与所述视频内容的选择增强部分相关。
7.如权利要求6所述的移动计算设备,其中所述视频处理模块进一步用于将所述拍摄装置捕捉的场景的至少所述部分的图像与所述视频数据中捕捉的场景的图像比较并且使它们匹配,来确定所述移动计算设备相对于所述场景的取向。
8.一种在移动设备处显示流播视频的方法,所述方法包括用所述移动设备处的硬件部件执行的操作,所述操作包括:
在所述移动设备处访问选择的高清晰度视频流,所述高清晰度视频流提供在远离所述移动设备并且朝向场景的感兴趣区的观看方向上捕捉的场景的高清晰度视频;
使所述移动设备相对于所述感兴趣区的取向与所述场景的高清晰度视频的特定变焦部分相关;以及
在所述移动设备上显示所述场景的高清晰度视频的特定变焦部分。
9. 如权利要求8所述的方法,其进一步包括:
使所述场景的高清晰度视频摇摄到所述高清晰度视频的特定变焦部分,所述摇摄使用所述移动设备相对于所述感兴趣区的取向来执行;以及
使所述场景的高清晰度视频变焦到所述高清晰度视频的特定变焦部分,所述变焦使用所述移动设备相对于所述感兴趣区的取向来执行。
10. 如权利要求8所述的方法,其进一步包括:
向远程服务器提供所述移动设备的位点信息,所述位点信息指示在邻近所述场景的观察区中所述移动设备的位点;以及
从多个高清晰度视频流中的一个接收所述高清晰度视频流,所述高清晰度视频流由所述远程服务器基于所述移动设备的位点信息来选择。
11.如权利要求8所述的方法,其进一步包括:
用所述移动设备捕捉所述场景的数字图像;
用所述移动设备检测所述场景的数字图像中的标记;以及
基于由所述移动设备在所述场景的高清晰度视频内检测的标记的位置来选择所述高清晰度视频的特定变焦部分,所述高清晰度视频的特定变焦部分提供较大高清晰度视频的子集。
12.如权利要求11所述的方法,其中使所述移动设备的取向与所述高清晰度视频的特定变焦部分相关包括使所述场景的数字图像中的标记与所述场景的高清晰度视频的图像中的标记匹配,以在选择所述高清晰度视频的特定变焦部分中模拟从所述移动设备的场景的视角。
13.如权利要求12所述的方法,其中所述标记由定位在所述场景中的至少一个红外光提供。
14.如权利要求12所述的方法,其中所述标记是定位在所述场景中的机器可读对象,所述机器可读对象提供与相对于所述场景的位点关联的标识符。
15.如权利要求8所述的方法,其进一步包括:
用所述移动设备捕捉所述场景的数字图像;
执行所述场景的数字图像中至少一个对象的图像识别;以及
基于所述移动设备的取向与所述高清晰度视频的特定变焦部分的相关性来选择所述高清晰度视频的特定变焦部分,所述高清晰度视频的特定变焦部分提供较大高清晰度视频的子集。
16.如权利要求8所述的方法,其进一步包括:
在所述高清晰度视频的特定变焦部分上显示信息覆盖,所述信息覆盖提供关于在所述高清晰度视频的特定变焦部分中描绘的至少一个现实世界项的信息。
17.如权利要求8所述的方法,其进一步包括:
处理关于对于所述移动设备的图形用户界面输出所接收的至少一个用户输入,所述至少一个用户输入用于:
从多个高清晰度视频流之中选择所述高清晰度视频流;
执行所述场景的高清晰度视频到所述场景的另一个感兴趣区的摇摄;或
执行所述场景的高清晰度视频的变焦来生成所述场景的感兴趣区的另一个部分的变焦显示。
18. 如权利要求8所述的方法,其进一步包括:
确定所述移动设备相对于所述场景的高清晰度视频的取向的视角;以及
对所述移动设备的显示屏生成数字视频输出,其中所述数字视频的输出包括被变焦和摇摄以类似于所述移动设备的视角的场景的高清晰度视频的特定部分。
19.如权利要求18所述的方法,其进一步包括:
使用位于所述移动设备的第一侧上的拍摄装置从所述移动设备的第一侧的视角捕捉数字图像,其中所述移动设备的第一侧与所述移动设备的第二侧相对,并且其中所述显示屏位于所述移动设备的第二侧上;
处理用所述拍摄装置捕捉的感兴趣区的图像;
检测所述感兴趣区的图像中的标记;以及
使所述感兴趣区中的标记与视频场景的所述部分的取向相关。
20.如权利要求19所述的方法,其中所述标记是机器可检测标记,所述机器可检测标记包括红外光或机器可检测对象。
21.如权利要求18所述的方法,其进一步包括:
建立与无线网络的连接;
经由与所述无线网络的连接将所述移动设备的位点信息传送到远程视频服务器;以及
响应于所述位点信息经由与所述无线网络的连接从所述远程视频服务器接收所述高清晰度视频流,所述高清晰度视频流从多个高清晰度视频流选择。
22.如权利要求21所述的方法,其中所述移动设备的位点信息包括无线网络信息,所述无线网络信息包括对于所述无线网络的无线接入点的SSID。
23.如权利要求21所述的方法,其中所述移动设备的位点信息包括由所述移动设备从QR码、RFID标签或低能量蓝牙信标读取的标识符。
24.至少一个机器可读存储介质,其包括用于流播视频的指令,所述指令在由机器执行时促使所述机器执行如权利要求8-23所述的方法中的任一个。
25.一种装置,其包括用于执行如权利要求8-23所述的方法中的任一个的部件。
CN201580063854.7A 2014-12-23 2015-12-01 交互式双目镜视频显示器 Active CN107079184B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/581548 2014-12-23
US14/581,548 US9591349B2 (en) 2014-12-23 2014-12-23 Interactive binocular video display
PCT/US2015/063168 WO2016105880A1 (en) 2014-12-23 2015-12-01 Interactive binocular video display

Publications (2)

Publication Number Publication Date
CN107079184A true CN107079184A (zh) 2017-08-18
CN107079184B CN107079184B (zh) 2020-11-17

Family

ID=56131045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580063854.7A Active CN107079184B (zh) 2014-12-23 2015-12-01 交互式双目镜视频显示器

Country Status (6)

Country Link
US (1) US9591349B2 (zh)
EP (1) EP3238445B1 (zh)
JP (1) JP6622308B2 (zh)
KR (1) KR102475595B1 (zh)
CN (1) CN107079184B (zh)
WO (1) WO2016105880A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102016545B1 (ko) * 2013-10-25 2019-10-21 한화테크윈 주식회사 검색 시스템 및 그의 동작 방법
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
US10503264B1 (en) * 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
GB201520509D0 (en) 2015-11-20 2016-01-06 Microsoft Technology Licensing Llc Communication system
GB201520519D0 (en) * 2015-11-20 2016-01-06 Microsoft Technology Licensing Llc Communication system
WO2017160293A1 (en) * 2016-03-17 2017-09-21 Hewlett-Packard Development Company, L.P. Frame transmission
US10530731B1 (en) 2016-03-28 2020-01-07 Snap Inc. Systems and methods for chat with audio and video elements
US10057604B2 (en) * 2016-07-01 2018-08-21 Qualcomm Incorporated Cloud based vision associated with a region of interest based on a received real-time video feed associated with the region of interest
US9948982B2 (en) * 2016-07-05 2018-04-17 Sony Corporation Locality systems and methods for digital broadcasting
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10152959B2 (en) * 2016-11-30 2018-12-11 Plantronics, Inc. Locality based noise masking
US10078909B1 (en) 2017-05-16 2018-09-18 Facebook, Inc. Video stream customization using graphics
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
US10855728B2 (en) * 2017-09-29 2020-12-01 Honeywell International Inc Systems and methods for directly accessing video data streams and data between devices in a video surveillance system
CN110163050B (zh) 2018-07-23 2022-09-27 腾讯科技(深圳)有限公司 一种视频处理方法及装置、终端设备、服务器及存储介质
US11275292B2 (en) 2018-10-22 2022-03-15 Good Sportsman Marketing, Llc Viewing device for optical devices
US11037225B2 (en) * 2019-04-25 2021-06-15 Capital One Services, Llc Generating augmented reality vehicle information for a vehicle captured by cameras in a vehicle lot
US12025711B2 (en) * 2020-03-26 2024-07-02 Mcafee, Llc Crowdsourced reputations for wireless networks
CN112601117B (zh) * 2020-12-11 2022-10-28 海信视像科技股份有限公司 显示设备和内容展示方法
KR102877562B1 (ko) * 2020-12-03 2025-10-28 삼성전자주식회사 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
US20250181293A1 (en) * 2022-01-07 2025-06-05 Ntt Docomo, Inc. Image transmission system and image transmission apparatus
US20240073090A1 (en) * 2022-08-24 2024-02-29 Dell Products, L.P. Contextual move detection and handling during a collaboration session in a heterogenous computing platform

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032495A1 (en) * 2000-10-26 2004-02-19 Ortiz Luis M. Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US20070022445A1 (en) * 2005-07-22 2007-01-25 Marc Arseneau System and Methods for Enhancing the Experience of Spectators Attending a Live Sporting Event, with User Interface Programming Capability
EP1916845A1 (en) * 2006-10-23 2008-04-30 Udo Tschimmel Method and system for transmitting views from within an event area to spectators within the event area
WO2010080639A2 (en) * 2008-12-18 2010-07-15 Band Crashers, Llc Media systems and methods for providing synchronized multiple streaming camera signals of an event
US20100188485A1 (en) * 2004-11-12 2010-07-29 Abrams Michael D Live concert/event video system and method
US20120156983A1 (en) * 2000-10-26 2012-06-21 Front Row Technologies LLC. Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
WO2014025319A1 (en) * 2012-08-08 2014-02-13 National University Of Singapore System and method for enabling user control of live video stream(s)
CN103635954A (zh) * 2011-02-08 2014-03-12 隆沙有限公司 基于地理和可视信息增强可视数据流的系统
US20140150032A1 (en) * 2012-11-29 2014-05-29 Kangaroo Media, Inc. Mobile device with smart gestures
US20140300687A1 (en) * 2013-04-04 2014-10-09 Sony Corporation Method and apparatus for applying a border to an image

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060174297A1 (en) * 1999-05-28 2006-08-03 Anderson Tazwell L Jr Electronic handheld audio/video receiver and listening/viewing device
US7812856B2 (en) * 2000-10-26 2010-10-12 Front Row Technologies, Llc Providing multiple perspectives of a venue activity to electronic wireless hand held devices
US7366541B2 (en) * 2003-01-23 2008-04-29 Palm, Inc. Mobile telephone fitted with a pivotal camera
FR2878641B1 (fr) * 2004-11-26 2007-07-06 Eastman Kodak Co Procede de navigation automatique contrainte vers des regions d'interet d'une image
US20070109324A1 (en) 2005-11-16 2007-05-17 Qian Lin Interactive viewing of video
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
EP2150057A3 (en) * 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
CN102439972B (zh) 2009-02-27 2016-02-10 基础制造有限公司 基于耳机的电信平台
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
US9083956B2 (en) 2009-09-28 2015-07-14 Samsung Electronics Co., Ltd. System and method for creating 3D video
US8953022B2 (en) * 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US9930225B2 (en) 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US20130249947A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
US9344606B2 (en) 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
JP2013161390A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US9661047B2 (en) 2012-04-30 2017-05-23 Mobilatv Ltd. Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
US8825374B2 (en) * 2012-06-05 2014-09-02 At&T Intellectual Property I, L.P. Navigation route updates
EP2936795A4 (en) * 2012-12-19 2016-07-27 Fanpics Llc CAPTURE, PROCESSING AND DELIVERY OF IMAGES AT GROUP EVENTS
US20150178817A1 (en) * 2013-06-06 2015-06-25 Zih Corp. Method, apparatus, and computer program product for enhancement of fan experience based on location data
US20150007238A1 (en) * 2013-06-26 2015-01-01 Delaware General Corporation Systems and mehtods for content streaming to event spectators
US9729711B2 (en) * 2013-09-27 2017-08-08 GreatCall, Inc. Unintentional call detection and response
KR20150133496A (ko) * 2014-05-20 2015-11-30 (주)에프엑스기어 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
JP6459380B2 (ja) * 2014-10-20 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032495A1 (en) * 2000-10-26 2004-02-19 Ortiz Luis M. Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US20120156983A1 (en) * 2000-10-26 2012-06-21 Front Row Technologies LLC. Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user
US8319845B2 (en) * 2000-10-26 2012-11-27 Front Row Technologies In-play camera associated with headgear used in sporting events and configured to provide wireless transmission of captured video for broadcast to and display at remote video monitors
US20100188485A1 (en) * 2004-11-12 2010-07-29 Abrams Michael D Live concert/event video system and method
US20070022445A1 (en) * 2005-07-22 2007-01-25 Marc Arseneau System and Methods for Enhancing the Experience of Spectators Attending a Live Sporting Event, with User Interface Programming Capability
EP1916845A1 (en) * 2006-10-23 2008-04-30 Udo Tschimmel Method and system for transmitting views from within an event area to spectators within the event area
WO2010080639A2 (en) * 2008-12-18 2010-07-15 Band Crashers, Llc Media systems and methods for providing synchronized multiple streaming camera signals of an event
CN103635954A (zh) * 2011-02-08 2014-03-12 隆沙有限公司 基于地理和可视信息增强可视数据流的系统
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
WO2014025319A1 (en) * 2012-08-08 2014-02-13 National University Of Singapore System and method for enabling user control of live video stream(s)
US20140150032A1 (en) * 2012-11-29 2014-05-29 Kangaroo Media, Inc. Mobile device with smart gestures
US20140300687A1 (en) * 2013-04-04 2014-10-09 Sony Corporation Method and apparatus for applying a border to an image

Also Published As

Publication number Publication date
JP6622308B2 (ja) 2019-12-18
WO2016105880A1 (en) 2016-06-30
KR20170107424A (ko) 2017-09-25
EP3238445A4 (en) 2018-11-14
EP3238445A1 (en) 2017-11-01
EP3238445B1 (en) 2022-03-30
JP2018505584A (ja) 2018-02-22
KR102475595B1 (ko) 2022-12-08
US20160182940A1 (en) 2016-06-23
US9591349B2 (en) 2017-03-07
CN107079184B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN107079184B (zh) 交互式双目镜视频显示器
JP7169405B2 (ja) 複合現実システムのための位置特定の決定
US10445941B2 (en) Interactive mixed reality system for a real-world event
EP4583514A1 (en) Information processing device, information processing method, and program
US10277813B1 (en) Remote immersive user experience from panoramic video
US11956546B2 (en) Selecting spectator viewpoints in volumetric video presentations of live events
US9392248B2 (en) Dynamic POV composite 3D video system
EP3503101A1 (en) Object based user interface
CN106803966A (zh) 一种多人网络直播方法、装置及其电子设备
US10156898B2 (en) Multi vantage point player with wearable display
US20160073013A1 (en) Handheld multi vantage point player
US20150222935A1 (en) Venue specific multi point image capture
JP2015225529A (ja) 情報処理装置、情報処理方法及びプログラム
CN108780581B (zh) 信息处理装置、信息处理方案以及程序
WO2018017936A1 (en) Systems and methods for integrating and delivering objects of interest in video
WO2017133147A1 (zh) 一种实景地图的生成方法、推送方法及其装置
US20150304724A1 (en) Multi vantage point player
US11657574B2 (en) Systems and methods for providing an audio-guided virtual reality tour
US20180227572A1 (en) Venue specific multi point image capture
US10664225B2 (en) Multi vantage point audio player
JP2020042407A (ja) 情報処理装置、情報処理方法及びプログラム
US20180278995A1 (en) Information processing apparatus, information processing method, and program
US10694245B2 (en) Device, system, and method for game enhancement using cross-augmentation
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
WO2024001223A1 (zh) 一种显示方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant