[go: up one dir, main page]

CN102339165A - 交互式显示器 - Google Patents

交互式显示器 Download PDF

Info

Publication number
CN102339165A
CN102339165A CN2011102854879A CN201110285487A CN102339165A CN 102339165 A CN102339165 A CN 102339165A CN 2011102854879 A CN2011102854879 A CN 2011102854879A CN 201110285487 A CN201110285487 A CN 201110285487A CN 102339165 A CN102339165 A CN 102339165A
Authority
CN
China
Prior art keywords
display screen
layer
camera
projector
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102854879A
Other languages
English (en)
Other versions
CN102339165B (zh
Inventor
T.拉奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102339165A publication Critical patent/CN102339165A/zh
Application granted granted Critical
Publication of CN102339165B publication Critical patent/CN102339165B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0205Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/0236Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0273Diffusing elements; Afocal elements characterized by the use
    • G02B5/0284Diffusing elements; Afocal elements characterized by the use used in reflection
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • G03B21/56Projection screens
    • G03B21/60Projection screens characterised by the nature of the surface
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/132Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/134Projectors combined with typing apparatus or with printing apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)

Abstract

本文公开了涉及交互式显示器的前投射的实施例。一个公开的实施例提供一种包括投影仪和被配置成显示由投影仪投射的图像的显示屏的交互式显示系统,所述显示屏包括回射层和覆盖该回射层的扩散层,该扩散层被配置成仅扩散地反射从投影仪入射在扩散层上的光的一部分,使得光的另一部分穿过扩散层并且被回射层向后反射通过该扩散层。该交互式显示系统还包括照相机,该照相机被配置成经由回射层所反射的光捕获显示屏的图像以经由该图像识别在投影仪与显示屏之间执行的用户姿势。

Description

交互式显示器
背景技术
与监视器和键盘或其他这样的输入设备相比,诸如表面计算设备之类的交互式显示设备可以通过对象的表面与用户交互。各种类型的触摸感测机构(包括但不限于光学的和电容性的触摸感测机构)可以实现对交互式表面上多个时间重叠的触摸的感测。这种触摸感测机构可以实现对基于触摸和基于姿势(gesture)的输入的识别,从而提供丰富的用户体验。
发明内容
本文公开了涉及交互式显示器的前投射的各种实施例。例如,一个公开的实施例提供包括投影仪和被配置成显示由投影仪投射的图像的显示屏的交互式显示系统,该显示屏包括回射层和覆盖该回射层的扩散层,该扩散层被配置成扩散地反射从投影仪入射在扩散层上的光的第一部分,使得光的第二部分穿过扩散层并且被回射层向后反射通过该扩散层。该交互式显示器系统还包括:照相机,其被配置成经由回射层所反射的光捕获显示屏的图像;逻辑子系统;以及数据存储子系统,其存储可由逻辑子系统执行以经由照相机获取图像并经由图像识别(identify)在投影仪和显示屏之间执行的用户姿势的指令。
提供该发明内容以便以简化的形式引入在下文的具体实施方式中进一步描述的构思的选择。该发明内容不旨在标识要求保护的主题的关键特征或必要特征,也不旨在被用于限制要求保护的主题的范围。而且,要求保护的主题不限于本公开的任何部分中记录的解决任何或所有缺陷的实现方式。
附图说明
图1示出交互式显示设备的实施例的视图。
图2示出图1的实施例的框图。
图3示出图1的实施例的显示屏的实施例的截面图。
图4示出与交互式显示设备的实施例交互的用户的示意性描绘。
图5-6示出与交互式显示设备的实施例交互的用户的另一个示意性描绘。
图7示出用在前投射交互式显示设备中的显示屏的另一个实施例的截面图。
图8示出描绘操作交互式显示设备的方法的实施例的流程图。
具体实施方式
如上所提及,交互式显示设备可以经由对象的表面提供用户交互,其中该表面既充当显示设备又充当输入界面。例如,一些表面计算设备可以采取具有水平显示表面的桌样设备的形式,该水平显示表面也被配置成检测触摸输入。可以例如经由背投射机构将图像投射到显示表面上,并且可以例如经由从用户的视角看位于该表面后面的一个或多个红外照相机在显示表面上检测触摸。
尽管桌样交互式显示设备对于许多使用环境而言是有利的,但是其他使用环境可能不那么适合这样的硬件配置。例如,因为背投射交互式显示设备的围起来(enclosed)的投射体积(projection volume)可能相对较大,所以这种设备的壁挂式安装可能是不切实际的。而且,尽管照相机被机械地固定于与这种设备中的投影仪相同的框架,但是该照相机和投影仪不共享光轴。因此,否则在由红外照相机检测的场景和所显示的可见图像之间不存在固定关系,这可以使得在装配期间的对准和偶然的重对准维护成为必需。此外,包含投射体积的物体外壳可以向这种交互式显示设备的制造添加附加的费用。
因此,本文公开了涉及利用前投射向用户显示交互式图像的交互式显示设备的实施例。图1示出这种交互式显示系统100的实施例,且图2示出交互式显示系统100的框图。所描绘的交互式显示系统100包括被配置成将图像投射在显示屏104上的投影仪102,并且还包括被配置成捕获显示屏104的图像的照相机106。尽管显示屏104被示出为水平取向的,且投影仪102被示出为位于显示屏104上方,但是应当理解,投影仪102可以具有与显示屏104的任何其他合适的位置关系。例如,在一些使用环境中,显示屏104可以以垂直取向安装在墙壁上。
如下文更详细描述的,显示屏104包括置于回射层上方的扩散层,其中术语“上方”表示入射光在到达回射层之前穿过扩散层。照此,从投影仪入射在显示屏104上的光的第一部分被扩散层散射,而第二部分穿过扩散层并且被回射层向后反射通过扩散层且朝向投影仪102和照相机106。扩散地反射的光使得能够从用户位置的宽范围观看被投射的图像,而回射的(retroreflected)光方便了对与所述系统交互的对象的光学检测。
在图1中,扩散地反射的光用在每个图示的入射光线处从显示屏延伸的短箭头图示,并且回射的光用从显示屏伸出的平行于每个入射光线的较长的箭头图示。在图2中,回射的光被图示为以相对于入射光线微小的角度从显示屏朝向照相机和投影仪延伸的两条光线。这是为了说明回射器(retroreflector)可以反射一些由于回射层的反射表面的微小变化引起的稍微不平行于入射光线的光。因此,相对于投影仪的轴而离轴定位的照相机仍然可以检测来自显示屏的回射的光,只要照相机位于接收该不平行的回射的光的位置处。
参照图2,在一些实施例中,偏振器202可以被用于经由偏振光投射图像。同样,偏振分析器204可以位于照相机106前面。如下文更详细描述的,这可以方便显示屏104上的阴影检测和/或触摸检测。而且,在一些实施例中,交互式显示设备100还可以包括第二照相机206。第二照相机206的使用可以允许获取范围数据,并且由此可以允许确定用户的手和显示屏104的表面之间的距离。
所述交互式显示系统进一步包括与投影仪102、照相机106和可选的第二照相机206电通信的计算设备210。计算设备210包括逻辑子系统212和数据保持子系统214。逻辑子系统212可以包括一个或多个被配置成执行一个或多个指令的物理设备。例如,逻辑子系统可以被配置成执行一个或多个指令以连同其他任务一道执行本文所公开的方法的各种实施例,所述指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑结构的部分。这样的指令可以被实现为执行任务、实现数据类型、变换一个或多个设备的状态或另外地达到期望的结果。
逻辑子系统212可以包括被配置成执行软件指令的一个或多个处理器。此外或可替代地,逻辑子系统212可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统212的处理器可以是单核或多核,并且其上执行的程序可以被配置用于并行或分布式处理。逻辑子系统212可以可选地包括遍及两个或更多设备分布的各个组件,其可以位于远处并且/或者被配置用于协调的处理。逻辑子系统212的一个或多个方面被虚拟化并被在云计算配置中配置的远程可访问的联网计算设备执行。
数据保持子系统214可以包括一个或多个被配置成保持可由逻辑子系统执行以实现本文所描述的方法和过程的数据和/或指令的物理设备。当这样的方法和过程被实现时,数据保持子系统214的状态可以被变换(例如,以保持不同的数据)。
数据保持子系统214可以包括可移动介质和/或内置设备。数据保持子系统214尤其可以包括光存储设备(例如,CD、DVD、HD-DVD、蓝光盘等等)、半导体存储设备(例如,RAM、EPROM、EEPROM等等)和/或磁存储设备(例如硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等等)。数据保持子系统214可以包括具有下述特性的一个或多个的设备:易失性的、非易失性的、动态的、静态的、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和内容可寻址。在一些实施例中,逻辑子系统212和数据保持子系统214可以集成到一个或多个共同设备(例如专用集成电路或片上系统)中。
图2还以一个或多个可移动计算机可读存储介质216的形式示出数据保持子系统的一个方面,其可以用于存储和/或传递数据和/或可执行以实现本文所描述的方法和过程的指令。可移动计算机可读存储介质216尤其可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
投影仪102可以用于呈现数据保持子系统214所保持的数据的视觉表现(representation)。因为本文所描述的方法和过程改变了由数据保持子系统保持的数据并且因此变换了数据保持子系统的状态,所以投影仪102的状态同样可以被变换以在显示屏104上视觉地表现基础数据(underlying data)的变化。
计算设备210可以进一步包括其他组件,例如通信子系统218。当包括通信子系统时,该通信子系统218可以被配置成将计算系统与一个或多个其他计算设备通信地耦合,并且可以包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性实例,通信子系统218可以被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中,这种通信子系统218可以允许计算设备210经由诸如因特网之类的网络向其他设备发送消息和/或从其他设备接收消息。
如上所提及,显示屏114被配置成扩散地反射光的第一部分,而回射光的另一部分。图3图示了用于在交互式显示设备中显示前投射图像的显示屏104的实施例的截面图。所描绘的前投射显示屏包括支撑回射层302的支持层(backing layer)300。粘结层304(或其他合适的层)被置于回射层302和扩散层306之间。而且,表面层308可以被置于扩散层上方以实现期望的表面特性,例如强度、损伤阻抗、触觉性质(property)等等。
扩散层306和回射层302协作来扩散地反射入射光的第一部分,使得就从用户位置的范围观看而言,投射图像具有合适的亮度和强度分布;并且将光的第二部分向后朝向投影仪和照相机(一个或多个)回射以方便检测显示器前面的对象。照此,置于投影仪和显示屏之间的对象将在显示屏前面表现为阴影,因为这种对象不是回射的。甚至放置在显示屏上的白纸可以容易地与白色扩散层306区分,这归因于白纸阻挡光到达其后的回射层而引起的阴影。
任何合适的回射结构可以被用作回射层302。在一个实例中,可以通过将角锥模压(emboss)到PET薄膜上以形成棱镜阵列来形成回射层。一般地,回射材料可以具有任意大的屏增益(即传播回到投影仪的光的比例,作为将从扩散屏传播回到投影仪的光的分数)。因此,回射层302可以被配置成具有任何合适的增益,包括但不限于1000或更多的增益。应当理解,也可以使用增益低于1000的回射层。合适的回射层的实例包括但不限于由Reflexite Display Optics Corporation of Avon, Connecticut制造的微结构反射材料(Micro-Structured Reflective Materials)。
扩散层306同样可以具有任何合适的配置。例如,扩散层306可以包括衬底上白色点的丝网印刷图案、合适的白色结构(fabric)层和/或任何其他合适的扩散结构。扩散层306可以被配置成扩散地反射任何合适比例的入射光。入射光的合适比例包括足以跨视角范围实现投射图像的期望亮度并且还足以允许光的合适部分向后朝向投影仪和照相机回射的比例。在特定实施例中,扩散层306可以被配置成扩散地反射入射光的介于60-90%,使得入射光的介于10-40%被回射层302反射。应当理解,上文所描述的范围是为了实例的目的而提出的,且不旨在以任何方式进行限制。
在扩散入射光的90%且以~1000的增益回射入射光的10%的显示屏的特定实例中,在投影仪处观看的光强度在亮度上是由观看者观看的扩散地反射的光的100倍,这归因于比计数扩散层的扩散反射更多的回射器的增益。结果,与用户相比,照相机看到投射的光的明亮得多的图像。而且,如上所提及,因为置于屏前面的对象不是回射的并且使相对较少量的光返回到照相机,所以这样的对象对照相机表现为暗的,而不管颜色、表面纹理和/或对象的颜色。
应当理解,系统性能可以是除与回射的光相比扩散地反射的光的量以外的其他变量的函数。这样的变量的实例包括投影仪输出功率、显示屏面积、显示器亮度、回射器增益、环境照度、非回射的环境。下面的表1示出这样的变量的实例值:这样的变量可以导致与从显示屏回射的光相比从显示屏上的一张白纸扩散地反射的光的对比率(contrast ratio),其中这些实例值导致近似9的对比率。在一些实施例中,大于2的对比率可以允许足够的视觉系统性能。然而,应当理解,低于2的对比率也可以用在一些环境和应用中。应当理解,这些值是为了实例的目的提出的,且不旨在以任何方式进行限制。
表1
Figure 493065DEST_PATH_IMAGE001
显示屏104可以具有任何合适的形状和取向。例如,显示屏104可以是平坦的,或者可以具有表面轮廓。而且,显示屏104可以水平布置(例如作为桌子的表面)、垂直布置(例如安装在墙壁上),或者具有相对于投影仪102的任何其他合适的取向。而且,投影仪102可以具有相对于显示屏104的任何合适的位置和取向,并且可以或不可以在垂直于屏的方向上将光投射到屏上。
照相机106可以具有相对于投影仪的任何合适位置,在该位置处照相机106可以检测适当强度的回射光以允许对象检测。应当理解,到达照相机106的回射光的量可以是照相机106的位置和回射层302的精密度的函数。用于描述回射层的术语“精密度”是指由回射层反射的光锥的宽度以及角强度分布,其中更精密的回射层在与入射光平行的方向上反射引导较窄的光锥和/或较多的反射光,而不那么精密的回射层平行于入射光反射具有较低强度的较宽光锥。
在一些实施例中,照相机106可以与投影仪共享共同的光轴。这可以帮助提供显示屏前面的对象的明亮的、高对比度图像。应当理解,在这样的实施例中,分束器和其他这样的光学器件可以用于朝向照相机重定向从回射器接收的光。
在如图1和2中描绘的其他实施例中,照相机106可以靠近投影仪102放置,使得投影仪和照相机的光轴在空间上靠近但它们不共有光轴。在此情况下,稍微不那么精密的回射层的使用可以允许更多的光到达照相机106。这可以允许省略分束器和另外用于配置投影仪102和照相机106的公共光轴的其他这样的光学器件。在这样的实施例中,将照相机106靠近投影仪102放置可以帮助避免由照相机106获取的图像中的视差。
如上所述,放置在投影仪102和显示屏104之间的对象在由照相机106获取的图像中表现为暗的。因此,用户可以经由在投影仪102和显示屏104之间做出的姿势(动作和/或姿态(posture))与交互式显示系统100交互。作为姿势的一个实例,由用户的手所做出的捏(pinch)姿态可以对照相机表现为暗环(dark hoop)。作为其他实例,伸展的手可以表示保持姿势,而指点的手指可以表示推的姿势。因此,这种跨显示器的姿态的移动可以被计算设备210解释为不同的输入,并且可以唤起来自计算设备的不同的响应。
图4-6图示了用户经由在显示屏104上做出的姿势与交互式显示系统100交互的实例。首先,图4图示了用于跨越显示屏104绘制线402的捏姿势400。如前所提及,用户的手的姿态对照相机106表现为显示屏104上的暗环。因为在用户手指404和显示器表面之间不存在实质上的视差,所以计算设备210可以被配置成生成并显示响应图像,使得对该姿势的视觉响应在用户的手指404的阴影406的位置处显示。当用户跨显示屏104移动“捏”姿势时,这在图4中被图示为从用户的手指的阴影406出现的线402。应当理解,例如,用户可以通过打开手指404以停止“捏”姿势来终止绘制该线。
图5和6图示了用户与交互式显示系统100的其他实例交互。首先,参照图5,用户执行“窄捏”姿势500,使得由用户的手形成的环具有相对较窄的宽度。作为响应,计算设备210可以生成跟随用户手指的相对较窄的线502的显示。接下来参照图6,用户执行“宽捏”姿势600,使得由用户的手形成的环具有相对较宽的宽度。作为响应,计算设备210可以生成跟随用户手指的相对较宽的线602的显示。因此,与在显示屏104前面放置的对象相比,由回射层302提供的图像对比度可以允许当用户在执行姿势的同时动态地改变姿态时产生相对精细的差别,并且还允许基于将动态地做出的手姿态的这种变化提供给用户的视觉反馈。
计算设备210还可以被配置成对对象而不是用户的手做出响应并与之交互。例如,如果放置在显示屏104之上的对象在图像数据中被检测到,则计算设备210可以移除由对象描出轮廓(outline)的投射图像的部分并且用另一个图像替代该部分。作为更特定的实例,计算设备210可以被配置成将文字(writing)投射到显示屏104上检测到的空白纸张上。同样,空白书可以具有投射到其上的图像。
在另一个实施例中,IR(红外)光源可以被添加到投影仪102。例如,在投影仪102由LED光源220(被描述为RGB源)供电的场合,可以添加IR(红外)LED光源222。LED投影仪可以是场序的,因为它们示出顺序的红色、绿色和蓝色图像。如果IR LED 222被添加,则第四帧可以被添加到序列中,其中第四帧是IR而不是红色、绿色或蓝色。以此方式,IR帧可以是均匀明亮的IR图像,从而提供均匀的背景。这可以帮助提供与对象位于可见的非均匀投射图像背景的前面的场合相比关于识别来自照相机106的图像中的对象的更多的确定性。甚至在真黑图像被投影仪显示的场合,这也可以实现对象检测。在另一个实施例中,计算设备210可以被配置成压缩投射图像的动态范围,使得图像的真黑部分被修改为不是真黑的。本文所使用的术语“真黑”是指其中回射不足以可被照相机检测的光的图像部分。尽管所描述的实施例的红外光源被示出为位于投影仪内部,但是应当理解,该红外光源可以具有任何其他合适的位置,并且被配置成检测回射的红外光的照相机同样可以具有任何合适的位置。
如前所提及,在一些实施例中,第二照相机206可以被添加以帮助获取范围信息。例如,在第二照相机206相对于第一照相机106和投影仪102离轴设置的场合(例如使得第二照相机不接收回射的光),则可以通过比较来自第一照相机106的回射图像和来自第二照相机206的扩散图像来确定范围信息(例如照相机的视域中的对象和显示屏104之间的距离)。
如前所提及,在一些实施例中,交互式显示设备100可以被配置为经由偏振光投射图像。回射层302使偏振光的偏振平面旋转,而扩散层306移除偏振。因此,通过使用可切换的分析器、一对正交偏振的照相机或其他这样的装置,可以区分显示屏104的表面上或其上方放置的对象的阴影与对象本身。这可以帮助实现与对象的更精确的交互。
在一些实施例中,偏振光还可以用于区分触摸显示屏104的对象与定位在显示屏106之上的对象。例如,显示屏可以包括展现出高应力诱导双折射的材料层。这样的材料的实例包括弹性体,例如聚氨酯、硅橡胶和乙烯基橡胶。当所述材料层由于触摸而变形时,这样的材料修改穿过该层的光的偏振(例如使该光旋转和/或去偏振)。图7示出这种前投射显示屏700的实例实施例。显示屏700包括支撑回射层704的支持层702和将扩散层708粘结到回射层704的粘结层706或类似物。而且,展现高应力诱导双折射的材料层710被置于扩散层708的上方。
展现高应力诱导双折射的材料层710在层未变形时不改变穿过该层的光的偏振,但是在层由于触摸而变形时确实改变穿过该层的光的偏振,如在712处所示。因此,当通过适当取向的偏振分析器观看时,从回射层704反射的偏振的入射光在触摸附近与未受触摸影响的区域相比具有更小的强度。
图8示出描述操作交互式显示设备的方法800的实施例的流程图。方法800包括:在802处,经由投影仪将图像投射到前投射显示屏上。如上所提及且在804处所示,在一些实施例中投射的光可以被偏振以辅助阴影和/或触摸检测。而且,如上所述且在805处所示,除了可见图像之外,可以周期性地投射IR图像。
方法800进一步包括:在806处,经由显示屏的扩散层扩散地反射入射在显示屏上的光的第一部分;以及在 808处,使入射在显示屏上的光的第二部分穿过扩散层到达回射层并且然后从该回射层向后通过扩散层离开显示屏。任何合适比例的入射光可被扩散并从显示屏回射。例如,在一些实施例中,光的第二部分包括显示屏上从投影仪接收的光的10-40%,且光的第一部分包括入射光的60-90%。应当理解,这些范围是为了实例的目的提出的,并且不旨在以任何方式进行限制。
方法800接下来包括:在810处,利用照相机经由来自显示屏的回射的光捕获图像序列。由照相机获取的图像可以是可见图像,如812处所示,和/或红外图像,如814处所示。然后,在816处,方法800包括根据图像序列检测显示屏和照相机之间的对象。该对象可以包括用户的手或臂、无生命对象、有生命和无生命对象的组合等等。此外,可以从图像系列中检测出用户姿势、对象的移动和其他随时间变化的交互。应当理解,可以经由如上所述的用于检测范围信息的两个或更多照相机来检测图像。
而且,可以根据所述图像系列检测出多个时间重叠的交互。还有,在投影仪投射偏振的图像的场合,偏振分析器和/或其他适当的光学器件可以被用于检测对象阴影,如818处所示,并且/或者如820处所示,用于检测触摸信息(例如通过由于显示屏上展现高应力诱导双折射的材料层的变形而引起的反射强度的减少)。
方法800继续包括:在822处,将图示对检测到对象的响应的图像投射到显示屏上。任何合适的一个图像或多个图像可以响应于检测到对象而被投射。例如,投射图像中的图形虚拟对象,例如线、形状、文本、图标、图像、背景等等,可以响应于被检测的对象而被添加、修改、移动和/或删除;应用可以开始或停止;媒体文件的回放可以开始或终止;和/或任何其他合适的响应可以被投射到显示器上。应当理解,这些特定用户交互是为了实例的目的提出的,并且不旨在以任何方式进行限制。
根据本文所描述的实施例的交互式显示设备可以提供在多种取向和使用环境中的节省成本的安装。应当理解,本文所描述的配置和/或途径本质上是示范性的,并且这些特定实施例或实例将不在限制的意义下被考虑,因为许多变化是可能的。本文所描述的特定例程和方法可以代表任意数量的处理策略中的一个或多个。照此,所说明的各种动作可以以所说明的顺序、以其他顺序、并行地执行或在某些情况下被省略。同样,上述过程的顺序可以被改变。
本公开的主题包括本文所公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合,以及其任意和所有等价物。

Claims (15)

1.一种交互式显示系统(100),包括:
投影仪(102);
显示屏(104),其被配置成显示由投影仪(102)投射的图像,该显示屏(104)包括
  回射层(302),和
  覆盖回射层(302)的扩散层(306),该扩散层(306)被配置成扩散地反射从投影仪(102)入射在扩散层(306)上的光的第一部分,使得光的第二部分穿过扩散层(306)并被回射层(302)向后反射通过扩散层(306);
照相机(106),其被定位成从照相机(106)接收由回射层(302)反射的光的位置捕获显示屏(104)的图像;
逻辑子系统(212);以及
数据存储子系统(214),其存储可由逻辑子系统(212)执行以经由照相机(106)获取图像并经由图像识别在投影仪(102)和显示屏(104)之间执行的用户姿势的指令。
2.权利要求1的系统,其中照相机被配置成获取显示屏的可见图像。
3.权利要求1的系统,其中扩散层被配置成扩散地反射从投影仪入射在显示屏上的光的60-90%,并且允许从投影仪入射在显示屏上的光的10-40%被回射器反射。
4.权利要求1的系统,其中所述指令是可执行的以压缩投射图像的动态范围以修改投射图像的真黑部分,使之不是真黑。
5.权利要求1的系统,其中照相机是第一照相机,并且进一步包括被配置成从与第一照相机不同的位置捕获显示屏的图像的第二照相机。
6.权利要求1的系统,其中投影仪被配置成投射偏振的光,并且其中所述系统进一步包括定位在显示屏和照相机之间的偏振分析器。
7.权利要求1的系统,进一步包括被配置成投射红外光到显示屏上的红外光源,并且其中该照相机被配置成检测红外光。
8.权利要求7的系统,其中显示屏进一步包括包括聚氨酯、硅橡胶和乙烯基橡胶中的一种或多种的层。
9.权利要求1的系统,其中逻辑子系统被配置成经由投影仪显示对用户姿势的响应。
10.一种操作交互式显示系统的方法(800),该方法(800)包括:
经由投影仪将图像投射(802)到显示屏上;
经由显示屏的扩散层扩散(806)入射在显示屏上的光的第一部分;
使入射在显示屏上的光的第二部分穿过(808)扩散层到达回射层并且然后从回射层将光的第二部分向后反射通过扩散层,其中光的第二部分包括在显示屏上从投影仪接收的光的10-40%;
通过照相机经由从显示屏回射的光捕获(810)图像序列;
根据显示屏的图像序列,检测(816)显示屏和照相机之间的对象;以及
将图示对对象的检测的响应的图像投射(822)到显示屏上。
11.权利要求10的方法,其中捕获图像序列包括捕获可见图像序列。
12.权利要求10的方法,其中捕获图像序列包括经由两个或更多个照相机捕获图像序列。
13.权利要求10的方法,其中扩散入射在显示屏上的光的第一部分包括扩散入射在显示屏上的光的60-90%。
14.权利要求10的方法,其中投射图像包括投射偏振的光,并且其中捕获图像包括利用显示屏和照相机之间的偏振分析器。
15.权利要求10的方法,其中投射图像包括投射偏振的光,并且其中捕获图像包括检测由于包括聚氨酯、硅橡胶和乙烯基橡胶中的一种或多种的层的变形而引起的强度的降低。
CN201110285487.9A 2010-09-24 2011-09-23 交互式显示器 Expired - Fee Related CN102339165B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/889778 2010-09-24
US12/889,778 US8682030B2 (en) 2010-09-24 2010-09-24 Interactive display

Publications (2)

Publication Number Publication Date
CN102339165A true CN102339165A (zh) 2012-02-01
CN102339165B CN102339165B (zh) 2014-11-12

Family

ID=45514926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110285487.9A Expired - Fee Related CN102339165B (zh) 2010-09-24 2011-09-23 交互式显示器

Country Status (5)

Country Link
US (1) US8682030B2 (zh)
EP (1) EP2619640B1 (zh)
CN (1) CN102339165B (zh)
TW (1) TWI526875B (zh)
WO (1) WO2012039969A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850116A (zh) * 2013-12-27 2016-08-10 索尼公司 控制装置、控制方法和计算机程序
CN106415439A (zh) * 2013-11-21 2017-02-15 惠普发展公司,有限责任合伙企业 用于镜面反射红外光的投影屏幕
CN107148595A (zh) * 2014-10-27 2017-09-08 米拉维兹公司 一种用于反射器显示器的入射角优化的方法
CN113168083A (zh) * 2018-12-10 2021-07-23 环球城市电影有限责任公司 动画窗系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872799B2 (en) * 2011-06-20 2014-10-28 The Regents Of The University Of California Scalable distributed/cooperative/collaborative paradigm for multi-user interaction with projection-based display walls
US9030445B2 (en) * 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US9025111B2 (en) * 2012-04-20 2015-05-05 Google Inc. Seamless display panel using fiber optic carpet
US8823641B2 (en) * 2012-05-22 2014-09-02 Delphi Technologies, Inc. System for projecting 3D images and detecting gestures
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
KR101382287B1 (ko) * 2012-08-22 2014-04-08 현대자동차(주) 적외선을 이용한 터치스크린 및 그 터치스크린의 터치 인식장치 및 방법
US9297942B2 (en) * 2012-10-13 2016-03-29 Hewlett-Packard Development Company, L.P. Imaging with polarization removal
US9164596B1 (en) 2012-10-22 2015-10-20 Google Inc. Method and apparatus for gesture interaction with a photo-active painted surface
US9454265B2 (en) 2013-09-23 2016-09-27 Qualcomm Incorporated Integration of a light collection light-guide with a field sequential color display
US20150083917A1 (en) * 2013-09-23 2015-03-26 Qualcomm Incorporated Infrared light director for gesture or scene sensing fsc display
US20150102993A1 (en) * 2013-10-10 2015-04-16 Omnivision Technologies, Inc Projector-camera system with an interactive screen
US9320201B2 (en) * 2013-12-20 2016-04-26 Elwha Llc Reflective articles and methods for increasing photosynthesis
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US9653044B2 (en) 2014-02-14 2017-05-16 Microsoft Technology Licensing, Llc Interactive display system
WO2017095341A1 (en) * 2015-12-04 2017-06-08 Koc Universitesi Physical object reconstruction through a projection display system
US10685580B2 (en) * 2015-12-31 2020-06-16 Flightsafety International Inc. Apparatus, engine, system and method of providing simulation of and training for the operation of heavy equipment
WO2018191550A1 (en) * 2017-04-13 2018-10-18 Mirraviz, Inc. Retroreflective display systems configured to display images using shaped light profile
US9989777B1 (en) 2017-06-05 2018-06-05 Disney Enterprises, Inc. Accurate and balanced lighting in a pepper's ghost projection system for live cinematic performances
US10593240B2 (en) 2017-06-08 2020-03-17 Medos International Sàrl User interface systems for sterile fields and other working environments
CN107918490B (zh) * 2017-11-22 2022-05-31 联想(北京)有限公司 一种控制方法及电子设备
EP3876083B1 (en) * 2018-11-01 2024-11-20 Sony Group Corporation Information processing device, information processing method, and program
US10924645B2 (en) 2018-11-29 2021-02-16 Microsoft Technology Licensing, Llc Polarization imaging to detect display screen
US11050944B2 (en) 2018-11-29 2021-06-29 Microsoft Technology Licensing, Llc Switched polarization imaging to detect display screen
CN113821103B (zh) * 2021-08-20 2023-12-05 苏州创捷传媒展览股份有限公司 一种屏上物体识别展示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1286761A (zh) * 1998-01-13 2001-03-07 美国3M公司 逆向反射的二向色反射器
CN1525539A (zh) * 2003-02-28 2004-09-01 茂德科技股份有限公司 防止阻挡层被过度蚀刻的方法与结构及其应用
CN1918532A (zh) * 2003-12-09 2007-02-21 雷阿卡特瑞克斯系统公司 自容交互式视频显示系统
US20080013826A1 (en) * 2006-07-13 2008-01-17 Northrop Grumman Corporation Gesture recognition interface system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6481857B2 (en) 1997-12-16 2002-11-19 Reflexite Corporation Perforated retroreflective film
US6381068B1 (en) * 1999-03-19 2002-04-30 3M Innovative Properties Company Reflective projection screen and projection system
KR100421002B1 (ko) * 2001-03-07 2004-03-03 삼성전자주식회사 전면 투사형 스크린
US6796656B1 (en) 2003-06-14 2004-09-28 Imatte, Inc. Generating a matte signal from a retro reflective component of a front projection screen
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
CN101809498A (zh) 2007-09-25 2010-08-18 夏普株式会社 屏幕
US7874681B2 (en) 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US20090219253A1 (en) 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8042949B2 (en) 2008-05-02 2011-10-25 Microsoft Corporation Projection of images onto tangible user interfaces
US8643691B2 (en) 2008-05-12 2014-02-04 Microsoft Corporation Gaze accurate video conferencing
US8952894B2 (en) 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1286761A (zh) * 1998-01-13 2001-03-07 美国3M公司 逆向反射的二向色反射器
CN1525539A (zh) * 2003-02-28 2004-09-01 茂德科技股份有限公司 防止阻挡层被过度蚀刻的方法与结构及其应用
CN1918532A (zh) * 2003-12-09 2007-02-21 雷阿卡特瑞克斯系统公司 自容交互式视频显示系统
US20080013826A1 (en) * 2006-07-13 2008-01-17 Northrop Grumman Corporation Gesture recognition interface system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415439A (zh) * 2013-11-21 2017-02-15 惠普发展公司,有限责任合伙企业 用于镜面反射红外光的投影屏幕
CN106415439B (zh) * 2013-11-21 2020-04-10 惠普发展公司,有限责任合伙企业 用于镜面反射红外光的投影屏幕
CN105850116A (zh) * 2013-12-27 2016-08-10 索尼公司 控制装置、控制方法和计算机程序
CN107148595A (zh) * 2014-10-27 2017-09-08 米拉维兹公司 一种用于反射器显示器的入射角优化的方法
CN113168083A (zh) * 2018-12-10 2021-07-23 环球城市电影有限责任公司 动画窗系统
CN113168083B (zh) * 2018-12-10 2023-05-05 环球城市电影有限责任公司 动画窗系统

Also Published As

Publication number Publication date
CN102339165B (zh) 2014-11-12
EP2619640B1 (en) 2020-06-17
WO2012039969A3 (en) 2012-07-12
TWI526875B (zh) 2016-03-21
US8682030B2 (en) 2014-03-25
EP2619640A2 (en) 2013-07-31
TW201214200A (en) 2012-04-01
US20120076353A1 (en) 2012-03-29
EP2619640A4 (en) 2015-12-30
WO2012039969A2 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
US8682030B2 (en) Interactive display
KR101258587B1 (ko) 자체로서 완비된 상호작용 비디오 디스플레이 시스템
US8775971B2 (en) Touch display scroll control
US9348463B2 (en) Retroreflection based multitouch sensor, method and program
US7710391B2 (en) Processing an image utilizing a spatially varying pattern
RU2579952C2 (ru) Система и способ мультисенсорного взаимодействия и подсветки на основе камеры
US8035612B2 (en) Self-contained interactive video display system
US8446367B2 (en) Camera-based multi-touch mouse
CN102681733B (zh) 光学触摸探测
US20120023423A1 (en) Orientation free user interface
US10268277B2 (en) Gesture based manipulation of three-dimensional images
JP2017514232A (ja) 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能
KR20080098374A (ko) 인터랙티브 디스플레이 조명 및 개체 검출 방법과 인터랙티브 디스플레이 시스템
HK1209254A1 (zh) 具有交互屏幕的投影儀-相機系統
WO2023028569A1 (en) Product comparison and upgrade in a virtual environment
CN101587404A (zh) 基于摄像头的后定位装置和方法及其应用
Chan et al. On top of tabletop: A virtual touch panel display
US20170357373A1 (en) Unintended touch rejection
Hušek Multi-touch Table with Image Capturing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141112

CF01 Termination of patent right due to non-payment of annual fee