CN1973555B

CN1973555B - 接近辅助3d再现

Info

Publication number: CN1973555B
Application number: CN2005800208174A
Authority: CN
Inventors: 亨里克·松德斯特伦; 约翰·格利克松
Original assignee: Sony Ericsson Mobile Communications AB
Current assignee: Sony Mobile Communications AB
Priority date: 2004-06-24
Filing date: 2005-06-20
Publication date: 2010-05-05
Anticipated expiration: 2025-06-20
Also published as: US8300043B2; CN1973555A; US20050286125A1; WO2006000368A1; EP1767002A1; RU2388172C2; RU2007102588A; JP2008503779A

Abstract

本发明提供了接近辅助三维再现。本发明公开了一种用于对三维图像进行再现或变换的移动设备。该移动设备确定用户相对于该设备的距离和/或位置并对三维图像进行调整，以在该感测距离和/或位置处提供该三维图像的改善画面。

Description

接近辅助3D再现

技术领域

本发明涉及提供三维成像的显示屏幕，更具体地涉及但并不限于针对诸如移动电话和计算机显示屏幕的特定应用的三维成像。

背景技术

计算机和手持移动电话的流行和世界范围的广泛接受是众所周知的。这种广泛普及的应用已导致计算机和移动电话成为现代社会和当代商业两者的公共部分。这些技术获得成功有许多原因，这些原因包括用户可以利用它们传送和/或访问信息所固有的轻松，以及与之相关的大众乐趣。电话通信和信息的访问二者所固有的是用于移动电话和计算机二者的显示屏幕。

近年来，计算机屏幕和移动电话的手持显示屏幕都已出现技术的革新和相关的乐趣。当今，计算机和移动电话显示屏幕都是以各种尺寸和形状来制造和销售的，它们利用了最先进的液晶显示(LCD)技术来提供增强的、彩色的且低功率的画面(viewing)。显示屏幕的“低功率”方面在移动电话领域内特别重要。对于现代移动电话功能的需求已经对功耗和电池寿命的效率提高提出了要求。同样，经过特定显示技术而增强的画面已经为计算机和移动电话二者的用户提供了更高的清晰度和更高的效率，这使得诸如三维显示成像方面得以改善。

立体或三维成像是一种用于在二维图像中创建立体感效应(illusionof depth)的技术。三维成像在诸如摄影、视频、游戏、移动电话以及动画的各种应用中正不断被接受并普及。

目前通过一对二维图像来对三维成像进行再现(render)。为了创建立体感效应或三维图像，为观看者的左眼提供与右眼不同的图像。所述不同图像是同一图像的两个透视图(perspective)，这两个透视图具有与双眼在双目视觉中自然接收的透视图类似的微小偏差。在十九世纪中期，Charles Wheatstone通过并排印刷两个略微不同的图像而创建了第一种立体视法。需要观看者迫使他的眼睛交叉或者发散(diverge)，使得这两个图像好像成为三个。然后，当每个眼睛看不同图像时，就在这三个图像的中间图像中实现了深度效果。后来该技术经过改进从而包括用于同时拍摄略微不同的图片的特殊相机和用于观看该特殊图片的双镜头立体镜。

为了创建立体电影，通过正交偏振滤光片将两个图像重叠地投影到同一屏幕上。观看者佩戴上包括一对正交偏振滤光片的眼镜。由于每个滤光片都透过相似偏振的光而阻挡正交偏振的光，所以每只眼睛只看到其中一个图像，从而创建了三维成像的效果。在相类似的尝试中，可以使用滤色片代替偏振滤光片来创建三维图像。以第一颜色(如红色)来创建针对观看者一只眼睛的图像，而以对比色(如蓝色或绿色)来创建针对另一只眼睛的图像。然后，观看者通过针对每一只眼睛具有滤色片的一副眼镜来观看图像。对于黑白图像，该滤色片系统能够起到很好的作用，然而，滤色片会影响彩色图像中颜色的表现。

目前应用于诸如移动电话或膝上型计算机的屏幕的三维图形可以通过向观看者的左眼发送特定的一组图像而向观看者的右眼发送不同的一组图像从而创建深度印象来再现.屏幕和眼睛的相对位置是固定的，这样眼睛就位于距屏幕预定的范围(例如，30-50cm)内，并且眼睛以直角对准屏幕中央.两组图像叠加在屏幕上，但是，这两组图像表示出三维图像的略微不同的透视图.针对一只眼的图像相对于针对另一只眼的图像略微水平偏移.当观看者不在距屏幕预定范围内时，无法适当地看到三维图像.例如，三维图像可能模糊地分为针对右眼和左眼的单独图像组.另外，用于移动电话、膝上型电脑等的三维图像目前仅可以从前方角度看到.

发明内容

本发明涉及显示屏幕，更具体地涉及利用三维成像来促成增强画面的移动电话手持机和计算机显示屏幕以及相关的通信设备。在一个实施例中，本发明包括一种适于显示三维图像的设备。所述设备包括：显示表面，用于显示所述三维图像；传感器，用于收集与所述设备与所述设备的用户之间的位置和距离中的至少一个相关的距离数据；以及图像生成器，用于根据所述距离数据来生成所述三维图像。所述传感器可以是接近传感器、根据所述用户的特征的尺寸来创建距离数据的相机，或者利用其他距离检测技术的系统。

在另一个实施例中，上述位置或距离数据包括所述用户与所述设备之间的感测距离，或者前一组距离数据与当前感测到的一组距离数据之间的差异。在特定实施例中，本发明被结合到移动电话、个人数字助理(PDA)和膝上型计算机的至少其一中。

在另一方面，本发明的一个实施例包括一种再现三维图像的方法。该方法包括以下步骤：对用户的位置和距离中的至少一个进行感测；根据所述用户的位置和/或距离来创建距离数据；以及根据所述距离数据来再现所述三维图像。该方法还可以包括以下步骤：重新感测所述用户的位置和/或距离；确定所再现的三维图像是否需要调整；如果确定出所再现的三维图像需要调整，则对所再现的三维图像进行调整；以及确定需要对所述三维图像进行再现的成像应用是否应该结束。如果确定出所述成像应用不应该结束，则本发明的一个实施例包括重复以下步骤：重新感测；确定所再现的三维图像是否需要调整；进行调整；以及确定需要对所述三维图像进行再现的成像应用是否应该结束。

在又一方面，本发明的一个实施例包括一种对预再现的三维图像进行变换(transform)的方法。该方法包括以下步骤：接收所述预再现的三维图像；对所述用户的位置和距离中的至少一个进行感测；根据所述用户的感测位置或感测距离来生成距离数据；以及根据所述距离数据来对所述预再现的三维图像进行变换。上述方法还可以包括以下步骤：重新感测所述用户的位置或距离；确定变换后的预再现三维图像是否需要调整；如果确定出所述变换后的预再现三维图像需要调整，则对所述变换后的预再现三维图像进行调整；以及确定需要对所述预再现的三维图像进行变换的成像应用是否应该结束。如果确定出所述成像应用不应该结束，则本发明的一个实施例包括重复以下步骤：重新感测；确定变换后的预再现三维图像是否需要调整；进行调整；以及确定需要对所述三维图像进行变换的成像应用是否应该结束。

附图说明

通过结合附图来参照以下详细说明，可以获得对本发明的方法和设备更彻底的理解，附图中：

图1A-1D示出了二维介质上显示的三维成像；

图2示出了根据本发明实施例的移动电话；

图3是结合了本发明实施例的移动电话的框图；

图4是结合了本发明另选实施例的移动电话的框图；

图5是表示根据本发明实施例的对三维图像进行再现的方法的流程图；以及

图6是表示根据本发明另选实施例的对三维图像进行再现的方法的流程图。

具体实施方式

根据本发明的实施例，可以利用接近传感器来建立移动电话的观看者相对于显示屏幕的距离。可以利用各种接近传感器来确定距离数据，例如美国专利第6532447号和美国专利申请序列号10/818006(此处通过引用将二者的全部内容并入)中所描述的那些接近传感器。本发明的实施例提供了一种可用于采用三维图像的“左”和“右”图像的透视和偏移(shifting)的接近传感器。基于来自接近传感器的距离数据的偏移和/或再现使用户能够在任意距离体验到理想的画面。这既适用于实时再现的三维图像又适用于预再现的图像。前者是基于距离数据来再现的，而后者是经过变换和偏移的透视。还可以基于距离数据在闲时(on-the-fly)对立体图像进行变换。如果该设备的相机对准了观看者(例如，可视频电话的移动电话)，则还可通过该相机来计算距离数据。如下文更详细限定的，本发明希望利用图像分析来计算距离，其中通过对观看者的特征(feature)进行定位并利用其尺寸和/或间距而将相机本身用作接近传感器。

现在参照图1A-1C，其中示出了在二维介质上的三维成像。用户可以在预定距离上观看位于二维屏幕100上的三维图像的正视图。为了实现最佳画面，用户的眼睛102应该大体上位于距屏幕100预定距离处。通常来讲，三维图像是通过为左眼102提供具有与提供给右眼102的图像略微不同的透视图的图像而创建的。当用户没有大体上位于距屏幕100预定距离处时，图像可能是模糊的，或者分为由每只眼102观看到的两个独立图像。

三维图像以正视图(例如，以垂直角度观看)显示在显示器100上。根据图1C，如果用户在x方向上移动，则在新用户的位置处以正视图重新再现图像。根据本发明的某些实施例，可以将三维图像再现为向用户提供该三维图像的侧视图。

现在参照图1D，其中示出了观看三维图像的侧视图。通过再现三维物体的不同视图，用户能够看到该三维物体的四周、上方、下面等等。用户可以在x方向上移动，以看到该三维图像的侧面，或者用户可以在z方向上移动，以看到该三维图像的顶部或底部。

现在参照图2，其中示出了结合有本发明实施例的移动电话。移动电话200包括用于观看图像的显示器202和用于确定用户的位置或移动电话200与用户之间的距离的传感器204。如上文所指出的，可以采用各种传感器来确定物体的距离或位置，如共同转让的美国专利申请序列号10/818006中所描述的。例如，可以利用接近(例如，电容式、电感式、温度、IR等)传感器来确定传感器202到用户的距离。根据从传感器204接收的数据，显示器202可以显示针对传感器204所感测的距离特别再现的三维图像。另外，显示器可以根据从传感器204接收的数据，来显示以正视图、侧视图等再现的三维图像。

现在参照图3，其中示出了根据本发明的实施例的移动设备300，例如移动电话、PDA、膝上型计算机等.设备300包括用于感测用户的位置或距离的传感器204和用于显示图像的显示器202.该设备还包括用于控制设备300的处理器302和用于生成三维图像的图像生成器306.在各种实施例中，图像生成器306可协同定位在处理器302内或与处理器302分离.该设备可选地包括用于向设备300提供电力的电池304.

处理器302或图像生成器306从传感器204接收位置或距离数据并且确定设备300与用户之间的位置或距离。这里定义的位置数据涉及用来确定用户二维或三维位置的任何类型的数据。这里定义的距离数据涉及用来确定设备300与用户之间的距离的任何类型的数据。例如，距离数据可以是从设备300到用户的实际距离(例如，以厘米、英寸等为单位)。作为另选方案，如下文参照图4所示的，距离数据可以涉及随后在由处理器302或图像生成器306访问的数据表中查找的特定参数。例如，距离数据可以涉及用户的面部特征的大小或用户面部的各个特征之间的距离(例如，用户眼睛的瞳孔之间的距离)。如下所述，涉及用户特征的位置或距离数据可以利用相机来计算。可以在数据表中对特征的相对大小和距离进行前后参照(cross-reference)，从而当处理器302接收到特征大小时，可以通过检索数据表中与该特征大小相关联的距离来确定距离。

当实时再现三维图像时，利用位置或距离数据在显示器202上再现三维图像。三维图像是针对传感器204所感测的特定位置或距离而再现出的。当利用设备300来表现预再现的三维图像时，对透视图像进行变换和偏移以提高该感测距离下的图像质量。还可以根据从传感器204发送来的距离数据在闲时再现立体图像。

更具体地讲，显示在显示器202上的三维图像由两个组成部分构成，即右图像和左图像。右图像由右眼观看，左图像由左眼观看。根据本发明，当在三维成像中再现图像时，通过偏移左右图像使左右图像适应于位置或感测距离，以实现该感测距离下的改善的用户体验。例如，传感器204可以感测用户与设备300之间的距离。然后，对左右图像进行再现或者变换且偏移，以提供要在距离d处观看的三维图像。用户随后可能移动设备300更靠近用户的脸部，在此期间，传感器204确定设备300与用户之间的距离为d-4厘米(cm)。然后，可以对左右图像进行重新再现或重新变换且偏移，以提供要在距离d-4厘米处观看的三维图像。无论每个用户手持设备300距离自己有多远，都可以对三维图像进行调整以提供最佳的画面体验。

现在参照图4，其中示出了根据本发明另选实施例的移动设备400。按照与图3所示类似的方式，移动设备400包括处理器402、图像生成器406、显示器202和可选的电池304。然而，可使用相机404代替可选的传感器204或与之相结合来确定用户与设备400之间的距离。在一个实施例中，可以利用传感器204和相机404一起来确定位置或精确距离d。在另选实施例中，相机404可以代替传感器204来确定位置或距离d。在该另选实施例中，相机404独自负责向处理器402提供位置或距离数据，并且设备400中可以没有传感器204。

由于传感器204可以对从设备400到用户的特定特征(例如，鼻子、眼睛、脸、耳朵等)的位置或距离进行感测，所以相机404可以根据多种技术来确定从设备400到用户的位置或距离.例如，相机404可以采集用户的图像并根据特定特征(例如，眼睛、鼻子、脸、嘴等)的大小来确定位置或距离.当用户向设备400的侧面移动或者靠近或远离设备400时，可以对相机404所采集的图像进行分析，以确定该特定特征的大小或位置.用户移动时，处理器402可以从相机404接收一个或更多个图像并且对来自两个或更多个图像的特定特征的相对大小进行比较以确定位置或距离的变化.作为另选方案，处理器402可以接收一个或更多个图像并且与从相机404接收到的任何其他图像无关地计算位置或距离.

例如，相机404可以采集图像，然后，处理器402根据该图像来确定位置或距离。然后，相机404可以稍后采集另一图像，并且处理器对稍后图像与先前图像进行比较，以确定所采集图像之间的位置或距离的差，例如+2cm。然后，可以针对d+2cm的观看距离来对要表示在显示器202上的左右图像进行调整。作为另选方案，可以调整图像，以观看图像的侧视图、俯视图、仰视图等。如上文所指出的，相机404可以采集图像，并且处理器402根据所采集的图像来计算用户与设备400之间的距离，而不对任何其他先前或稍后采集的图像进行比较。此外，可以使用相机404与传感器204相结合或代替传感器204来感测用户与设备400之间的位置或距离。可以利用相机404来确定初始位置或距离，并且传感器204可以按预定间隔来感测位置或距离。作为另选方案，传感器204可以感测初始位置或距离，并且可以利用相机404按照预定间隔来更新所感测的位置或距离。本领域的技术人员将会理解，可以利用相机404与传感器204之间的各种其他组合来确定设备400与用户之间的位置或距离。

另外，可以在感测位置或距离周围创建一个范围，以防止图像被根据感测位置或距离的微小变化而调整。例如，如果用户当前正在距离d处观看三维图像，则如果用户保持在可接受的范围(例如d±5cm)内，就可以不调整图像。当传感器204或相机404确定出用户已到达该可接受范围之外时，针对用户的新观看距离来调整图像。本领域的技术人员将会理解，d±5cm的范围实际上仅是示例性的，并且在不脱离本发明的方面的情况下可以利用其他范围。

现在参照图5，其中示出了一流程图，该流程图示出了用于再现三维图像的方法500。在步骤502，通过传感器204、相机404或二者来感测设备与用户之间的位置或距离。在步骤504，对该图像进行再现，以在感测位置或距离进行观看。在步骤506，从步骤502的感测起以预定时间间隔感测用户的位置或距离。作为另选方案，可以响应于诸如感测到用户或设备400移动的动作而启动步骤506。在步骤508，图像生成器306、406确定是否应该调整图像。如先前所述，可以在感测位置/距离每次变化时或者在感测位置/距离落入可接受范围以外时对图像进行调整。

如果在步骤508确定为应该调整图像，则该方法循环回到步骤504。如果确定为不应该调整图像，则在步骤510确定是否应该终止成像。如果应该终止成像，则在步骤512结束成像应用。如果在步骤510确定为不应该终止成像，则该方法循环回到步骤506。步骤510可以按照预定时间间隔或响应于诸如用户发起的动作(例如，按钮或按键的激活)、感测到用户移动或者感测到设备400移动的动作而循环回到步骤506。

现在参照图6，其中示出了一流程图，该流程图示出了用于对预再现的三维图像进行调整的方法600.在步骤602，在设备300、400处接收或发起(initiate)预再现的图像.在步骤604，通过传感器204、相机404或二者来感测设备300、400与用户之间的位置或距离.在步骤606，对该图像进行调整，以便在感测位置或距离处进行观看.在步骤608，对用户与设备300、400之间的位置或距离进行感测.可以按照预定时间间隔或响应于诸如感测到用户或设备300、400移动的动作而启动步骤608.在步骤610，图像生成器306、406根据该位置或距离数据来确定是否应该调整图像.如前所述，可以在感测位置/距离每次变化时或者在感测位置/距离落入可接受范围以外时对图像进行调整.

如果在步骤610确定为应该调整图像，则该方法循环回到步骤606。如果确定为不应该调整图像，则在步骤612确定是否应该终止成像。如果应该终止成像，则在步骤614结束成像应用。如果在步骤612确定为不应该终止成像，则该方法循环回到步骤608。如上所述，步骤612可以按照预定时间间隔或响应于诸如用户发起的动作、感测到用户移动或者感测到设备300、400移动的动作而循环回到步骤608。

因此应该相信，通过上述详细说明，本发明的各个实施例的操作和构造将非常明了。虽然已描述了各种设备，但是对于本领域普通技术人员显而易见的是，可以在不脱离如所附权利要求所限定的本发明的精神和范围的情况下在其中进行各种变化和修改。因此，所附权利要求的精神和范围不应该限于对于此处包含的实施例的描述。

Claims

1.一种适于再现三维图像的设备，该设备包括：

显示表面，适于显示所述三维图像；以及

图像生成器，适于根据一距离数据来再现所述三维图像，所述距离数据与有关所述设备的该设备的用户的位置、以及所述设备和该设备的用户之间的距离相关；该设备的特征在于还包括：

相机，设置在所述设备上并且适于采集所述用户的至少一个图像，所采集图像包括所述用户的至少一个特征，其中所述特征是所述用户的眼睛、鼻子、脸或嘴中的至少一个，

处理器，适于对所采集图像进行分析以确定所述特征在所采集图像中所表现出的大小，并根据所确定的所述特征的大小来创建所述距离数据。

2.根据权利要求1所述的设备，其中

所述相机适于采集所述用户的一图像和该用户的另一稍后图像，

所述处理器适于对所采集的所述用户的图像和所述用户的另一稍后图像进行比较，以确定有关所述设备的所述用户的位置差异、或所述设备与该设备的所述用户之间的距离的差异，并且

所述图像生成器适于在确定出由于所述用户已到达可接受范围之外而需要调整所再现的三维图像时，对所再现的三维图像进行调整。

3.根据权利要求1所述的设备，其中所述距离数据基于所述用户的两个特征之间的距离。

4.根据权利要求3所述的设备，其中所述两个特征是左眼和右眼。

5.根据权利要求3所述的设备，其中所述两个特征是眼睛和鼻子。

6.根据权利要求1所述的设备，其中所述距离数据包括所述用户与所述设备之间的实时感测的位置和实时感测的距离中的至少一个。

7.根据权利要求1所述的设备，其中所述距离数据包括之前的一组位置数据与当前感测的一组位置数据之间的差异，或之前的一组距离数据与当前感测的一组距离数据之间的差异。

8.根据权利要求1所述的设备，其中所述设备是移动电话、个人数字助理(PDA)和膝上型计算机中的至少一种。

9.一种再现三维图像的方法，该方法包括以下步骤：

对用户的位置和距离中的至少一个进行感测；

根据所述用户的位置或距离中的至少一个来收集距离数据；以及

根据所述距离数据来再现所述三维图像，该方法的特征在于还包括以下步骤：

采集所述用户的至少一个图像，该图像包括所述用户的至少一个特征，其中所述特征是所述用户的眼睛、鼻子、脸或嘴中的至少一个；

对所采集图像进行分析，以确定所述特征在所采集图像中所表现出的大小；以及

根据所确定的所述特征的大小来创建所述距离数据。

10.根据权利要求9所述的方法，该方法还包括以下步骤：

对所述用户的位置和距离中的至少一个进行重新感测；

确定所再现的三维图像是否需要调整；

如果确定出所再现的三维图像需要调整，则对所再现的三维图像进行调整；以及

确定需要对所述三维图像进行再现的成像应用是否应该结束。

11.根据权利要求10所述的方法，该方法的特征在于还包括以下步骤：

采集所述用户的一图像和该用户的另一稍后图像，

对所采集的所述用户的图像和所述用户的另一稍后图像进行比较，以确定有关所述设备的所述用户的位置差异或所述用户的距离的差异，以及

如果确定出由于所述用户已到达可接受范围之外而需要调整所再现的三维图像，则对所再现的三维图像进行调整。

12.根据权利要求10所述的方法，该方法还包括，如果确定出所述成像应用不应该结束，则重复以下步骤：重新感测；确定所再现的三维图像是否需要调整；进行调整；以及确定需要对所述三维图像进行再现的成像应用是否应该结束。

13.根据权利要求10所述的方法，其中确定成像应用是否应该结束的所述步骤包括从所述用户接收输入以结束所述成像应用。

14.一种对预再现三维图像进行变换的方法，该方法包括以下步骤：

接收所述预再现三维图像；

对用户的位置和距离中的至少一个进行感测；

根据所述用户的感测位置和感测距离中的至少一个来生成距离数据；以及

根据所述距离数据来对所述预再现三维图像进行变换，该方法的特征在于还包括以下步骤：

采集所述用户的至少一个图像，该图像包括所述用户的至少一个特征，其中所述特征是所述用户的眼睛、鼻子、脸或嘴中的至少一个，

对所采集图像进行分析，以确定所述特征在所采集图像中所表现出的大小，以及

根据所确定的所述特征的大小来创建所述距离数据。

15.根据权利要求14所述的方法，该方法还包括以下步骤：

对所述用户的位置和距离中的至少一个进行重新感测；

确定变换后的预再现三维图像是否需要调整；

如果确定出所述变换后的预再现三维图像需要调整，则对所述变换后的预再现三维图像进行调整；以及

确定需要对所述预再现的三维图像进行变换的成像应用是否应该结束。

16.根据权利要求15所述的方法，该方法的特征在于包括以下步骤：

采集所述用户的一图像和该用户的另一稍后图像，

17.根据权利要求15所述的方法，该方法还包括，如果确定出所述成像应用不应该结束，则重复以下步骤：重新感测；确定变换后的预再现三维图像是否需要调整；进行调整；以及确定需要对所述三维图像进行变换的成像应用是否应该结束。

18.根据权利要求15所述的方法，其中确定成像应用是否应该结束的所述步骤包括从所述用户接收输入以结束所述成像应用。