CN106797458B - 真实对象的虚拟改变 - Google Patents

Abstract

公开了对真实对象做出虚拟改变的方法和系统。从传感器群簇模块接收关于对象的三维视觉数据，传感器群簇模块追踪对象的位置和取向。从视觉数据创建对象的三维重构模型。向三维重构模型应用对于对象的用户所选虚拟改变。在对象当前位置和取向中利用投影仪将对三维重构模型的改变的二维图像投影到对象上。

Description

真实对象的虚拟改变

背景技术

视觉传感器捕获与视场中的对象的图像相关联的视觉数据。这样的数据可以包括关于对象的颜色的数据、关于对象的深度的数据、以及关于图像的其它数据。视觉传感器的群簇可以应用于某一应用。可以组合并且处理由传感器捕获的视觉数据以执行应用的任务。

附图说明

图1是图示了本公开的示例系统的框图。

图2是图1的系统的示例的示意图。

图3是图示了可以利用图1的系统执行的示例方法的框图。

图4是图示了可以利用图1的系统执行的另一个示例方法的框图。

图5是图示了可以用于实现图1的系统并且执行图3和图4的方法的示例计算机系统的框图。

具体实施方式

在以下详细描述中，参照附图，附图形成该详细描述的部分，并且其中作为说明示出了其中可以实践本公开的具体示例。要理解到，可以利用其它示例，并且可以在不脱离本公开的范围的情况下做出结构或逻辑改变。因此，以下详细描述不应以限制性含义解释，并且本公开的范围由随附权利要求限定。要理解到，本文描述的各种示例的特征可以部分地或者整体地彼此组合，除非以其它方式明确地说明。

图1图示了具有允许用户与真实三维对象104交互的用户应用102的示例系统，其中在投影仪110和传感器群簇模块108中的视觉传感器之间具有来自校准系统106的闭环几何校准。应用102提供与3D对象的实时交互以便使用投影仪110图示针对3D对象的用户所选改变。在一个示例中，针对对象的用户所选改变可以包括改变颜色以及向对象添加形状或字母数字符号。在对象104静止的同时，以及当对象104关于传感器群簇模块108和/或投影仪110再取向或移动时，投影仪110可以显示对象104上的改变。

传感器群簇模块108提供对象104的3D扫描。校准系统106使用3D到3D映射模块112提供所扫描的对象104到3D重构模型的3D到3D映射。用户应用102访问与3D重构模型对应的3D文件114。用户经由用户接口116可以利用用户应用102的过程118操控3D文件114。经由输出模块122将对3D文件的改变应用于3D重构模型。校准系统106还可以使用3D到2D映射模块120提供到2D图像的改变的三维到二维映射。

在2D图像关于传感器群簇模块108和/或投影仪110的当前取向中将2D图像投影到对象104上。3D到2D映射120考虑到3D对象的形状并且因而可能不同于2D表面上的改变的图像，诸如计算机显示器上或者平坦投影仪屏幕上的对象的图像。3D到2D映射还考虑到使用来自扫描对象104的信息的对象104关于传感器群簇模块108和/或投影仪110的实时取向。因而，当对象被移动或转向时，只要改变部分处于投影仪110的场内，图像都将出现在对象104的所改变的部分上。

图2图示了系统100的特定示例系统200，其中图1的相同部分在图2中具有相同参考标号。系统200包括可操作地耦合到计算机显示器202的投影仪110和传感器群簇模块108。传感器群簇模块108包括视场204，并且投影仪110还包括至少部分地与视场204重叠的所投影的图像场206。可选地，系统200可以包括视场204和图像场206内的平台208，该平台配置为接收对象104。在一个示例中，平台208是转台，该转台可以使对象104围绕轴线关于传感器群簇模块108和投影仪110旋转。放置在场204，206内的对象104可以被扫描并且具有投影到它上的图像。转台可以旋转对象以用于扫描和/或关于投影仪110旋转对象以便在对象的所改变的部分的位置处恰当地显示图像。在一些示例中，可以使用多个传感器群簇模块108和投影仪110，或者传感器群簇模块108和投影仪110可以配置为在不必移动对象的情况下以及对象关于传感器群簇模块108和/或投影仪110的任何或大多数取向的同时提供对象的扫描和图像的投影。

用户应用102可以在计算机显示器202上呈现与对象104对应的3D文件114的图像210。通过用户接口116，用户可以利用用户应用102的工具操控所呈现的图像210。在一个示例中，工具之一是虚拟笔212，该虚拟笔可以允许用户在所呈现的图像210上做出改变214，诸如标记，所述改变可以相应地更改3D文件114。在所图示的示例中，对象104是白色饮水马克杯，并且改变214包括利用虚拟笔212绘制围绕对象104(例如马克杯)的所呈现的图像210的周界的线条。对所呈现的图像210的改变214可以变换成2D图像以用于投影到对象104(例如马克杯)上。

传感器群簇模块108可以用于扫描对象104并且确定该对象在视场204内的取向。从该扫描获得的信息可以用于确定对象关于传感器群簇模块108和/或投影仪110的位置和取向。如果对象关于传感器群簇模块108和/或投影仪110移动，则在时间上的连续扫描可以用于追踪图像的位置和取向。可以参照3D重构模型生成2D图像以便实时地将改变216(即，围绕周界的线条)的图像恰当地显示到对象104上，即使对象在场204，206内关于传感器群簇模块108和/或投影仪110移动。

用户应用102是增强现实应用的一种形式。增强现实是物理、真实世界环境的实况直接或间接视图，所述物理、真实世界环境的元素通过诸如图像、视频、图形或其它数据之类的计算机生成的感官输入而增强或扩增。用户应用102加强了现实的当前感知。增强可以是实时的并且在具有对象104的语义学情境中，因为传感器群簇模块108捕获涉及对象的视觉数据并且校准系统106将该信息处理成3D重构模型。用户所选人造或虚拟信息可以利用投影仪110叠覆在对象104上。

传感器群簇模块108可以包括异构视觉传感器的集合以捕获模块108的视场内的对象的视觉数据。在一个示例中，模块108包括一个或多个深度传感器和一个或多个颜色传感器。深度传感器是用于捕获对象的深度数据的视觉传感器。在一个示例中，深度一般是指对象距深度传感器的距离。深度数据可以针对每一个深度传感器的每一个像素而获得，并且深度数据用于创建对象的3D重构模型。一般地，深度传感器抵抗由于光的改变、阴影、颜色或动态背景所致的影响或者由投影仪110产生的其它干扰是相对鲁棒的。颜色传感器是用于在可见颜色空间(诸如，红绿蓝(RGB)颜色空间或其它颜色空间)中收集颜色数据的视觉传感器，该颜色传感器可以用于检测对象104和由投影仪110产生的图像的颜色。在一个示例中，深度传感器和颜色传感器可以分别包括在深度相机和颜色相机中。在另一个示例中，深度传感器和颜色传感器可以组合在颜色/深度相机中。一般地，深度传感器和颜色传感器配置为具有重叠视场。在一个示例中，传感器群簇模块108可以包括间隔开的异构视觉传感器的多个集合，所述间隔开的异构视觉传感器的多个集合可以从对象104的各种不同角度捕获深度和颜色数据。

在一个示例中，传感器群簇模块108可以作为快照扫描来捕获深度和颜色数据以创建图像帧。图像帧是指在特定时间点处的视觉数据的群集。在另一个示例中，传感器群簇模块可以作为连续扫描而将深度和颜色数据捕获为时间过程内的一系列图像帧。在一个示例中，连续扫描可以包括在周期性或非周期性时间间隔中在时间过程内错开的图像帧。例如，传感器群簇模块108可以用于检测对象并且然后较晚地在投影仪操作的同时检测对象的位置和取向。

投影仪110与传感器群簇模块108并置并且可以将图像投影到视觉传感器的重叠视场中。图像可以是静止图像或者诸如视频之类的移动图像。在示例中，投影仪110是一种计算机显示设备，被配置为在光通过半透明(该半透明包括透明)透镜时将2D图像数据投影到表面上。在一个示例中，投影仪110投影2D颜色数据而不是深度数据。在一个示例中，传感器群簇模块108一般地在操作期间关于投影仪110固定。在另一个示例中，模块108和投影仪110相对于彼此可移动，但是在该情况下，校准系统106做出附加计算以便将2D图像准确地再现到对象104的相关部分上。

校准系统106能够通过链路与传感器群簇模块108通信视觉数据并且与投影仪110通信图像数据。在一个示例中，链路可以是有线连接、无线连接、有线和无线连接的某种组合、或者其它通信连接。此外，校准系统106可以与传感器群簇模块和投影仪并置，或者处于工作地点内或工作地点外的远程位置中。在一个示例中，校准系统106可以被提供为云服务。3D到3D映射模块112和3D到2D映射模块120可以被实现为在下文描述的计算系统的一个或多个处理器上可执行的机器可读指令。在其它示例中，模块112，120可以被实现为硬件。

图3图示了使用校准系统106将图像投影到对象上的示例过程300。校准系统106在302处从传感器群簇模块108接收关于对象104的视觉数据，诸如深度数据和颜色数据。校准系统106在304处使用处理器和存储器执行视觉数据的3D到3D映射以创建对象104的3D重构模型。在一个示例中，视觉数据用于确定对象104关于传感器群簇模块108和/或投影仪110的当前位置和取向。连续扫描可以用于追踪对象104关于传感器群簇模块108和/或投影仪110的位置和取向。在306处将用户所选虚拟改变应用于3D重构模型。在308处将对3D重构模型的改变变换成适用于投影到对象104上的2D图像。例如，校准系统在308处执行用户所选虚拟改变的3D到2D映射以创建适用于投影到对象上的2D图像。在310处将2D图像投影到对象104上。

校准系统106包括3D到3D模块112以在305处提供所扫描的对象104到3D重构模型的3D到3D映射。在映射的一个示例中，来自深度传感器的视觉数据提供在深度坐标系统中，并且来自颜色传感器的视觉数据提供在颜色坐标系统中。在一个示例中，所扫描的对象的每一个像素包括深度/颜色数据对。深度坐标系统中的深度数据和颜色坐标系统中的颜色数据是到校准过程的输入，校准过程应用一系列校准方程中的相关变换系数以产生3D重构模型。不管现在已知还是尚未发现，用于3D到3D映射的其它过程都可以用于从视觉数据创建3D重构模型。

校准模块106还包括3D到2D模块120，该校准模块还可以在308处提供对3D模型的改变到2D图像的3D到2D映射。在一个示例中，对3D文件的改变可以应用于3D重构模型，并且对3D重构模型的改变可以变换成要提供给投影仪110的2D图像。提供给投影仪110的2D图像可以简单地包括该改变，但是可以包括可以用于影响或加强改变的其它图像数据。使用校准过程将3D重构模型中的深度数据和颜色数据变换成2D图像，校准过程应用一系列校准方程中的相关变换系数以产生2D图像。不管是现在已知还是尚未发现，用于3D到2D映射120的其它过程都可以用于从3D重构模型创建2D图像。

图4图示了在306处向3D重构模型应用用户所选虚拟改变的方法400。用户应用在402处获得与对象104相关联的3D文件114。用户接口116接收用户所选改变，并且过程116在404处向3D文件114应用用户所选改变。在406处，将与3D文件对应的用户所选改变应用于3D重构模型并且提供给输出模块122。

预期到用于在402处获得与对象104相关联的3D文件114的数个示例。在一个示例中，3D文件114存储在存储介质上，并且被检索以便利用过程118通过用户接口116在其上进行操作。那些示例中的一些在此处描述。例如，用户可以简单地打开存储与对象104对应的3D文件114的文件夹并且选择要由过程118在其上操作的3D文件。在另一个示例中，传感器群簇模块108可以扫描对象104，并且使用对象检测或对象识别来确定对应3D文件114。一般地，使用对象检测或识别扫描对象114以打开3D文件可以在比用于创建3D重构模型的分辨率低的分辨率下执行。在又一个示例中，传感器群簇模块108可以用于创建要由过程118在其上操作的3D文件。一般地，扫描对象以创建3D文件在一般比3D重构模型的分辨率高或与其相同的分辨率下执行，3D重构模型用于追踪位置以及对象104关于传感器群簇模块108和/或投影仪110的位置。在其中作为扫描的结果而打开或创建文件的示例中，过程118可以通过输入模块(未示出)与校准系统106交互。可以使用其它示例。

用户应用102提供一个或多个工具以便利用过程118操控3D文件。可以通过用户接口116访问工具，并且可以使用输入设备将工具应用于3D文件，输入设备诸如键盘、指向设备(例如，鼠标)、笔、语音输入设备、触摸输入设备、或者对3D文件做出改变的其它输入设备。对于对象的改变取决于工具集合的鲁棒性并且可以具有任何形式，诸如对于对象的标记、文本、图像、部分进行添加、移除或者重新设计尺寸，更改对象的纹理或颜色，以及其它改变。在一个示例中，可以利用3D文件保存改变。

通过输出模块122将关于改变的数据或者改变数据提供给校准系统106。在一个示例中，将改变数据以及关于相对于3D重构文件的改变的位置的刚好足够的数据提供给校准系统106。在另一个示例中，可以将具有改变的整个3D文件提供给校准系统106，该校准系统可以处理该信息连同3D重构模型以便基于对象关于传感器群簇模块108和/或投影仪110的实时位置来获得图像。预期到其它示例。

图2图示了与运行用户应用102的计算机显示器202并置的传感器群簇模块108、投影仪110的示例。预期到其它示例。例如，传感器群簇模块108和投影仪110可以远离运行用户应用的计算机显示器202。用户可以对一个位置处的对象的3D文件做出改变，并且那些改变可以被投影到位于具有传感器群簇模块108和投影仪的远程场所处的对象上。此外，改变可以被投影在具有传感器群簇模块108的视野中以及投影仪110的场中的对象的多个场所处。在这些情况下，对象可以关于对应传感器群簇模块108和/或投影仪110取向和定位，并且校准系统106可以考虑到每一个对象的取向和位置。另外，远程场所处的多个用户可以同时做出对于对象的改变，对象可以与传感器群簇模块108和投影仪110并置。又另外地，对于对象的3D文件的改变可以在将2D图像投影到对象上之前做出，但是对象仍然由传感器群簇模块108追踪并且基于对象的实时位置和取向而将图像投影在对象上。在一个示例中，可以预先做出用户所选改变并且随后在呈现或其它展示处将该用户所选改变投影到所追踪的对象上。

图5图示了可以在操作环境中采用并且用于托管或运行包括在一个或多个计算机可读存储介质上的计算机应用的示例计算机系统，一个或多个计算机可读存储介质存储计算机可执行指令以用于控制计算机系统(诸如，计算设备)执行过程。在一个示例中，图5的计算机系统可以用于实现用户应用102及用户应用相关联的过程300和400。

图5的示例性计算机系统包括计算设备，诸如计算设备500。计算设备500典型地包括一个或多个处理器502和存储器504。处理器502可以包括芯片上的两个或更多处理核或者两个或更多处理器芯片。在一些示例中，计算设备500还可以具有一个或多个附加处理或专门化处理器(未示出)，诸如用于图形处理器单元上的通用计算的图形处理器，以执行从处理器502卸载的处理功能。存储器504可以布置在层级结构中并且可以包括一个或多个缓冲级。存储器504可以是易失性的(诸如，随机存取存储器(RAM))，非易失性的(诸如，只读存储器(ROM)、闪速存储器等)，或者这两个的某种组合。计算设备500可以采取若干形式中的一个或多个。这样的形式包括平板电脑、个人计算机、工作站、服务器、手持式设备、消费性电子设备(诸如，视频游戏操控台或数字视频录像机)或其它，并且可以是独立式设备或者配置为计算机网络、计算机群簇、云服务设施的部分或其它。

计算设备500还可以包括附加存储装置508。存储装置508可以是可移除和/或不可移除的，并且可以包括磁盘或光盘或固态存储器、或者闪速存储设备。计算机存储介质包括易失性和非易失性、可移除和不可移除介质，该计算机存储介质以任何适合的方法或技术实现以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据之类的信息。传播信号本身没有资格作为存储介质。

计算设备500通常包括一个或多个输入和/或输出连接，诸如USB连接、显示端口、专属连接、以及连接到各种设备以接收和/或提供输入和输出的其它连接。输入设备510可以包括诸如键盘、指向设备(例如，鼠标)、笔、语音输入设备、触摸输入设备之类的设备，或其它。输出设备512可以包括诸如显示器、扬声器、打印机等等设备。计算设备500通常包括一个或多个通信连接514，该一个或多个通信连接允许计算设备500与其它计算机/应用516通信。示例通信连接可以包括但不限于以太网接口、无线接口、总线接口、存储域网络接口、专属接口。通信连接可以用于将计算设备500耦合到计算机网络518，该计算机网络是通过通信信道互连的计算设备和可能的其它设备的集群，通信信道促进通信并且允许互连设备之中的资源和信息的共享。计算机网络的示例包括局域网、广域网、互联网或其它网络。

计算设备500可以配置为运行操作系统软件程序和一个或多个计算机应用，该操作系统软件程序和一个或多个计算机应用构成系统平台。配置为在计算设备500上执行的计算机应用典型地被提供为以编程语言编写的指令集。配置为在计算设备500上执行的计算机应用包括至少一个计算过程(或计算任务)，该至少一个计算过程(或计算任务)是执行程序。每一个计算过程提供计算资源以执行程序。

尽管已经在本文中图示和描述了具体示例，但是各种各样的可替换和/或等同实施方式可以替换所示出和描述的具体示例而不脱离本公开的范围。该应用旨在覆盖本文讨论的具体示例的任何适配或变化。因此，本公开旨在仅由权利要求及其等同方案所限制。

Claims (13)

1.一种用于对真实对象做出虚拟改变的方法，包括：

从传感器群簇模块接收关于对象的三维视觉数据以追踪对象的位置和取向，其中所述视觉数据包括针对三维图像中的每一个像素的深度数据和颜色数据；

从视觉数据创建对象的三维重构模型，其中所述三维重构模型包括深度数据和颜色数据；

向三维重构模型应用虚拟改变；

将对三维重构模型的改变变换成改变的二维图像；以及

在该位置和取向中利用投影仪将所述改变的二维图像投影到对象上。

2.权利要求1所述的方法，其中利用连续扫描追踪对象的位置和取向。

3.权利要求2所述的方法，其中连续扫描包括含有在时间过程内捕获的多个图像帧的系列。

4.权利要求1所述的方法，其中创建三维重构模型包括执行视觉数据的3D到3D映射。

5.权利要求4所述的方法，其中在一系列校准方程中应用相关变换系数以执行3D到3D映射。

6.权利要求1所述的方法，其中位置和取向是实时位置和取向。

7.权利要求1所述的方法，其中将改变变换成二维图像包括执行改变的3D到2D映射。

8.权利要求6所述的方法，其中三维重构模型用于访问对象的对应三维文件，并且其中对三维文件做出改变。

9.权利要求8所述的方法，其中传感器群簇模块与投影仪并置。

10.一种用于存储计算机可执行指令以用于控制计算设备执行对真实对象做出虚拟改变的方法的计算机可读介质，该方法包括：

从传感器群簇模块接收关于对象的三维视觉数据以追踪对象的位置和取向，其中所述视觉数据包括针对三维图像中的每一个像素的深度数据和颜色数据；

从视觉数据创建对象的三维重构模型，其中所述三维重构模型包括深度数据和颜色数据；

向三维重构模型应用虚拟改变；

将对三维重构模型的改变变换成改变的二维图像；以及

在该位置和取向中将改变的二维图像投影到对象上。

11.权利要求10所述的计算机可读介质，其中模块配置为接收关于对象的三维视觉数据以追踪对象的位置和取向，并且使用3D到3D映射从视觉数据创建对象的三维重构模型。

12.一种用于对真实对象做出虚拟改变的系统，包括：

与投影仪并置的传感器群簇模块；

从传感器群簇模块向存储器中接收和处理关于对象的三维视觉数据以追踪对象的位置和取向的模块，其中所述视觉数据包括针对三维图像中的每一个像素的深度数据和颜色数据；

从视觉数据创建对象的三维重构模型的模块，其中所述三维重构模型包括深度数据和颜色数据；

向三维重构模型应用虚拟改变的模块；以及

将对三维重构模型的改变变换成改变的二维图像的模块；

其中投影仪配置为在该位置和取向中将改变的二维图像投影到对象上。

13.权利要求12所述的系统，其中传感器群簇模块包括视场并且投影仪包括投影场，并且其中视场在投影场内重叠。