CN107066095A - 一种信息处理方法及电子设备 - Google Patents
一种信息处理方法及电子设备 Download PDFInfo
- Publication number
- CN107066095A CN107066095A CN201710208681.4A CN201710208681A CN107066095A CN 107066095 A CN107066095 A CN 107066095A CN 201710208681 A CN201710208681 A CN 201710208681A CN 107066095 A CN107066095 A CN 107066095A
- Authority
- CN
- China
- Prior art keywords
- destination object
- characteristic area
- information
- dummy model
- feature region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种信息处理方法及电子设备，所述方法包括：获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
Description
技术领域
本发明涉及通信领域中的图像处理技术，尤其涉及一种信息处理方法及电子设备。
背景技术
现有的电子设备的使用场景中，虚拟替身的动作捕捉系统主要通过追踪贴在身体上的各类传感器来获取各部位的动作信息。这些动作信息可用于驱动虚拟物体的运动。通常，这种场景下，这类动作捕捉系统价格非常昂贵，且使用前需要较长的准备时间，对周边环境也有较高要求，从而无法为用户快速建立对应的三维模型，也无法保证这类模型应用至更多的场景中。
发明内容
本发明的主要目的在于提出一种信息处理方法及电子设备，旨在解决现有技术中存在的上述问题。
为实现上述目的，本发明提供一种信息处理方法，应用于电子设备，包括：
获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
本发明实施例还提供了一种电子设备，包括：
获取单元，用于获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
模型建立单元，用于基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
调整单元，用于获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
本发明提出的一种信息处理方法及电子设备，基于包含有深度信息的图像，建立针对目标对象的虚拟模型；然后根据具备深度信息的形变信息，调整虚拟模型，得到调整后的虚拟模型。如此，能够在获取目标对象的虚拟模型的时候，避免通过传感器进行目标对象的动作采集，从而使得进行虚拟模型的形变调整的处理更加便捷，更加提升了虚拟模型能够应用到更多场景中的可行性。
附图说明
图1为本发明实施例信息处理方法流程示意图；
图2为本发明实施例场景示意图1；
图3为本发明实施例场景示意图2；
图4为本发明实施例场景示意图3；
图5为本发明实施例场景示意图4；
图6为本发明实施例场景示意图5；
图7为本发明实施例电子设备组成结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
实施例一、
本发明实施例提供了一种信息处理方法，应用于电子设备，如图1所示，包括：
步骤101：获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
步骤102：基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
步骤103：获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
这里，所述电子设备可以为具备图像处理功能的设备，具体形式本实施例不做限定，比如，可以为电脑(PC或笔记本电脑)等等。
获取至少一个图像信息，可以为获取到具备深度信息的图像信息。其具体的获取方式可以为直接从内存中获取预存的针对目标对象的至少一个图像信息；还可以为，通过至少一个能够采集得到深度信息的图像采集单元中获取得到针对目标对象的一个或多个角度的图像信息。
基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型，可以为：基于所述目标对象的至少一个图像信息，建立得到针对目标对象对应的虚拟模型。
需要指出的是，所述虚拟模型可以为与所述目标对象相同类型的三维图像，比如，如图2所示，目标对象为一个人物，那么对应的虚拟模型也就是图2中所示的基于该人物21，建立得到的三维模型22。
进一步地，目标对象的特征区域可以为根据实际情况确定的特征区域，同样参见图2，假设目标对象为人物21，那么可以将特征区域确定为眼部、嘴部、以及鼻子这几个基础特征区域；如果要得到仿真效果更好的虚拟模型，可以增加特征区域，比如，增加耳朵、发际线、眉毛等等更多的特征区域。
需要理解的是，前述以目标对象为人物进行了特征区域的说明，但是实际上还可以有其他类型的目标对象，比如，可以为小动物，那么对应的特征区域，除了眼睛、嘴、鼻子之外，可能还会包含有腿、尾巴等等特征区域，本实施例中提供的方案能够针对不同类型的目标对象进行处理，只是这里不再进行穷举。换句话说，目标对象的特征区域可以与目标对象的类型相关，其对应关系可以为预设的对应关系。
基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型的方式，可以为直接采用目标对象的图像信息中的特征区域，建立对应的虚拟模型；在建立虚拟模型的时候，需要结合图像信息中的深度信息，从而使得建立的虚拟模型为能够体现深度信息的模型。
进一步地，参见图3，将目标对象的图像信息与虚拟模型进行对应的方式，可以为基于目标对象的图像信息中目标对象的轮廓、以及各个特征区域之间的相对位置关系，确定虚拟模型的轮廓、以及各个特征区域之间的相对位置关系，以使得目标对象的特征区域与虚拟模型中的虚拟特征区域相互对应。如图2中所示，目标对象的特征区域1、2、3，与虚拟模型中的虚拟特征区域11、12、13相互对应，并且目标对象在图像信息中的特征区域1、2、3之间的相对位置关系，与虚拟特征区域11、12、13之间的相对位置关系相同。
进一步地，所述获取所述目标对象中特征区域的形变信息，包括：
在第一预设时长内，获取所述目标对象的至少一个特征区域中，每一个像素点对应的深度信息的变化信息，以至少基于所述包含有每一个像素点对应的深度信息的变化信息组成所述目标对象中特征区域的形变信息。
获取目标对象中特征区域的形变信息，可以为，获取到预设时长中，所述目标对象中特征区域的形变信息。其中，所述形变信息除了能够表征目标对象每一个特征区域的像素点的位置变化信息之外，还可以表征深度信息的变化信息。比如，图3所示，目标对象当前闭上眼睛了，那么可以认为图中所示的眼睛特征区域31产生了形变信息，其中可以通过眼睛的轮廓坐标值的变化来表征形变信息；进一步地，眼睛特征区域31的深度信息的变化，可以采用深度信息的变化值来表示。其中，第一预设时长可以根据实际情况进行设置，比如可以为10秒钟，若要达到更加精确的匹配以及更加无时延的调整虚拟模型的目的，可以将第一预设时长设置的更小，比如可以1秒钟，30ms等等长度，这里不进行穷举。
所述基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示，包括：
至少基于所述特征区域中每一个像素点对应的深度信息的变化信息，计算得到虚拟模型中对应的特征区域中每一个像素点的深度信息的对应调整信息；
基于计算得到的针对虚拟模型中的特征区域中每一个像素点的深度信息的调整信息，对所述虚拟模型进行调整并显示。
基于目标对象与虚拟模型之间的对应比例关系，确定虚拟模型中嘴部变化所应该对应的形变信息。比如，目标对象与虚拟模型之间为1:1对应时，目标对象的形变信息就可以等同于虚拟模型的形变信息，进而基于该形变信息，直接调整虚拟模型，并最终进行展示。另外，假设目标对象与虚拟模型之间并非1:1对应时，有可能虚拟模型的轮廓以及每一个虚拟特征区域的轮廓大于或小于目标对象在图像信息中的大小，那么可以基于两者之间的比例对应关系，确定在虚拟模型中对应的形变。
进一步地，针对如何进行三维模型形变的追踪的方式，可以为实时追踪三维模型的形变。即利用相关技术追踪三维模型随时间的形变关系。一种可行的技术是非刚体形变。非刚体形变通过估计从A到B的局部仿射变换，通过优化方法，建立A到B的最佳形变关系。这个形变关系可以认为是一个函数变换f:A->B，我们的目标是让变换后的A和B的最接近。对于优化问题而言，即是||f(A)-(B)||2最小。通常我们在A上通过均匀采样选取适量的点，并定义好一定大小的邻域，通过同一个仿射变换变到B。不同位置的点对应着不同的仿射变换，借此来模拟一般的非刚体变换。基本的指导思想是，离得近的点形变会比较相近，离得远的点形变就有可能差别很大。采样点越多，变化越精细，优化的难度也越大。本问题的优化分为四部分：第一部分：A和B之间的一般对应关系；第二部分：约束对应关系；第三部分：局部平滑约束；四部分：局部刚性约束。
进一步地，在进行目标对象的形变信息的提取的时候，有可能还会存在的问题是，目标对象中存在部分特征区域被遮挡的情况。针对这种处理情况可以有以下两种处理方式：
第一种、
所述获取所述目标对象中特征区域的形变信息时，所述方法还包括：
判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则基于所述目标对象的第一特征区域之外的其他特征区域对应的形变信息，计算得到针对所述第一特征区域的形变信息。
这种方式可以应用在被遮挡区域较小的情况下，这种场景下，可以将周边区域中的特征区域的形变信息，进行平均计算以得到被遮挡区域的形变信息。当然也可以采用周边特征区域中的某一个特征区域的形变信息直接作为被遮挡区域的形变信息。
第二种、
所述获取所述目标对象中特征区域的形变信息时，所述方法还包括：
判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则检测针对所述第一特征区域是否存在图像采集方式；
当针对所述第一特征区域存在图像采集方式时，通过所述图像采集方式采集得到所述第一特征区域在第一预设时长内的形变信息。
这种场景，较为适用于如图4所示的场景中，该场景中，目标对象的某一个区域被遮挡，比如，图中被AR眼镜遮挡，这部分就可能无法采集到实时的形变信息。
而尤其是眼部变化情况还是非常频繁的，因此，可以在AR眼镜内部朝向用户的方向设置一些能够采集到深度信息的图像采集单元；
然后将该部分图像采集单元采集到的图像及其对应的形变信息(包含有深度信息)，与其他特征区域的形变信息组合，得到整个目标对象的形变信息，以进而调整虚拟模型。
总体来说，本实施例可以应用于场景有，仅对目标对象进行三维模型的生成，以实现较为有趣的图像；
另一种，则是，将图像信息建立三维模型，然后发送该三维模型至于电子设备进行通信的对端设备，使得对端设备能够基于三维模型及其形变对应的调整信息，得到实时更新的目标对象的三维模型样式，提升用户之间的交互实时感。
可见，通过采用上述方案，就能够基于包含有深度信息的图像，建立针对目标对象的虚拟模型；然后根据具备深度信息的形变信息，调整虚拟模型，得到调整后的虚拟模型。如此，能够在获取目标对象的虚拟模型的时候，避免通过传感器进行目标对象的动作采集，从而使得进行虚拟模型的形变调整的处理更加便捷，更加提升了虚拟模型能够应用到更多场景中的可行性。
实施例二、
本发明实施例提供了一种信息处理方法，应用于电子设备，如图1所示，包括：
步骤101：获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
步骤102：基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
步骤103：获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
这里，所述电子设备可以为具备图像处理功能的设备，具体形式本实施例不做限定，比如，可以为电脑(PC或笔记本电脑)等等。
获取至少一个图像信息，可以为获取到具备深度信息的图像信息。其具体的获取方式可以为直接从内存中获取预存的针对目标对象的至少一个图像信息；还可以为，通过至少一个能够采集得到深度信息的图像采集单元中获取得到针对目标对象的一个或多个角度的图像信息。
与实施例不同之处在于，本实施例所述确定所述目标对象对应的虚拟模型，包括：
建立与所述目标对象对应的中间模型，其中，所述中间模型与所述目标对象具备相同的关键特征、且关键特征之间的比例与所述目标对象一致；
将所述中间模型中包含的至少一个特征区域，与所述虚拟模型所包含的至少一个特征区域进行匹配，以得到所述中间模型的特征区域与所述虚拟模型的特征区域之间的映射关系，以使得所述目标对象与所述虚拟模型相匹配。需要指出的是，所述虚拟模型可以为与所述目标对象相同类型的三维图像，比如，目标对象为一个人物，那么对应的中间模型可以为该人物对应的一个较为精简的三维模型；然后将这个中间模型与最终虚拟模型的各个特征区域进行对应，也就是将目标对象与最终的虚拟模型中每一个特征区域进行匹配。
进一步地，目标对象的特征区域可以为根据实际情况确定的特征区域，同样参见图2，假设目标对象为人物21，那么可以将特征区域确定为眼部、嘴部、以及鼻子这几个基础特征区域；如果要得到仿真效果更好的虚拟模型22，可以增加特征区域，比如，增加耳朵、发际线、眉毛等等更多的特征区域。
需要理解的是，前述以目标对象为人物进行了特征区域的说明，但是实际上还可以有其他类型的目标对象，比如，可以为小动物，那么对应的特征区域，除了眼睛、嘴、鼻子之外，可能还会包含有腿、尾巴等等特征区域，本实施例中提供的方案能够针对不同类型的目标对象进行处理，只是这里不再进行穷举。换句话说，目标对象的特征区域可以与目标对象的类型相关，其对应关系可以为预设的对应关系。
基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型的方式，可以为直接采用目标对象的图像信息中的特征区域，建立对应的虚拟模型；在建立虚拟模型的时候，需要结合图像信息中的深度信息，从而使得建立的虚拟模型为能够体现深度信息的模型。
进一步地，参见图2，将目标对象的图像信息与虚拟模型进行对应的方式，可以为基于目标对象的图像信息中目标对象的轮廓、以及各个特征区域之间的相对位置关系，确定虚拟模型的轮廓、以及各个特征区域之间的相对位置关系，以使得目标对象的特征区域与虚拟模型中的虚拟特征区域相互对应。
进一步地，所述获取所述目标对象中特征区域的形变信息，包括：
在第一预设时长内，获取所述目标对象的至少一个特征区域中，每一个像素点对应的深度信息的变化信息，以至少基于所述包含有每一个像素点对应的深度信息的变化信息组成所述目标对象中特征区域的形变信息。
获取目标对象中特征区域的形变信息，可以为，获取到预设时长中，所述目标对象中特征区域的形变信息。其中，所述形变信息除了能够表征目标对象每一个特征区域的像素点的位置变化信息之外，还可以表征深度信息的变化信息。其中，第一预设时长可以根据实际情况进行设置，比如可以为10秒钟，若要达到更加精确的匹配以及更加无时延的调整虚拟模型的目的，可以将第一预设时长设置的更小，比如可以1秒钟，30ms等等长度，这里不进行穷举。
所述基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示，包括：
至少基于所述特征区域中每一个像素点对应的深度信息的变化信息，计算得到虚拟模型中对应的特征区域中每一个像素点的深度信息的对应调整信息；
基于计算得到的针对虚拟模型中的特征区域中每一个像素点的深度信息的调整信息，对所述虚拟模型进行调整并显示。
基于目标对象与虚拟模型之间的对应比例关系，确定虚拟模型中嘴部变化所应该对应的形变信息。比如，目标对象与虚拟模型之间为1:1对应时，目标对象的形变信息就可以等同于虚拟模型的形变信息，进而基于该形变信息，直接调整虚拟模型，并最终进行展示。另外，假设目标对象与虚拟模型之间并非1:1对应时，有可能虚拟模型的轮廓以及每一个虚拟特征区域的轮廓大于或小于目标对象在图像信息中的大小，那么可以基于两者之间的比例对应关系，确定在虚拟模型中对应的形变。
进一步地，针对如何进行三维模型形变的追踪的方式，可以为实时追踪三维模型的形变。即利用相关技术追踪三维模型随时间的形变关系。一种可行的技术是非刚体形变。非刚体形变通过估计从A到B的局部仿射变换，通过优化方法，建立A到B的最佳形变关系。这个形变关系可以认为是一个函数变换f:A->B，我们的目标是让变换后的A和B的最接近。对于优化问题而言，即是||f(A)-(B)||2最小。通常我们在A上通过均匀采样选取适量的点，并定义好一定大小的邻域，通过同一个仿射变换变到B。不同位置的点对应着不同的仿射变换，借此来模拟一般的非刚体变换。基本的指导思想是，离得近的点形变会比较相近，离得远的点形变就有可能差别很大。采样点越多，变化越精细，优化的难度也越大。本问题的优化分为四部分：第一部分：A和B之间的一般对应关系；第二部分：约束对应关系；第三部分：局部平滑约束；四部分：局部刚性约束。
进一步地，在进行目标对象的形变信息的提取的时候，有可能还会存在的问题是，目标对象中存在部分特征区域被遮挡的情况。针对这种处理情况可以有以下两种处理方式：
第一种、
所述获取所述目标对象中特征区域的形变信息时，所述方法还包括：
判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则基于所述目标对象的第一特征区域之外的其他特征区域对应的形变信息，计算得到针对所述第一特征区域的形变信息。
这种方式可以应用在被遮挡区域较小的情况下，这种场景下，可以将周边区域中的特征区域的形变信息，进行平均计算以得到被遮挡区域的形变信息。当然也可以采用周边特征区域中的某一个特征区域的形变信息直接作为被遮挡区域的形变信息。
第二种、
所述获取所述目标对象中特征区域的形变信息时，所述方法还包括：
判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则检测针对所述第一特征区域是否存在图像采集方式；
当针对所述第一特征区域存在图像采集方式时，通过所述图像采集方式采集得到所述第一特征区域在第一预设时长内的形变信息。
这种场景，较为适用于如图3所示的场景中，该场景中，目标对象的某一个区域被遮挡，比如，图中被AR眼镜遮挡，这部分就可能无法采集到实时的形变信息。
而尤其是眼部变化情况还是非常频繁的，因此，可以在AR眼镜内部朝向用户的方向设置一些能够采集到深度信息的图像采集单元；
然后将该部分图像采集单元采集到的图像及其对应的形变信息(包含有深度信息)，与其他特征区域的形变信息组合，得到整个目标对象的形变信息，以进而调整虚拟模型。
总体来说，本实施例可以应用于场景有，仅对目标对象进行三维模型的生成，以实现较为有趣的图像；
另一种，则是，将图像信息建立三维模型，然后发送该三维模型至于电子设备进行通信的对端设备，使得对端设备能够基于三维模型及其形变对应的调整信息，得到实时更新的目标对象的三维模型样式，提升用户之间的交互实时感。
首先，本实施例中采用多角度的深度摄像机阵列，实时采集目标物体的深度图，完整捕捉替身的表面信息，可以如图5所示，为本实施例摄像机阵列的组成样式。
采集一定时间内替身的深度图，并融合为一个完整的三维模型。这是因为单个深度图噪声比较大，低质量的深度信息会影响后续精度，而且多个深度图由于彼此之间有重叠区域，不是一个闭合的曲面，无法作为整体与虚拟物体对应起来。因此，通过深度图融合技术，形成一个高质量的完整的三维模型。
建立替身模型A与虚拟物体之间的对应关系。比如，将人的三维模型与虚拟物体的局部对应起来，特别是一些关键部位，比如眼睛，鼻子，下巴，手肘等。这一步可通过机器学习的方法在三维模型中找到关键部位。
实时追踪三维模型的形变。即利用相关技术追踪三维模型随时间的形变关系。一种可行的技术是非刚体形变。首先利用多角度的深度图生成当前帧的三维模型B，其次通过估计关键部位上的局部仿射变换，建立A到B的形变关系。由于目标在运动过程中难免会发生遮挡，一般而言B是不完整的模型，且其质量低于A的质量，直接用B的模型匹配虚拟物体会产生误差。而利用形变关系将替身的三维模型A形变到B的位置，相当于获得了B的完整版与加强版。
生成虚拟物体的形变模型。根据替身三维模型A与虚拟物体之间的对应，将A的形变转化为虚拟物体的形变，并驱动虚拟物体运动。如图6所示，虚拟模型可以为预先设置的一个小狗的三维头像，将人物的各个特征区域与小狗的三维头像中的各个特征区域进行一一匹配得到映射关系。
实时显示。将虚拟物体的变化实时显示在显示终端上。
可见，通过采用上述方案，就能够基于包含有深度信息的图像，建立针对目标对象的虚拟模型；然后根据具备深度信息的形变信息，调整虚拟模型，得到调整后的虚拟模型。如此，能够在获取目标对象的虚拟模型的时候，避免通过传感器进行目标对象的动作采集，从而使得进行虚拟模型的形变调整的处理更加便捷，更加提升了虚拟模型能够应用到更多场景中的可行性。
实施例三、
本发明实施例提供了一种电子设备，如图7所示，包括：
获取单元71，用于获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
模型建立单元72，用于基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
调整单元73，用于获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
这里，所述电子设备可以为具备图像处理功能的设备，具体形式本实施例不做限定，比如，可以为电脑(PC或笔记本电脑)等等。
获取至少一个图像信息，可以为获取到具备深度信息的图像信息。其具体的获取方式可以为直接从内存中获取预存的针对目标对象的至少一个图像信息；还可以为，通过至少一个能够采集得到深度信息的图像采集单元中获取得到针对目标对象的一个或多个角度的图像信息。
模型建立单元72，用于基于所述目标对象的至少一个图像信息，建立得到针对目标对象对应的虚拟模型。
需要指出的是，所述虚拟模型可以为与所述目标对象相同类型的三维图像，比如，如图2所示，目标对象为一个人物，那么对应的虚拟模型也就是图2中所示的基于该人物21，建立得到的三维模型22。
进一步地，目标对象的特征区域可以为根据实际情况确定的特征区域，同样参见图2，假设目标对象为人物21，那么可以将特征区域确定为眼部、嘴部、以及鼻子这几个基础特征区域；如果要得到仿真效果更好的虚拟模型，可以增加特征区域，比如，增加耳朵、发际线、眉毛等等更多的特征区域。
需要理解的是，前述以目标对象为人物进行了特征区域的说明，但是实际上还可以有其他类型的目标对象，比如，可以为小动物，那么对应的特征区域，除了眼睛、嘴、鼻子之外，可能还会包含有腿、尾巴等等特征区域，本实施例中提供的方案能够针对不同类型的目标对象进行处理，只是这里不再进行穷举。换句话说，目标对象的特征区域可以与目标对象的类型相关，其对应关系可以为预设的对应关系。
基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型的方式，可以为直接采用目标对象的图像信息中的特征区域，建立对应的虚拟模型；在建立虚拟模型的时候，需要结合图像信息中的深度信息，从而使得建立的虚拟模型为能够体现深度信息的模型。
进一步地，参见图3，将目标对象的图像信息与虚拟模型进行对应的方式，可以为基于目标对象的图像信息中目标对象的轮廓、以及各个特征区域之间的相对位置关系，确定虚拟模型的轮廓、以及各个特征区域之间的相对位置关系，以使得目标对象的特征区域与虚拟模型中的虚拟特征区域相互对应。如图2中所示，目标对象的特征区域1、2、3，与虚拟模型中的虚拟特征区域11、12、13相互对应，并且目标对象在图像信息中的特征区域1、2、3之间的相对位置关系，与虚拟特征区域11、12、13之间的相对位置关系相同。
进一步地，所述获取所述目标对象中特征区域的形变信息，包括：
在第一预设时长内，获取所述目标对象的至少一个特征区域中，每一个像素点对应的深度信息的变化信息，以至少基于所述包含有每一个像素点对应的深度信息的变化信息组成所述目标对象中特征区域的形变信息。
获取目标对象中特征区域的形变信息，可以为，获取到预设时长中，所述目标对象中特征区域的形变信息。其中，所述形变信息除了能够表征目标对象每一个特征区域的像素点的位置变化信息之外，还可以表征深度信息的变化信息。比如，图3所示，目标对象当前闭上眼睛了，那么可以认为图中所示的眼睛特征区域31产生了形变信息，其中可以通过眼睛的轮廓坐标值的变化来表征形变信息；进一步地，眼睛特征区域31的深度信息的变化，可以采用深度信息的变化值来表示。其中，第一预设时长可以根据实际情况进行设置，比如可以为10秒钟，若要达到更加精确的匹配以及更加无时延的调整虚拟模型的目的，可以将第一预设时长设置的更小，比如可以1秒钟，30ms等等长度，这里不进行穷举。
所述调整单元，用于至少基于所述特征区域中每一个像素点对应的深度信息的变化信息，计算得到虚拟模型中对应的特征区域中每一个像素点的深度信息的对应调整信息；
基于计算得到的针对虚拟模型中的特征区域中每一个像素点的深度信息的调整信息，对所述虚拟模型进行调整并显示。
基于目标对象与虚拟模型之间的对应比例关系，确定虚拟模型中嘴部变化所应该对应的形变信息。比如，目标对象与虚拟模型之间为1:1对应时，目标对象的形变信息就可以等同于虚拟模型的形变信息，进而基于该形变信息，直接调整虚拟模型，并最终进行展示。另外，假设目标对象与虚拟模型之间并非1:1对应时，有可能虚拟模型的轮廓以及每一个虚拟特征区域的轮廓大于或小于目标对象在图像信息中的大小，那么可以基于两者之间的比例对应关系，确定在虚拟模型中对应的形变。
进一步地，针对如何进行三维模型形变的追踪的方式，可以为实时追踪三维模型的形变。即利用相关技术追踪三维模型随时间的形变关系。一种可行的技术是非刚体形变。非刚体形变通过估计从A到B的局部仿射变换，通过优化方法，建立A到B的最佳形变关系。这个形变关系可以认为是一个函数变换f:A->B，我们的目标是让变换后的A和B的最接近。对于优化问题而言，即是||f(A)-(B)||2最小。通常我们在A上通过均匀采样选取适量的点，并定义好一定大小的邻域，通过同一个仿射变换变到B。不同位置的点对应着不同的仿射变换，借此来模拟一般的非刚体变换。基本的指导思想是，离得近的点形变会比较相近，离得远的点形变就有可能差别很大。采样点越多，变化越精细，优化的难度也越大。本问题的优化分为四部分：第一部分：A和B之间的一般对应关系；第二部分：约束对应关系；第三部分：局部平滑约束；四部分：局部刚性约束。
进一步地，在进行目标对象的形变信息的提取的时候，有可能还会存在的问题是，目标对象中存在部分特征区域被遮挡的情况。针对这种处理情况可以有以下两种处理方式：
第一种、
所述调整单元，用于判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则基于所述目标对象的第一特征区域之外的其他特征区域对应的形变信息，计算得到针对所述第一特征区域的形变信息。
这种方式可以应用在被遮挡区域较小的情况下，这种场景下，可以将周边区域中的特征区域的形变信息，进行平均计算以得到被遮挡区域的形变信息。当然也可以采用周边特征区域中的某一个特征区域的形变信息直接作为被遮挡区域的形变信息。
第二种、
所述调整单元，用于判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则检测针对所述第一特征区域是否存在图像采集方式；
当针对所述第一特征区域存在图像采集方式时，通过所述图像采集方式采集得到所述第一特征区域在第一预设时长内的形变信息。
这种场景，较为适用于如图4所示的场景中，该场景中，目标对象的某一个区域被遮挡，比如，图中被AR眼镜遮挡，这部分就可能无法采集到实时的形变信息。
而尤其是眼部变化情况还是非常频繁的，因此，可以在AR眼镜内部朝向用户的方向设置一些能够采集到深度信息的图像采集单元；
然后将该部分图像采集单元采集到的图像及其对应的形变信息(包含有深度信息)，与其他特征区域的形变信息组合，得到整个目标对象的形变信息，以进而调整虚拟模型。
总体来说，本实施例可以应用于场景有，仅对目标对象进行三维模型的生成，以实现较为有趣的图像；
另一种，则是，将图像信息建立三维模型，然后发送该三维模型至于电子设备进行通信的对端设备，使得对端设备能够基于三维模型及其形变对应的调整信息，得到实时更新的目标对象的三维模型样式，提升用户之间的交互实时感。
可见，通过采用上述方案，就能够基于包含有深度信息的图像，建立针对目标对象的虚拟模型；然后根据具备深度信息的形变信息，调整虚拟模型，得到调整后的虚拟模型。如此，能够在获取目标对象的虚拟模型的时候，避免通过传感器进行目标对象的动作采集，从而使得进行虚拟模型的形变调整的处理更加便捷，更加提升了虚拟模型能够应用到更多场景中的可行性。
实施例四、
本发明实施例提供了一种电子设备，如图7所示，包括：
获取单元71，用于获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
模型建立单元72，用于基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
调整单元73，用于获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
这里，所述电子设备可以为具备图像处理功能的设备，具体形式本实施例不做限定，比如，可以为电脑(PC或笔记本电脑)等等。
获取至少一个图像信息，可以为获取到具备深度信息的图像信息。其具体的获取方式可以为直接从内存中获取预存的针对目标对象的至少一个图像信息；还可以为，通过至少一个能够采集得到深度信息的图像采集单元中获取得到针对目标对象的一个或多个角度的图像信息。
与实施例不同之处在于，本实施例所述确定所述目标对象对应的虚拟模型，包括：
建立与所述目标对象对应的中间模型，其中，所述中间模型与所述目标对象具备相同的关键特征、且关键特征之间的比例与所述目标对象一致；
将所述中间模型中包含的至少一个特征区域，与所述虚拟模型所包含的至少一个特征区域进行匹配，以得到所述中间模型的特征区域与所述虚拟模型的特征区域之间的映射关系，以使得所述目标对象与所述虚拟模型相匹配。需要指出的是，所述虚拟模型可以为与所述目标对象相同类型的三维图像，比如，目标对象为一个人物，那么对应的中间模型可以为该人物对应的一个较为精简的三维模型；然后将这个中间模型与最终虚拟模型的各个特征区域进行对应，也就是将目标对象与最终的虚拟模型中每一个特征区域进行匹配。
进一步地，目标对象的特征区域可以为根据实际情况确定的特征区域，同样参见图2，假设目标对象为人物21，那么可以将特征区域确定为眼部、嘴部、以及鼻子这几个基础特征区域；如果要得到仿真效果更好的虚拟模型22，可以增加特征区域，比如，增加耳朵、发际线、眉毛等等更多的特征区域。
需要理解的是，前述以目标对象为人物进行了特征区域的说明，但是实际上还可以有其他类型的目标对象，比如，可以为小动物，那么对应的特征区域，除了眼睛、嘴、鼻子之外，可能还会包含有腿、尾巴等等特征区域，本实施例中提供的方案能够针对不同类型的目标对象进行处理，只是这里不再进行穷举。换句话说，目标对象的特征区域可以与目标对象的类型相关，其对应关系可以为预设的对应关系。
基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型的方式，可以为直接采用目标对象的图像信息中的特征区域，建立对应的虚拟模型；在建立虚拟模型的时候，需要结合图像信息中的深度信息，从而使得建立的虚拟模型为能够体现深度信息的模型。
进一步地，参见图2，将目标对象的图像信息与虚拟模型进行对应的方式，可以为基于目标对象的图像信息中目标对象的轮廓、以及各个特征区域之间的相对位置关系，确定虚拟模型的轮廓、以及各个特征区域之间的相对位置关系，以使得目标对象的特征区域与虚拟模型中的虚拟特征区域相互对应。
进一步地，所述获取所述目标对象中特征区域的形变信息，包括：
在第一预设时长内，获取所述目标对象的至少一个特征区域中，每一个像素点对应的深度信息的变化信息，以至少基于所述包含有每一个像素点对应的深度信息的变化信息组成所述目标对象中特征区域的形变信息。
获取目标对象中特征区域的形变信息，可以为，获取到预设时长中，所述目标对象中特征区域的形变信息。其中，所述形变信息除了能够表征目标对象每一个特征区域的像素点的位置变化信息之外，还可以表征深度信息的变化信息。其中，第一预设时长可以根据实际情况进行设置，比如可以为10秒钟，若要达到更加精确的匹配以及更加无时延的调整虚拟模型的目的，可以将第一预设时长设置的更小，比如可以1秒钟，30ms等等长度，这里不进行穷举。
所述调整单元，用于至少基于所述特征区域中每一个像素点对应的深度信息的变化信息，计算得到虚拟模型中对应的特征区域中每一个像素点的深度信息的对应调整信息；
基于计算得到的针对虚拟模型中的特征区域中每一个像素点的深度信息的调整信息，对所述虚拟模型进行调整并显示。
基于目标对象与虚拟模型之间的对应比例关系，确定虚拟模型中嘴部变化所应该对应的形变信息。比如，目标对象与虚拟模型之间为1:1对应时，目标对象的形变信息就可以等同于虚拟模型的形变信息，进而基于该形变信息，直接调整虚拟模型，并最终进行展示。另外，假设目标对象与虚拟模型之间并非1:1对应时，有可能虚拟模型的轮廓以及每一个虚拟特征区域的轮廓大于或小于目标对象在图像信息中的大小，那么可以基于两者之间的比例对应关系，确定在虚拟模型中对应的形变。
进一步地，针对如何进行三维模型形变的追踪的方式，可以为实时追踪三维模型的形变。即利用相关技术追踪三维模型随时间的形变关系。一种可行的技术是非刚体形变。非刚体形变通过估计从A到B的局部仿射变换，通过优化方法，建立A到B的最佳形变关系。这个形变关系可以认为是一个函数变换f:A->B，我们的目标是让变换后的A和B的最接近。对于优化问题而言，即是||f(A)-(B)||2最小。通常我们在A上通过均匀采样选取适量的点，并定义好一定大小的邻域，通过同一个仿射变换变到B。不同位置的点对应着不同的仿射变换，借此来模拟一般的非刚体变换。基本的指导思想是，离得近的点形变会比较相近，离得远的点形变就有可能差别很大。采样点越多，变化越精细，优化的难度也越大。本问题的优化分为四部分：第一部分：A和B之间的一般对应关系；第二部分：约束对应关系；第三部分：局部平滑约束；四部分：局部刚性约束。
进一步地，在进行目标对象的形变信息的提取的时候，有可能还会存在的问题是，目标对象中存在部分特征区域被遮挡的情况。针对这种处理情况可以有以下两种处理方式：
第一种、
所述调整单元，用于判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则基于所述目标对象的第一特征区域之外的其他特征区域对应的形变信息，计算得到针对所述第一特征区域的形变信息。
这种方式可以应用在被遮挡区域较小的情况下，这种场景下，可以将周边区域中的特征区域的形变信息，进行平均计算以得到被遮挡区域的形变信息。当然也可以采用周边特征区域中的某一个特征区域的形变信息直接作为被遮挡区域的形变信息。
第二种、
所述调整单元，用于判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则检测针对所述第一特征区域是否存在图像采集方式；
当针对所述第一特征区域存在图像采集方式时，通过所述图像采集方式采集得到所述第一特征区域在第一预设时长内的形变信息。
这种场景，较为适用于如图3所示的场景中，该场景中，目标对象的某一个区域被遮挡，比如，图中被AR眼镜遮挡，这部分就可能无法采集到实时的形变信息。
而尤其是眼部变化情况还是非常频繁的，因此，可以在AR眼镜内部朝向用户的方向设置一些能够采集到深度信息的图像采集单元；
然后将该部分图像采集单元采集到的图像及其对应的形变信息(包含有深度信息)，与其他特征区域的形变信息组合，得到整个目标对象的形变信息，以进而调整虚拟模型。
总体来说，本实施例可以应用于场景有，仅对目标对象进行三维模型的生成，以实现较为有趣的图像；
另一种，则是，将图像信息建立三维模型，然后发送该三维模型至于电子设备进行通信的对端设备，使得对端设备能够基于三维模型及其形变对应的调整信息，得到实时更新的目标对象的三维模型样式，提升用户之间的交互实时感。
首先，本实施例中采用多角度的深度摄像机阵列，实时采集目标物体的深度图，完整捕捉替身的表面信息，可以如图5所示，为本实施例摄像机阵列的组成样式。
采集一定时间内替身的深度图，并融合为一个完整的三维模型。这是因为单个深度图噪声比较大，低质量的深度信息会影响后续精度，而且多个深度图由于彼此之间有重叠区域，不是一个闭合的曲面，无法作为整体与虚拟物体对应起来。因此，通过深度图融合技术，形成一个高质量的完整的三维模型。
建立替身模型A与虚拟物体之间的对应关系。比如，将人的三维模型与虚拟物体的局部对应起来，特别是一些关键部位，比如眼睛，鼻子，下巴，手肘等。这一步可通过机器学习的方法在三维模型中找到关键部位。
实时追踪三维模型的形变。即利用相关技术追踪三维模型随时间的形变关系。一种可行的技术是非刚体形变。首先利用多角度的深度图生成当前帧的三维模型B，其次通过估计关键部位上的局部仿射变换，建立A到B的形变关系。由于目标在运动过程中难免会发生遮挡，一般而言B是不完整的模型，且其质量低于A的质量，直接用B的模型匹配虚拟物体会产生误差。而利用形变关系将替身的三维模型A形变到B的位置，相当于获得了B的完整版与加强版。
生成虚拟物体的形变模型。根据替身三维模型A与虚拟物体之间的对应，将A的形变转化为虚拟物体的形变，并驱动虚拟物体运动。如图6所示，虚拟模型可以为预先设置的一个小狗的三维头像，将人物的各个特征区域与小狗的三维头像中的各个特征区域进行一一匹配得到映射关系。
实时显示。将虚拟物体的变化实时显示在显示终端上。
可见，通过采用上述方案，就能够基于包含有深度信息的图像，建立针对目标对象的虚拟模型；然后根据具备深度信息的形变信息，调整虚拟模型，得到调整后的虚拟模型。如此，能够在获取目标对象的虚拟模型的时候，避免通过传感器进行目标对象的动作采集，从而使得进行虚拟模型的形变调整的处理更加便捷，更加提升了虚拟模型能够应用到更多场景中的可行性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，装置，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (12)
1.一种信息处理方法，应用于电子设备，所述方法包括：
获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标对象中特征区域的形变信息，包括：
在第一预设时长内，获取所述目标对象的至少一个特征区域中，每一个像素点对应的深度信息的变化信息，以至少基于所述包含有每一个像素点对应的深度信息的变化信息组成所述目标对象中特征区域的形变信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示，包括：
至少基于所述特征区域中每一个像素点对应的深度信息的变化信息，计算得到虚拟模型中对应的特征区域中每一个像素点的深度信息的对应调整信息；
基于计算得到的针对虚拟模型中的特征区域中每一个像素点的深度信息的调整信息，对所述虚拟模型进行调整并显示。
4.根据权利要求2所述的方法，其特征在于，所述获取所述目标对象中特征区域的形变信息时，所述方法还包括：
判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则基于所述目标对象的第一特征区域之外的其他特征区域对应的形变信息，计算得到针对所述第一特征区域的形变信息。
5.根据权利要求2所述的方法，其特征在于，所述获取所述目标对象中特征区域的形变信息时，所述方法还包括：
判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则检测针对所述第一特征区域是否存在图像采集方式；
当针对所述第一特征区域存在图像采集方式时，通过所述图像采集方式采集得到所述第一特征区域在第一预设时长内的形变信息。
6.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象对应的虚拟模型，包括：
建立与所述目标对象对应的中间模型，其中，所述中间模型与所述目标对象具备相同的关键特征、且关键特征之间的比例与所述目标对象一致；
将所述中间模型中包含的至少一个特征区域，与所述虚拟模型所包含的至少一个特征区域进行匹配，以得到所述中间模型的特征区域与所述虚拟模型的特征区域之间的映射关系，以使得所述目标对象与所述虚拟模型相匹配。
7.一种电子设备，其特征在于，所述电子设备包括：
获取单元，用于获取针对目标对象的至少一个图像信息；其中，所述图像信息由至少一个像素点组成，且图像信息中至少包括每一个像素点所对应的深度信息；
模型建立单元，用于基于针对目标对象的至少一个图像信息，确定所述目标对象对应的虚拟模型；其中，所述目标对象中包含有至少一个特征区域、虚拟模型中包含有至少一个虚拟特征区域，且目标对象中的特征区域与所述虚拟模型中的虚拟特征区域相对应；
调整单元，用于获取所述目标对象中特征区域的形变信息，基于所述特征区域的形变信息，对所述虚拟模型进行调整并显示；其中，所述形变信息中至少包括有所述目标对象的特征区域所对应的深度信息的变化信息。
8.根据权利要求7所述的电子设备，其特征在于，所述调整单元，用于在第一预设时长内，获取所述目标对象的至少一个特征区域中，每一个像素点对应的深度信息的变化信息，以至少基于所述包含有每一个像素点对应的深度信息的变化信息组成所述目标对象中特征区域的形变信息。
9.根据权利要求8所述的电子设备，其特征在于，所述调整单元，用于至少基于所述特征区域中每一个像素点对应的深度信息的变化信息，计算得到虚拟模型中对应的特征区域中每一个像素点的深度信息的对应调整信息；
基于计算得到的针对虚拟模型中的特征区域中每一个像素点的深度信息的调整信息，对所述虚拟模型进行调整并显示。
10.根据权利要求8所述的电子设备，其特征在于，所述调整单元，用于判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则基于所述目标对象的第一特征区域之外的其他特征区域对应的形变信息，计算得到针对所述第一特征区域的形变信息。
11.根据权利要求8所述的电子设备，其特征在于，所述调整单元，用于判断所述目标对象中针对第一特征区域是否存在遮挡；
若存在遮挡，则检测针对所述第一特征区域是否存在图像采集方式；
当针对所述第一特征区域存在图像采集方式时，通过所述图像采集方式采集得到所述第一特征区域在第一预设时长内的形变信息。
12.根据权利要求7所述的电子设备，其特征在于，所述模型建立单元，用于建立与所述目标对象对应的中间模型，其中，所述中间模型与所述目标对象具备相同的关键特征、且关键特征之间的比例与所述目标对象一致；将所述中间模型中包含的至少一个特征区域，与所述虚拟模型所包含的至少一个特征区域进行匹配，以得到所述中间模型的特征区域与所述虚拟模型的特征区域之间的映射关系，以使得所述目标对象与所述虚拟模型相匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710208681.4A CN107066095B (zh) | 2017-03-31 | 2017-03-31 | 一种信息处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710208681.4A CN107066095B (zh) | 2017-03-31 | 2017-03-31 | 一种信息处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107066095A true CN107066095A (zh) | 2017-08-18 |
| CN107066095B CN107066095B (zh) | 2020-09-25 |
Family
ID=59603181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710208681.4A Active CN107066095B (zh) | 2017-03-31 | 2017-03-31 | 一种信息处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066095B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764135A (zh) * | 2018-05-28 | 2018-11-06 | 北京微播视界科技有限公司 | 图像生成方法、装置，及电子设备 |
| CN109784299A (zh) * | 2019-01-28 | 2019-05-21 | Oppo广东移动通信有限公司 | 模型处理方法、装置、终端设备及存储介质 |
| CN110942083A (zh) * | 2018-09-21 | 2020-03-31 | 发那科株式会社 | 拍摄装置以及拍摄系统 |
| CN113689325A (zh) * | 2021-07-12 | 2021-11-23 | 深圳数联天下智能科技有限公司 | 一种数字化美型眉毛的方法、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
| CN102508991A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于图像素材的虚拟实验教学场景的构建方法 |
| CN102622774A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 起居室电影创建 |
| CN104050712A (zh) * | 2013-03-15 | 2014-09-17 | 索尼公司 | 三维模型的建立方法和装置 |
| CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理系统以及图像处理方法 |
| CN105513114A (zh) * | 2015-12-01 | 2016-04-20 | 深圳奥比中光科技有限公司 | 三维动画生成的方法和装置 |
-
2017
- 2017-03-31 CN CN201710208681.4A patent/CN107066095B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622774A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 起居室电影创建 |
| CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
| CN102508991A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于图像素材的虚拟实验教学场景的构建方法 |
| CN104050712A (zh) * | 2013-03-15 | 2014-09-17 | 索尼公司 | 三维模型的建立方法和装置 |
| CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理系统以及图像处理方法 |
| CN105513114A (zh) * | 2015-12-01 | 2016-04-20 | 深圳奥比中光科技有限公司 | 三维动画生成的方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764135A (zh) * | 2018-05-28 | 2018-11-06 | 北京微播视界科技有限公司 | 图像生成方法、装置，及电子设备 |
| CN110942083A (zh) * | 2018-09-21 | 2020-03-31 | 发那科株式会社 | 拍摄装置以及拍摄系统 |
| CN109784299A (zh) * | 2019-01-28 | 2019-05-21 | Oppo广东移动通信有限公司 | 模型处理方法、装置、终端设备及存储介质 |
| CN113689325A (zh) * | 2021-07-12 | 2021-11-23 | 深圳数联天下智能科技有限公司 | 一种数字化美型眉毛的方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107066095B (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102069964B1 (ko) | 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 | |
| KR101424942B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법 | |
| JP4733318B2 (ja) | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム | |
| CN111417983A (zh) | 基于事件相机的可变形对象跟踪 | |
| CN108305312A (zh) | 3d虚拟形象的生成方法和装置 | |
| CN113657357B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP2011170891A (ja) | 顔画像処理方法およびシステム | |
| CN107066095A (zh) | 一种信息处理方法及电子设备 | |
| CN104881526A (zh) | 一种基于3d的物品穿戴方法及眼镜试戴方法 | |
| CN109859100A (zh) | 虚拟背景的显示方法、电子设备和计算机可读存储介质 | |
| CN110675413B (zh) | 三维人脸模型构建方法、装置、计算机设备及存储介质 | |
| CN119295683A (zh) | 一种基于实感技术的虚拟形象表情生成方法及系统 | |
| Richter et al. | Real-time reshaping of humans | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| JPH08305894A (ja) | しわの表現可能な三次元像生成装置 | |
| CN117437676A (zh) | 一种基于StyleGAN的半身人体驱动方法、装置、设备及介质 | |
| WO2023024096A1 (zh) | 图像处理方法、图像处理装置、拍摄设备和可读存储介质 | |
| CN109285201A (zh) | 肖像画自助绘制系统及自助绘制机 | |
| Liu et al. | Research on the Application of Human Posture Recognition Based on Deep Learning in Sports Movement Correction | |
| CN116958496A (zh) | 一种虚拟角色表情驱动方法及相关装置 | |
| CN106354257A (zh) | 一种基于增强现实技术的移动场景融合系统及方法 | |
| HK40061839A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |