[go: up one dir, main page]

CN112799507B - 人体虚拟模型展示方法、装置、电子设备及存储介质 - Google Patents

人体虚拟模型展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112799507B
CN112799507B CN202110055323.0A CN202110055323A CN112799507B CN 112799507 B CN112799507 B CN 112799507B CN 202110055323 A CN202110055323 A CN 202110055323A CN 112799507 B CN112799507 B CN 112799507B
Authority
CN
China
Prior art keywords
image
human body
gesture recognition
virtual model
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110055323.0A
Other languages
English (en)
Other versions
CN112799507A (zh
Inventor
高阳
郝爱民
蒋孟贤
赵沁平
吴洪宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110055323.0A priority Critical patent/CN112799507B/zh
Publication of CN112799507A publication Critical patent/CN112799507A/zh
Application granted granted Critical
Publication of CN112799507B publication Critical patent/CN112799507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种人体虚拟模型展示方法、装置、电子设备及存储介质，对获取的用户图像进行手势识别处理，得到手势识别结果；确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。本发明方案能够识别用户手势对人体虚拟模型进行操作，并基于3D图像显示技术进行裸眼3D展示，实现了根据用户手势灵活高效地操作人体虚拟模型，提高了人体虚拟模型的展示效果。

Description

人体虚拟模型展示方法、装置、电子设备及存储介质
技术领域
本发明涉及3D显示技术领域，尤其涉及一种人体虚拟模型展示方法、装置、电子设备及存储介质。
背景技术
随着3D显示技术的发展，在影视、医学、军事等领域得到了广泛的应用，尤其是在医学领域，教学过程中经常对人体模型进行展示。
现有技术中，通过三维模型软件构建3D人体模型，将构建的模型在显示设备上进行展示，用户通过控制设备对3D人体模型进行操作。
但是，现有技术是通过硬件设备来控制人体虚拟模型，导致用户无法灵活高效对人体虚拟模型进行操作，模型展示效果较差。
发明内容
本发明提供一种人体虚拟模型展示方法、装置、电子设备及存储介质，实现了通过识别用户手势对人体虚拟模型进行操作，并在显示设备上进行裸眼3D展示，提高了人体虚拟模型的展示效果。
第一方面，本发明提供一种人体虚拟模型展示方法，包括：
对获取的用户图像进行手势识别处理，得到手势识别结果；
确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；
基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。
可选的，所述对获取的用户图像进行手势识别处理，得到手势识别结果，包括：
确定手部在所述用户图像中的图像区域；
对所述图像区域进行手部关键点识别，得到所述图像区域中的手部关键点序列；其中，所述手部关键点序列中包括图像区域中的手部在每一图像帧的关键点类型、位置以及形态；
根据所述手部关键点序列确定其所对应的手势，得到手势识别结果。
进一步的，所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果之前，还包括：
在手部关键点序列中，确定是否有任一图像帧的关键点类型、位置以及形态满足触发条件；
若是，则执行所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果的步骤。
进一步的，所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果，包括：
根据所述手部关键点序列中连续图像帧的手部的关键点类型、位置以及形态，确定手部在连续图像帧中的每个手部关键点的变化趋势；
根据各手部关键点的变化趋势确定手部关键点序列所对应的手势类型和手势轨迹，得到手势识别结果。
进一步的，所述确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得待展示的目标人体虚拟模型，包括：
根据所述手势类型从函数库中调用相应类型的预存图像处理函数；
根据所述手势轨迹，对所述预存图像处理函数进行处理，得到待执行的图像处理函数；
对所述预先构建的人体虚拟模型执行所述待执行的图像处理函数，得到待展示的目标人体虚拟模型。
可选的，所述基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像，包括：
构建多个虚拟相机，并计算每个虚拟相机的子像素映射矩阵；
利用各子像素映射矩阵，确定每个虚拟相机呈现所述目标人体虚拟模型的相机图像；
根据所述目标人体虚拟模型的模型材质，对各相机图像进行光影渲染处理，得到相应的渲染图像；
根据各渲染图像，创建所述目标人体虚拟模型的3D图像并进行展示。
第二方面，本发明提供一种人体虚拟模型展示装置，包括：
手势识别单元，用于对获取的用户图像进行手势识别处理，得到手势识别结果；
执行单元，用于确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；
展示单元，用于基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。
可选的，所述手势识别单元，具体用于：
确定手部在所述用户图像中的图像区域；
对所述图像区域进行手部关键点识别，得到所述图像区域中的手部关键点序列；其中，所述手部关键点序列中包括图像区域中的手部在每一图像帧的关键点类型、位置以及形态；
根据所述手部关键点序列确定其所对应的手势，得到手势识别结果。
进一步的，所述手势识别单元，具体还用于：
在手部关键点序列中，确定是否有任一图像帧的关键点类型、位置以及形态满足触发条件；
若是，则执行所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果的步骤。
进一步的，所述手势识别单元，具体还用于：
根据所述手部关键点序列中连续图像帧的手部的关键点类型、位置以及形态，确定手部在连续图像帧中的每个手部关键点的变化趋势；
根据各手部关键点的变化趋势确定手部关键点序列所对应的手势类型和手势轨迹，得到手势识别结果。
可选的，所述执行单元，具体用于：
根据所述手势类型从函数库中调用相应类型的预存图像处理函数；
根据所述手势轨迹，对所述预存图像处理函数进行处理，得到待执行的图像处理函数；
对所述预先构建的人体虚拟模型执行所述待执行的图像处理函数，得到待展示的目标人体虚拟模型。
可选的，所述展示单元，具体用于：
构建多个虚拟相机，并计算每个虚拟相机的子像素映射矩阵；
利用各子像素映射矩阵，确定每个虚拟相机呈现所述目标人体虚拟模型的相机图像；
根据所述目标人体虚拟模型的模型材质，对各相机图像进行光影渲染处理，得到相应的渲染图像；
根据各渲染图像，创建所述目标人体虚拟模型的3D图像并进行展示。
第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行第一方面任一项所述的展示方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的展示方法。
第五方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的展示方法。
本发明提供的一种人体虚拟模型展示方法、装置、电子设备及存储介质，对获取的用户图像进行手势识别处理，得到手势识别结果；确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。与现有技术相比，本发明提供的人体虚拟模型展示方法能够识别用户手势对人体虚拟模型进行操作，并基于3D图像显示技术进行裸眼3D展示，实现了灵活高效地操作人体虚拟模型，提高了人体虚拟模型的展示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开所基于的一种网络架构的示意图；
图2为本公开实施例提供的一种人体虚拟模型展示方法的流程示意图；
图3为本公开实施例提供的一种手势识别流程示意图；
图4为本公开实施例提供的一种人体虚拟模型展示装置的结构示意图；
图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前，3D显示技术已成为科研热点，被广泛应用到多个领域，例如影视、医学、军事等领域。在医学领域，采用人体虚拟模型进行教学展示是医学教学的发展趋势。
在现有技术中，通常利用三维模型构建软件来构建人体虚拟模型，将构建的模型渲染后展示在显示设备上，用户通过硬件控制设备对展示的模型进行操作，显示设备根据用户操作同步显示操作后的人体虚拟模型。
例如，将三维模型构建软件构建肝脏虚拟模型，将肝脏虚拟模型经过渲染后展示在显示设备上，用户利用鼠标对显示设备上呈现的肝脏虚拟模型进行旋转，以展示肝脏的其他位置，显示设备根据用户对鼠标的操作同步显示肝脏的其他位置。
然而，由于展示人体虚拟模型需要用户手动操作硬件控制设备，用户需要耗费大量时间操作硬件控制设备，甚至用户只能在硬件控制设备旁边进行教学，导致用户无法灵活高效对人体虚拟模型进行操作，严重影响了了模型展示的效果。
针对这些问题，发明人研究发现，可以取消硬件控制设备，采用拍摄设备获取用户的手势图像，根据手势图像确定用户的手势识别结果，将手势识别结果结果转换为对人体虚拟模型的操作，并基于3D图像显示技术对操作后的人体虚拟模型进行渲染处理，得到真实感更强的人体虚拟模型的3D图像，并展示在3D屏幕上。因此，本申请能够通过识别用户手势对人体虚拟模型进行操作，并基于3D图像显示技术进行裸眼3D展示，实现了灵活高效地操作人体虚拟模型，提高了人体虚拟模型的展示效果。
图1为本公开所基于的一种网络架构的示意图，如图1所示的，本公开基于的一种网络架构可包括人体虚拟模型展示装置1、拍摄设备2以及显示设备3。
其中，人体虚拟模型展示装置1可与拍摄设备2通过网络进行数据传输的硬件或软件，其可用于执行下述各实施例中所述的展示方法。
当人体虚拟模型展示装置1为硬件时，其可以为具备运算功能的云端服务器。当人体虚拟模型展示装置1为软件时，其可以安装在具备运算功能的电子设备中，其中的电子设备包括但不限于膝上型便携计算机和台式计算机等等。
其中，拍摄设备2具体可为双目相机、深度相机、智能摄像头等硬件设备。
同时，人体虚拟模型展示装置1可利用拍摄设备2的拍摄功能，以获取拍摄设备2拍摄的用户图像。
举例来说，深度相机拍摄用户图像，人体虚拟模型展示装置获取用户图像并对用户图像进行手势识别以确定手势识别结果，根据手势识别结果确定相应的人体虚拟模型操作，并对人体虚拟模型执行人体虚拟模型操作，利用3D显示技术对操作后人体虚拟模型进行三维处理以及渲染处理，获得3D图像，将3D图像展示在显示设备上，以供用户进行观看。
以下将对本申请提供的人体虚拟模型展示方法、装置、电子设备及存储介质进行进一步说明：
图2为本公开实施例提供的一种人体虚拟模型展示方法的流程示意图。如图2所示，本公开实施例提供的一种人体虚拟模型展示方法，包括：
S21、对获取的用户图像进行手势识别处理，得到手势识别结果；
本实施例中，由于不再使用硬件控制设备来操作模型，而是通过识别用户手势的方式对人体虚拟模型进行操作，因此对获取的用户图像进行手势识别处理，确定用户的手势识别结果，用以操作人体虚拟模型。
在一种可能的实施方式中，所述对获取的用户图像进行手势识别处理，得到手势识别结果，包括：确定手部在所述用户图像中的图像区域；对所述图像区域进行手部关键点识别，得到所述图像区域中的手部关键点序列；其中，所述手部关键点序列中包括图像区域中的手部在每一图像帧的关键点类型、位置以及形态；根据所述手部关键点序列确定其所对应的手势，得到手势识别结果。
也就是说，确定每一帧用户图像中的手部位置，获取手部关键点信息，手部关键点信息包括关键点类型、位置以及形态，得到手部关键点序列。对手部关键点序列中的关键点信息进行处理得到手势识别结果。
由于确定手势识别结果需要首先确定手势是否触发了预设的条件，然后基于预设的条件确定具体的手势识别结果，因此所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果之前，还包括：在手部关键点序列中，确定是否有任一图像帧的关键点类型、位置以及形态满足触发条件；若是，则执行所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果的步骤。
在确定了用户手势满足触发条件后，采用相应的方法对手部关键点序列进行处理确定手势识别结果，进而根据手部关键点的变化趋势确定手势识别结果。所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果，包括：根据所述手部关键点序列中连续图像帧的手部的关键点类型、位置以及形态，确定手部在连续图像帧中的每个手部关键点的变化趋势；根据各手部关键点的变化趋势确定手部关键点序列所对应的手势类型和手势轨迹，得到手势识别结果。
图3为本公开实施例提供的一种手势识别流程示意图，如图3所示，人体虚拟模型开始展示后，首先获取手部关键点信息，并根据手部关键点信息判断是否满足触发条件；若不满足条件，则重新获取手部关键点信息；若满足条件，则根据手部关键点信息确定每个手部关键点的变化趋势；最后根据各手部关键点的变化趋势得到手势识别结果。
以下通过几个具体的手势识别实例来对手势识别进行进一步说明：
例子一，用户右手控制人体虚拟模型移动，以将人体虚拟模型中的心脏移动至显示设备的中间位置，人体虚拟模型展示装置获取该过程中拍摄的用户图像，从用户图像中获取右手关键点序列，根据右手关键点序列确定用户手势满足单手移动操作触发条件，进一步根据右手关键点序列确定用户右手沿X轴正方向移动了30cm。
例子二，用户右手对人体虚拟模型中的心脏沿Z轴正方向做出推门动作，以选中心脏，人体虚拟模型展示装置获取该过程中拍摄的用户图像，从用户图像中获取右手关键点序列，根据右手关键点序列确定用户右手沿Z轴正方向移动了15cm。
例子三，用户右手控制选中的心脏围绕Y轴旋转一定的角度，以展示心脏的另一面，人体虚拟模型展示装置获取该过程中拍摄的用户图像，从用户图像中获取右手关键点序列，根据右手关键点序列确定用户手势满足单手旋转操作触发条件，进一步根据右手关键点序列确定用户右手围绕Y轴旋转95°。
例子四，用户双手对选中的心脏进行放大，以展示心脏细节，人体虚拟模型展示装置获取该过程中拍摄的用户图像，从用户图像中获取双手关键点序列，根据双手关键点序列确定用户手势满足双手放大操作触发条件，进一步根据双手关键点序列确定用户右手和左手在Y轴方向上相对远离了20cm。
S22、确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得待展示的目标人体虚拟模型；
本实施例中，由于手势识别结果用以对人体虚拟模型进行操作，需要将手势识别结果与人体虚拟模型的操作进行关联，实现手势对人体虚拟模型的操作，而人体虚拟模型本质是一种图像，因此确定手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得待展示的目标人体虚拟模型。
在一种可能的实施方式中，所述确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得待展示的目标人体虚拟模型，包括：根据所述手势类型从函数库中调用相应类型的预存图像处理函数；根据所述手势轨迹，对所述预存图像处理函数进行处理，得到待执行的图像处理函数；对所述预先构建的人体虚拟模型执行所述待执行的图像处理函数，得到待展示的目标人体虚拟模型。
具体来说，由于不同的手势对应不同的模型操作，且手部所在的现实空间与人体虚拟模型所在的虚拟空间需要转换，才能实现手势对模型的控制，因此本实施例中根据手势类型从函数库中调用相应类型的预存图像处理函数，将手势轨迹输入预存图像处理函数得到待执行的图像处理函数，控制预先构建的人体虚拟模型执行所述待执行的图像处理函数，控制人体虚拟模型进行与手势对应的模型操作。
继续以前述例子一为例，由于确定用户手势满足单手移动操作触发条件以及用户右手沿X轴正方向移动了30cm，则调用移动图像处理函数，并将用户右手沿X轴正方向移动了30cm对应的数学轨迹输入移动图像处理函数得到待执行的图像处理函数，对人体虚拟模型执行待执行的图像处理函数，则人体虚拟模型向右侧水平移动了2m。
S23、基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。
本实施例中，由于预先构建的人体虚拟模型在显示设备上呈现的3D图像效果较差，尤其是经过操作后的目标人体虚拟模型的呈现效果更需要改善，因此基于3D图像显示技术对目标人体虚拟模型进行图像生成和图像渲染处理。
在一种可能的实施方式中，所述基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像，包括：构建多个虚拟相机，并计算每个虚拟相机的子像素映射矩阵；利用各子像素映射矩阵，确定每个虚拟相机呈现所述目标人体虚拟模型的相机图像；根据所述目标人体虚拟模型的模型材质，对各相机图像进行光影渲染处理，得到相应的渲染图像；根据各渲染图像，创建所述目标人体虚拟模型的3D图像并进行展示。
具体来说，由于人体虚拟模型需要在显示设备上显示3D效果，且保证显示效果的真实感，需要构建人体虚拟模型对应的3D图像，首先构建多个虚拟相机并计算每个虚拟相机的子像素映射矩阵，利用子像素映射矩阵对现有模型像素进行像素映射获得多个相机图像。
然后根据所述模型材质的物理特性，利用渲染方程对所述各相机图像中进行光影渲染处理，采用如下公式一所示的渲染方程，以计算各相机图像中的像素亮度。
Lo＝Le+∮fr·Li·(wi·n)dwi 公式一
其中，Lo表示渲染后的像素亮度，Le表示像素发光亮度，fr表示像素的入射方向到出射方向的光线反射比例，wi·n表示入射角导致的入射光线衰减。
利用次表面散射技术对所述处理后的相机图像中的模型表面进行模拟处理，采用如下公式二所示的渲染方程，以计算各相机图像中的辐射出射度。
Figure BDA0002900403570000101
其中，Me(x,y)表示(x,y)处的辐射出射度，E(x,y)表示(x,y)处的辐照度，Rd(x,y)表示二维漫反射剖面。
上式也可以用卷积表示，由于Me(x,y)产生的二维卷积计算复杂，可以将Rd(x,y)表示为一个由一系列可分离函数组成的近似，通过多个一维卷积序列来近似该操作，该序列的计算复杂度要小得多，具体如下公式三所示。
Figure BDA0002900403570000102
其中，ai表示一个一维卷积序列。
由于二维漫反射剖面是径向对称的，因此在两个方向上使用相同的一维卷积序列。而均值为0的高斯函数是一个合适的模拟，可表示如下公式四。
Figure BDA0002900403570000111
其中，wi表示权重，G(x,y；σi)表示高斯函数。
根据渲染图像创建3D图像，将3D图像展示在显示设备上，以使观众的左右眼看到不同的图像，实现人体虚拟模型3D效果展示。
本实施例提供了一种人体虚拟模型展示方法，对获取的用户图像进行手势识别处理，得到手势识别结果；确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。本实施例提供的人体虚拟模型展示方法能够识别用户手势对人体虚拟模型进行操作，并基于3D图像显示技术进行裸眼3D展示，实现了根据用户手势灵活高效地操作人体虚拟模型，提高了人体虚拟模型的展示效果。
对应于上文实施例的人体虚拟模型展示方法，图4为本公开实施例提供的一种人体虚拟模型展示装置的结构示意图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图4，所述人体虚拟模型展示装置包括：
手势识别单元31，用于对获取的用户图像进行手势识别处理，得到手势识别结果；
执行单元32，用于确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；
展示单元33，用于基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。
可选的，所述手势识别单元31，具体用于：
确定手部在所述用户图像中的图像区域；
对所述图像区域进行手部关键点识别，得到所述图像区域中的手部关键点序列；其中，所述手部关键点序列中包括图像区域中的手部在每一图像帧的关键点类型、位置以及形态；
根据所述手部关键点序列确定其所对应的手势，得到手势识别结果。
进一步的，所述手势识别单元31，具体还用于：
在手部关键点序列中，确定是否有任一图像帧的关键点类型、位置以及形态满足触发条件；
若是，则执行所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果的步骤。
进一步的，所述手势识别单元31，具体还用于：
根据所述手部关键点序列中连续图像帧的手部的关键点类型、位置以及形态，确定手部在连续图像帧中的每个手部关键点的变化趋势；
根据各手部关键点的变化趋势确定手部关键点序列所对应的手势类型和手势轨迹，得到手势识别结果。
可选的，所述执行单元32，具体用于：
根据所述手势类型从函数库中调用相应类型的预存图像处理函数；
根据所述手势轨迹，对所述预存图像处理函数进行处理，得到待执行的图像处理函数；
对所述预先构建的人体虚拟模型执行所述待执行的图像处理函数，得到待展示的目标人体虚拟模型。
可选的，所述展示单元33，具体用于：
构建多个虚拟相机，并计算每个虚拟相机的子像素映射矩阵；
利用各子像素映射矩阵，确定每个虚拟相机呈现所述目标人体虚拟模型的相机图像；
根据所述目标人体虚拟模型的模型材质，对各相机图像进行光影渲染处理，得到相应的渲染图像；
根据各渲染图像，创建所述目标人体虚拟模型的3D图像并进行展示。
本实施例提供了一种人体虚拟模型展示装置，对获取的用户图像进行手势识别处理，得到手势识别结果；确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。本实施例提供的人体虚拟模型展示装置能够识别用户手势对人体虚拟模型进行操作，并基于3D图像显示技术进行裸眼3D展示，实现了根据用户手势灵活高效地操作人体虚拟模型，提高了人体虚拟模型的展示效果。
图5为本公开实施例提供的一种电子设备的结构示意图，如图5所示，本实施例的电子设备60可以包括：存储器61、处理器62。
存储器61，用于存储计算机程序(如实现上述一种人体虚拟模型展示方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器61中。并且上述的计算机程序、计算机指令、数据等可以被处理器62调用。
处理器62，用于执行存储器61存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
存储器61和处理器62可以是独立结构，也可以是集成在一起的集成结构。当存储器61和处理器62是独立结构时，存储器61、处理器62可以通过总线63耦合连接。
本实施例的一种电子设备可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的人体虚拟模型展示方法的方案。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的实施例形式。

Claims (8)

1.一种人体虚拟模型展示方法，其特征在于，包括：
对获取的用户图像进行手势识别处理，得到手势识别结果；
确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；
基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像；
所述对获取的用户图像进行手势识别处理，得到手势识别结果，包括：
根据手部关键点序列中连续图像帧的手部的关键点类型、位置以及形态，确定手部在连续图像帧中的每个手部关键点的变化趋势；
根据各手部关键点的变化趋势确定手部关键点序列所对应的手势类型和手势轨迹，得到手势识别结果；
所述确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得待展示的目标人体虚拟模型，包括：
根据所述手势类型从函数库中调用相应类型的预存图像处理函数；
根据所述手势轨迹，对所述预存图像处理函数进行处理，得到待执行的图像处理函数；
对所述预先构建的人体虚拟模型执行所述待执行的图像处理函数，得到待展示的目标人体虚拟模型。
2.根据权利要求1所述的方法，其特征在于，所述对获取的用户图像进行手势识别处理，得到手势识别结果，包括：
确定手部在所述用户图像中的图像区域；
对所述图像区域进行手部关键点识别，得到所述图像区域中的手部关键点序列；其中，所述手部关键点序列中包括图像区域中的手部在每一图像帧的关键点类型、位置以及形态；
根据所述手部关键点序列确定其所对应的手势，得到手势识别结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果之前，还包括：
在手部关键点序列中，确定是否有任一图像帧的关键点类型、位置以及形态满足触发条件；
若是，则执行所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果的步骤。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像，包括：
构建多个虚拟相机，并计算每个虚拟相机的子像素映射矩阵；
利用各子像素映射矩阵，确定每个虚拟相机呈现所述目标人体虚拟模型的相机图像；
根据所述目标人体虚拟模型的模型材质，对各相机图像进行光影渲染处理，得到相应的渲染图像；
根据各渲染图像，创建所述目标人体虚拟模型的3D图像并进行展示。
5.一种人体虚拟模型展示装置，其特征在于，包括：
手势识别单元，用于对获取的用户图像进行手势识别处理，得到手势识别结果；所述手势识别结果包括：手势类型和手势轨迹；
执行单元，用于确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；
展示单元，用于基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像；
所述执行单元，具体用于：
根据所述手势类型从函数库中调用相应类型的预存图像处理函数；
根据所述手势轨迹，对所述预存图像处理函数进行处理，得到待执行的图像处理函数；
对所述预先构建的人体虚拟模型执行所述待执行的图像处理函数，得到待展示的目标人体虚拟模型。
6.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-4任一项所述的方法。
8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-4任一项所述的方法。
CN202110055323.0A 2021-01-15 2021-01-15 人体虚拟模型展示方法、装置、电子设备及存储介质 Active CN112799507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110055323.0A CN112799507B (zh) 2021-01-15 2021-01-15 人体虚拟模型展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110055323.0A CN112799507B (zh) 2021-01-15 2021-01-15 人体虚拟模型展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112799507A CN112799507A (zh) 2021-05-14
CN112799507B true CN112799507B (zh) 2022-01-04

Family

ID=75809707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110055323.0A Active CN112799507B (zh) 2021-01-15 2021-01-15 人体虚拟模型展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112799507B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331309B (zh) * 2022-08-19 2025-04-15 北京字跳网络技术有限公司 用于识别人体动作的方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN106097442A (zh) * 2016-08-24 2016-11-09 广东华邦云计算股份有限公司 一种智能仿真试衣系统及其应用方法
CN106980383A (zh) * 2017-03-31 2017-07-25 哈尔滨工业大学 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668168B2 (ja) * 2001-09-14 2005-07-06 株式会社東芝 動画像処理装置
JP2008505383A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人ジェスチャ署名
US20110214055A1 (en) * 2010-02-26 2011-09-01 General Electric Company Systems and Methods for Using Structured Libraries of Gestures on Multi-Touch Clinical Systems
CN107515674B (zh) * 2017-08-08 2018-09-04 山东科技大学 一种基于虚拟现实与增强现实的采矿操作多交互实现方法
CN108733287A (zh) * 2018-05-15 2018-11-02 东软集团股份有限公司 查体操作的检测方法、装置、设备及存储介质
CN111651050A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘的展示方法、装置、计算机设备及存储介质
CN111880657B (zh) * 2020-07-30 2023-04-11 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN106097442A (zh) * 2016-08-24 2016-11-09 广东华邦云计算股份有限公司 一种智能仿真试衣系统及其应用方法
CN106980383A (zh) * 2017-03-31 2017-07-25 哈尔滨工业大学 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于纹理空间与屏幕空间混合的心脏次表面绘制方案;杨志伟等;《贵州大学学报(自然科学版)》;20180430;第76-81页 *

Also Published As

Publication number Publication date
CN112799507A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
US12086328B2 (en) User-defined virtual interaction space and manipulation of virtual cameras with vectors
US9886102B2 (en) Three dimensional display system and use
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
CN108594999B (zh) 用于全景图像展示系统的控制方法和装置
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
Francone et al. Using the user's point of view for interaction on mobile devices
US20200042777A1 (en) Method, apparatus and device for determining an object, and storage medium for the same
KR20210067864A (ko) 적응적 포커스 범위 및 계층화 스캐터링을 이용한 보케 이미지들의 생성
US20250148701A1 (en) Dynamic overlapping of moving objects with real and virtual scenes for video see-through (vst) extended reality (xr)
US20250076969A1 (en) Dynamically-adaptive planar transformations for video see-through (vst) extended reality (xr)
US12039632B2 (en) Synthesized camera arrays for rendering novel viewpoints
US12437486B2 (en) Generation and rendering of extended-view geometries in video see-through (VST) augmented reality (AR) systems
CN112799507B (zh) 人体虚拟模型展示方法、装置、电子设备及存储介质
US12361645B2 (en) Mesh transformation with efficient depth reconstruction and filtering in passthrough augmented reality (AR) systems
CN114693515A (zh) 图像变形方法及装置、电子设备和存储介质
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
US12450704B2 (en) Machine learning model training using synthetic data for under-display camera (UDC) image restoration
JP6967150B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
CN114917582B (zh) 虚拟场景显示方法、装置、可读存储介质及电子设备
Lyubanenko et al. Multi-camera finger tracking and 3d trajectory reconstruction for hci studies
CN116266408A (zh) 体型估计方法、装置、存储介质及电子设备
US12511867B2 (en) Machine learning model training using synthetic data for under-display camera (UDC) image restoration
US12353784B1 (en) Modified views for an extended reality environment
US20240233319A9 (en) Machine learning model training using synthetic data for under-display camera (udc) image restoration
US20250029217A1 (en) Artificial intelligence deep learning for controlling aliasing artifacts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant