CN116728411A - 一种基于体素化ar投影交互的机器人系统及控制方法 - Google Patents
一种基于体素化ar投影交互的机器人系统及控制方法 Download PDFInfo
- Publication number
- CN116728411A CN116728411A CN202310782775.8A CN202310782775A CN116728411A CN 116728411 A CN116728411 A CN 116728411A CN 202310782775 A CN202310782775 A CN 202310782775A CN 116728411 A CN116728411 A CN 116728411A
- Authority
- CN
- China
- Prior art keywords
- voxel
- fog
- less
- resolution
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Generation (AREA)
Abstract
本发明涉及增强现实技术领域,具体公开一种基于体素化AR投影交互的机器人系统及控制方法,该系统包括:多个雾气发生单元,用于产生多个空间雾屏;全息图像处理单元,用于二维图像生成体素模型;控制单元,根据雾气浓度△N每一信息组模型分辨率和每一体素的属性;多个全息投影单元将体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,将每一信息组模型产生的三维图像投影到空间雾屏上;识别交互单元,根据手势或语音调整每一全息投影单元的信息组模型的输入。本发明通过浓密的雾气环境、高质量的体素模型生成、动态调控雾气参数、高质量的三维图像投影提供逼真、沉浸式的交互体验。
Description
技术领域
本发明涉及增强现实技术领域,特别涉及一种基于体素化AR投影交互的机器人系统及控制方法。
背景技术
AR(Augmented Real ity)即增强现实,是一种将虚拟信息与真实世界巧妙融合的技术,通常通过在现实空间中进行全息投影实现,而全息投影属于3D技术的一种,原指利用干涉原理记录并再现物体真实的三维图像的技术。而后随着科幻电影与商业宣传的引导,全息投影的概念逐渐延伸到舞台表演、展览展示等商用活动中。
但我们平时所了解到的全息往往并非严格意义上的全息投影,其在空间组合的表现上能力有限,并且需要通过实体幕布实现,使得其通常使用在舞台静态展示中,无法实现实际意义上的交互效果,在技术的应用拓展中十分受限。
鉴于此,急需一种基于体素化AR投影交互的机器人系统及控制方法,用于解决在现有技术中的AR技术使用的全息投影,其在空间组合的表现方面能力有限,实际应用通常受限控制在舞台及静态展示中的技术问题。
发明内容
本发明的目的在于提供一种可故障分析的分布式光伏电站管理系统,以解决现有的分布式光伏电站在进行检修时效率较低的问题。
为解决上述技术问题,本发明,一方面公开了一种基于体素化AR投影交互的机器人系统,包括:
多个雾气发生单元,用于喷出雾气创建浓密的雾气环境,形成多个空间雾屏;
全息图像处理单元,用于将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状;
控制单元,用于控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性;
多个全息投影单元,用于将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,所述全息投影单元还用于将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上;
识别交互单元,用于根据手势或语音调整每一全息投影单元的所述信息组模型的输入。
优选的,所述控制单元内设定有雾气浓度矩阵T0和体素颜色调整矩阵A,对于所述体素颜色调整矩阵A,设定A(A1,A2,A3,A4),其中A1为第一体素颜色调整控制,A2为第二体素颜色调整控制,A3为第三体素颜色调整控制,A4为第四体素颜色调整控制,且经过所述体素颜色调整控制的颜色饱和度关系为A1<A2<A3<A4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d<50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定所述体素颜色调整:
当L0<T01时,选定所述第一体素颜色调整控制A1作为所述数组元素中所述体素的属性;
当T01≤L0<T02,选定所述第二体素颜色调整控制A2作为所述数组元素中所述体素的属性;
当T02≤L0<T03,选定所述第三体素颜色调整控制A3作为所述数组元素中所述体素的属性;
当T03≤L0<T04,选定所述第四体素颜色调整控制A4作为所述数组元素中所述体素的属性。
优选的,所述控制单元内还设定有雾气浓度矩阵T0和体素分辨率矩阵B,对于所述体素属性调整矩阵B,设定B(B1,B2,B3,B4),其中B1为第一体素分辨率,B2为第二体素分辨率,B3为第三体素分辨率,B4为第四体素分辨率,且B1<B2<B3<B4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d>50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定每一所述信息组模型的所述体素分辨率:
当L0<T01时,选定所述第一体素分辨率B1作为所述信息组模型的所述体素分辨率;
当T01≤L0<T02,选定所述第二体素分辨率B2作为所述信息组模型的所述体素分辨率;
当T02≤L0<T03,选定所述第三体素分辨率B3作为所述信息组模型的所述体素分辨率;
当T03≤L0<T04,选定所述第四体素分辨率B4作为所述信息组模型的所述体素分辨率。
优选的,所述全息图像处理单元设定的所述体素生成模型还包括:遍历所述二维图像中的每个像素,将所述像素的位置映射到体素模型中的对应位置,对所述每个像素进行体素化,将所述每个像素属性相关与映射体素进行关联,所述体素生成模型用于根据二维图像的大小和分辨率和属性确定模型的空间范围的每个体素单元的大小和每个体素的属性。
优选的,所述全息投影单元内设定有,根据所述根据体素模型中的信息,计算光波在整个空间中传播的相位和振幅信息。
另一方面,本申请还提供一种基于体素化AR投影交互的机器人控制方法,该方法包括:
喷出雾气创建浓密的雾气环境,形成多个空间雾屏;
将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有所述三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状;
控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性;
将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,还用于控制将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上;
根据手势或语音调整每一全息投影单元的所述信息组模型的输入。
优选的,所述控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性,包括:
设定雾气浓度矩阵T0和体素颜色调整矩阵A,对于所述体素颜色调整矩阵A,设定A(A1,A2,A3,A4),其中A1为第一体素颜色调整控制,A2为第二体素颜色调整控制,A3为第三体素颜色调整控制,A4为第四体素颜色调整控制,且经过所述体素颜色调整控制的颜色饱和度关系为A1<A2<A3<A4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d<50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定所述体素颜色调整:
当L0<T01时,选定所述第一体素颜色调整控制A1作为所述数组元素中所述体素的属性;
当T01≤L0<T02,选定所述第二体素颜色调整控制A2作为所述数组元素中所述体素的属性;
当T02≤L0<T03,选定所述第三体素颜色调整控制A3作为所述数组元素中所述体素的属性;
当T03≤L0<T04,选定所述第四体素颜色调整控制A4作为所述数组元素中所述体素的属性。
优选的,所述控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性,还包括:
设定雾气浓度矩阵T0和体素分辨率矩阵B,对于所述体素属性调整矩阵B,设定B(B1,B2,B3,B4),其中B1为第一体素分辨率,B2为第二体素分辨率,B3为第三体素分辨率,B4为第四体素分辨率,且B1<B2<B3<B4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d>50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定每一所述信息组模型的所述体素分辨率:
当L0<T01时,选定所述第一体素分辨率B1作为所述信息组模型的所述体素分辨率;
当T01≤L0<T02,选定所述第二体素分辨率B2作为所述信息组模型的所述体素分辨率;
当T02≤L0<T03,选定所述第三体素分辨率B3作为所述信息组模型的所述体素分辨率;
当T03≤L0<T04,选定所述第四体素分辨率B4作为所述信息组模型的所述体素分辨率。
优选的,所述将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有所述三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状,包括:
遍历所述二维图像中的每个像素,将所述像素的位置映射到体素模型中的对应位置,对所述每个像素进行体素化,将所述每个像素属性相关与映射体素进行关联,所述体素生成模型用于根据二维图像的大小和分辨率和属性确定模型的空间范围的每个体素单元的大小和每个体素的属性。
优选的,所述将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,还用于控制将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上,包括:根据所述根据体素模型中的信息,计算光波在整个空间中传播的相位和振幅信息。
本发明提供的一种基于体素化AR投影交互的机器人系统及控制方法,与现有技术相比,其有益效果在于:
通过浓密的雾气环境、高质量的体素模型生成、动态调控雾气参数、高质量的三维图像投影以及多种交互方式等技术效果和优点,提供逼真、沉浸式的交互体验,可以广泛应用于增强现实、虚拟现实、教育、娱乐等领域。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明基于体素化AR投影交互的机器人系统示意图;
图2为本发明基于体素化AR投影交互的机器人控制方法流程图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
在本申请的描述中,需要理解的是,术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
参阅图1所示,本发明一方面公开了一种基于体素化AR投影交互的机器人系统,包括:多个雾气发生单元、全息图像处理单元、控制单元、多个全息投影单元和识别交互单元,其中雾气发生单元,用于喷出雾气创建浓密的雾气环境,形成多个空间雾屏;而全息图像处理单元,用于将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状;控制单元则用于控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性;全息投影单元则用于将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,所述全息投影单元还用于控制将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上;而识别交互单元,用于根据手势或语音调整每一全息投影单元的所述信息组模型的输入。
可以理解的是,本发明通过设置通过多个雾气发生单元,系统能够喷出浓密的雾气,形成多个空间雾屏,这种浓密的雾气环境为后续的全息投影提供了理想的条件,增强了交互体验和图像的逼真性而多个空间雾屏扩展了图像投影的之间的交互。
可以理解的是,全息图像处理单元采用了体素生成模型,能够将二维图像准确地转化为体素模型。通过三维数组存储不同属性的信息组模型,包括颜色、位置、形状等,能够更精细地表示三维场景,提供更丰富的交互体验。
可以理解的是识别交互单元可以根据手势或语音来调整每个全息投影单元的信息组模型的输入。这种多种交互方式使用户能够灵活地控制和操作投影图像,提高用户体验和参与度。
在本申请的一些实施例中,所述控制单元内设定有雾气浓度矩阵T0和体素颜色调整矩阵A,对于所述体素颜色调整矩阵A,设定A(A1,A2,A3,A4),其中A1为第一体素颜色调整控制,A2为第二体素颜色调整控制,A3为第三体素颜色调整控制,A4为第四体素颜色调整控制,且经过所述体素颜色调整控制的颜色饱和度关系为A1<A2<A3<A4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d<50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定所述体素颜色调整:
当L0<T01时,选定所述第一体素颜色调整控制A1作为所述数组元素中所述体素的属性;
当T01≤L0<T02,选定所述第二体素颜色调整控制A2作为所述数组元素中所述体素的属性;
当T02≤L0<T03,选定所述第三体素颜色调整控制A3作为所述数组元素中所述体素的属性;
当T03≤L0<T04,选定所述第四体素颜色调整控制A4作为所述数组元素中所述体素的属性。
在本申请的一些实施例中,所述控制单元内还设定有雾气浓度矩阵T0和体素分辨率矩阵B,对于所述体素属性调整矩阵B,设定B(B1,B2,B3,B4),其中B1为第一体素分辨率,B2为第二体素分辨率,B3为第三体素分辨率,B4为第四体素分辨率,且B1<B2<B3<B4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d>50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定每一所述信息组模型的所述体素分辨率:
当L0<T01时,选定所述第一体素分辨率B1作为所述信息组模型的所述体素分辨率;
当T01≤L0<T02,选定所述第二体素分辨率B2作为所述信息组模型的所述体素分辨率;
当T02≤L0<T03,选定所述第三体素分辨率B3作为所述信息组模型的所述体素分辨率;
当T03≤L0<T04,选定所述第四体素分辨率B4作为所述信息组模型的所述体素分辨率。
可以理解的是,控制单元能够实时调控每个雾气发生单元的雾气颗粒直径和雾气浓度。随着调节雾气颗粒直径和浓度,可以通过动态调控信息组模型分辨率和体素属性的精确适应性控制,改变图片的风格及适应性。
在本申请的一些实施例中,所述全息图像处理单元设定的所述体素生成模型还包括:遍历所述二维图像中的每个像素,将所述像素的位置映射到体素模型中的对应位置,对所述每个像素进行体素化,将所述每个像素属性相关与映射体素进行关联,所述体素生成模型用于根据二维图像的大小和分辨率和属性确定模型的空间范围的每个体素单元的大小和每个体素的属性。
可以理解的是,通过将全息投影单元将体素模型的信息编码到光波中,通过光波的干涉和衍射形成高质量的三维图像。通过控制投影,可以将信息组模型产生的三维图像准确地投影到空间雾屏上,实现逼真的交互效果。
在本申请的一些实施例中,所述全息投影单元内设定有,根据所述根据体素模型中的信息,计算光波在整个空间中传播的相位和振幅信息。
参阅图2所示,另一方面,本申请还提供一种基于体素化AR投影交互的机器人控制方法,该方法包括:
喷出雾气创建浓密的雾气环境,形成多个空间雾屏;
将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有所述三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状;
控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性;
将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,还用于控制将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上;
根据手势或语音调整每一全息投影单元的所述信息组模型的输入。
在本申请的一些实施例中,所述控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性,包括:
设定雾气浓度矩阵T0和体素颜色调整矩阵A,对于所述体素颜色调整矩阵A,设定A(A1,A2,A3,A4),其中A1为第一体素颜色调整控制,A2为第二体素颜色调整控制,A3为第三体素颜色调整控制,A4为第四体素颜色调整控制,且经过所述体素颜色调整控制的颜色饱和度关系为A1<A2<A3<A4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d<50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定所述体素颜色调整:
当L0<T01时,选定所述第一体素颜色调整控制A1作为所述数组元素中所述体素的属性;
当T01≤L0<T02,选定所述第二体素颜色调整控制A2作为所述数组元素中所述体素的属性;
当T02≤L0<T03,选定所述第三体素颜色调整控制A3作为所述数组元素中所述体素的属性;
当T03≤L0<T04,选定所述第四体素颜色调整控制A4作为所述数组元素中所述体素的属性。
在本申请的一些实施例中,所述控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性,还包括:
设定雾气浓度矩阵T0和体素分辨率矩阵B,对于所述体素属性调整矩阵B,设定B(B1,B2,B3,B4),其中B1为第一体素分辨率,B2为第二体素分辨率,B3为第三体素分辨率,B4为第四体素分辨率,且B1<B2<B3<B4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d>50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定每一所述信息组模型的所述体素分辨率:
当L0<T01时,选定所述第一体素分辨率B1作为所述信息组模型的所述体素分辨率;
当T01≤L0<T02,选定所述第二体素分辨率B2作为所述信息组模型的所述体素分辨率;
当T02≤L0<T03,选定所述第三体素分辨率B3作为所述信息组模型的所述体素分辨率;
当T03≤L0<T04,选定所述第四体素分辨率B4作为所述信息组模型的所述体素分辨率。
在本申请的一些实施例中,所述将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有所述三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状,包括:
遍历所述二维图像中的每个像素,将所述像素的位置映射到体素模型中的对应位置,对所述每个像素进行体素化,将所述每个像素属性相关与映射体素进行关联,所述体素生成模型用于根据二维图像的大小和分辨率和属性确定模型的空间范围的每个体素单元的大小和每个体素的属性。
在本申请的一些实施例中,所述将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,还用于控制将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上,包括:根据所述根据体素模型中的信息,计算光波在整个空间中传播的相位和振幅信息。
综上所述,本申请的基于体素化AR投影交互的机器人系统及控制方法,通过浓密的雾气环境、高质量的体素模型生成、动态调控雾气参数、高质量的三维图像投影以及多种交互方式等技术效果和优点,提供逼真、沉浸式的交互体验,广泛应用于增强现实、虚拟现实、教育、娱乐等领域。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于体素化AR投影交互的机器人系统,其特征在于,包括:
多个雾气发生单元,用于喷出雾气创建浓密的雾气环境,形成多个空间雾屏;
全息图像处理单元,用于将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状;
控制单元,用于控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性;
多个全息投影单元,用于将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,所述全息投影单元还用于将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上;
识别交互单元,用于根据手势或语音调整每一全息投影单元的所述信息组模型的输入。
2.根据权利要求1所述的基于体素化AR投影交互的机器人系统,其特征在于,其特征在于,所述控制单元内设定有雾气浓度矩阵T0和体素颜色调整矩阵A,对于所述体素颜色调整矩阵A,设定A(A1,A2,A3,A4),其中A1为第一体素颜色调整控制,A2为第二体素颜色调整控制,A3为第三体素颜色调整控制,A4为第四体素颜色调整控制,且经过所述体素颜色调整控制的颜色饱和度关系为A1<A2<A3<A4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d<50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定所述体素颜色调整:
当L0<T01时,选定所述第一体素颜色调整控制A1作为所述数组元素中所述体素的属性;
当T01≤L0<T02,选定所述第二体素颜色调整控制A2作为所述数组元素中所述体素的属性;
当T02≤L0<T03,选定所述第三体素颜色调整控制A3作为所述数组元素中所述体素的属性;
当T03≤L0<T04,选定所述第四体素颜色调整控制A4作为所述数组元素中所述体素的属性。
3.根据权利要求2所述的基于体素化AR投影交互的机器人系统,其特征在于,所述控制单元内还设定有雾气浓度矩阵T0和体素分辨率矩阵B,对于所述体素属性调整矩阵B,设定B(B1,B2,B3,B4),其中B1为第一体素分辨率,B2为第二体素分辨率,B3为第三体素分辨率,B4为第四体素分辨率,且B1<B2<B3<B4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d>50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定每一所述信息组模型的所述体素分辨率:
当L0<T01时,选定所述第一体素分辨率B1作为所述信息组模型的所述体素分辨率;
当T01≤L0<T02,选定所述第二体素分辨率B2作为所述信息组模型的所述体素分辨率;
当T02≤L0<T03,选定所述第三体素分辨率B3作为所述信息组模型的所述体素分辨率;
当T03≤L0<T04,选定所述第四体素分辨率B4作为所述信息组模型的所述体素分辨率。
4.根据权利要求3所述的基于体素化AR投影交互的机器人系统,其特征在于,所述全息图像处理单元设定的所述体素生成模型还包括:遍历所述二维图像中的每个像素,将所述像素的位置映射到体素模型中的对应位置,对所述每个像素进行体素化,将所述每个像素属性相关与映射体素进行关联,所述体素生成模型用于根据二维图像的大小和分辨率和属性确定模型的空间范围的每个体素单元的大小和每个体素的属性。
5.根据权利要求4所述的基于体素化AR投影交互的机器人系统,其特征在于,所述全息投影单元内设定有,根据所述根据体素模型中的信息,计算光波在整个空间中传播的相位和振幅信息。
6.一种基于体素化AR投影交互的机器人控制方法,应用于如权利要求1-5任一项所述的基于体素化AR投影交互的机器人系统中,其特征在于,包括:
喷出雾气创建浓密的雾气环境,形成多个空间雾屏;
将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有所述三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状;
控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性;
将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,还用于控制将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上;
根据手势或语音调整每一全息投影单元的所述信息组模型的输入。
7.根据权利要求6所述的基于体素化AR投影交互的机器人控制方法,其特征在于,所述控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性,包括:
设定雾气浓度矩阵T0和体素颜色调整矩阵A,对于所述体素颜色调整矩阵A,设定A(A1,A2,A3,A4),其中A1为第一体素颜色调整控制,A2为第二体素颜色调整控制,A3为第三体素颜色调整控制,A4为第四体素颜色调整控制,且经过所述体素颜色调整控制的颜色饱和度关系为A1<A2<A3<A4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d<50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定所述体素颜色调整:
当L0<T01时,选定所述第一体素颜色调整控制A1作为所述数组元素中所述体素的属性;
当T01≤L0<T02,选定所述第二体素颜色调整控制A2作为所述数组元素中所述体素的属性;
当T02≤L0<T03,选定所述第三体素颜色调整控制A3作为所述数组元素中所述体素的属性;
当T03≤L0<T04,选定所述第四体素颜色调整控制A4作为所述数组元素中所述体素的属性。
8.根据权利要求7所述的基于体素化AR投影交互的机器人控制方法,其特征在于,所述控制每一所述雾气发生单元的雾气颗粒直径d和雾气浓度△N,并根据所述雾气浓度△N每一所述信息组模型分辨率和每一所述体素的属性,还包括:
设定雾气浓度矩阵T0和体素分辨率矩阵B,对于所述体素属性调整矩阵B,设定B(B1,B2,B3,B4),其中B1为第一体素分辨率,B2为第二体素分辨率,B3为第三体素分辨率,B4为第四体素分辨率,且B1<B2<B3<B4;对于所述雾气浓度矩阵T0,设定T0(T01,T02,T03,T04),其中,T01为第一雾气浓度,T02为第二雾气浓度,T03为第三雾气浓度,T04为第四雾气浓度,且T01<T02<T03<T04;
所述控制单元还用于当所述雾气颗粒直径d>50微米时,根据所述雾气浓度△N与各预设雾气浓度矩阵的关系设定每一所述信息组模型的所述体素分辨率:
当L0<T01时,选定所述第一体素分辨率B1作为所述信息组模型的所述体素分辨率;
当T01≤L0<T02,选定所述第二体素分辨率B2作为所述信息组模型的所述体素分辨率;
当T02≤L0<T03,选定所述第三体素分辨率B3作为所述信息组模型的所述体素分辨率;
当T03≤L0<T04,选定所述第四体素分辨率B4作为所述信息组模型的所述体素分辨率。
9.根据权利要求8所述的基于体素化AR投影交互的机器人控制方法,其特征在于,所述将二维图像生成体素模型,所述全息图像处理单元内设定有体素生成模型,所述体素生成模型设置有所述三维数组,所述三维数组设置有多个不同属性的信息组模型,所述三维数组包括多个数组元素,每个所述数组元素表示一个体素的属性,所述体素的属性包括颜色、位置、形状,包括:
遍历所述二维图像中的每个像素,将所述像素的位置映射到体素模型中的对应位置,对所述每个像素进行体素化,将所述每个像素属性相关与映射体素进行关联,所述体素生成模型用于根据二维图像的大小和分辨率和属性确定模型的空间范围的每个体素单元的大小和每个体素的属性。
10.根据权利要求9所述的基于体素化AR投影交互的机器人控制方法,其特征在于,所述将所述体素模型的信息编码到光波中,通过光波的干涉和衍射形成三维图像,还用于控制将每一所述信息组模型产生的所述三维图像投影到所述空间雾屏上,包括:根据所述根据体素模型中的信息,计算光波在整个空间中传播的相位和振幅信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310782775.8A CN116728411B (zh) | 2023-06-29 | 一种基于体素化ar投影交互的机器人系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310782775.8A CN116728411B (zh) | 2023-06-29 | 一种基于体素化ar投影交互的机器人系统及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116728411A true CN116728411A (zh) | 2023-09-12 |
| CN116728411B CN116728411B (zh) | 2025-12-30 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011014192A1 (en) * | 2009-07-31 | 2011-02-03 | Analogic Corporation | Two-dimensional colored projection image from three-dimensional image data |
| US20110202553A1 (en) * | 2010-02-17 | 2011-08-18 | Lockheed Martin Corporation | Spatially referenced multi-sensory data digitally encoded in a voxel database |
| CN103529943A (zh) * | 2013-10-17 | 2014-01-22 | 合肥金诺数码科技股份有限公司 | 一种基于流体物理模拟系统的人体投影交互方法 |
| US20160148433A1 (en) * | 2014-11-16 | 2016-05-26 | Eonite, Inc. | Systems and methods for augmented reality preparation, processing, and application |
| WO2020139835A1 (en) * | 2018-12-26 | 2020-07-02 | The Regents Of The University Of California | Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning |
| US20210045838A1 (en) * | 2018-05-10 | 2021-02-18 | Memorial Sloan Kettering Cancer Center | Systems for augmented reality surgical and clinical visualization |
| US20230065240A1 (en) * | 2021-08-25 | 2023-03-02 | The United States of America As Represented By The Director Of The National Geospatial-Intelligence | Method and apparatus for the display of volumetric solids using distributed photochromic compounds |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011014192A1 (en) * | 2009-07-31 | 2011-02-03 | Analogic Corporation | Two-dimensional colored projection image from three-dimensional image data |
| US20110202553A1 (en) * | 2010-02-17 | 2011-08-18 | Lockheed Martin Corporation | Spatially referenced multi-sensory data digitally encoded in a voxel database |
| CN103529943A (zh) * | 2013-10-17 | 2014-01-22 | 合肥金诺数码科技股份有限公司 | 一种基于流体物理模拟系统的人体投影交互方法 |
| US20160148433A1 (en) * | 2014-11-16 | 2016-05-26 | Eonite, Inc. | Systems and methods for augmented reality preparation, processing, and application |
| US20210045838A1 (en) * | 2018-05-10 | 2021-02-18 | Memorial Sloan Kettering Cancer Center | Systems for augmented reality surgical and clinical visualization |
| WO2020139835A1 (en) * | 2018-12-26 | 2020-07-02 | The Regents Of The University Of California | Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning |
| US20230065240A1 (en) * | 2021-08-25 | 2023-03-02 | The United States of America As Represented By The Director Of The National Geospatial-Intelligence | Method and apparatus for the display of volumetric solids using distributed photochromic compounds |
Non-Patent Citations (3)
| Title |
|---|
| MIU-LING LAM: "Virtual 3D perception in a fog projection installation", 《2014 INTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMS & MULTIMEDIA (VSMM)》, 29 June 2015 (2015-06-29) * |
| 诸葛锦慧;严乐;秦颖: "基于三维激光虚拟成像的环境景观立体投影系统", 《激光杂志》, 25 August 2022 (2022-08-25) * |
| 高洪跃;: "三维显示技术", 科学, no. 03, 25 May 2015 (2015-05-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9396588B1 (en) | Virtual reality virtual theater system | |
| CN104794752B (zh) | 基于移动终端和全息展示的虚拟场景协同建模方法及系统 | |
| KR102047615B1 (ko) | 입자 시스템을 위한 처리 방법 및 장치 | |
| JP6153366B2 (ja) | 画像生成システム及びプログラム | |
| US9588651B1 (en) | Multiple virtual environments | |
| CN106527857A (zh) | 一种基于虚拟现实的全景视频交互方法 | |
| CN102800119B (zh) | 一种三维曲线的动画展示方法和装置 | |
| CN110047148B (zh) | 一种虚拟机器人工作站的仿真互动可视化系统及实现方法 | |
| Amatriain et al. | The allosphere: Immersive multimedia for scientific discovery and artistic exploration | |
| CN111355944B (zh) | 生成并用信号传递全景图像之间的转换 | |
| JP2012190428A (ja) | 立体映像視覚効果処理方法 | |
| CN112789660A (zh) | 使用深度信息来外推出二维图像的系统和方法 | |
| CN115712351B (zh) | 一种面向多人远程混合现实共享场景的分级渲染与交互方法和系统 | |
| CN113709093A (zh) | 一种三维点云的封装方法、装置及介质 | |
| EP4567737A1 (en) | Heterogeneous three-dimensional multi-object fusion rendering method, device, and system | |
| CN117596349A (zh) | 基于虚拟引擎进行空间虚拟拍摄的方法及系统 | |
| US11328488B2 (en) | Content generation system and method | |
| WO2022062570A1 (zh) | 图像处理方法和装置 | |
| WO2022116194A1 (zh) | 一种全景呈现方法及其装置 | |
| EP4165603A1 (en) | Method for generating simulations of thin film interfaces for improved animation | |
| CN116055706A (zh) | 元宇宙五折屏互动显示系统及方法 | |
| CN116728411A (zh) | 一种基于体素化ar投影交互的机器人系统及控制方法 | |
| JP2016513991A (ja) | ハプティックアクチュエータ制御パラメータを有するオーディオビジュアルコンテンツのアイテムを再生するための方法、および方法を実施するデバイス | |
| CN116728411B (zh) | 一种基于体素化ar投影交互的机器人系统及控制方法 | |
| WO2013152684A1 (zh) | 一种实现三维饼状图动态呈现的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |