CN107632699A - 基于多感知数据融合的人机自然交互系统 - Google Patents
基于多感知数据融合的人机自然交互系统 Download PDFInfo
- Publication number
- CN107632699A CN107632699A CN201710646851.7A CN201710646851A CN107632699A CN 107632699 A CN107632699 A CN 107632699A CN 201710646851 A CN201710646851 A CN 201710646851A CN 107632699 A CN107632699 A CN 107632699A
- Authority
- CN
- China
- Prior art keywords
- arm
- module
- virtual
- operator
- feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。
Description
技术领域
本发明涉及人机自然交互系统，尤其涉及一种基于多感知数据融合的人机自然交互系统。
背景技术
自从计算机发明以后，各种人机交互设备应运而生。从字符、键盘到鼠标的发明，再到多媒体交互设备、语音识别技术、脑电检测技术的出现，人机交互手段不断创新，越来越趋于自然化、智能化。
然而，人体的运动涉及很多部位，包括人整个身体的运动或某个部位的运动，如手部运动、腿部运动或者头部运动，甚至人的表情、手势等。这些运动分别具有自己的特点和不同的复杂度，所用的识别手段以及研究方法也都不同。对于传统的人机交互设备，它们尽管在某些方面性能优越，但也各有局限性。如：基于视觉信息的人机交互设备虽然可以实现较高精度的非接触式交互，但其算法复杂的也较高，计算量大，实时性较差；基于MEMS传感器的人机自然交互系统探测实时性较强，但传感器必须与操作者接触安装，不利于安装在关节密集的部位；基于超声波定位的人机交互设备探测距离较远，但容易受到障碍物影响，抗干扰性差。
发明内容
发明目的：为了解决现有技术存在的问题，本发明的目的是提供一种可有效提高人机交互效率、增强操作者的临场感的基于多感知数据融合的人机自然交互系统。
技术方案：一种基于多感知数据融合的人机自然交互系统，包括用于采集手臂关节角信息和手臂运动轨迹的MEMS手臂跟踪装置、用于采集图像信息和手指的运动轨迹的视觉跟踪装置，以及安装在操作者的手掌上的用于给手指提供力反馈力的反馈装置，上述各装置由PC终端控制，所述PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；其中，MEMS手臂跟踪装置与手臂运动解算模块连接，视觉跟踪装置与图像处理模块连接，力学解算模块与手臂运动解算模块连接；所述虚拟场景渲染模块根据计算出的手臂运动轨迹和手指运动轨迹生成虚拟手臂和虚拟手指，所述力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量，并将力反馈数据发送至力反馈装置。
优选的，所述MEMS手臂跟踪装置包括三个分别用于测量肩、肘、腕三个关节的欧拉角的MEMS传感器；所述视觉跟踪装置为双目摄像头；所述力反馈装置包括直流电机、力传感器和机械手柄。
所述碰触信息包括碰触方式、速度、角度、力度和纹理反馈中的一种或多种。
所述PC终端还包括用于显示测量参数的数据显示模块。
工作原理：操作者手臂运动时，本发明采集其手臂各个关节的欧拉角，以及操作者手部的图像，将数据发送至PC终端；PC终端根据欧拉角和虚拟手臂的大臂、小臂和手掌的尺寸解算出手掌末端的运动轨迹，根据手部图像解算出手指的运动轨迹；最终，操作者手臂和手指各个关节的运动被并映射到虚拟手臂上，使虚拟手臂做出相应的动作。因此，操作者可以与虚拟场景中的物体进行交互，PC终端的力学解算模块可根据实时交互信息计算力反馈数据并发送到力反馈模块，为用户提供力反馈。
有益效果：与现有技术相比，本发明具有如下显著优势：首先，本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，本发明可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，本发明可为操作者提供力反馈，增强系统的临场感、交互性。
附图说明
图1为本发明的系统框架结构图；
图2为力反馈装置工作流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明的一种基于多感知数据融合的人机自然交互系统，其执行机构包括：MEMS手臂跟踪装置、视觉跟踪装置、力反馈装置，上述三个装置由PC终端控制；MEMS手臂跟踪装置由3组独立的MEMS传感器构成，分别用于测量肩、肘、腕关节的欧拉角，跟踪手臂运动轨迹；视觉跟踪装置采用双目摄像头，用于采集图像信息，测量手指的运动轨迹；力反馈装置安装在操作者的手掌上，用于给手指提供力反馈；PC终端包括数据显示模块、手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；采集肩、肘、腕关节的欧拉角后将通过蓝牙通信将数据传输至手臂运动结算模块，双目摄像头将采集到的图像信息通过USB通信传输至图像处理模块。
当整个系统上电后，各模块均进行初始化工作。在初始化过程中，MEMS手臂跟踪装置1会根据程序配置MEMS传感器，蓝牙通信装置自动与PC终端连接；视觉跟踪装置与PC通过USB接口连接，其双目摄像头检查硬件设备，并尝试捕获图像；力反馈装置会根据预设程序进行初始化；PC终端各模块也进入准备状态，虚拟场景渲染模块构建出初始虚拟场景。初始化结束后，MEMS手臂跟踪装置安装在操作者的手臂上，肩关节MEMS传感器模块、肘关节MEMS传感器模块、腕关节MEMS传感器模块分别固定在操作者的大臂、小臂和手掌，用于测量肩、肘、腕关节的欧拉角，力反馈装置被固定在操作者手掌上，并与手掌绑定，视觉跟踪装置固定于操作者手臂的正下方，镜头垂直向上，用于捕获手掌的图像信息。在工作过程中，手臂跟踪装置按照固定频率读取三组MEMS传感器采集到的数据，并将数据格式转换为更为直观的欧拉角，然后通过蓝牙发送至PC终端；视觉跟踪装置按固定频率采集图像，并将图像压缩后发送至图像处理模块。PC终端的MEMS手臂运动解算模块将接收到的欧拉角数据结合预设的大臂、小臂、手掌尺寸计算出手掌末端在三维空间坐标系中的实时运动轨迹；图像处理模块自动识别接收到图像的手掌，并计算手掌各个关节的角度，跟踪手指运动轨迹；虚拟场景渲染模块构建虚拟场景，包括：场景3D模型、场景光照、阴影等，并根据计算出的手臂运动轨迹和手指运动轨迹实时渲染虚拟手臂的运动，当虚拟手指与虚拟物体进行碰触时，力学解算模块会根据碰触信息和运动信息，如：碰触方式、速度、角度等，计算操作者当前状态下应得到的期望反馈力矢量并将这些数据发送至力反馈装置。如图2所示为力反馈装置的控制器工作流程图，力反馈装置的传感器会实时测量操作者手指当前的受力情况经滤波后得到并将该信号反馈到控制系统中，构成反馈回路。此时期望作用力与实际作用力的差值为然后通过PID控制器计算出控制电机的激励信号最终直流电机则根据期望位反馈力以及当前反馈力不断调整力反馈机构的位移为操作者提供反馈力控制器不断调整电机运动，使与相等。同时，PC终端数据显示模块还会实时显示手臂关节角、手掌关节角、反馈力等关键信息。
在交互过程中，系统将MEMS传感器的欧拉角信息、双目摄像头的图像信息以及操作者手指的受力信息融合在一起，并为操作者提供力反馈和虚拟场景的视觉反馈。
如上所述，尽管参照特定的优选实施例已经表述和阐明了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。
Claims (6)
1.一种基于多感知数据融合的人机自然交互系统，其特征在于：包括用于采集手臂关节角信息和手臂运动轨迹的MEMS手臂跟踪装置、用于采集图像信息和手指的运动轨迹的视觉跟踪装置，以及安装在操作者的手掌上的用于给手指提供反馈力的力反馈装置，上述各装置由PC终端控制，所述PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；其中，MEMS手臂跟踪装置与手臂运动解算模块连接，视觉跟踪装置与图像处理模块连接，力学解算模块与手臂运动解算模块连接；所述虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和虚拟手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量，并将期望反馈力矢量发送至力反馈装置。
2.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述MEMS手臂跟踪装置包括三个分别用于测量肩、肘、腕三个关节的欧拉角的MEMS传感器。
3.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述视觉跟踪装置为双目摄像头。
4.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述力反馈装置包括直流电机、力传感器和机械手柄。
5.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述碰触信息包括碰触方式、速度、角度、力度和纹理反馈中的一种或多种。
6.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述PC终端还包括用于显示测量参数的数据显示模块。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710646851.7A CN107632699B (zh) | 2017-08-01 | 2017-08-01 | 基于多感知数据融合的人机自然交互系统 |
| US16/475,384 US11409357B2 (en) | 2017-08-01 | 2018-05-23 | Natural human-computer interaction system based on multi-sensing data fusion |
| PCT/CN2018/088077 WO2019024577A1 (zh) | 2017-08-01 | 2018-05-23 | 基于多感知数据融合的人机自然交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710646851.7A CN107632699B (zh) | 2017-08-01 | 2017-08-01 | 基于多感知数据融合的人机自然交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107632699A true CN107632699A (zh) | 2018-01-26 |
| CN107632699B CN107632699B (zh) | 2019-10-11 |
Family
ID=61099144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710646851.7A Active CN107632699B (zh) | 2017-08-01 | 2017-08-01 | 基于多感知数据融合的人机自然交互系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11409357B2 (zh) |
| CN (1) | CN107632699B (zh) |
| WO (1) | WO2019024577A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019024577A1 (zh) * | 2017-08-01 | 2019-02-07 | 东南大学 | 基于多感知数据融合的人机自然交互系统 |
| CN110162180A (zh) * | 2019-05-28 | 2019-08-23 | 欣旺达电子股份有限公司 | 力反馈控制方法和控制系统 |
| CN110861096A (zh) * | 2019-12-21 | 2020-03-06 | 江苏开璇智能科技有限公司 | 一种机器人关节交互力感知与控制方法及装置 |
| CN112022175A (zh) * | 2020-09-09 | 2020-12-04 | 东南大学 | 一种手部自然动作脑电测量装置 |
| WO2021068543A1 (zh) * | 2019-10-12 | 2021-04-15 | 东南大学 | 带有精确力控制的可穿戴式上肢康复训练机器人 |
| WO2021068542A1 (zh) * | 2019-10-12 | 2021-04-15 | 东南大学 | 基于力反馈技术的上肢主被动康复训练机器人系统 |
| CN114310903A (zh) * | 2022-01-19 | 2022-04-12 | 梅蓉 | 一种基于双边遥操作的机械手控制方法及系统 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110275537B (zh) * | 2019-06-27 | 2022-05-17 | 中国电子科技集团公司信息科学研究院 | 运动轨迹协同控制方法及其装置、计算机可读存储介质 |
| US11531392B2 (en) * | 2019-12-02 | 2022-12-20 | Finchxr Ltd. | Tracking upper arm movements using sensor modules attached to the hand and forearm |
| CN111673745A (zh) * | 2020-05-27 | 2020-09-18 | 上海瑞界网络科技有限公司 | 一种基于体感互动的机器人控制系统和方法 |
| CN115202471B (zh) * | 2022-06-21 | 2025-03-14 | 京东方科技集团股份有限公司 | 一种全身姿态追踪及触觉设备及虚拟现实系统 |
| CN117415821A (zh) * | 2023-11-30 | 2024-01-19 | 广东电网有限责任公司广州供电局 | 一种基于力反馈的机器人控制方法、装置、系统及控制器 |
| CN119943273A (zh) * | 2025-01-22 | 2025-05-06 | 清华大学 | 一种基于情感交互的上肢运动康复系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202584010U (zh) * | 2012-04-06 | 2012-12-05 | 寇传阳 | 一种腕上手势操控系统 |
| CN202771366U (zh) * | 2011-12-19 | 2013-03-06 | 苏茂 | 外构架式双向力反馈数据手套 |
| CN103399628A (zh) * | 2013-05-13 | 2013-11-20 | 重庆大学 | 一种人机交互游戏系统 |
| CN103793060A (zh) * | 2014-02-14 | 2014-05-14 | 杨智 | 一种用户交互系统和方法 |
| CN105204611A (zh) * | 2014-06-24 | 2015-12-30 | 北京创思博德科技有限公司 | 一种基于手指运动模式的莫尔斯码字符输入系统和方法 |
| CN105630168A (zh) * | 2015-12-24 | 2016-06-01 | 联想(北京)有限公司 | 一种信息处理方法、第一电子设备及第二电子设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9317108B2 (en) * | 2004-11-02 | 2016-04-19 | Pierre A. Touma | Hand-held wireless electronic device with accelerometer for interacting with a display |
| US8696458B2 (en) * | 2008-02-15 | 2014-04-15 | Thales Visionix, Inc. | Motion tracking system and method using camera and non-camera sensors |
| KR101691633B1 (ko) * | 2012-11-01 | 2017-01-09 | 아이캠, 엘엘씨 | 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법 |
| CN103488291B (zh) | 2013-09-09 | 2017-05-24 | 北京诺亦腾科技有限公司 | 一种基于运动捕捉的浸入式虚拟现实系统 |
| US9606654B2 (en) * | 2015-04-29 | 2017-03-28 | Yongqiang Li | Activated display |
| CN106779045A (zh) * | 2016-11-30 | 2017-05-31 | 东南大学 | 基于虚拟场景交互的康复训练机器人系统及其使用方法 |
| CN106648116B (zh) * | 2017-01-22 | 2023-06-20 | 隋文涛 | 一种基于动作捕捉的虚拟现实综合系统 |
| CN107632699B (zh) | 2017-08-01 | 2019-10-11 | 东南大学 | 基于多感知数据融合的人机自然交互系统 |
-
2017
- 2017-08-01 CN CN201710646851.7A patent/CN107632699B/zh active Active
-
2018
- 2018-05-23 US US16/475,384 patent/US11409357B2/en active Active
- 2018-05-23 WO PCT/CN2018/088077 patent/WO2019024577A1/zh not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202771366U (zh) * | 2011-12-19 | 2013-03-06 | 苏茂 | 外构架式双向力反馈数据手套 |
| CN202584010U (zh) * | 2012-04-06 | 2012-12-05 | 寇传阳 | 一种腕上手势操控系统 |
| CN103399628A (zh) * | 2013-05-13 | 2013-11-20 | 重庆大学 | 一种人机交互游戏系统 |
| CN103793060A (zh) * | 2014-02-14 | 2014-05-14 | 杨智 | 一种用户交互系统和方法 |
| CN105204611A (zh) * | 2014-06-24 | 2015-12-30 | 北京创思博德科技有限公司 | 一种基于手指运动模式的莫尔斯码字符输入系统和方法 |
| CN105630168A (zh) * | 2015-12-24 | 2016-06-01 | 联想(北京)有限公司 | 一种信息处理方法、第一电子设备及第二电子设备 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019024577A1 (zh) * | 2017-08-01 | 2019-02-07 | 东南大学 | 基于多感知数据融合的人机自然交互系统 |
| US11409357B2 (en) | 2017-08-01 | 2022-08-09 | Southeast University | Natural human-computer interaction system based on multi-sensing data fusion |
| CN110162180A (zh) * | 2019-05-28 | 2019-08-23 | 欣旺达电子股份有限公司 | 力反馈控制方法和控制系统 |
| WO2021068543A1 (zh) * | 2019-10-12 | 2021-04-15 | 东南大学 | 带有精确力控制的可穿戴式上肢康复训练机器人 |
| WO2021068542A1 (zh) * | 2019-10-12 | 2021-04-15 | 东南大学 | 基于力反馈技术的上肢主被动康复训练机器人系统 |
| US11690773B2 (en) | 2019-10-12 | 2023-07-04 | Southeast University | Wearable upper limb rehabilitation training robot with precise force control |
| US11771613B2 (en) | 2019-10-12 | 2023-10-03 | Southeast University | Robot system for active and passive upper limb rehabilitation training based on force feedback technology |
| CN110861096A (zh) * | 2019-12-21 | 2020-03-06 | 江苏开璇智能科技有限公司 | 一种机器人关节交互力感知与控制方法及装置 |
| CN112022175A (zh) * | 2020-09-09 | 2020-12-04 | 东南大学 | 一种手部自然动作脑电测量装置 |
| CN114310903A (zh) * | 2022-01-19 | 2022-04-12 | 梅蓉 | 一种基于双边遥操作的机械手控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210132681A1 (en) | 2021-05-06 |
| CN107632699B (zh) | 2019-10-11 |
| US11409357B2 (en) | 2022-08-09 |
| WO2019024577A1 (zh) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107632699B (zh) | 基于多感知数据融合的人机自然交互系统 | |
| Yang et al. | Gesture interaction in virtual reality | |
| US12138127B2 (en) | Portable remote ultrasound scanning systems and compliance control methods for safe ultrasound scanning | |
| CN102789313B (zh) | 一种用户交互系统和方法 | |
| CN106313049B (zh) | 一种仿人机械臂体感控制系统及控制方法 | |
| CN103399637B (zh) | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 | |
| CN103713737B (zh) | 用于智能眼镜的虚拟键盘系统 | |
| US9734393B2 (en) | Gesture-based control system | |
| CN102508546B (zh) | 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法 | |
| CN107688390A (zh) | 一种基于体感交互设备的手势识别控制器 | |
| CN109044651B (zh) | 未知环境中基于自然手势指令的智能轮椅控制方法及系统 | |
| CN107357428A (zh) | 基于手势识别的人机交互方法及装置、系统 | |
| CN104777775A (zh) | 一种基于Kinect装置的两轮自平衡机器人控制方法 | |
| CN109145802B (zh) | 基于Kinect的多人手势人机交互方法及装置 | |
| CN108127673A (zh) | 一种基于多传感器融合的非接触式机器人人机交互系统 | |
| CN106023308A (zh) | 一种体感交互快速三维建模辅助系统及其方法 | |
| CN108828996A (zh) | 一种基于视觉信息的机械臂遥操作系统及方法 | |
| CN107639620A (zh) | 一种机器人的控制方法、体感交互装置以及机器人 | |
| CN102789312A (zh) | 一种用户交互系统和方法 | |
| CN102752438A (zh) | 自动调节终端界面显示的方法及装置 | |
| WO2016026365A1 (zh) | 实现非接触式鼠标控制的人机交互方法和系统 | |
| CN204537060U (zh) | 一种基于肌电流和多传感器协同作用的人机交互设备 | |
| CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
| Altayeb | Hand gestures replicating robot arm based on mediapipe | |
| CN120326596A (zh) | 一种基于vr头显的双臂机械臂遥操作系统及控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |