CN104700367A - 一种艇载高光谱推帚成像数据的几何校正方法 - Google Patents
一种艇载高光谱推帚成像数据的几何校正方法 Download PDFInfo
- Publication number
- CN104700367A CN104700367A CN201510097304.9A CN201510097304A CN104700367A CN 104700367 A CN104700367 A CN 104700367A CN 201510097304 A CN201510097304 A CN 201510097304A CN 104700367 A CN104700367 A CN 104700367A
- Authority
- CN
- China
- Prior art keywords
- pixel
- sweep trace
- image
- roll
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
一种艇载高光谱推帚成像数据的几何校正方法,利用飞艇POS数据计算高光谱相机扫描线中点的空间坐标;利用飞艇POS数据计算失真图像全部像素的空间坐标;利用失真图像像素的空间坐标,建立失真图像到校正图像的1像素最近邻对应关系;采用最近邻插值与8邻域插值相结合的方式来校正图像;本发明采用计算失真图像像素空间坐标的方式,建立失真图像与校正图像像素间的对应关系,并采用最近邻插值与8邻域插值相结合的方式快速地校正图像。
Description
技术领域
本发明涉及图像处理技术领域,涉及高光谱图像处理技术领域特别,为一种艇载高光谱推帚成像数据的几何校正方法。
背景技术
定位定姿系统(position and orientation system,POS)利用全球定位系统和惯性测量装置直接确定传感器空间位置和姿态的集成技术。
20世纪80年代,随着遥感技术的飞速发展,新兴起的高光谱成像技术成为空间对地表观测的有力工具。高光谱成像数据在为人们提供了有关地表地物的丰富空间信息和光谱信息的同时,也将卫星遥感数据高精度处理与深度处理需求提升到了一个更高层次。高光谱成像技术能够获取大量窄波段的准连续光谱数据,每一个像元具有一条几乎连续的光谱曲线。与传统的多光谱遥感技术相比,高光谱遥感能够提供更加丰富的地物观测信息,可以用来生成更为复杂的观测模型,提高地表地物状况的综合判别与分析能力。
然而,星载遥感平台受轨道的限制,经过带观测区域时间固定,无法实现应急观测;机载遥感审批程序非常复杂,受天气条件影响较大,且获取影像数据成本较高。飞艇对地观测平台可提供比星载或机载平台更为丰富的多源同步对地观测能力;可提供星载平台难以实现的动态对地观测能力和精细对地观测能力;可提供机载平台难以实现的定点悬停对地观测能力;具有安全、可回收、易维护、可巡航、可更换载荷等有点,将成为未来的主要遥感平台之一。
但飞艇受气流侧风影响较大,自身稳定性较差。而高光谱仪一般采用推帚成像模式,成像过程中每一扫描线的飞行姿态都在变化,使得高光谱数据产生很大的几何形变。而这种几何形变与常规图像的几何形变恢复有较大区别,如何对这种图像进行恢复是飞艇遥感平台需要解决的关键问题。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种艇载高光谱推帚成像数据的几何校正方法,解决了现有算法处理艇载推帚成像数据几何校正效果差的问题。
为了实现上述目的,本发明采用的技术方案是:
一种艇载高光谱推帚成像数据的几何校正方法,包括如下步骤:
步骤1,对于一幅待处理图像数据,读取其相对应的艇载POS数据,在飞艇飞行路线的经纬度范围内,选择其中一点作为坐标原点,将艇载POS数据的经纬度坐标转换为地面绝对坐标,将艇载POS数据的海拔高度坐标转换为距地面高度坐标;
步骤2,利用艇载POS数据计算高光谱相机扫描线中点的空间坐标;优选地,其实现方法如下:
分别计算由飞艇俯仰、翻滚原因引起的高光谱相机扫描线中点偏移,并根据飞艇航向角计算高光谱相机扫描线中点的空间坐标。
步骤3,利用艇载POS数据计算失真图像全部像素的空间坐标;优选地,其实现方法如下:
首先逐扫描线计算每条扫描线上像素的空间坐标;
然后计算每条扫描线上像素相对于扫描线中点的距离从而得到失真图像全部像素的空间坐标。
其中在计算每条扫描线上像素相对于扫描线中点的距离时,考虑由于飞艇不是正视成像引起的扫描线仿射变换。
步骤4,建立失真图像到校正图像的1像素最近邻对应关系;优选地,其实现方法如下:
对失真图像每个像素寻找校正图像中的4个最近邻像素,并建立4对对应关系;
对于校正图像的每个像素,在包含该像素的对应关系中寻找距离最小的一对,并舍弃其他包含该像素对应关系。
步骤5,采用最近邻插值与8邻域插值相结合的方式来校正图像,优选地,其实现方法如下:
对校正图像中存在1像素最近邻对应关系的像素进行最近邻插值;
对校正图像中其他像素迭代进行8邻域插值,即取像素8邻域内存在像素值的点的平均值。
与现有技术相比,本发明通过利用艇载POS数据计算高光谱相机扫描中心点空间坐标以及计算失真图像全部像素的空间坐标,建立了从失真图像像素到校正图像像素的对应关系。利用最近邻插值与8邻域插值相结合的方式来校正图像,快速且不失精度地对图像的几何形变进行了恢复。
附图说明
图1为本发明实施例1公开的艇载高光谱推帚成像数据的几何校正方法流程图。
图2为艇载POS数据的一行示例。
图3为本发明实施例2公开的艇载高光谱推帚成像数据的几何校正方法流程图。
图4为飞艇POS数据记录的三个姿态角,翻滚角、俯仰角、偏航角的示意图。
图5为相机扫描线受翻滚偏移而产生的仿射变换示意图。
图6为建立失真图像到校正图像的1像素最近邻对应关系示意图。
图7为失真图像扫描线分布情况的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明公开了一种艇载高光谱推帚成像数据的几何校正方法,以解决现有技术的算法处理艇载推帚成像数据几何校正效果差的问题。其具体实施方式如下所述:
实施例一
本实施例公开的艇载高光谱推帚成像数据的几何校正方法的流程如图1所示,
步骤S11、利用艇载POS数据计算高光谱相机扫描线中点的空间坐标;
设(xL,yL)为通过艇载POS数据记录的经纬度转换的飞艇空间坐标,height为由飞艇POS数据中的海拔度计算而得的距地面高度,(roll,pitch,yaw)为飞艇POS数据记录的三个姿态角,翻滚角、俯仰角、偏航角,如图4所示。利用公式1.1,计算得出高光谱相机扫描线中点的空间坐标(xM,yM),
offsetroll=height*tan(-roll)
offsetpitch=height/cos(roll)*tan(pitch) (0.1)
xM=xL+offsetroll*cos(yaw)+offsetpitch*sin(yaw)
yM=yL-offsetroll*sin(yaw)+offsetpitch*cos(yaw)
式中,offsetroll是由翻滚角引起的扫描线中点偏移,称之为翻滚偏移;offsetpitch是由俯仰角引起的扫描线中点偏移,称之为俯仰偏移;写成复数形式即,
xM+i*yM=xL+i*yL+offsetroll*e-yaw*i+i*offsetpitch*e-yaw*i (0.2)
可以看出,扫描线中点的空间坐标(xM,yM)即由飞艇坐标(xL,yL),加上翻滚偏移和俯仰偏移得到。
步骤S12、利用艇载POS数据计算失真图像全部像素的空间坐标;
本发明逐扫描线的计算失真图像全部像素的空间坐标,将高光谱相机扫描线中点空间坐标(xM,yM)代入如下公式,计算出失真图像一条扫描线上像素的空间坐标(xline,yline),
h=height/cos(roll)/cos(pitch)
xline=xM+line*cos(yaw)
yline=yM-line*sin(yaw)
式中,FOV为高光谱相机的视角,samples为高光谱相机的采样率,h的物理意义为从高光谱相机到扫描线中点的距离,a为扫描线上的点相对于相机中心线的角度,line为经过了仿射变换后,一条扫描线上的点相对于扫描线中心点的距离,仿射变换如图5所示。写成复数形式如下,
xline+i*yline=xM+i*yM+line*e-yaw*i (0.4)
进一步的,当飞艇正视成像时,即不存在翻滚偏移时,offsetroll=0,line的计算公式简化为:
line=h*tan(a) (0.5)
步骤S13、建立失真图像到校正图像的1像素最近邻对应关系;
为了对图像进行几何校正,需建立失真图像到校正图像间的空间变换关系。然而对于推帚成像图像,这一空间变换并不存在解析表达式。本发明利用绝对空间坐标,建立从失真图像像素到校正图像像素间的1像素最近邻对应关系。当一个失真图像像素(xi,yi)与一个校正图像像素(x'j,y'j)间的距离小于1个像素且(xi,yi)是(x'j,y'j)在失真图像中的最近邻,则称像素(xi,yi)与像素(x'j,y'j)是一对1像素最近邻对应。
步骤S14、对校正图像进行插值恢复;
为了兼顾效率以及精确度,本发明采用1像素最近邻插值与8邻域插值相结合的方式。对于校正图像中存在1像素最近邻对应关系的像素,采用最近邻插值;对其余像素,采用8邻域插值,即取其8邻域内已经赋予灰度值的像素的平均。
实施例二
本实施例对低照度图像处理方法的流程进行了详细的描述,其流程如图3所示,
步骤S31、对于一幅待处理图像数据,读取其相对应的艇载POS数据,艇载POS数据的一行示例如图2所示;
步骤S32、在飞艇飞行路线的经纬度范围内,选择其中一点(x0,y0)作为坐标原点;
步骤S33、将艇载POS数据的经纬度坐标转换为地面绝对坐标,采用如下公式,
公式中,(xLong,yLat)为艇载POS数据记录的经纬度坐标,(xL,yL)为转换成的地面坐标,R表示地球半径。
步骤S34、计算由飞艇俯仰、翻滚原因引起的高光谱相机扫描线中点偏移
步骤S35、根据飞艇航向角计算高光谱相机扫描线中点的空间坐标;
步骤S34-步骤S35可以利用公式1.1来计算。
步骤S36、对于失真图像的每一条扫描线,执行步骤S37-步骤S38,计算失真图像全部像素的空间坐标,图7给出了失真图像扫描线分布的一个示意图;
步骤S37、计算扫描线上像素相对于相机中线的夹角;
步骤S38、计算扫描线上像素相对于扫描线中点的距离,这里应考虑到由于飞艇不是正视成像引起的扫描线的仿射变换。
步骤S36-步骤S38可以利用公式1.3来计算。
步骤S39、对于失真图像每个像素的执行步骤S310,然后对校正图像的每个像素执行步骤S311,建立失真图像到校正图像的1像素最近邻对应关系;
步骤S310、对于失真图像的一个像素,寻找其在校正图像中的4个最近邻像素,并建立这4对对应关系,如图6所示;
步骤S311、对于校正图像的一个像素,在包含该像素的对应关系中寻找距离最小的一对,并舍弃其他包含该像素的对应关系。
步骤S312、对校正图像中存在1像素最近邻对应关系的像素进行最近邻插值
步骤S313、对校正图像中其他像素迭代进行8邻域插值,即取像素8邻域内存在像素值的点的平均值。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种艇载高光谱推帚成像数据的几何校正方法,其特征在于,包括如下步骤:
步骤1,对于一幅待处理图像数据,读取其相对应的艇载POS数据,在飞艇飞行路线的经纬度范围内,选择其中一点作为坐标原点,将艇载POS数据的经纬度坐标转换为地面绝对坐标,将艇载POS数据的海拔高度坐标转换为距地面高度坐标;
步骤2,利用艇载POS数据计算高光谱相机扫描线中点的空间坐标;
步骤3,利用艇载POS数据计算失真图像全部像素的空间坐标;
步骤4,建立失真图像到校正图像的1像素最近邻对应关系;
步骤5,采用最近邻插值与8邻域插值相结合的方式来校正图像。
2.根据权利要求1所述艇载高光谱推帚成像数据的几何校正方法,其特征在于,所述步骤2中,分别计算由飞艇俯仰、翻滚原因引起的高光谱相机扫描线中点偏移,并根据飞艇航向角计算高光谱相机扫描线中点的空间坐标。
3.根据权利要求1所述艇载高光谱推帚成像数据的几何校正方法,其特征在于,所述步骤2中,高光谱相机扫描线中点的空间坐标(xM,yM)的计算公式如下:
offsetroll=height*tan(-roll)
offsetpitch=height/cos(roll)*tan(pitch)
xM=xL+offsetroll*cos(yaw)+offsetpitch*sin(yaw)
yM=yL-offsetroll*sin(yaw)+offsetpitch*cos(yaw)
其中,offsetroll是由翻滚角引起的扫描线中点偏移,称之为翻滚偏移;offsetpitch是由俯仰角引起的扫描线中点偏移,称之为俯仰偏移,(xL,yL)为通过艇载POS数据记录的经纬度转换的飞艇空间坐标,height为由飞艇POS数据中的海拔度计算而得的距地面高度,(roll,pitch,yaw)为飞艇POS数据记录的三个姿态角,即翻滚角、俯仰角、偏航角。
4.根据权利要求1所述的几何校正方法,其特征在于,所述步骤3中:
首先逐扫描线计算每条扫描线上像素的空间坐标;
然后计算每条扫描线上像素相对于扫描线中点的距离从而得到失真图像全部像素的空间坐标,在计算每条扫描线上像素相对于扫描线中点的距离时,考虑由于飞艇不是正视成像引起的扫描线仿射变换。
5.根据权利要求3所述的几何校正方法,其特征在于,所述步骤3中:失真图像一条扫描线上像素的空间坐标(xline,yline)的计算公式如下:
h=height/cos(roll)/cos(pitch)
xline=xM+line*cos(yaw)
yline=yM-line*sin(yaw)
其中,FOV为高光谱相机的视角,samples为高光谱相机的采样率,h的物理意义为从高光谱相机到扫描线中点的距离,a为扫描线上的点相对于相机中心线的角度,line为经过了仿射变换后,一条扫描线上的点相对于扫描线中心点的距离。
6.根据权利要求1所述的几何校正方法,其特征在于,所述步骤4中:
对失真图像每个像素寻找校正图像中的4个最近邻像素,并建立4对对应关系;
对于校正图像的每个像素,在包含该像素的对应关系中寻找距离最小的一对,并舍弃其他包含该像素对应关系。
7.根据权利要求1所述的几何校正方法,其特征在于,所述步骤5中:
对校正图像中存在1像素最近邻对应关系的像素进行最近邻插值;
对校正图像中其他像素迭代进行8邻域插值,即取像素8邻域内存在像素值的点的平均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510097304.9A CN104700367B (zh) | 2015-03-05 | 2015-03-05 | 一种艇载高光谱推帚成像数据的几何校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510097304.9A CN104700367B (zh) | 2015-03-05 | 2015-03-05 | 一种艇载高光谱推帚成像数据的几何校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104700367A true CN104700367A (zh) | 2015-06-10 |
| CN104700367B CN104700367B (zh) | 2017-11-21 |
Family
ID=53347455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510097304.9A Expired - Fee Related CN104700367B (zh) | 2015-03-05 | 2015-03-05 | 一种艇载高光谱推帚成像数据的几何校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104700367B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127697A (zh) * | 2016-06-07 | 2016-11-16 | 哈尔滨工业大学 | 无人机机载成像高光谱几何校正方法 |
| CN108051407A (zh) * | 2018-01-12 | 2018-05-18 | 四川双利合谱科技有限公司 | 基于高光谱相机和面阵相机及pos系统的高光谱成像系统 |
| CN108109118A (zh) * | 2017-12-15 | 2018-06-01 | 大连理工大学 | 一种无控制点的航拍图像几何校正方法 |
| CN109255760A (zh) * | 2018-08-13 | 2019-01-22 | 青岛海信医疗设备股份有限公司 | 畸变图像校正方法及装置 |
| CN112200731A (zh) * | 2019-07-08 | 2021-01-08 | 上海隽珑信息技术有限公司 | 一种图像像素的校正方法 |
| CN114387234A (zh) * | 2021-12-30 | 2022-04-22 | 上海圭目机器人有限公司 | 一种激光3d相机图像像素校正方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609918A (zh) * | 2012-02-15 | 2012-07-25 | 国家海洋局第二海洋研究所 | 基于图像特征配准的航空多光谱遥感影像几何精校正方法 |
| CN102944308A (zh) * | 2012-10-17 | 2013-02-27 | 北京航空航天大学 | 一种时空联合调制干涉成像光谱仪姿态误差校正方法 |
| CN103776426A (zh) * | 2014-01-03 | 2014-05-07 | 北京农业信息技术研究中心 | 一种旋转平台农田成像几何校正方法 |
| CN103810701A (zh) * | 2014-01-15 | 2014-05-21 | 北京农业信息技术研究中心 | 一种无人机载成像高光谱几何校正的方法及系统 |
-
2015
- 2015-03-05 CN CN201510097304.9A patent/CN104700367B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609918A (zh) * | 2012-02-15 | 2012-07-25 | 国家海洋局第二海洋研究所 | 基于图像特征配准的航空多光谱遥感影像几何精校正方法 |
| CN102944308A (zh) * | 2012-10-17 | 2013-02-27 | 北京航空航天大学 | 一种时空联合调制干涉成像光谱仪姿态误差校正方法 |
| CN103776426A (zh) * | 2014-01-03 | 2014-05-07 | 北京农业信息技术研究中心 | 一种旋转平台农田成像几何校正方法 |
| CN103810701A (zh) * | 2014-01-15 | 2014-05-21 | 北京农业信息技术研究中心 | 一种无人机载成像高光谱几何校正的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| ARMIN GRUEN 等: ""3D PRECISION PROCESSING OF HIGH-RESOLUTION SATELLITE IMAGERY"", 《ASPRS》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127697A (zh) * | 2016-06-07 | 2016-11-16 | 哈尔滨工业大学 | 无人机机载成像高光谱几何校正方法 |
| CN106127697B (zh) * | 2016-06-07 | 2018-12-11 | 哈尔滨工业大学 | 无人机机载成像高光谱几何校正方法 |
| CN108109118A (zh) * | 2017-12-15 | 2018-06-01 | 大连理工大学 | 一种无控制点的航拍图像几何校正方法 |
| CN108109118B (zh) * | 2017-12-15 | 2021-10-15 | 大连理工大学 | 一种无控制点的航拍图像几何校正方法 |
| CN108051407A (zh) * | 2018-01-12 | 2018-05-18 | 四川双利合谱科技有限公司 | 基于高光谱相机和面阵相机及pos系统的高光谱成像系统 |
| CN109255760A (zh) * | 2018-08-13 | 2019-01-22 | 青岛海信医疗设备股份有限公司 | 畸变图像校正方法及装置 |
| CN112200731A (zh) * | 2019-07-08 | 2021-01-08 | 上海隽珑信息技术有限公司 | 一种图像像素的校正方法 |
| CN114387234A (zh) * | 2021-12-30 | 2022-04-22 | 上海圭目机器人有限公司 | 一种激光3d相机图像像素校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104700367B (zh) | 2017-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115187798B (zh) | 一种多无人机高精度匹配定位方法 | |
| CN104700367B (zh) | 一种艇载高光谱推帚成像数据的几何校正方法 | |
| CN100541232C (zh) | 无姿态信息条件下的航空多光谱扫描仪几何粗校正方法 | |
| US10594941B2 (en) | Method and device of image processing and camera | |
| US9582885B2 (en) | Zonal underground structure detection method based on sun shadow compensation | |
| CN103632349B (zh) | 一种降低tdi‑ccd相机图像模糊度的方法 | |
| CN104268935A (zh) | 一种基于特征的机载激光点云与影像数据融合系统及方法 | |
| CN106127697A (zh) | 无人机机载成像高光谱几何校正方法 | |
| CN103323028B (zh) | 一种基于物方定位一致性的卫星多光谱影像配准方法 | |
| CN107677274A (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
| CN103674021A (zh) | 基于捷联惯导与星敏感器的组合导航系统及方法 | |
| CN104864852B (zh) | 一种基于密集控制点的高分辨率卫星姿态颤振探测方法 | |
| CN100523726C (zh) | 基于物方投影几何约束的线阵推扫式影像最佳扫描线搜索方法 | |
| CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
| CN108364279A (zh) | 确定静止轨道遥感卫星指向偏差的方法 | |
| CN112733773A (zh) | 一种对象检测方法、装置、计算机设备和存储介质 | |
| CN104361563B (zh) | 基于gps的高光谱遥感图像几何精校正方法 | |
| Liu et al. | A new approach to fast mosaic UAV images | |
| CN102147249B (zh) | 基于直线特征的星载光学线阵影像精确纠正处理方法 | |
| CN111561936A (zh) | 旋转大幅宽光学卫星精准处理方法及系统 | |
| CN101608914A (zh) | 基于复共线性分析的rpc参数优选方法 | |
| CN114092534B (zh) | 高光谱图像与激光雷达数据配准方法及配准系统 | |
| Wan et al. | The P2L method of mismatch detection for push broom high-resolution satellite images | |
| CN105374009A (zh) | 遥感影像拼接方法及装置 | |
| Mirisola et al. | Trajectory recovery and 3d mapping from rotation-compensated imagery for an airship |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171121 Termination date: 20210305 |