[go: up one dir, main page]

KR102189742B1 - 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법 - Google Patents

지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법 Download PDF

Info

Publication number
KR102189742B1
KR102189742B1 KR1020190143976A KR20190143976A KR102189742B1 KR 102189742 B1 KR102189742 B1 KR 102189742B1 KR 1020190143976 A KR1020190143976 A KR 1020190143976A KR 20190143976 A KR20190143976 A KR 20190143976A KR 102189742 B1 KR102189742 B1 KR 102189742B1
Authority
KR
South Korea
Prior art keywords
landing point
safe landing
contour
radius
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190143976A
Other languages
English (en)
Other versions
KR102189742B9 (ko
Inventor
정유연
방효충
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020190143976A priority Critical patent/KR102189742B1/ko
Priority to PCT/KR2020/003782 priority patent/WO2021096000A1/ko
Priority to US17/785,242 priority patent/US12291356B2/en
Application granted granted Critical
Publication of KR102189742B1 publication Critical patent/KR102189742B1/ko
Publication of KR102189742B9 publication Critical patent/KR102189742B9/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/62Systems for re-entry into the earth's atmosphere; Retarding or landing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/66Arrangements or adaptations of apparatus or instruments, not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/10Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G2700/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

본 명세서는 천체에 착륙하여 탐사하는 무인 탐사 장치의 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치에 있어서, 지형 맵을 획득하는 지형맵 획득부, 상기 지형 맵을 이용하여 기준 최저 높이 값 및 높이 간격 값을 기준으로 등고선들을 생성하는 등고선 생성부, 상기 등고선들을 포함하는 등고선 지도에서 하한 반경 이상의 반경을 가지는 하나 이상의 LEC를 검색하는 LEC 검색부, 및 상기 하나 이상의 LEC 중에서, 가장 큰 반경을 가지는 안전 착륙 지점을 출력하여 상기 무인 탐사 장치로 전송하는 안전 착륙 지점 출력부를 포함하는, 안전 착륙 지점 탐색 장치를 개시한다.

Description

지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법{SAFE LANDING POINT NAVIGATION DEVICE FOR SEARCHING A SAFE LANDING POINT USING A CONTOUR INFORMATION ON A TOPOGRAPHIC MAP AND SAFE LANDING POINT NAVIGATION METHOD}
본 명세서의 실시예는 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법에 관한 것으로, TIN(Triangulated Irregular Network)의 기반의 지형 맵(Terrain map)을 이용하여 등고선을 생성하고 생성된 등고선을 기초로 안전 착륙 지점을 탐색하는 점을 특징으로 한다.
일반적으로 무인기를 착륙시키는 방법에 있어서 종래에는 외부조종사의 조종에 의한 착륙 방법, 낙하산 또는 그물망을 이용한 착륙 방법, ILS(instrument Landing System)나 레이더를 이용한 자동 착륙 방법 등이 있다.
그러나, 이상과 같은 착륙 방법은 추가의 인력 유지 및 시설 확보, 장비 장착 등에 많은 비용이 소모될 수 있을 뿐만 아니라 전파 방해에 의한 교란 문제에 쉽게 노출될 수 있는 문제점이 있었다.
이러한 문제점을 보완하기 위해 카메라를 이용한 영상 기반의 자동 착륙 방법이 연구되고 있는데, 즉 카메라를 통해 착륙 지점의 마커 영상을 획득하여 필터링을 통해 마커 영상을 분리한 후, 명암, 색차, 픽셀 개수 등의 문턱 값을 적용하여 마커를 인식하고 필터를 이용하여 백색 잡음을 제거함과 동시에 표적의 움직임을 추적하는 일련의 과정을 통해 이동 표적에 대한 경로를 계획하게 된다.
그러나, 상기의 영상 기반 시스템에 따르면, xy 평면 상의 벡터인 2차원 정보 만을 취득하므로, GPS, 관성 센서, 레이저 센서 등의 부가적인 센서 값을 통한 위치 및 고도 정보의 보정이 실시간 수행되어야 하는데, 이러한 경우 처리의 복잡성을 증대시키고 처리 시간이 지연되는 단점이 있었다.
또한, 종래에는 움직이는 착륙 지점에 관한 비행체 유도에는 한계가 있는데, 즉 고정된 착륙 지점의 경우는 착륙 지점의 GPS 정보를 미리 취득한 후 비행체 유도를 수행하면 되나 착륙지점이 유동성을 가진 경우에는 착륙 지점의 위치를 비행체에 실시간 전달해야 하는 문제점이 있다.
뿐만 아니라 이러한 경우 착륙 지점의 착륙 표적을 추적하는 동안 모든 영상 처리가 실시간 처리되어야 하는 부담이 있으며, 표적의 뒤틀림에 관한 정보가 존재하지 않아 그에 관한 인식 알고리즘 및 연산이 추가로 수행되어야 하므로 영상 처리 시간이 크게 할애되게 되며 상기 이동하는 표적의 인식 및 그에 따른 비행 자세 정보의 전달이 매우 취악하여 비행체의 즉각적인 반응을 지연시키고 각종 사고를 발생시킬 수 있는 문제점이 있었다.
(특허문헌 0001)
등록특허공보 제10-1008259호
본 실시예가 이루고자 하는 기술적 과제는 상술한 필요성에 따른 것으로, 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 안전 착륙 지점 탐색 방법을 제공하는데 있다.
본 발명의 실시예들에 따르면, 천체에 착륙하여 탐사하는 무인 탐사 장치의 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치는 지형 맵을 획득하는 지형맵 획득부, 상기 지형 맵을 이용하여 기준 최저 높이 값 및 높이 간격 값을 기준으로 등고선들을 생성하는 등고선 생성부, 상기 등고선들을 포함하는 등고선 지도에서 하한 반경 이상의 반경을 가지는 하나 이상의 LEC를 검색하는 LEC 검색부, 및 상기 하나 이상의 LEC 중에서, 가장 큰 반경을 가지는 안전 착륙 지점을 출력하여 상기 무인 탐사 장치로 전송하는 안전 착륙 지점 출력부를 포함할 수 있다.
본 실시예에 따르면, 상기 지형 맵에서, 상기 기준 최저 높이 값과 다른 기준 최저 높이 값들에 높이 간격 값을 적용한 복수의 등고선 그룹들을 생성하여 상기 천체의 미세 윤곽을 생성하는 미세 윤곽 생성부를 더 포함하고, 상기 LEC 검색부는 상기 복수의 등고선 그룹들에서, 상기 하한 반경 이상의 반경을 가지는 LEC들을 검색할 수 있다.
상기 하한 반경은 기 설정된 임계 높이 및 기울기 임계값을 기초로 산출될 수 있다.
본 발명의 실시예들에 따른 천체에 착륙하여 탐사하는 무인 탐사 장치의 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 방법은 안전 착륙 지점 탐색 장치가 지형 맵을 획득하는 단계, 상기 안전 착륙 지점 탐색 장치가 상기 지형 맵을 이용하여 기준 최저 높이 값 및 높이 간격 값을 기준으로 등고선들을 생성하는 단계, 상기 안전 착륙 지점 탐색 장치가 상기 등고선들을 포함하는 등고선 지도에서 하한 반경 이상의 반경을 가지는 하나 이상의 LEC를 검색하는 단계, 및 상기 안전 착륙 지점 탐색 장치가 상기 하나 이상의 LEC 중에서, 가장 큰 반경을 가지는 안전 착륙 지점을 출력하여 상기 무인 탐사 장치로 전송하는 단계를 포함할 수 있다.
본 실시예에 따르면, 상기 등고선들을 생성하는 단계 이후에, 상기 지형 맵에서, 상기 기준 최저 높이 값과 다른 기준 최저 높이 값들에 높이 간격 값을 적용한 복수의 등고선 그룹들을 생성하여 상기 천체의 미세 윤곽을 생성하는 단계를 더 포함하고, 상기 LEC를 검색하는 단계는 상기 복수의 등고선 그룹들에서, 상기 하한 반경 이상의 반경을 가지는 LEC들을 검색할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 안전 착륙 지점 탐색 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.
이와 같은 본 발명에 의해서, 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색할 수 있다.
도 1은 본 발명의 실시예들에 따른 안전 착륙 지점 탐색 장치(110)와 전기적으로 연결된 무인 탐사 장치(100) 사이의 연결 관계를 설명하는 도면이다.
도 2는 본 발명의 실시예들에 따른 안전 착륙 지점 탐색 장치(110)의 블록도이다.
도 3은 본 발명의 실시예들에 따른 안전 착륙 지점 탐색 방법의 흐름도이다.
도 4는 하한 반경을 산출하는 과정을 설명하는 도면이다.
도 5는 하나의 지형에서 획득된 등고선 그룹들을 설명하는 도면이다.
도 6은 안전 착륙 지점 탐색 장치를 통해 생성된 등고선 그룹들의 예시 도면이다.
도 7은 등고선 그룹들에 포함된 LEC들을 나타내는 예시 도면이다.
도 8은 등고선 그룹들에 포함된 LEC들의 반경 정보를 나타내는 예시 도면이다.
도 9는 안전 착륙 지점 탐색 장치에 적용되는 매개 변수들을 설명하는 도면이다.
도 10은 안전 착륙 지점 탐색 장치에 실제 디자인된 매개 변수 값들을 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
본 개시의 다양한 실시예에서 사용될 수 있는 "포함한다." 또는 "포함할 수 있다." 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시의 다양한 실시예에서, "포함하다." 또는 "가지다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
본 개시의 다양한 실시예에서 사용한 용어는 단지 특정일 실시예를 설명하기 위해 사용된 것으로, 본 개시의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 실시예들에 따른 안전 착륙 지점 탐색 장치(110)와 전기적으로 연결된 무인 탐사 장치(100) 사이의 연결 관계를 설명하는 도면이다.
무인 탐사 장치(100)는 우주 공간 등을 탐사하고 천제에 착륙할 수 있도록 설계된 우주 비행체를 말한다. 무인 탐사 장치(100)는 목표 지점에 안전하게 착륙하여 천체를 탐사하도록 구현될 수 있다. 무인 탐사 장치(100)는 유인 또는 무인으로 설계되어 자체적인 알고리즘에 의해 우주 공간 및 천체 위를 움직이도록 구현될 수 있다.
무인 탐사 장치(100)는 천체 등에 착륙할 때 안전한 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치(110)를 구비할 수 있다. 무인 탐사 장치(100)는 실시간 위험을 감지하는 안전 착륙 지점 탐색 장치(110)를 이용하여 천제에 안전하게 착륙할 수 있다. 이때, 구체적으로 무인 탐사 장치(100)는 안전 착륙 지점 탐색 장치(110)에 의해 지형적으로 안전한 안전 착륙 지점에 착륙할 수 있다.
안전 착륙 지점 탐색 장치(110)는 다양한 유형의 암석과, 경사를 감지하여 안전 착륙 지점을 산출할 수 있다. 안전 착륙 지점 탐색 장치(110)는 기 설정된 목표 지점 주변의 지형을 실시간으로 파악하여 안전 착륙 지점을 산출할 수 있다. 안전 착륙 지점 탐색 장치(110)는 계곡이나, 경사가 가파른 지형을 매우 위험한 장소로 인지하게 된다.
무인 탐사 장치(100)는 안전 착륙 지점 탐색 장치(110)로부터 안전착륙 지점에 전달받아 착륙하도록 설계될 수 있다.
안전 착륙 지점 탐색 장치(110)는 등고선을 이용한 간단한 연산 만으로 안전 착륙 지점을 탐색할 수 있다. 안전 착륙 지점 탐색 장치(110)는 2차원의 등고선 지도를 이용하여 안전 착륙 지점을 탐색할 수 있다. 안전 착륙 지점 탐색 장치(110)는 지형맵을 기초로 등고선 정보를 생성하고 등고선 사이의 거리, 등고선을 기초로 파악된 지형 정보를 기초로 착륙하기 안전한 지점을 탐색할 수 있다.
안전 착륙 지점 탐색 장치(110)는 하나 이상의 프로세서를 이용하여 구성요소들의 명령어들을 실행시킬 수 있다. 보다 구체적으로, 안전 착륙 지점 탐색 장치(110)는 지형맵을 통해 파악된 지형 정보 외에 센서부를 통해 센싱된 정보를 이용하여 안전 착륙 지점을 탐색할 수 있다. 안전 착륙 지점 탐색 장치(110)는 레이저 등을 이용하여 주변 지형 정보를 더 구체적으로 파악하고 파악된 주변 지형 정보를 기초로 안전 착륙 지점을 탐색할 수 있다. 안전 착륙 지점 탐색 장치(110)는 지형맵, 센서부, 레이저 등을 이용하여 안전 착륙 지점을 탐색할 수 있으며 이에 한정되지 않고 다양한 수단을 통해 획득된 지형맵을 이용하여 안전 착륙 지점을 탐색 할 수 있다.
도 2는 본 발명의 실시예들에 따른 안전 착륙 지점 탐색 장치(110)의 블록도이다.
도 2에 도시된 바와 같이 안전 착륙 지점 탐색 장치(110)는 지형맵 획득부(111), 등고선 생성부(112), 등고선 그룹 생성부(113), LEC 검색부(114), 안전 착륙 지점 출력부(115)를 포함할 수 있다.
지형맵 획득부(111)는 디지털 지형맵을 획득한다. 지형맵 획득부(111)는 LIDAR 측정 기반 TIN-DEM 또는 레스터 그리드 기반 DEM 대신으로 생성된 디지털 지형 맵(Digital Terrain Map)을 획득할 수 있다. 여기서, TIN(Triangulated irregular network)은 3차원 지리 정보 시스템에서 가장 널리 사용되는 지형적 방법 중 하나로서, 정확한 지형 맵을 획득할 수 있다.
등고선 생성부(112)는 획득된 지형맵에서 동일한 높이를 가지는 지점들을 연결한 등고선들을 생성할 수 있다. 이때, 등고선을 그리는 높이 값들은 일정한 간격을 가질 수 있다. 예를 들어, 기 설정된 기준 최저 높이의 등고선, 기준 최저 높이값에서, 기 설정된 높이 간격 값을 더한 높이의 등고선들이 지형맵을 이용하여 생성될 수 있다. 여기서, 높이 간격 값은 안전 착륙이 가능한 경사와 대응하여 임계 높이와 동일한 값으로 설정될 수 있다. 높이 간격 값을 임계 높이와 동일하게 설정한 경우, 안전한 착륙이 가능한 지점들이 직관적으로 표현되는 장점이 있다.
미세 윤곽 생성부(113)는 복수의 기준들을 적용하여 복수의 등고선 그룹을 생성할 수 있다. 예컨대, 등고선 그룹은 제1 기준으로 그려진 제1 등고선 그룹, 제2 기준으로 그려진 제2 등고선 그룹을 포함할 수 있다. 제1 기준은 기준 최저 높이값, 기준 최고 높이값, 높이 간격 값, 최저 간격값을 이용하여 결정될 수 있다.
예를 들어, 기준 최저 높이 값이 0m, 기준 최고 높이 값이 1m, 높이 간격 값이 0.3m, 최저 간격값이 0.05m인 경우, 제1 기준으로 그려진 제1 등고선 그룹은 (0m, 0.3m, 0.6m, 0.9m)이고, 제2 등고선 그룹은 (0.05m, 0.35m, 0.65m, 0.95m)일 수 있다. 추가적으로, 높이 간격 값을 최저 간격값으로 나눈 수(0.3/0.05 = 6)만큼의 등고선 그룹들이 생성될 수 있다.
미세 윤곽 생성부(113)는 상기의 방법으로 생성된 복수 개의 등고선 그룹들을 이용하여 미세 윤곽 정보를 생성할 수 있다. 미세 윤곽 생성부(113)는 도 6과 같이 다른 기준들을 적용한 등고선 정보들(G1, G2, G3, G4, G5, G6)을 출력할 수 있다.
미세 윤곽 생성부(113)는 도 5에 도시된 바와 같이, 하나의 지형 맵(T1)에서 T1-GC1, T1-GC2, T1-GC3의 등고선 그룹들을 생성할 수 있다. T1에서 빨간 선을 기준으로 하는 경우, 제1 기준 최저 높이 값에 해당하는 영역은 제1 노란 영역(Y1)과 같다. T1에서 파란 일점 쇄선을 기준으로 하는 경우, 제2 기준 최저 높이 값에 해당하는 영역은 제2 노란 영역(Y2)으로, T1-GC1에서의 제1 노란 영역(Y1)보다는 좁게 된다. T1에서 녹색 점선을 기준으로 하는 경우, 제3 기준 최저 높이 값에 해당하는 영역은 제3 노란 영역(Y3)으로, 제1 노란 영역(Y1)보다는 좁고, 제2 노란 영역(Y2)보다는 넓게 검출될 수 있다. 미세 윤곽 생성부(113)는 T1-GC1, T1-GC2, T1-GC3의 등고선 그룹들을 생성할 수 있다.
LEC 검색부(114)는 등고선 생성부(112) 또는 미세 윤곽 생성부(113)를 통해 획득된 등고선 지도에서 기 설정된 하한 반경보다 큰 반경을 가진 하나 이상의 LEC(largest empty circles)를 검출한다. 이때, 하한 반경은 기울기 임계값을 통해 산출될 수 있다. 기울기 임계값은 안전한 착륙이 가능한 임계 높이에 대한 기울기 값을 말하며, 도 4를 참고하여 설명하겠다.
도 4에 도시된 바와 같이, 임계 높이(threshold) 및 기울기 임계값(degree)를 통계적인 방법으로 설정한 경우, 하한 반경(length)은 threshold / tan (degree)로 산출될 수 있다. 만약 threshold가 0.3m이고, degree가 5°인 경우, 하한 반경(length) 는 0.3/ tan (5°)로 0.3429m가 될 수 있다. 미세 윤곽 생성부(113)를 통해 생성된 등고선 지도에서, 하한 반경인 0.3429m에서 등고선이 없는 것으로 판단된 경우, 해당 지점이 LEC로 검출되게 된다.
LEC 검색부(114)는 복수의 등고선 그룹들을 통해 복수의 등고선 지도들 각각에서 LEC 를 검색할 수 있다.
안전 착륙 지점 출력부(115)는 검출된 하나 이상의 LEC 중에서 반경이 가장 큰 LEC의 중심을 안전 착륙 지점으로 출력할 수 있다.
안전 착륙 지점 출력부(115)는 복수의 등고선 그룹들(도 5의 T1-GC1, T1-GC2, T1-GC3)을 통해 가파른 영역(도 5의 HA)를 검출할 수 있다. 가파른 영역(HA)는 등고선 사이의 간격이 하한 반경보다 좁은 영역을 말한다. 안전 착륙 지점 출력부(115)는 등고선 그룹들에서 가파른 영역들을 검출하고 가파른 영역이 없는 LEC 를 안전 착륙 지점으로 출력하게 된다.
도 7에 도시된 바와 같이, LEC 검색부(114)는 각 등고선 그룹(G1, G2, G3, G4, G5, G6)에서 반경이 가장 큰 LEC를 g11, g21, g31, g41, g51, g61를 검색하고, 안전 착륙 지점 출력부(115)는 g11, g21, g31, g41, g51, g61의 반경 정보들을 각각 인접하는 등고선까지의 길이로 g12, g22, g32, g42, g52, g62와 같이 측정하고, 그중에서, 가장 반경이 큰 g62를 안전 착륙 지점으로 출력할 수 있다.
다른 실시예에서, 안전 착륙 지점 출력부(115)는 도 9에 도시된 파라미터들을 추가적으로 고려하여 안전 착륙 지점을 결정할 수 있다.
안전 착륙 지점을 결정하는데 이용되는 매개 변수는 아래와 같다.
- 착륙 지점(Landing Area)와 관련된 Lander's dismeter, Toudh down position error, Slope threshold
- 등고선(Contour level)과 관련된 Roughness threshold, Fine contour step
- 맵 정확도(Map precision)와 관련된 Range presision
- 스캔 영역(Scanning Area)과 관련된 field of view, Measuring altitude, Margin
- 샘플 스페이스(Sample spacing)과 관련된 laser divergence, Number of Meaurements
- 지형 기울기(Terrain roughness)와 관련된 작은 위험 분포값(Small hazard distribution), 가파른 경사 분포값(Steep slope distribution)
작은 위험 분포값(Small hazard distribution,
Figure 112019115837111-pat00001
)는
Figure 112019115837111-pat00002
로 정의될 수 있다.
Figure 112019115837111-pat00003
는 작은 위험들의 수,
Figure 112019115837111-pat00004
는 총 측정된 지점들의 수를 말한다.
가파른 경사 분포값(Steep slope distribution,
Figure 112019115837111-pat00005
Figure 112019115837111-pat00006
로 정의될 수 있다.
Figure 112019115837111-pat00007
는 TIN에서의 가파른 경사면에 인접한 지점들의 수를 말한다.
도 9에 도시된 매개변수들은 도 10과 같이 정의되어 안전 착륙 지점을 탐색하는데 이용될 수 있다.
도 3은 본 발명의 실시예들에 따른 안전 착륙 지점 탐색 방법의 흐름도이다.
도 3에 도시된 바와 같이, S110에서는 안전 착륙 지점 탐색 장치(110)는 예정된 착륙 지점의 지형맵을 획득할 수 있다. 안전 착륙 지점 탐색 장치(110)는 LIDAR 측정 기반 TIN-DEM 또는 그리드 기반 생성된 디지털 지형 맵(Digital Terrain Map)을 획득할 수 있다.
S120에서는 안전 착륙 지점 탐색 장치(100)는 지형 맵에서, 동일한 높이를 가지는 지점들을 연결한 등고선들을 생성할 수 있다. 이때, 등고선을 그리는 높이 값들은 일정한 간격을 가질 수 있다. 기 설정된 기준 최저 높이 값의 등고선과 기준 최저 높이 값에서, 기 설정된 높이 간격 값을 더한 높이의 등고선들이 지형 맵을 이용하여 생성될 수 있다.
S130에서는 안전 착륙 지점 탐색 장치(100)는 기준 최저 높이 값, 기준 최고 높이 값, 높이 간격 값, 최저 간격 값을 기준으로 복수 개의 등고선 그룹을 생성할 수 있다. 여기서, 기준 최저 높이 값은 표현되는 등고선 중에서, 가장 낮은 높이를 가지는 등고선의 높이 값을 말한다. 기준 최고 높이 값은 표현되는 등고선의 최고 높이 값을 말한다. 높이 간격 값은 표현되는 등고선들의 높이 간격에 대한 값으로, 미리 설정될 수 있다.
이때, 등고선 그룹의 수는 높이 간격 값/ 최저 간격 값이 될 수 있으며, 예를 들어, 0.3m/ 0.05m인 경우, 등고선 그룹의 수는 6이 될 수 있다.
안전 착륙 지점을 결정하는데 있어서, 기준 최저 높이 값의 영향을 큰데,복수 개의 등고선 그룹들을 생성함으로써 기준 최저 높이 값을 달리하는 등고선 지도가 생성되고 최저 높이 값에서 하한 반경 이상의 안전 착륙 지점을 검출할 수 있게 된다.
S140에서는 안전 착륙 지점 탐색 장치(100)는 기울기 임계값을 기초로 안전 착륙 지점의 하한 반경 값을 산출할 수 있다. 도 4에 도시된 바와 같이 임계 높이(threshold) 및 기울기 임계값(degree)를 통계적인 방법으로 설정한 경우, 안전 착륙 지점 탐색 장치(100)는 하한 반경(length)을 threshold / tan (degree)로 산출할 수 있다. 만약 threshold가 0.3m이고, degree가 5°인 경우, 하한 반경(length) 는 0.3/ tan (5°)로 0.3429m가 될 수 있다. 미세 윤곽 생성부(113)를 통해 생성된 등고선 지도에서, 하한 반경인 0.3429m에서 등고선이 없는 것으로 판단된 경우, 해당 지점이 LEC로 검출되게 된다.
S140에서는 안전 착륙 지점 탐색 장치(100)는 복수의 등고선 그룹들을 통해 복수의 등고선 지도들 각각에서 LEC 를 검색할 수 있다.
S140에서는 안전 착륙 지점 탐색 장치(100)는 검출된 하나 이상의 LEC 중에서 반경이 가장 큰 LEC의 중심을 안전 착륙 지점으로 출력할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 무인 탐사 장치
110: 안전 착륙 지점 탐색 장치

Claims (6)

  1. 천체에 착륙하여 탐사하는 무인 탐사 장치의 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치에 있어서,
    지형 맵을 획득하는 지형맵 획득부,
    상기 지형 맵을 이용하여 기준 최저 높이 값 및 높이 간격 값을 기준으로 등고선들을 생성하는 등고선 생성부,
    상기 등고선들을 포함하는 등고선 지도에서 하한 반경 이상의 반경을 가지는 하나 이상의 LEC를 검색하는 LEC 검색부, 및
    상기 하나 이상의 LEC 중에서, 가장 큰 반경을 가지는 안전 착륙 지점을 출력하여 상기 무인 탐사 장치로 전송하는 안전 착륙 지점 출력부를 포함하는, 안전 착륙 지점 탐색 장치.
  2. 제1항에 있어서,
    상기 지형 맵에서, 상기 기준 최저 높이 값과 다른 기준 최저 높이 값들에 높이 간격 값을 적용한 복수의 등고선 그룹들을 생성하여 상기 천체의 미세 윤곽을 생성하는 미세 윤곽 생성부를 더 포함하고,
    상기 LEC 검색부는 상기 복수의 등고선 그룹들에서, 상기 하한 반경 이상의 반경을 가지는 LEC들을 검색하는,
    안전 착륙 지점 탐색 장치.
  3. 제1항에 있어서,
    상기 하한 반경은
    기 설정된 임계 높이 및 기울기 임계값을 기초로 산출되는,
    안전 착륙 지점 탐색 장치.
  4. 천체에 착륙하여 탐사하는 무인 탐사 장치의 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 방법에 있어서,
    안전 착륙 지점 탐색 장치가 지형 맵을 획득하는 단계,
    상기 안전 착륙 지점 탐색 장치가 상기 지형 맵을 이용하여 기준 최저 높이 값 및 높이 간격 값을 기준으로 등고선들을 생성하는 단계,
    상기 안전 착륙 지점 탐색 장치가 상기 등고선들을 포함하는 등고선 지도에서 하한 반경 이상의 반경을 가지는 하나 이상의 LEC를 검색하는 단계, 및
    상기 안전 착륙 지점 탐색 장치가 상기 하나 이상의 LEC 중에서, 가장 큰 반경을 가지는 안전 착륙 지점을 출력하여 상기 무인 탐사 장치로 전송하는 단계를 포함하는, 안전 착륙 지점 탐색 방법.
  5. 제4항에 있어서,
    상기 등고선들을 생성하는 단계 이후에,
    상기 지형 맵에서, 상기 기준 최저 높이 값과 다른 기준 최저 높이 값들에 높이 간격 값을 적용한 복수의 등고선 그룹들을 생성하여 상기 천체의 미세 윤곽을 생성하는 단계를 더 포함하고,
    상기 LEC를 검색하는 단계는 상기 복수의 등고선 그룹들에서, 상기 하한 반경 이상의 반경을 가지는 LEC들을 검색하는,
    안전 착륙 지점 탐색 방법.
  6. 제4항에 있어서,
    상기 하한 반경은
    기 설정된 임계 높이 및 기울기 임계값을 기초로 산출되는,
    안전 착륙 지점 탐색 방법.
KR1020190143976A 2019-11-12 2019-11-12 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법 Active KR102189742B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190143976A KR102189742B1 (ko) 2019-11-12 2019-11-12 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법
PCT/KR2020/003782 WO2021096000A1 (ko) 2019-11-12 2020-03-19 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법
US17/785,242 US12291356B2 (en) 2019-11-12 2020-03-19 Safe landing point search device for searching for safe landing point by using contour line information with respect to terrain map, and safe landing point search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190143976A KR102189742B1 (ko) 2019-11-12 2019-11-12 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법

Publications (2)

Publication Number Publication Date
KR102189742B1 true KR102189742B1 (ko) 2020-12-11
KR102189742B9 KR102189742B9 (ko) 2022-07-18

Family

ID=73786233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190143976A Active KR102189742B1 (ko) 2019-11-12 2019-11-12 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법

Country Status (3)

Country Link
US (1) US12291356B2 (ko)
KR (1) KR102189742B1 (ko)
WO (1) WO2021096000A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2024773B1 (en) * 2020-01-28 2021-09-09 Fnv Ip Bv Method and System for Locating a Light Source

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080023587A1 (en) * 2006-07-27 2008-01-31 Raytheon Company Autonomous Space Flight System and Planetary Lander for Executing a Discrete Landing Sequence to Remove Unknown Navigation Error, Perform Hazard Avoidance and Relocate the Lander and Method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2613329B2 (ja) * 1991-08-05 1997-05-28 川崎重工業株式会社 オートローテーション着陸支援システム
JPH11105797A (ja) * 1997-10-07 1999-04-20 Mitsubishi Electric Corp 着陸装置
JP3505372B2 (ja) 1997-11-05 2004-03-08 三菱電機株式会社 月、惑星軟着陸のための画像処理装置及び画像処理方法
US6216065B1 (en) * 1999-08-06 2001-04-10 Bell Helicopter Textron Inc. Method and system for creating an approach to a position on the ground from a location above the ground
KR101350242B1 (ko) 2012-05-29 2014-01-14 서울대학교산학협력단 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치
US10676213B2 (en) * 2014-10-20 2020-06-09 Sikorsky Aircraft Corporation Optimal safe landing area determination
KR101684293B1 (ko) 2015-03-17 2016-12-21 건국대학교 산학협력단 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법
US10029804B1 (en) * 2015-05-14 2018-07-24 Near Earth Autonomy, Inc. On-board, computerized landing zone evaluation system for aircraft
US9947232B2 (en) * 2015-12-08 2018-04-17 Honeywell International Inc. Methods and apparatus for identifying terrain suitable for aircraft landing
US11242144B2 (en) * 2018-02-09 2022-02-08 Skydio, Inc. Aerial vehicle smart landing
WO2021033256A1 (ja) * 2019-08-20 2021-02-25 楽天株式会社 情報処理システム、情報処理装置、及び情報処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080023587A1 (en) * 2006-07-27 2008-01-31 Raytheon Company Autonomous Space Flight System and Planetary Lander for Executing a Discrete Landing Sequence to Remove Unknown Navigation Error, Perform Hazard Avoidance and Relocate the Lander and Method

Also Published As

Publication number Publication date
US12291356B2 (en) 2025-05-06
KR102189742B9 (ko) 2022-07-18
WO2021096000A1 (ko) 2021-05-20
US20230348115A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US12504454B2 (en) Unmanned aerial vehicle electromagnetic avoidance and utilization system
CN109144097B (zh) 障碍物或地面识别及飞行控制方法、装置、设备及介质
Lee et al. Vision-based UAV landing on the moving vehicle
EP3989034B1 (en) Automatic safe-landing-site selection for unmanned aerial systems
US10029804B1 (en) On-board, computerized landing zone evaluation system for aircraft
RU2613735C2 (ru) Способ обнаружения положения и местонахождения посредством виртуальных опорных изображений
US20200334993A1 (en) System and method for autonomously landing a vertical take-off and landing (vtol) aircraft
US10254768B2 (en) Space partitioning for motion planning
JP2020114726A (ja) コンピュータビジョンに基づく、航空機の自律着陸または監視自律着陸
US20210264796A1 (en) Methods for adjusting flight height for unmanned aerial vehicle, methods for controlling flight of unmanned aerial vehicle, and computer devices
US12204344B2 (en) Method and system for calculating the lateral trajectory of an aircraft
US12148205B2 (en) Contour scanning with an unmanned aerial vehicle
EP4227216B1 (en) Aircraft position control system, aircraft, and aircraft position control method
KR102189742B1 (ko) 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법
Lee et al. Real‐time collision‐free landing path planning for drone deliveries in urban environments
KR20190054432A (ko) 드론의 착륙 유도 장치 및 방법
KR102462230B1 (ko) 무인 비행장치 및 그의 동작 방법
EP4136516A1 (en) Systems and methods for mobile aerial flight planning and image capturing based on structure footprints
Tran et al. A multiple marker design for precision and redundant visual landing in drone delivery
KR102366947B1 (ko) 라이다가 설치된 무인 비행체를 제어하는 방법 및 장치
CN112154355A (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
EP3060952B1 (en) Locational and directional sensor control for search
US10330769B1 (en) Method and apparatus for geolocating emitters in a multi-emitter environment
KR102515245B1 (ko) 무인 비행체의 분실을 방지하는 방법 및 장치
KR101539065B1 (ko) 광방출기를 이용한 영상기반 비행체 자동 이착륙 유도 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-5-5-R10-R15-oth-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-5-5-R10-R16-oth-X000

G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

St.27 status event code: A-5-5-P10-P19-oth-PG1701

Patent document republication publication date: 20220718

Republication note text: Request for Correction Notice (Document Request)

Gazette number: 1021897420000

Gazette reference publication date: 20201211

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6