[go: up one dir, main page]

KR102163825B1 - 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치 - Google Patents

사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR102163825B1
KR102163825B1 KR1020180022318A KR20180022318A KR102163825B1 KR 102163825 B1 KR102163825 B1 KR 102163825B1 KR 1020180022318 A KR1020180022318 A KR 1020180022318A KR 20180022318 A KR20180022318 A KR 20180022318A KR 102163825 B1 KR102163825 B1 KR 102163825B1
Authority
KR
South Korea
Prior art keywords
user
user interface
output
user device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180022318A
Other languages
English (en)
Other versions
KR20190102124A (ko
Inventor
김용국
조성래
김용진
김준세
Original Assignee
링크플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 링크플로우 주식회사 filed Critical 링크플로우 주식회사
Priority to KR1020180022318A priority Critical patent/KR102163825B1/ko
Priority to PCT/KR2018/003320 priority patent/WO2019164048A1/ko
Publication of KR20190102124A publication Critical patent/KR20190102124A/ko
Application granted granted Critical
Publication of KR102163825B1 publication Critical patent/KR102163825B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 사용자 장치의 사용자 인터페이스의 구현 방법은 사용자 장치가 사용자 인터페이스의 출력 위치를 결정하는 단계와 사용자 장치가 출력 위치에 사용자 인터페이스를 출력하는 단계를 포함할 수 있되, 출력 위치는 사용자 장치와 분리되어 외부에 위치한 영역일 수 있다.

Description

사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치{Method for implementing user interface of user equipment and apparatus for using the method}
본 발명은 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 사용자가 웨어러블 장치와 같은 사용자 장치의 구동을 위한 사용자 입력 정보를 사용자 인터페이스를 통해 보다 직관적으로 입력할 수 있게 하기 위한 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.
인터페이스(interface)는 두 시스템 간에 정보를 전달하는 물리적 매개체 또는 소프트웨어 프로그램을 일컫는 말이다. 즉, 인터페이스는 사물과 사물, 또는 기계와 인간 사이의 의사 소통이 가능하도록 일시적 또는 영구적인 사용 목적으로 만들어진 물리적이거나 가상적인 매개체를 의미한다.
인터페이스 기술은 과거에는 인체공학적인 측면에서 기계를 편리하게 사용하기 위한 제어판의 디자인이나 기기들의 성능 개선에 초점이 맞추어졌다. 하지만, 최근 들어 컴퓨터가 정보기기의 중심에 서면서 그래픽 유저 인터페이스(GUI, graphic user interface)와 같이 사용자의 입장에서 편리하게 사용자 입력 정보를 입력하기 위한 사용자 인터페이스에 대한 연구 및 개발이 중요한 이슈로 논의되고 있다.
최근에 들어 인간의 직감을 그대로 사용하여 사용자 친화성을 증대시킴은 물론 다양한 센서 조합을 통하여 사용자의 독특한 개성을 그대로 활용할 수 있는 직관적 사용자 인터페이스 기술의 개발로 연구 방향이 변화되고 있다.
웨어러블 장치는 사용자가 착용하는 장치로서 사용자의 입력 정보를 수신하는 사용자 인터페이스의 편의성이 웨어러블 장치에 대한 사용자의 만족도를 좌우한다. 따라서, 웨어러블 장치를 착용한 사용자의 편의성을 고려한 웨어러블 장치에 대한 사용자 인터페이스의 개발 및 연구가 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 웨어러블 장치를 착용한 사용자가 보다 직관적으로 사용자 입력 정보를 입력하게 하기 위한 웨어러블 장치의 사용자 인터페이스를 구현하는 것을 다른 목적으로 한다.
또한, 본 발명은, 웨어러블 장치 상에서 별도의 디스플레이 없이 사용자 인터페이스를 제공하고, 사용자가 제공된 사용자 인터페이스를 통해 사용자 입력 정보를 입력하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 사용자 장치의 사용자 인터페이스의 구현 방법은 상기 사용자 장치가 상기 사용자 인터페이스의 출력 위치를 결정하는 단계와 상기 사용자 장치가 상기 출력 위치에 상기 사용자 인터페이스를 출력하는 단계를 포함할 수 있되, 상기 출력 위치는 상기 사용자 장치와 분리되어 외부에 위치한 영역일 수 있다.
본 발명의 다른 태양에 따르면, 사용자 인터페이스를 출력하는 사용자 장치는 프로세서를 포함하고, 상기 프로세서는 상기 사용자 인터페이스의 출력 위치를 결정하고, 상기 출력 위치에 상기 사용자 인터페이스를 출력하도록 구현될 수 있되, 상기 출력 위치는 상기 사용자 장치와 분리되어 외부에 위치한 영역일 수 있다.
본 발명에 의하면, 웨어러블 장치를 착용한 사용자가 보다 직관적으로 사용자 입력 정보를 입력하게 하기 위한 웨어러블 장치의 사용자 인터페이스를 구현할 수 있다.
또한, 본 발명에 의하면, 웨어러블 장치 상에서 별도의 디스플레이 없이 사용자 인터페이스를 제공하고, 사용자가 제공된 사용자 인터페이스를 통해 사용자 입력 정보를 입력할 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 인터페이스를 제공하는 사용자 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 사용자 장치를 위한 사용자 인터페이스 구현 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 사용자 인터페이스의 출력 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 사용자 인터페이스 상에서 사용자 입력 정보를 입력하기 위한 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 사용자 인터페이스 상에서 사용자 입력 정보를 입력하기 위한 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 사용자 인터페이스의 크기 및 위치를 조정하기 위한 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 사용자 장치의 사용자 인터페이스부를 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예에서 개시된 사용자 장치는 웨어러블 전방향 영상 처리 장치일 수 있다. 전방향 영상 처리 장치는 전방향 영상(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함할 수 있다. 하지만, 본 발명의 실시예에 따른 사용자 장치는 웨어러블 전방향 카메라뿐만 아니라 다른 다양한 휴대 가능한 전자 장치일 수 있고, 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
이하, 본 발명의 실시예에서 사용자 인터페이스는 사용자 장치를 통해 출력되는 사용자 입력 정보를 입력 가능한 출력 화면을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 인터페이스를 제공하는 사용자 장치를 나타낸 개념도이다.
도 1에서는 사용자 장치 상에서 사용자 인터페이스의 구현 방법이 개시된다.
도 1을 참조하면, 사용자 장치는 사용자 인터페이스부(100), 사용자 입력 인식부(120) 및 프로세서(140)를 포함할 수 있다. 설명의 편의상 별도의 구성부로 표현한 것으로 각 구성부는 추가의 구성부 또는 단일 구성부로 분리 또는 결합될 수 있다.
사용자 인터페이스부(100)는 사용자 인터페이스를 외부로 출력하기 위해 구현될 수 있다. 예를 들어, 사용자 인터페이스부(100)는 하위 구조로 출력부를 포함할 수 있고, 출력부는 레이저 신호/광 신호와 같은 출력 신호를 기반으로 별도의 디스플레이 장치 없이 외부로 사용자 인터페이스 이미지를 출력할 수 있다. 예를 들어, 사용자 인터페이스부(100)는 사용자의 손바닥, 벽, 책상과 같은 외부 객체/공간/영역/평면 상에 사용자 인터페이스를 출력할 수 있다. 사용자 인터페이스는 사용자 입력 정보를 입력받을 수 있는 다양한 포맷의 이미지일 수 있다. 예를 들어, 전화를 걸고자 하는 사용자에게는 전화번호 패드 이미지가 사용자 인터페이스로서 제공될 수 있고, 인터넷 상에서 검색을 하고자 하는 사용자에게는 검색 키워드를 입력할 수 있는 자판의 이미지가 사용자 인터페이스로 제공될 수 있다.
또한, 사용자 인터페이스부(100)는 이하, 본 발명의 실시예에서 개시되는 사용자 인터페이스와 관련된 프로세스를 처리하기 위해 구현될 수 있다.
사용자 입력 인식부(120)는 사용자 인터페이스를 통해 입력되는 사용자 입력 정보를 인식하기 위해 구현될 수 있다. 구체적으로 사용자 입력 인식부(120)는 사용자 인터페이스를 통해 입력되는 사용자 입력 정보와 관련된 사용자의 동작을 인식하기 위해 구현될 수 있다. 사용자 입력 인식부(120)는 사용자 동작을 촬상하고, 촬상된 사용자 동작을 하나의 입력 정보로서 인식할 수 있다.
예를 들어, 사용자 인터페이스부(100)가 사용자의 손바닥에 전화 번호를 입력하기 위한 다이얼 패드를 사용자 인터페이스 이미지로서 출력한 경우, 사용자 입력 인식부는 다이얼 패드 상의 숫자 이미지를 누르는 사용자의 동작을 인식하여 사용자 입력 정보를 생성할 수 있다.
또는 사용자 입력 인식부(120)는 사용자의 음성과 같은 다른 신호를 기반으로 사용자의 입력 신호를 인식하여 사용자 입력 정보를 생성할 수 있다.
프로세서(140)는 사용자 인터페이스부(100), 사용자 입력 인식부(120)의 동작을 제어하기 위해 구현될 수 있다. 구체적으로 사용자 인터페이스를 통해 입력된 사용자 입력 인식부(120)에 의해 입력된 사용자 입력 정보를 기반으로 사용자 장치를 제어할 수 있다.
이하, 본 발명의 실시예에서는 사용자 장치를 위한 사용자 인터페이스를 구현하기 위한 방법이 구체적으로 개시된다.
도 2는 본 발명의 실시예에 따른 사용자 장치를 위한 사용자 인터페이스 구현 방법을 나타낸 개념도이다.
도 2에서는 사용자 장치가 목에 거는 웨어러블 장치인 경우, 사용자 장치를 위한 사용자 인터페이스 제공 방법이 개시된다.
도 2를 참조하면, 사용자는 사용자 장치(200)를 목에 걸 수 있다. 예를 들어, 사용자 장치(200)는 전방향 영상에 대한 촬상이 가능한 전방향 영상 처리 장치이자, 현재 스마트폰에서 수행 가능한 기능(예를 들어, 통화 기능, 인터넷 상의 정보 검색 기능, 어플리케이션 실행 기능 등)이 수행 가능한 장치일 수 있다.
사용자가 사용자 장치(200)를 통해 통화를 하고자 하는 경우, 사용자는 사용자 장치(200)를 통해 통화를 위한 사용자 인터페이스(250)의 출력을 요청할 수 있다. 예를 들어, 사용자가 음성 정보를 통해 '통화'라는 음성을 입력하거나, 사용자가 전화기를 의미하는 제스처를 취하는 경우, 사용자 장치(200)는 음성 정보 또는 영상 정보에 대한 분석을 기반으로 사용자가 전화 기능을 사용하고자 함을 알 수 있고, 통화 관련 사용자 인터페이스(이하, 통화 사용자 인터페이스)(250)를 출력할 수 있다.
통화 사용자 인터페이스(250)는 사용자가 인식 가능한 영역/공간 상에 출력될 수 있다. 예를 들어, 통화 사용자 인터페이스(250)는 사용자의 손바닥 상에 출력될 수 있다. 사용자는 사용자의 손바닥 면을 사용자 장치가 인식 가능하도록 정면에 펼칠 수 있고, 사용자 장치(200)는 영상 촬상을 기반으로 사용자의 손바닥 면을 인식하여 사용자의 손바닥 면 상에 통화 사용자 인터페이스(250)를 출력할 수 있다. 사용자의 손바닥 면상에 사용자 인터페이스(250)를 출력하는 방법에 대해서는 구체적으로 후술한다. 통화 사용자 인터페이스(250)는 숫자와 같은 다이얼패드 또는 검색 가능한 주소록과 같은 전화 통화를 위한 사용자 인터페이스(250)일 수 있다.
사용자는 통화 사용자 인터페이스(250)를 기반으로 사용자 정보를 입력하여 통화를 진행할 수 있다. 예를 들어, 통화 사용자 인터페이스(250)가 숫자 이미지를 포함하는 경우, 숫자 이미지를 터치하여 통화 상대방의 전화 번호를 사용자 정보로서 입력할 수 있다. 또는 사용자는 음성을 사용하여 숫자를 부르고, 숫자에 대응되는 음성 정보가 사용자 정보로서 인식되어 입력될 수도 있다.
또는 통화 사용자 인터페이스(250)가 전화번호부와 키보드 이미지인 경우, 사용자는 통화하고자 하는 상대방의 정보를 추가적으로 출력되는 키보드 이미지의 터치를 기반으로 입력할 수 있다. 또는 사용자는 통화하고자 하는 상대방의 정보(예를 들어, 상대방의 이름)를 음성 정보를 기반으로 입력할 수 있다.
사용자의 입력 정보(터치 정보 또는 음성 정보)를 기반으로 한 사용자 정보의 입력 방법은 구체적으로 후술된다.
도 3은 본 발명의 실시예에 따른 사용자 인터페이스의 출력 방법을 나타낸 개념도이다.
도 3에서는 사용자 장치 상에서 사용자 인터페이스를 출력하기 위한 방법이 개시된다.
도 3을 참조하면, 사용자 장치(300)의 영상 촬상부는 주변 영상을 촬상할 수 있고, 사용자 장치(300)는 촬상된 주변 영상을 분석하여 사용자 인터페이스(330)를 출력할 수 있는 공간/영역/객체에 대해 탐색할 수 있다.
사용자 인터페이스(330)를 출력할 공간/영역/객체가 미리 설정될 수도 있고, 미리 설정된 공간/영역/객체에 사용자 인터페이스(330)가 출력될 수도 있다. 예를 들어, 사용자 인터페이스(330)를 출력할 객체가 사용자의 손바닥으로 미리 설정될 수 있고, 사용자 장치(300)는 사용자의 정면에 위치한 사용자의 손바닥을 인식하여 사용자 인터페이스(330)를 출력할 수 있다.
본 발명의 다른 실시예에 따르면, 사용자 장치(300)는 촬상된 영상 상에서 객체를 인식할 수 있고, 객체의 인식 후 사용자 인터페이스(330)를 출력시 가장 명확하게 출력 가능한 객체 상에 사용자 인터페이스(330)를 출력할 수 있다. 예를 들어, 사용자 장치(300)는 촬상된 영상 정보를 기반으로 사용자의 주변에 위치한 책, 책상, 벽과 같은 사용자 인터페이스(330)를 출력 가능한 평면 및 사용자 터치를 입력 가능한 평면을 인식할 수 있고, 인식된 객체 상에 사용자 인터페이스(330)를 출력할 수 있다.
예를 들어, 사용자 장치(300)는 사용자의 터치 가능 범위(350)를 결정할 수 있다. 사용자의 주변에 사용자의 터치 가능 범위(350)는 사용자가 안정적으로 터치를 기반으로 사용자 입력 정보를 입력할 수 있는 거리를 기반으로 결정될 수 있다.
사용자 장치(300)는 사용자의 터치 가능 범위(350) 내에서 사용자 인터페이스(330)를 출력하기에 가장 좋은 객체를 결정할 수 있다. 사용자 장치(300)는 터치 가능 범위(350) 내에서 평면에 가까운 구조를 가지고, 출력되는 사용자 인터페이스 화면의 색상 정보(휘도, 명도 등)를 가장 정확하게 표현할 수 있는 면을 사용자 인터페이스 출력면으로 결정하고 사용자 인터페이스 출력면에 사용자 인터페이스(350)를 출력할 수 있다. 예를 들어, 하얀 A4 종이가 사용자의 터치 가능 범위(350)에 존재하는 경우, 해당 영역 상에서 사용자 인터페이스(330)에 대응되는 영상의 색상 정보의 왜곡이 없이 가장 명확하게 출력 가능하므로 하얀 A4 종이가 사용자 인터페이스(330)가 출력되는 객체로 결정될 수 있다.
또한, 사용자 장치(300)는 사용자 인터페이스에 대한 출력면을 결정하고, 사용자 인터페이스에 대한 출력면의 크기에 적응적으로 맞도록 사용자 인터페이스(330)의 크기를 결정하여 출력할 수 있다.
사용자 장치(300)는 사용자 인터페이스(330)를 출력할 수 있는 객체에 대해 미리 학습을 진행할 수도 있다. 학습 결과를 기반으로 주변 영상 상에서 사용자 인터페이스(330)가 왜곡 없이 출력 가능한 객체가 결정될 수 있고, 왜곡 없이 출력 가능한 객체 상에 사용자 인터페이스(330)가 출력될 수 있다.
또 다른 방법으로 사용자 인터페이스(330)를 사용자의 터치 가능 범위(350) 내에서 출력 가능한 영역/공간/객체 상에 다양하게 출력할 수 있다. 예를 들어, 다양한 영역/공간/객체 상에 출력된 복수의 사용자 인터페이스 이미지가 영상 촬상부를 기반으로 촬상되고 촬상 결과가 사용자 장치(300)로 피드백될 수 있다. 사용자 장치(300)는 피드백 이미지를 기반으로 가장 왜곡이 없이 사용자 인터페이스(330)를 출력할 수 있는 영역/공간/객체를 선택하여 사용자 인터페이스(330)를 출력할 수 있다.
도 4는 본 발명의 실시예에 따른 사용자 인터페이스 상에서 사용자 입력 정보를 입력하기 위한 방법을 나타낸 개념도이다.
도 4에서는 사용자의 입력 정보(예를 들어, 터치 정보)를 기반으로 한 사용자 정보의 입력 방법이 개시된다.
도 4를 참조하면, 사용자 손(450)이 사용자 인터페이스 상에서의 어떠한 조작을 하는지에 대해 결정하기 위해 사용자 장치의 영상 촬상부는 사용자 손(450)을 촬상할 수 있다. 영상 촬상부는 사용자 손(450)을 촬상하고, 영상 분석을 기반으로 사용자 손(450)의 손가락이 사용자 인터페이스 상에 어떠한 위치에 위치하는지를 결정할 수 있다.
사용자 인터페이스 상에서 사용자가 선택 가능한 선택 버튼 이미지를 기반으로 선택 버튼의 터치 영역(400)이 설정될 수 있다. 사용자 인터페이스의 크기에 따라 선택 버튼의 터치 영역(400)이 변화될 수 있다. 예를 들어, 사용자 인터페이스가 다이얼 패드인 경우, 다이얼 패드에 포함되는 숫자(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)가 선택 버튼일 수 있고, 사용자 인터페이스 상에서 선택 버튼의 터치 영역(400)이 분할될 수 있다. 사용자의 손가락의 위치가 어떠한 선택 버튼의 터치 영역(400)에 위치하였는지 여부에 따라 사용자 입력 정보가 결정될 수 있다.
사용자의 손가락 위치가 어떠한 선택 버튼의 터치 영역(400)에 위치하였는지는 손가락의 위치뿐만 아니라, 손가락과 손가락으로 인해 생기는 그림자를 기반으로도 결정될 수 있다. 예를 들어, 손가락의 그림자와 손가락이 만나는 지점에 의해 지시되는 위치의 선택 버튼이 사용자가 지시하는 선택 버튼으로 결정될 수 있다.
도 5는 본 발명의 실시예에 따른 사용자 인터페이스 상에서 사용자 입력 정보를 입력하기 위한 방법을 나타낸 개념도이다.
도 5에서는 사용자의 입력 정보(예를 들어, 터치 정보)를 기반으로 한 사용자 정보의 입력 방법이 개시된다.
또는 사용자 장치가 영상을 촬상하여 사용자의 손가락(500)을 인식하고, 손가락(500)이 3차원 공간/특정 영역 상에서 어떠한 위치를 가르키는지 여부를 판단하여 사용자 인터페이스(550)에 대한 조작이 수행될 수 있다.
사용자 인터페이스(550)의 출력 이후, 사용자는 사용자 인터페이스(550)만을 확인하고, 사용자 인터페이스(550) 상에 특정 버튼을 누르기 위한(사용자 입력 정보를 입력하기 위한) 사용자의 조작 범위/조작 위치를 별도의 영역에 설정할 수 있다. 사용자 인터페이스(550) 출력 이후, 사용자는 공간/영역 상에 사용자 인터페이스(550)에 대응되는 외곽선(예를 들어, 네모 부분) 이미지(520)를 그릴 수 있다. 이후, 사용자가 공간/영역 상에 그린 외곽선 이미지(520)는 사용자 인터페이스(550)의 외곽선 이미지(520)에 대응될 수 있고, 사용자의 손가락(500)이 공간/영역 상에 위치한 외곽선 이미지(520) 내에 위치할 경우, 손가락(500)에 대응되는 위치가 사용자 인터페이스(550) 상의 특정 위치(540)에 대응될 수 있다.
예를 들어, 사용자 인터페이스(550)가 다이얼 패드인 경우, 사용자가 공간/영역 상에 그린 네모 이미지(520)와 사용자 인터페이스(550)의 외곽선이 대응될 수 있고, 사용자가 공간/영역 상에 그린 네모 이미지(520) 내부의 위치는 사용자 인터페이스(550) 내의 각 위치에 대응될 수 있다. 예를 들어, 사용자가 공간 상에 그린 네모 이미지(520) 내에서 손가락을 움직일 경우, 사용자 인터페이스(550) 상에서 사용자의 손가락의 지시 위치(500)와 대응되는 커서(540)가 움직일 수 있다.
사용자가 손가락(500)을 사용하여 사용자 인터페이스(550) 상에서 특정 아이콘을 지시하고, 특정 모션 또는 제스처(클릭하는 동작)를 수행한 경우, 사용자 인터페이스(550) 상의 커서(540)가 특정 아이콘이 클릭된 것과 동일한 효과를 가지고 올 수 있다.
또는 사용자 인터페이스(550)의 출력 이후, 공간 또는 영역 상에서 움직이는 사용자의 손가락(500)의 위치와 사용자의 손가락(500)의 위치에 대응되는 사용자 인터페이스(550) 상에서 지시되는 위치(540)에 대한 관계가 설정되고, 사용자의 손가락(500)의 위치와 사용자의 손가락(500)의 위치에 대응되는 사용자 인터페이스(550) 상에서 지시되는 위치(540)가 매칭될 수 있다. 즉, 사용자의 손가락(500)이 제1 영역 상에서 제1 위치를 지시하는 경우, 사용자 인터페이스(550) 상에서 제1 위치에 대응되는 제1' 위치가 지시될 수 있다. 사용자의 손가락 동작의 변화(예를 들어, 손가락을 들었다가 놓는 동작)가 사용자 인터페이스(550) 상에 표시된 특정 아이콘을 선택하는 동작과 대응되어 사용자 장치를 조작할 수 있다.
즉, 본 발명의 실시예에 따르면, 사용자는 사용자 인터페이스(550)의 출력 위치와 분리된 공간/영역 상에서 손가락(500)을 마우스와 같이 움직여서 다른 위치에서 출력되는 사용자 인터페이스(550)에 대한 조작을 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 사용자 인터페이스의 크기 및 위치를 조정하기 위한 방법을 나타낸 개념도이다.
도 6에서는 사용자 인터페이스의 출력 이후, 사용자 인터페이스의 크기 및 위치를 조정하기 위한 방법이 개시된다.
도 6을 참조하면, 사용자 인터페이스(600)가 특정 영역에 출력된 이후에 사용자 인터페이스(600)의 출력 위치가 조정될 수 있다.
예를 들어, 사용자 장치가 사용자 인터페이스(600)를 제1 영역에 출력할 수 있다. 사용자가 사용자 인터페이스(600)를 제1 영역이 아닌 제2 영역에 출력하고 싶은 경우, 사용자는 사용자 인터페이스(600)의 위치를 제1 영역에서 제2 영역으로 이동시킬 수 있다. 사용자 인터페이스(600)를 제1 영역에서 제2 영역으로 이동시키기 위해 제1 영역에 위치한 사용자 인터페이스(600)를 임계 시간 동안 클릭할 수 있다. 제1 영역에 위치한 사용자 인터페이스(600)가 임계 시간 동안 클릭되는 경우, 사용자 장치는 사용자 인터페이스(600)의 이동 신호로 인식할 수 있고, 제1 영역에 위치한 사용자 인터페이스(600)를 제2 영역으로 드래그하거나 사용자 인터페이스(600)가 새롭게 위치할 제2 영역을 터치함으로써 사용자 인터페이스(600)의 위치를 변경시킬 수 있다. 또는 특정한 제스처(손가락으로 특정 영역을 가리키는 제스처)를 활용하여 사용자 인터페이스(600)의 위치를 변화시킬 수 있다. 예를 들어, 사용자의 손가락이 가르키는 위치로 사용자 인터페이스(600)가 이동될 수도 있다.
또한, 사용자는 사용자 인터페이스(650)의 크기에 대한 조정을 수행할 수도 있다 사용자 인터페이스(650)의 가로 경계, 세로 경계 또는 꼭지점 부분을 임계 시간 이상 터치(또는 클릭)하는 경우, 사용자 인터페이스(650)의 크기의 변화를 원하는 것으로 인식할 수 있고, 사용자 장치는 사용자 인터페이스(650)의 크기를 변화시킬 수 있다. 예를 들어, 사용자 인터페이스(650)의 가로 경계를 임계 시간 이상 터치한 이후, 일정 방향으로 드래그를 하는 경우, 사용자 인터페이스(650)를 일정 방향으로 줄이거나 늘릴 수 있다.
사용자 인터페이스(650)의 위치 및 크기의 조정은 사용자 인터페이스(650)에 대한 직접적인 터치를 기반으로 수행될 수도 있으나, 도 5에서 전술한 바와 같이 사용자 인터페이스(650)와 별도의 공간/영역에서 사용자의 동작을 인식하여 수행될 수도 있다.
도 7은 본 발명의 실시예에 따른 사용자 장치의 사용자 인터페이스부를 나타낸 개념도이다.
도 7에서는 사용자 인터페이스의 출력을 위한 사용자 인터페이스부가 개시된다.
도 7을 참조하면, 사용자 인터페이스부는 사용자 인터페이스를 다양한 위치 상에 출력 가능해야 한다. 따라서, 사용자 인터페이스부는 다양한 방향/위치에 사용자 인터페이스가 프로젝션 가능하도록 구현될 수 있다.
사용자 인터페이스부는 사용자 인터페이스에 대응되는 광 신호/레이저 신호를 출력하기 위한 프로젝터부(700)를 포함할 수 있다. 또한, 사용자 인터페이스부는 프로젝터의 프로젝팅 방향을 결정하기 위한 구동부(710)를 더 포함할 수 있다. 구동부(710)는 일정 각도(예를 들어, 360도)로 회전 가능하여 다양한 방향/위치에 사용자 인터페이스를 출력 가능하도록 할 수 있다.
또한, 사용자 장치는 초점 조절부(720)를 더 포함할 수 있다. 초점 조절부(720)는 사용자 인터페이스의 출력 위치를 고려하여 사용자 인터페이스의 이미지가 명확하게 표시되도록 초점을 조절할 수 있다. 초점 조절부(720)는 피드백받은 영상을 분석하여 사용자 인터페이스가 보다 명확하게 출력되도록 영상의 초점을 조절할 수 있다.
이뿐만 아니라, 사용자 장치는 이미지 조정부(730)를 더 포함할 수 있다. 이미지 조정부(730)는 사용자 인터페이스의 휘도/명도 등과 같은 출력되는 사용자 인터페이스에 대한 시각 정보에 대한 조정을 위해 구현될 수 있다. 예를 들어, 사용자 인터페이스가 출력되는 영역에 따라 보다 명확하고 왜곡없는 이미지를 제공하기 위해 이미지 조정부(730)는 출력된 사용자 인터페이스 이미지를 피드백받아서 분석하여 사용자 인터페이스 이미지에 대한 휘도 및 명도를 조절할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 사용자 장치의 사용자 인터페이스의 구현 방법은,
    상기 사용자 장치가 상기 사용자 인터페이스의 출력 위치를 결정하는 단계; 및
    상기 사용자 장치가 상기 사용자 인터페이스의 상기 출력 위치에 상기 사용자 인터페이스를 출력하는 단계를 포함하되,
    상기 사용자 인터페이스의 상기 출력 위치는 상기 사용자 장치와 분리되어 외부에 위치한 영역이고,
    상기 사용자 인터페이스를 제어하기 위한 사용자의 조작 범위 및 조작 위치가 상기 사용자 인터페이스의 상기 출력 위치와 별도의 분리된 영역에 설정되고
    상기 별도의 분리된 영역 상에서 움직이는 사용자의 손가락의 위치와 상기 사용자 인터페이스 상에서 지시되는 위치에 대한 관계가 설정되고, 상기 사용자의 손가락의 위치와 상기 사용자의 손가락의 위치에 대응되는 상기 사용자 인터페이스 상의 위치가 매칭되고,
    상기 조작 범위는 상기 사용자 인터페이스에 대응되는 외곽선 이미지를 공간 상에 그림으로써 설정되고,
    상기 사용자 장치는 터치 가능 범위 내에서 출력 가능한 영역 상에 복수의 후보 사용자 인터페이스를 출력하고, 상기 복수의 후보 사용자 인터페이스가 영상 촬상부를 기반으로 촬상되고 촬상 결과가 상기 사용자 장치로 피드백 이미지로서 수신되고, 상기 사용자 장치가 상기 피드백 이미지를 기반으로 가장 왜곡이 없는 후보 사용자 인터페이스를 상기 사용자 인터페이스로서 상기 출력 위치 상에 출력하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 사용자 인터페이스를 출력하는 사용자 장치에 있어서,
    상기 사용자 장치는 프로세서를 포함하고,
    상기 프로세서는 상기 사용자 인터페이스의 출력 위치를 결정하고,
    상기 사용자 인터페이스의 상기 출력 위치에 상기 사용자 인터페이스를 출력하도록 구현되되,
    상기 사용자 인터페이스의 상기 출력 위치는 상기 사용자 장치와 분리되어 외부에 위치한 영역이고,
    상기 사용자 인터페이스를 제어하기 위한 사용자의 조작 범위 및 조작 위치가 상기 사용자 인터페이스의 상기 출력 위치와 별도의 분리된 영역에 설정되고
    상기 별도의 분리된 영역 상에서 움직이는 사용자의 손가락의 위치와 상기 사용자 인터페이스 상에서 지시되는 위치에 대한 관계가 설정되고, 상기 사용자의 손가락의 위치와 상기 사용자의 손가락의 위치에 대응되는 상기 사용자 인터페이스 상의 위치가 매칭되고,
    상기 조작 범위는 상기 사용자 인터페이스에 대응되는 외곽선 이미지를 공간 상에 그림으로써 설정되고,
    상기 사용자 장치는 터치 가능 범위 내에서 출력 가능한 영역 상에 복수의 후보 사용자 인터페이스를 출력하고, 상기 복수의 후보 사용자 인터페이스가 영상 촬상부를 기반으로 촬상되고 촬상 결과가 상기 사용자 장치로 피드백 이미지로서 수신되고, 상기 사용자 장치가 상기 피드백 이미지를 기반으로 가장 왜곡이 없는 후보 사용자 인터페이스를 상기 사용자 인터페이스로서 상기 출력 위치 상에 출력하는 것을 특징으로 하는 사용자 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020180022318A 2018-02-24 2018-02-24 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치 Active KR102163825B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180022318A KR102163825B1 (ko) 2018-02-24 2018-02-24 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
PCT/KR2018/003320 WO2019164048A1 (ko) 2018-02-24 2018-03-21 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180022318A KR102163825B1 (ko) 2018-02-24 2018-02-24 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20190102124A KR20190102124A (ko) 2019-09-03
KR102163825B1 true KR102163825B1 (ko) 2020-10-13

Family

ID=67687159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180022318A Active KR102163825B1 (ko) 2018-02-24 2018-02-24 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치

Country Status (2)

Country Link
KR (1) KR102163825B1 (ko)
WO (1) WO2019164048A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068690A (ja) * 2010-09-21 2012-04-05 Univ Of Tsukuba 手指ジェスチャ検出装置
WO2017188244A1 (ja) 2016-04-26 2017-11-02 ウエストユニティス株式会社 ネックバンド型コンピュータ
JP2017211960A (ja) * 2016-05-27 2017-11-30 株式会社エクスビジョン ユーザインターフェース装置およびユーザインターフェースプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
KR101284797B1 (ko) * 2008-10-29 2013-07-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
KR102029756B1 (ko) * 2014-11-03 2019-10-08 삼성전자주식회사 웨어러블 디바이스 및 그 제어 방법
KR101873842B1 (ko) * 2015-03-11 2018-07-04 한양대학교 산학협력단 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068690A (ja) * 2010-09-21 2012-04-05 Univ Of Tsukuba 手指ジェスチャ検出装置
WO2017188244A1 (ja) 2016-04-26 2017-11-02 ウエストユニティス株式会社 ネックバンド型コンピュータ
JP2017211960A (ja) * 2016-05-27 2017-11-30 株式会社エクスビジョン ユーザインターフェース装置およびユーザインターフェースプログラム

Also Published As

Publication number Publication date
KR20190102124A (ko) 2019-09-03
WO2019164048A1 (ko) 2019-08-29

Similar Documents

Publication Publication Date Title
US11048333B2 (en) System and method for close-range movement tracking
US9910498B2 (en) System and method for close-range movement tracking
CN102763342B (zh) 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法
US8866776B2 (en) Information processing device adapted to receiving an input for user control using a touch pad and information processing method thereof
CN103502923B (zh) 用户与设备的基于触摸和非触摸的交互作用
EP2068235A2 (en) Input device, display device, input method, display method, and program
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US10268277B2 (en) Gesture based manipulation of three-dimensional images
JP2018516422A (ja) スマートホームのためのジェスチャ制御システム及び方法
CN102906671A (zh) 手势输入装置及手势输入方法
CN105814522A (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
CN108885615A (zh) 针对浏览器导航的墨水输入
US11209975B2 (en) Enhanced canvas environments
WO2017185459A1 (zh) 一种图标移动方法以及装置
CN104508599A (zh) 要素选择装置、要素选择方法、及程序
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
CN120390916A (zh) 用于注视辅助交互的方法和系统
JP6000553B2 (ja) 情報処理装置及びその制御方法
CN106484175B (zh) 电子设备的用户接口、输入的处理方法以及电子设备
KR102163825B1 (ko) 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
KR102480568B1 (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
US20190235710A1 (en) Page Turning Method and System for Digital Devices
JP2013134549A (ja) データ入力装置およびデータ入力方法
CN110291495B (zh) 信息处理系统、信息处理方法及程序
Winkler et al. Tangible mixed-reality desktop for digital media management

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6