[go: up one dir, main page]

KR20090045640A - 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법 - Google Patents

인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법 Download PDF

Info

Publication number
KR20090045640A
KR20090045640A KR1020070111566A KR20070111566A KR20090045640A KR 20090045640 A KR20090045640 A KR 20090045640A KR 1020070111566 A KR1020070111566 A KR 1020070111566A KR 20070111566 A KR20070111566 A KR 20070111566A KR 20090045640 A KR20090045640 A KR 20090045640A
Authority
KR
South Korea
Prior art keywords
golfer
information
module
golf
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070111566A
Other languages
English (en)
Other versions
KR100907704B1 (ko
Inventor
조경은
엄기현
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40855708&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20090045640(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020070111566A priority Critical patent/KR100907704B1/ko
Publication of KR20090045640A publication Critical patent/KR20090045640A/ko
Application granted granted Critical
Publication of KR100907704B1 publication Critical patent/KR100907704B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/04—Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for small-room or indoor sporting games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3605—Golf club selection aids informing player of his average or expected shot distance for each club
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3667—Golf stance aids, e.g. means for positioning a golfer's feet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0636—3D visualisation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를 이용한 골퍼자세교정방법을 제공한다. 골퍼자세교정시스템은 골퍼의 기초데이터와 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터에 대한 제1 정보를 제공하는 사용자분석 장치와, 가상골프시뮬레이션의 환경정보에 대한 제2 정보를 제공하는 환경정보구축 장치와, 제1 정보 및 제2 정보를 이용하여 질의값을 생성하는 질의 모듈 및 질의값에 따라 소정 모듈로부터 출력되는 결과값을 이용하여 골퍼에게 필드 공략 방법, 지형에 따른 주의사항, 클럽 선택 정보, 및 골퍼의 자세 교정을 위한 정보 중 적어도 하나를 인공지능형 캐디를 통해 전달하는 설명 모듈을 포함하는 인공지능캐디 장치를 포함한다.
가상 골프, 골프 게임, 클럽, 자세교정

Description

인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를 이용한 골퍼자세교정방법{System and method for a correcting pose of golfer using an artificial intelligence caddy}
　본 발명은 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를 이용한 골퍼자세교정방법에 관한 것으로, 다양한 환경을 제공하는 가상의 골프 코스의 모의 상황에서 골퍼의 스윙 자세 및 동작 패턴을 분석하고, 분석된 정보를 통해 인공지능형 캐디가 골퍼에게 자세 교정을 위한 가이드를 제공함으로써, 골퍼가 자신의 골프 자세를 편리하고 과학적으로 교정받을 수 있도록 하는 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를 이용한 골퍼자세교정방법에 관한 것이다.
최근, 골프가 일반인도 자연스럽게 즐기는 대중 스포츠로 저변 확대되고 골프대중화 발언, 경제적 안정 등으로 인하여 골프인구가 수백만에 다다르고, 80년대 이후 골프장 입장객수가 연평균 17%대의 고속성장을 하고 있다. 또한, 골프에 대한 일반인들의 관심이 급증함과 함께, 골프관련 사업이 활성화되어, 골프장과 골프연습장의 수는 날로 증가하여, 국내 골프장은 회원제, 퍼블릭을 포함해 수백 곳이 운영중에 있으며 수천개가 넘는 실내외 골프연습장의 수를 볼때, 앞으로 골프 관련 사업의 전망은 매우 긍정적으로 평가된다.
한편, 골프는 다른 스포츠 보다 입문이 까다로우며, 대부분의 경우 골프 자세 및 동작 습득과정은 독학, 입문선배의 도움, 레슨프로에 의하여 진행되나 직감적인 자세교정으로 인한 체계적 교습과정의 부재, 교습자 의존적인 교정 판단의 다양성, 과학적인 분석이 부재, 지속적인 교습이 어려움, 일단 습득된 동작에 대한 반복적인 교정의 필요성 등으로 지속적이고 체계적인 개인 교습 도구에 대한 요구가 증가하고 있다.
종래의 골프 자세 및 동작 교정을 위한 골프교습보조장치는 CCD 카메라로 골퍼의 스윙 폼을 촬영하고 반도체 메모리에 이미 저장된 프로 골퍼의 스윙 폼이나 표준 폼의 영상 데이터를 촬영된 자신의 스윙 폼과 서로 비교해 볼 수 있게 하였다. 그러나, 이러한 방법은 골퍼의 개인적인 판단 또는 교습자의 교정 판단에 따라 다양한 골퍼의 자세 교정에 대한 판단이 이루어질 수 있어 객관적이고 과학적인 분석을 기초로 하여 골퍼의 자세를 바로 교정하기에는 어려운 문제점이 있다.
따라서, 다양한 환경을 제공하는 가상의 골프 코스의 모의 상황에서 골퍼의 스윙 자세 및 동작 패턴을 분석하고, 분석된 정보를 통해 인공지능형 캐디가 골퍼에게 자세 교정을 위한 가이드를 제공함으로써, 골퍼가 자신의 골프 자세를 편리하고 과학적으로 교정받을 수 있도록 할 필요성이 제기된다.
본 발명은 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를 이용한 골 퍼자세교정방법을 제공하여, 골퍼가 인공지능형 캐디를 통해 자신의 골프 자세를 과학적이고 체계적으로 교정받을 수 있도록 하는 데에 그 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 골퍼자세교정시스템은 골퍼의 기초데이터와 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터에 대한 제1 정보를 제공하는 사용자분석 장치와, 가상골프시뮬레이션의 환경정보에 대한 제2 정보를 제공하는 환경정보구축 장치와, 제1 정보 및 제2 정보를 이용하여 질의값을 생성하는 질의 모듈 및 질의값에 따라 소정 모듈로부터 출력되는 결과값을 이용하여 골퍼에게 필드 공략 방법, 지형에 따른 주의사항, 클럽 선택 정보, 및 골퍼의 자세 교정을 위한 정보 중 적어도 하나를 인공지능형 캐디를 통해 전달하는 설명 모듈을 포함하는 인공지능캐디 장치를 포함한다.
본 발명의 실시예에 따른 골퍼자세교정방법은 인공지능캐디 장치의 질의 모듈이 소정 저장 공간에 저장된 골퍼의 기초데이터 및 가상골프시뮬레이션의 환경정보를 이용하여 제1 질의값을 생성하는 (a)단계와, 제1 질의값을 기초로, 골프전문가 장치가 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 인공지능캐디 장치의 설명 모듈로 전달하는 (b)단계와, 인공지능형 캐디가 설명 모듈로 전달된 정보를 음성으로 골퍼에게 전달하는 (c)단계와, 골퍼가 스윙 동작을 수행하면, 골프동작교정 장치가 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터를 인식하고 분석하는 (d)단계와, 질의 모듈이 영상 데이터 및 실시간 센싱 데이터에 대한 분석된 정보를 이용하여 제2 질의값을 생성하는 (e) 단계와, 제2 질의값을 기초로, 골프동작교정 장치가 골퍼의 스윙 동작과 표준이 되는 모범 스윙 동작에 대한 저장 정보를 비교하여 골퍼의 자세 교정을 위한 정보를 설명 모듈로 전달하는 (f)단계 및 인공지능형 캐디가 설명 모듈로 전달된 정보를 음성으로 골퍼에게 전달하는 (g)단계를 포함한다.
본 발명의 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를 이용한 골퍼자세교정방법에 따르면 다음과 같은 장점이 있다.
첫째, 골퍼가 인공지능형 캐디를 통해 시각 및 청각적으로 골프 코치를 받을 수 있어 골퍼에게 골프에 대한 흥미를 유발시킬 수 있는 장점이 있다.
둘째, 골퍼의 골프 패턴 및 자세에 대한 정보를 지속적으로 업데이트하여 해당 정보에 따라 질의를 하고, 기 저장된 표준 동작에 따라 결과값을 얻어 골퍼의 골프 자세를 과학적으로 교정받을 수 있도록 하는 장점도 있다.
셋째, 골퍼의 기초데이터 및 세부적인 동작에 대한 데이터를 수집하고 이를 통해 골퍼의 자세 교정을 위한 데이터를 실시간으로 제공하고, 클럽 선택 및 가상골프시뮬레이션 환경에서의 지형과 주변환경에 따른 필드 공략 방법, 지형에 따른 주의사항을 골퍼에게 인공지능형 캐디를 통해 전달함으로써 3D 골프 게임 및 골프 자세 교정의 완성도를 높이는 장점도 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발 명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 인공지능형 캐디(10)를 이용한 골퍼자세교정시스템의 개념도이다.
인공지능형 캐디(10)를 이용한 골퍼자세교정시스템은 골프전문가 장치(100), 골프동작교정 장치(200), 사용자분석 장치(300), 환경정보구축 장치(400), 및 인공지능캐디 장치(500)를 포함한다.
골프전문가 장치(100)는 골퍼의 기초데이터, 가상골프시뮬레이션의 환경정보를 이용하여 입력된 질의값에 따라 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 후술될 인공지능캐디 장치(500)의 설명 모듈(504)로 전달한다. 후술될 사용자정보 데이터베이스(306)로부터 추출될 수 있는 상기 골퍼의 기초데이터는, 성별, 나이, 체중, 신장, 혈액형, 시력, 팔길이, 장갑크기, 구력, 라운드 경력 등의 정보를 포함한다. 사용자정보 데이터베이스(306)에 대한 보다 구체적인 설명은 도 4를 참조하기 바란다. 그리고, 후술될 환경정보 데이터베이스(406)로부터 추출될 수 있는 가상골프시뮬레이션의 환경정보는, 홀까지의 거리, 홀까지의 경사도, 타겟지점까지의 거리, 현재 볼 위치의 지형, 현재 볼 위치에서 홀가지의 높이, 타겟공략 위험요소, 타겟지점 주변 위험요소, 날씨, 바람 방향, 바람세기, 기온 등의 정보를 포함한다. 환경정보 데이터베이스(406)에 대한 보다 구체적인 설명은 도 5를 참조하기 바란다. 이러한, 골퍼의 기초데이터 및 가상골프시뮬레이션의 환경정보가 후술될 인공지능캐디 장치(500)의 질의 모듈(502)을 통해 로드 및 인식이 되면, 질의 모듈(502)은 해당 정보를 통해 질의값을 생성하고, 도 2에 도시된 바와 같이 골프전문가 장치(100)의 추론 엔진 모듈(102)로 전달한다.
도 2에 도시된 바와 같이 골프전문가 장치(100)는 추론 엔진 모듈(102), 지식 습득 모듈(104), 및 골프전문가 데이터베이스(106)를 포함한다.
추론 엔진 모듈(102)은 인공지능캐디 장치(500)의 질의 모듈(502)에 의해 입력된 질의값을 기초로 골프전문가 데이터베이스(106)에서 필드 공략 방법 및 지형에 따른 주의사항, 클럽 선택에 관한 정보를 추출한다. 상기 골프전문가 데이터베이스(106)는 골프 전문가들의 골프지식, 골프에 대한 규칙, 및 각 상황별 골프지식에 대한 정보 등을 저장한다. 이러한 정보들은 지식 습득 모듈(104)을 통해 네트워크상으로 입력받을 수 있다. 따라서, 추론 엔진 모듈(102)은 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 골프전문가 데이터베이스(106)로부터 추출하여 인공지능캐디 장치(500)의 설명 모듈(504)로 전달하고, 설명 모듈(504)은 인공지능형 캐디(10)를 통해 음성으로 골퍼에게 해당 정보를 전달한다. 즉, 인공지능형 캐디(10)는 추론 엔진 모듈(102)로부터 전달된 정보를 통해 현재위치에서 타석, 타구 도착 예상 지점 및 골퍼의 구력, 성격을 고려한 필드 공략 방법 및 타구 도착 위치 등에 따른 위험 예상 안내(해저드, 벙커, OB등), 타겟 지점 궤적 안내 등을 음성으로 전달할 수 있다.
골프동작교정 장치(200)는 골퍼가 클럽을 선택하고, 클럽 선택에 따른 가상골프시뮬레이션 화면의 이동이 이루어진 후, 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터에 대한 분석을 수행한다. 이때, 골프동작교정 장치(200)는 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터의 인식을 위해 실제 골퍼의 타구를 카메라 및 센서로 인식해서 해당 값을 수신한다.
도 3에 도시된 바와 같이 골프동작교정 장치(200)는 데이터처리 모듈(202), 동작 평가 엔진(204), 모범동작 데이터베이스(206), 전문가동작입력 모듈(208)을 포함한다.
데이터처리 모듈(202)은 카메라와 센서를 통해 감지된 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터를 인식하고 분석한다. 여기서, 실시간 센싱 데이터는 볼(골프공)의 속도, 임팩트 이전 클럽스피드, 임팩트 이후 클럽스피드, 클럽의 진행방향, 수평방위각도, 수직방위각도, 볼의 수평회전속도, 볼의 수직회전속도 등을 포함한다. 그리고, 착지 후 볼의 진행까지의 거리를 포함한 전체 비거리, 볼의 탄도, 임팩트 후 최대 높이, 볼의 체공시간, 훅 또는 슬라이드 된 볼의 좌우 결과값, 홀까지의 총 거리에 대한 데이터를 포함한다. 또한, 데이터처리 모듈(202)은 골퍼의 스윙 동작에 대한 영상 데이터의 잡음 제거 및 개선을 위한 영상전처리 모듈(202a), 골퍼의 관절별 분리 및 영역화를 수행하는 객체분리 모듈(202b), 골퍼의 관절별 분리 및 영역화된 부분에 따라 데이터를 정의하는 객체정의 모듈(202c)을 포함한다. 그리고, 데이터처리 모듈(202)은 정의된 데이터를 이용 하여 골퍼의 스윙 동작 수행에 따른 세부 분석 정보를 제공하는 센싱데이터분석 모듈(202d), 복수개의 영상 데이터 프레임에서 스윙 동작과 볼의 맞는 시점에 대한 동기화 등을 수행하는 센싱데이터동기화 모듈(202e) 등을 포함한다. 다음으로, 동작 평가 엔진(204)은 데이터처리 모듈(202)의 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터의 분석 정보를 이용하여 질의 모듈(502)이 생성한 질의값을 기초로 모범동작 데이터베이스(206)에서 표준이 되는 모범 스윙 동작에 대한 정보와 비교하여 골퍼의 스윙 동작을 해석하고, 골퍼의 자세 교정을 위한 정보를 설명 모듈(504)로 전달한다. 이때, 모범 스윙 동작에 대한 정보는 골프 전문가의 스윙 자세 및 동작에 대한 정보일 수 있다. 상기 모범동작 데이터베이스(206)는 전문가동작입력 모듈(208)에 의해 입력된 모범이 되는 골프 스윙 동작 및 자세에 대한 정보들을 저장한다. 이후, 골퍼의 자세 교정을 위한 정보는 인공지능캐디 장치(500)의 설명 모듈(504)로 전달되고, 인공지능형 캐디(10)는 해당 정보를 골퍼에게 음성으로 전달한다. 상술된 골퍼의 기초데이터, 카메라와 센서를 통해 감지된 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터는 후술될 사용자분석 장치(300)를 통해 사용자정보 데이터베이스(306)에 저장될 수 있다.
도 4에 도시된 바와 같이, 사용자분석 장치(300)는 사용자분석 모듈(302), 사용자데이터지식표현 모듈(304), 및 사용자정보 데이터베이스(306)를 포함한다.
사용자분석 모듈(302)은 골퍼패턴정의 모듈(302a), 및 골퍼유형정보분류 모듈(302b)을 포함한다. 카메라와 센서를 통해 감지된 골퍼의 스윙 동작에 대한 영상 데이터 및 기타 실시간 센싱 데이터는 아직 Raw 데이타이므로, 골퍼패턴정의 모 듈(302a)은 Raw 데이타를 소정의 의미있는 데이터로 분류하는 기능을 수행한다. 즉, 골퍼패턴정의 모듈(302a)은 영상 데이터 및 실시간 센싱 데이터를 기초로 골퍼의 스윙 자세, 골퍼의 운동 성향 등을 분류한다. 그리고, 골퍼유형정보분류 모듈(302b)은 골퍼의 기초데이터를 기초로 골퍼의 신체 유형을 분류한다. 예를 들어, 연령, 성별, 키, 체중 등의 골퍼의 기초데이터를 입력받아 골퍼의 신체 유형을 분류한다. 또한, 사용자데이터지식표현 모듈(304)은 실제 사용자정보 데이터베이스(306)에 저장하기 위해서, 사용자분석 모듈(302)을 통해 전달된 정보를 지식 표현 언어인 개념 그래프로 표현한다. 예를 들어, [Person : 김민주] <- (Player)-> (Height)-> [Small]와 같이 개념 그래프로 표현될 수 있으며, 이후 사용자정보 데이터베이스(306)에 저장될 수 있다.
한편, 상술된 가상골프시뮬레이션의 환경정보는 환경정보구축 장치(400)를 통해 환경정보 데이터베이스(406)에 저장된다.
도 5에 도시된 바와 같이, 환경정보구축 장치(400)는 지형정보분석 모듈(402), 지형지식표현 모듈(402a), 주변환경정보분석 모듈(403), 주변환경정보지식표현 모듈(403a) 및 환경정보 데이터베이스(406)를 포함한다.
예를 들어, 가상골프시뮬레이션의 3D 골프 게임환경에서, 지형정보분석 모듈(402)은 3차원 지형정보를 분석하여, 홀마다의 길이, 페어웨이의 폭, 그린의 경사 등을 지형지식표현 모듈(402a)을 통해 지식 표현한다. 이하, 지식 표현한다는 것은 인공지능의 지식 표현 언어인 개념 그래프로 정보를 표현하는 것을 의미한다. 그리고, 주변환경정보분석 모듈(403)은 시간대별로 부는 바람, 기압 등 기후나 주 변 환경정보와 관련된 기타 정보들을 분석하여 주변환경정보지식표현 모듈(403a)을 통해 지식 표현한다. 이와 같이 표현된 정보들은 환경정보 데이터베이스(406)에 저장된다.
한편, 인공지능캐디 장치(500)는 인공지능형 캐디(10)를 통해 필드 공략 방법, 지형에 따른 주의사항, 클럽 선택 정보, 및 골퍼의 자세 교정을 위한 정보 등을 골퍼에게 제시할 수 있다. 이를 위해, 인공지능캐디 장치(500)는 상술된 바와 같이 질의 모듈(502)과 설명 모듈(504)을 포함한다. 여기서, 질의 모듈(502)은 골퍼의 기초데이터, 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터에 대한 정보, 가상골프시뮬레이션의 환경정보를 이용하여 질의값을 생성한다. 그리고, 설명 모듈(504)은 골퍼에게 필드 공략 방법, 지형에 따른 주의사항, 클럽 선택 정보, 및 골퍼의 자세 교정을 위한 정보 중 적어도 하나를 인공지능형 캐디(10)를 통해 전달한다. 보다 구체적인 것은 상술된 도 1 내지 도 5를 참조하기 바란다.
예를 들어, 인공지능형 캐디(10)는 이하 (a) 내지 (f)의 가이드를 소정 시점에서 골퍼에게 음성으로 제시할 수 있다.
(a) 홀까지의 가장 적합한 타겟 지점은 전방 160 야드 지점입니다.
(b) 현재 9시방향으로 3ms의 바람이 불고 있으므로 타겟으로부터 우측 10m 지점을 목표하고 스윙해 주시기 바랍니다.
(c) 타겟지점 주변 10미터 이내에 해저드가 위치하고 있습니다.
(d) 긴장을 풀고 목표지점으로 스윙하시기 바랍니다.
(e) 홍길동님의 평균 비거리에 가장 적합한 클럽은 5번 아이언 입니다.
(f) 클럽 변경 시 새로운 목표지점을 안내해 드리겠습니다.
인공지능형 캐디(10)는 가상골프시뮬레이션에 항시 노출된 상태이거나, 정해진 소정의 시점, 골퍼의 스윙 동작 수행 전후 시점, 또는 가상골프시뮬레이션의 화면 전환시 노출될 수 있다.
상술된 각 장치(100, 200, 300, 400)의 데이터베이스(106, 206, 306, 406)는 각 장치(100, 200, 300, 400)에 각각 포함되어 구성되거나 하나의 저장 장소에 복수개의 영역으로 분류되어 별도로 구성될 수 있다.
이하, 상술된 내용을 토대로 골퍼의 자세 교정을 위한 내용을 도 6의 순서도를 통해 설명하기로 한다.
먼저, 도 6에 도시된 바와 같이, 인공지능캐디 장치(500)의 질의 모듈(502)이 소정 저장 공간에 저장된 골퍼의 기초데이터 및 가상골프시뮬레이션의 환경정보를 이용하여 제1 질의값을 생성한다(S601). 여기서, 골퍼의 기초데이터는 최초 1회 사용자정보 데이터베이스(306)에 입력될 수 있다.
그리고, 상기 제1 질의값을 기초로, 골프전문가 장치(100)가 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 후술될 인공지능캐디 장치(500)의 설명 모듈(504)로 전달한다(S611).
다음으로, 인공지능형 캐디(10)가 상기 설명 모듈(504)로 전달된 정보를 음성으로 골퍼에게 안내한다(S621). 이때, 가상골프시뮬레이션 화면의 소정 부위에는 이하 표 1과 같은 사용자(골퍼) 및 골프 필드에 대한 종합 분석 정보가 가상골프시뮬레이션 화면의 소정 부위에 함께 표시될 수 있다.
Figure 112007079011021-PAT00001
(표 1)
다음으로, 골퍼가 클럽을 고르면 소정 센서가 클럽 종류를 인식하고 클럽 선택에 따라 가상골프시뮬레이션 화면이 이동한다(S631). 본 단계(S631)는 골프동작교정 장치(200)의 데이터처리 모듈(202)에 의해 수행될 수 있다. 그리고, 만약 추천 클럽이 아닐 경우, 추천 경로를 최우선으로 하여 화면을 이동하고, 골퍼는 타구방향 설정 버튼을 이용해 방향을 설정할 수 있다.
다음으로, 골퍼가 스윙 동작을 수행하면, 골프동작교정 장치(200)가 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터를 인식하고 분석한다(S641, S651). 여기서, 분석된 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터는 사용자분석 장치(300)의 모듈들(302, 304)을 거쳐 사용자정보 데이터베이스(306)에 저장되어 기존의 사용자정보 데이터베이스(306)의 저장정보를 업데이트할 수 있다. 따라서, 누적된 정보 및 업데이트 정보를 통해 골퍼의 스윙 자세, 골 퍼의 운동 성향 등에 대한 최신의 정보가 제공될 수 있다.
다음으로, 질의 모듈(502)이 상기 분석된 정보를 이용하여 제2 질의값을 생성한다(S661).
그리고, 상기 제2 질의값을 기초로, 골프동작교정 장치(200)가 골퍼의 스윙 동작과 모범동작 데이터베이스(206)에서 표준이 되는 모범 스윙 동작에 대한 정보와 비교하여 골퍼의 자세 교정을 위한 정보를 상기 설명 모듈(504)로 전달한다(S671).
다음으로, 상기 설명 모듈(504)로 전달된 정보를 인공지능형 캐디(10)가 음성으로 골퍼에게 전달한다(S681).
도 7은 본 발명의 일 실시예에 따른 가상골프시뮬레이션 상에 노출된 인공지능형 캐디를 도시한다.
도 7에 도시된 바와 같이, 인공지능형 캐디(10)는 가상골프시뮬레이션(30) 상에 항시 노출된 상태이거나, 음성 안내가 필요할 시에 해당 시점에서 노출될 수 있다. 즉, 3D 골프환경에서 골퍼의 기초데이터 및 가상골프시뮬레이션(30) 의 환경정보들을 통해 골퍼에게 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 노출된 인공지능형 캐디(10)가 음성으로 제공한다. 그리고, 음성으로 제공된 해당 가이드를 참조하여 골퍼가 클럽을 선택하면 화면이 그에 따라 이동하고, 이후 스윙 동작 수행시 복수개의 카메라(12, 14) 및 센서(미도시)가 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터를 제공한다. 이후, 해당 데이터들이 분석되어 인공지능형 캐디(10)가 골퍼의 자세 교정을 위한 가이드를 골퍼에게 다시 제공한다.
상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능형 캐디를 이용한 골퍼자세교정시스템을 도시한다.
도 2는 본 발명의 일 실시예에 따른 골프전문가 장치를 통해 인공지능형 캐디가 골프 안내 가이드를 제공하는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 골프동작교정 장치를 통해 인공지능형 캐디가 골프 자세 교정을 위한 안내 가이드를 제공하는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 사용자분석 장치를 통해 골퍼의 기초데이터, 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터를 가공 및 저장하는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 환경정보구축 장치를 통해 가상골프시뮬레이션의 환경정보를 가공 및 저장하는 개념도이다.
도 6은 본 발명의 일 실시예에 따른 인공지능형 캐디를 이용한 골퍼자세교정방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 가상골프시뮬레이션 상에 노출된 인공지능형 캐디를 도시한다.
<도면의 주요 부분에 관한 부호의 설명>
10: 인공지능형 캐디 100: 골프전문가 장치
200: 골프동작교정 장치 300: 사용자분석 장치
400: 환경정보구축 장치 500: 인공지능캐디 장치

Claims (10)

  1. 골퍼의 기초데이터와 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터에 대한 제1 정보를 제공하는 사용자분석 장치와,
    가상골프시뮬레이션의 환경정보에 대한 제2 정보를 제공하는 환경정보구축 장치와,
    상기 제1 정보 및 상기 제2 정보를 이용하여 질의값을 생성하는 질의 모듈 및 상기 질의값에 따라 소정 모듈로부터 출력되는 결과값을 이용하여 골퍼에게 필드 공략 방법, 지형에 따른 주의사항, 클럽 선택 정보, 및 골퍼의 자세 교정을 위한 정보 중 적어도 하나를 인공지능형 캐디를 통해 전달하는 설명 모듈을 포함하는 인공지능캐디 장치를 포함하는, 골퍼자세교정시스템.
  2. 제 1항에 있어서,
    상기 골퍼의 기초데이터 및 상기 가상골프시뮬레이션의 환경정보를 이용하여 생성된 제1 질의값을 기초로 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 상기 설명 모듈로 제공하는 골프전문가 장치를 더 포함하는, 골퍼자세교정시스템.
  3. 제 2항에 있어서, 상기 골프전문가 장치는
    상기 제1 질의값을 기초로 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 골프전문가 데이터베이스에서 추출하는 추론 엔진 모듈을 포함하는, 골퍼자세교정시스템.
  4. 제 1항에 있어서,
    상기 골퍼의 스윙 동작에 대한 영상 데이터 및 상기 실시간 센싱 데이터에 대한 분석 정보를 이용하여 생성된 제2 질의값을 기초로 골퍼의 자세 교정을 위한 정보를 상기 설명 모듈로 제공하는 골프동작교정 장치를 더 포함하는, 골퍼자세교정시스템.
  5. 제 4항에 있어서, 상기 골프동작교정 장치는
    카메라와 센서를 통해 감지된 상기 골퍼의 스윙 동작에 대한 영상 데이터 및 상기 실시간 센싱 데이터를 인식하고 분석하는 데이터처리 모듈; 및
    상기 분석된 정보를 이용하여 생성된 상기 제2 질의값을 기초로, 골퍼의 스윙 동작과 표준이 되는 모범 스윙 동작에 대한 저장 정보를 비교하여 골퍼의 자세 교정을 위한 정보를 상기 설명 모듈로 제공하는 동작 평가 엔진을 포함하는, 골퍼자세교정시스템.
  6. 제 5항에 있어서, 상기 데이터처리 모듈은
    상기 골퍼의 스윙 동작에 대한 영상 데이터의 잡음 제거 및 개선을 위한 영상전처리 모듈;
    상기 영상 데이터에서 골퍼의 관절별 분리 및 영역화를 수행하는 객체분리 모듈;
    상기 골퍼의 관절별 분리 및 영역화된 부분에 따라 데이터를 정의하는 객체정의 모듈; 및
    상기 정의된 데이터를 이용하여 골퍼의 스윙 동작 수행에 따른 세부 분석 정보를 제공하는 센싱데이터분석 모듈을 포함하는, 골퍼자세교정시스템.
  7. 제 6항에 있어서, 상기 실시간 센싱 데이터는
    볼의 속도, 임팩트 이전 클럽스피드, 임팩트 이후 클럽스피드, 클럽의 진행방향, 수평방위각도, 수직방위각도, 볼의 수평회전속도, 볼의 수직회전속도, 착지 후 볼의 진행까지의 거리를 포함한 전체 비거리, 볼의 탄도, 임팩트 후 최대 높이, 볼의 체공시간, 훅 또는 슬라이드 된 볼의 좌우 결과값, 및 홀까지의 총 거리에 대한 데이터 중 적어도 하나를 포함하는, 골퍼자세교정시스템.
  8. 인공지능캐디 장치의 질의 모듈이 소정 저장 공간에 저장된 골퍼의 기초데이터 및 가상골프시뮬레이션의 환경정보를 이용하여 제1 질의값을 생성하는 (a)단계;
    상기 제1 질의값을 기초로, 골프전문가 장치가 필드 공략 방법, 지형에 따른 주의사항, 및 클럽 선택에 관한 정보 중 적어도 하나를 상기 인공지능캐디 장치의 설명 모듈로 전달하는 (b)단계;
    인공지능형 캐디가 상기 설명 모듈로 전달된 정보를 음성으로 골퍼에게 전 달하는 (c)단계;
    골퍼가 스윙 동작을 수행하면, 골프동작교정 장치가 골퍼의 스윙 동작에 대한 영상 데이터 및 실시간 센싱 데이터를 인식하고 분석하는 (d)단계;
    상기 질의 모듈이 상기 영상 데이터 및 상기 실시간 센싱 데이터에 대한 분석된 정보를 이용하여 제2 질의값을 생성하는 (e)단계;
    상기 제2 질의값을 기초로, 상기 골프동작교정 장치가 골퍼의 스윙 동작과 표준이 되는 모범 스윙 동작에 대한 저장 정보를 비교하여 골퍼의 자세 교정을 위한 정보를 상기 설명 모듈로 전달하는 (f)단계; 및
    상기 인공지능형 캐디가 상기 설명 모듈로 전달된 정보를 음성으로 골퍼에게 전달하는 (g)단계를 포함하는, 골퍼자세교정방법.
  9. 제 8항에 있어서, 상기 (d)단계는
    상기 골프동작교정 장치의 영상전처리모듈이 골퍼의 스윙 동작에 대한 상기 영상 데이터의 잡음 제거 및 개선을 수행하는 단계;
    상기 골프동작교정 장치의 객체분리 모듈이 상기 영상 데이터에서 골퍼의 관절별 분리 및 영역화를 수행하는 단계;
    상기 골프동작교정 장치의 객체정의 모듈이 상기 골퍼의 관절별 분리 및 영역화된 부분에 따라 데이터를 정의하는 단계; 및
    상기 골프동작교정 장치의 센싱데이터분석 모듈이 상기 정의된 데이터를 이용하여 골퍼의 스윙 동작 수행에 따른 세부 분석 정보를 제공하는 단계를 포함하 는, 골퍼자세교정방법.
  10. 제 8항에 있어서, 상기 (a)단계는
    사용자분석 장치의 사용자분석 모듈이 상기 골퍼의 기초데이터를 이용하여 골퍼의 신체 유형을 분류하는 단계; 및
    상기 사용자분석 장치의 사용자데이터지식표현 모듈이 분류된 상기 골퍼의 신체 유형을 지식 표현 언어인 개념 그래프로 표현하여 상기 저장 공간에 저장하는 단계를 포함하는, 골퍼자세교정방법.
KR1020070111566A 2007-11-02 2007-11-02 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법 Active KR100907704B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070111566A KR100907704B1 (ko) 2007-11-02 2007-11-02 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070111566A KR100907704B1 (ko) 2007-11-02 2007-11-02 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법

Publications (2)

Publication Number Publication Date
KR20090045640A true KR20090045640A (ko) 2009-05-08
KR100907704B1 KR100907704B1 (ko) 2009-07-14

Family

ID=40855708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070111566A Active KR100907704B1 (ko) 2007-11-02 2007-11-02 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법

Country Status (1)

Country Link
KR (1) KR100907704B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100923066B1 (ko) * 2009-03-13 2009-10-22 (주) 골프존 골프 실연 시뮬레이터 및 그 제어방법
KR100926754B1 (ko) * 2009-03-17 2009-11-16 권주환 골프교습시스템
KR100970677B1 (ko) * 2009-12-31 2010-07-15 (주) 골프존 퍼팅가이드를 제공하는 가상 골프 시뮬레이션 장치
WO2013025011A1 (ko) * 2011-08-12 2013-02-21 (주) 골프존 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2012174371A3 (en) * 2011-06-16 2013-04-25 George Allen Device and method for beneficially engaging conscious brain influence during complex athletic movements
WO2024177295A1 (ko) * 2023-02-22 2024-08-29 주식회사 딥브레인에이아이 Ai 캐디를 활용한 골프 라운딩 보조 장치 및 방법
WO2025234671A1 (ko) * 2024-05-07 2025-11-13 주식회사 골프존 레인지 파인더와 연결 가능한 레이더 기반 볼 감지 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495961B1 (ko) 2012-10-30 2015-02-26 주식회사 에이스테크놀로지 골프 자세 교정 시스템 및 방법
KR20200067673A (ko) * 2018-12-04 2020-06-12 (주)이더블유비엠 공유 ai 스피커
KR102158848B1 (ko) * 2019-04-16 2020-09-22 주식회사 퍼블릭스크린골프 개방형 스크린 골프 시스템 및 이를 이용한 운동 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772497B1 (ko) * 2006-10-09 2007-11-01 박찬애 골프 클리닉 시스템 및 그것의 운용방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100923066B1 (ko) * 2009-03-13 2009-10-22 (주) 골프존 골프 실연 시뮬레이터 및 그 제어방법
WO2010104356A3 (en) * 2009-03-13 2010-12-23 Golfzon Co., Ltd. Virtual golf simulation device and method for the same
US8678892B2 (en) 2009-03-13 2014-03-25 Golfzon Co., Ltd. Virtual golf simulation device and method for the same
KR100926754B1 (ko) * 2009-03-17 2009-11-16 권주환 골프교습시스템
KR100970677B1 (ko) * 2009-12-31 2010-07-15 (주) 골프존 퍼팅가이드를 제공하는 가상 골프 시뮬레이션 장치
CN102114331A (zh) * 2009-12-31 2011-07-06 高夫准株式会社 提供推杆导引的虚拟高尔夫球模拟装置
CN102114331B (zh) * 2009-12-31 2015-06-24 高夫准株式会社 提供推杆导引的虚拟高尔夫球模拟装置
WO2012174371A3 (en) * 2011-06-16 2013-04-25 George Allen Device and method for beneficially engaging conscious brain influence during complex athletic movements
WO2013025011A1 (ko) * 2011-08-12 2013-02-21 (주) 골프존 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2024177295A1 (ko) * 2023-02-22 2024-08-29 주식회사 딥브레인에이아이 Ai 캐디를 활용한 골프 라운딩 보조 장치 및 방법
WO2025234671A1 (ko) * 2024-05-07 2025-11-13 주식회사 골프존 레인지 파인더와 연결 가능한 레이더 기반 볼 감지 시스템

Also Published As

Publication number Publication date
KR100907704B1 (ko) 2009-07-14

Similar Documents

Publication Publication Date Title
KR100907704B1 (ko) 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법
US12478851B2 (en) Tennis self-training system
US11640725B2 (en) Quantitative, biomechanical-based analysis with outcomes and context
US9370704B2 (en) Trajectory detection and feedback system for tennis
WO2019244153A1 (en) Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation
US12062123B2 (en) 3D avatar generation using biomechanical analysis
US12434099B2 (en) Systems and methods for measuring and analyzing the motion of a swing and matching the motion of a swing to optimized swing equipment
KR20230050262A (ko) 테니스 자율훈련 시스템
Shahjalal et al. An approach to automate the scorecard in cricket with computer vision and machine learning
CN115475373B (zh) 运动数据的展示方法、装置、存储介质及电子装置
Toshniwal et al. AI coach for badminton
CN114788951B (zh) 手持运动分析系统与方法
JP7488704B2 (ja) 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム
CN119577516A (zh) 基于多模态数据融合的匹克球运动员动作识别与分析系统
Malik et al. Badminton action analysis using LSTM
JP7502957B2 (ja) 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム
Liu Enhancing Tennis Serve Scoring Efficiency: An AI Deep Learning Approach
Malawski et al. Automatic analysis of techniques and body motion patterns in sport
KR102878477B1 (ko) 복싱 회원 참여 유도를 위한 통합 플랫폼 시스템
US20250186857A1 (en) Automatic ball machine for racquet sport gamification, system and related methods
US20250256156A1 (en) Predicting Whether a User Executed a Golf Shot
WO2014123419A1 (en) Motion tracking method and device
CN120318032A (zh) 基于虚拟现实和动作捕捉的运动技能教学方法及系统
CN120411853A (zh) 一种基于ai识别的体育运动表现评估系统
CN120235908A (zh) 一种击球效果评估方法、装置、系统、电子设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20130709

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20140707

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20150706

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20170706

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

J204 Request for invalidation trial [patent]
PJ0204 Invalidation trial for patent

St.27 status event code: A-5-5-V10-V11-apl-PJ0204

FPAY Annual fee payment

Payment date: 20180709

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

J301 Trial decision

Free format text: TRIAL NUMBER: 2017100002719; TRIAL DECISION FOR INVALIDATION REQUESTED 20170825

Effective date: 20181026

PJ1301 Trial decision

St.27 status event code: A-5-5-V10-V15-crt-PJ1301

Decision date: 20181026

Appeal event data comment text: Appeal Kind Category : Invalidation, Appeal Ground Text : 0907704

Appeal request date: 20170825

Appellate body name: Patent Examination Board

Decision authority category: Office appeal board

Decision identifier: 2017100002719

L13-X000 Limitation or reissue of ip right requested

St.27 status event code: A-2-3-L10-L13-lim-X000

G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

St.27 status event code: A-5-5-P10-P19-oth-PG1701

Patent document republication publication date: 20190128

Republication note text: Request for Public Notice of Correction Statement

Gazette number: 1009077040000

Gazette reference publication date: 20090714

FPAY Annual fee payment

Payment date: 20190708

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 14

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 15

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 16

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 17

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 17