[go: up one dir, main page]

KR101806715B1 - 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법 - Google Patents

가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법 Download PDF

Info

Publication number
KR101806715B1
KR101806715B1 KR1020160078632A KR20160078632A KR101806715B1 KR 101806715 B1 KR101806715 B1 KR 101806715B1 KR 1020160078632 A KR1020160078632 A KR 1020160078632A KR 20160078632 A KR20160078632 A KR 20160078632A KR 101806715 B1 KR101806715 B1 KR 101806715B1
Authority
KR
South Korea
Prior art keywords
acceleration
user
angular
angular acceleration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160078632A
Other languages
English (en)
Inventor
김시호
이상호
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160078632A priority Critical patent/KR101806715B1/ko
Application granted granted Critical
Publication of KR101806715B1 publication Critical patent/KR101806715B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N13/0429—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
    • H04N13/0468—
    • H04N13/0497—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가속도 및 각가속도를 이용하여 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS) 및 콘텐츠 연동 시뮬레이션 시스템 및 그 방법이 개시된다. 보다 상세하게는 본 발명은 영상의 가속도 및 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 및 상기 영상의 각가속도 및 상기 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도를 산출하고, 상기 산출된 상대 가속도 및 상기 산출된 상대 각가속도에 기반하여 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS)을 인가하는 것이다.

Description

가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법{SYSTEM AND METHOD FOR INTERLOCKING SIMULATION USING ACCELERATION AND ANGULAR ACCELERATION}
본 발명은 가속도 및 각가속도를 이용하여 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS) 및 콘텐츠 연동 시뮬레이션 시스템 및 그 방법에 관한 것이다.
최근 가상 현실 관련 산업이 화두로 떠오르고 있는데, 가상현실의 콘텐츠는 사용자가 느끼는 어지럼증 등의 멀미현상을 완화하기 위하여 영상의 움직임에 따른 인체의 실제 전정기관에 전기 신호를 인가하여 인체가 가속도를 느끼도록 하는 형태의 GVS 방식에 대한 연구를 진행해왔다.
도 1은 영상에 기초하여 사용자의 신체에 GVS를 인가하는 방법을 나타내는 도면이다.
보다 상세하게는, 도 1은 영상의 속도, 가속도 및 회전 운동을 파악하여 사용자의 신체에 GVS를 인가하는 방법을 나타내는 것으로서, 도 1과 같은 종래 기술은 사용자의 눈에 입력되는 가상 현실 속의 영상 정보와, 인체가 평형기관을 통해 인지하는 몸체의 움직임 정보로 인한 차이를 감소하기 위해 사용자 인체로 갈바닉 전기 전정 자극을 인가한다.
일반적으로 가상 현실 속의 영상 정보와, 몸체의 움직임 정보가 차이가 나는 경우, 두뇌는 혼란에 빠지게 되어 멀미증상과 유사한 눈의 피로, 어지럼증, 구토 등의 증상을 나타낼 수 있으며, 이에 따른 시뮬레이터 피로도가 급증하게 된다.
이에 따라서, 향후 어지럼증 요소를 제거하기 위한 기술은 하드웨어 쪽에서의 하나의 큰 축이 될 가능성이 있기 때문에 이에 대한 고려가 필수적이다. 또한, 하드웨어적인 출력 방식도 컨텐츠 내의 가상 환경의 움직임에 대응해야 하기 때문에 필수적인 방법이 될 것으로 예상하고 있다.
다만, 도 1과 같은 종래 기술은 가상 현실 속의 콘텐츠 자체만 집중한다는 한계가 존재하였고, 사용자에 대한 움직임은 고려하지 않아 사용자의 어지럼증 요소를 정확하게 제거하는데 한계가 존재하였다.
한국공개특허 제10-2016-0007957호(발명의 명칭: 3차원 가상현실 환경에서 사이버 멀미 경감을 위한 갈바닉 전정자극 시스템 및 그 방법) 한국등록특허 제10-1564964호(발명의 명칭: 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치) 미국등록특허 제5762612호(발명의 명칭: MULTIMODAL STIMULATION IN VIRTUAL ENVIRONMENTS)
본 발명의 목적은 영상의 움직임 및 사용자의 움직임을 고려하여 갈바닉 전기 전정 자극의 신호 세기를 결정하여 어지럼증 요소를 효과적으로 제거할 수 있는 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법을 제공하는 것이다.
또한, 본 발명의 목적은 사용자의 몸이 반응할 때 움직이는 신체 움직임(physical movement)를 고려하여 콘텐츠와 헤드 마운트 디스플레이 장치(Head Mounted Display device, VR HMD)의 상대 가속도 및 상대 각가속도를 산출하여 갈바닉 전기 전정 자극 신호를 출력할 수 있는 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법을 제공하는 것이다.
본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 콘텐츠 내부 영상의 움직임 변화에 기초하여 영상의 가속도 및 각가속도(Angular acceleration)를 추출하는 영상 정보 추출부, 복수의 센서들로부터 센싱된 사용자의 움직임 변화에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출하는 움직임 정보 추출부, 상기 영상의 가속도 및 상기 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 및 상기 영상의 각가속도 및 상기 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도를 산출하는 산출부 및 상기 산출된 상대 가속도 및 상기 산출된 상대 각가속도에 기반하여 상기 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS)을 인가하는 인가부를 포함한다.
본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템의 동작 방법에 있어서, 콘텐츠 내부 영상의 움직임 변화에 기초하여 영상의 가속도 및 각가속도(Angular acceleration)를 추출하는 단계, 복수의 센서들로부터 센싱된 사용자의 움직임 변화에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출하는 단계, 상기 영상의 가속도 및 상기 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 및 상기 영상의 각가속도 및 상가 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도를 산출하는 단계 및 상기 산출된 상대 가속도 및 상기 산출된 상대 각가속도에 기반하여 상기 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS)을 인가하는 단계를 포함한다.
일 실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법은 영상의 움직임 및 사용자의 움직임을 고려하여 갈바닉 전기 전정 자극의 신호 세기를 결정하여 어지럼증 요소를 효과적으로 제거할 수 있다.
또한, 본 발명의 실시예에 따르면, 사용자의 몸이 반응할 때 움직이는 신체 움직임(physical movement)를 고려하여 콘텐츠와 헤드 마운트 디스플레이 장치(Head Mounted Display device, VR HMD)의 상대 가속도 및 상대 각가속도를 산출하여 갈바닉 전기 전정 자극 신호를 출력할 수 있다.
도 1은 영상에 기초하여 사용자의 신체에 GVS를 인가하는 방법을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템을 설명하기 위한 도면이다.
도 3은 실시예에 따른 헤드 마운트 디스플레이 장치의 외관을 도시한 도면이다.
도 4는 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 디스플레이부에 출력되는 영상을 도시한 도면이다.
도 5a 내지 도 5c는 사용자 움직임의 가속도 및 각가속도를 추출하기 위한 예를 도시한 것이다.
도 6a 및 도 6b는 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템의 상대 가속도 및 상대 각가속도를 산출하는 예를 도시한 도면이다.
도 7a 및 도 7b는 다른 실시예에 따른 갈바닉 전극의 배치 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 방법을 설명하기 위한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "실시예", "예", "측면", "예시" 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템(200)은 영상의 가속도 및 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 영상의 각가속도 및 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도에 기반하여 갈바닉 전기 전정 자극을 인가한다.
이를 위해, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템(200)은 영상 정보 추출부(210), 움직임 정보 추출부(220), 산출부(230) 및 인가부(240)를 포함한다.
영상 정보 추출부(210)는 콘텐츠 내부 영상의 움직임 변화에 기초하여 영상의 가속도 및 각가속도(Angular acceleration)을 추출한다.
영상 정보 추출부(210)는 콘텐츠 내부 카메라의 움직임 방향, 움직임 방향에 대한 속도, 가속도, 각속도, 각가속도, 기울기 변화량 및 이동거리 변화량 중 적어도 어느 하나에 기초하여 영상의 가속도 및 각가속도를 추출할 수 있다. 예를 들어, 영상 정보 추출부(210)는 영상으로부터 검출되는 특징점을 기준으로 움직임 변화율을 감지하여 영상의 가속도 및 각가속도를 추출할 수 있다.
실시예에 따라서, 영상 정보 추출부(210)는 콘텐츠 내부 카메라로부터 촬영된 영상에 기반하여 특징점의 중심좌표를 검출하고, 검출된 특징점의 중심좌표를 기준으로 영상의 움직임에 대응하여 이동하는 특징점의 움직임 변화율을 감지하여 속도, 가속도, 각속도, 각가속도, 기울기 변화량 및 이동거리 변화량에 따른 영상의 가속도 및 각가속도를 추출할 수 있다.
움직임 정보 추출부(220)는 복수의 센서들로부터 센싱된 사용자의 움직임 변화에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출한다.
움직임 정보 추출부(220)는 헤드 마운트 디스플레이 장치(Head Mounted Display device, HMD)에 포함된 장치 센서와, 사용자의 인체에 부착된 인체 센서를 포함하는 복수의 센서들로부터 센싱된 센싱 정보에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출할 수 있다.
예를 들어, 움직임 정보 추출부(220)는 헤드 마운트 디스플레이 장치의 가속도를 감지하는 가속도(accelerometer) 센서를 이용하여 사용자의 움직임 변화에 따른 사용자 움직임의 가속도를 추출할 수 있다.
실시예에 따라서, 움직임 정보 추출부(220)는 헤드 마운트 디스플레이 장치의 3축 방향의 가속도를 측정할 수 있다. 보다 구체적으로는 가속도 센서는 외부의 충격량과 방향을 감지하는 센서이며, 외부의 충격이 없을 경우에는 항상 중력 방향을 감지하기 때문에 중력 방향을 기준으로 하여 헤드 마운트 디스플레이 장치의 기울어진 방향과 그 정도를 감지할 수 있다. 예를 들어, Z축은 중력 방향이고 가속도 센서를 좌우로 기울이면 X축 값이 변화하며, 상하로 기울이면 Y축 값이 변하게 된다. Z축의 경우는 중력가속도와 관련되어 가속도 센서를 위로 올리거나 아래로 내리면 중력가속도를 기준으로 Z축의 값이 +/―로 변하게 된다.
또한, 움직임 정보 추출부(220)는 헤드 마운트 디스플레이 장치의 상하(X축), 좌우(Y축) 및 앞뒤(Z축) 방향으로의 회전 각속도를 감지하기 위한 자이로(Gyro) 센서를 이용하여 사용자의 움직임 변화에 따른 사용자 움직임의 각가속도를 추출할 수 있다.
보다 상세하게는, 자이로 센서는 헤드 마운트 디스플레이 장치의 각(회전) 움직임을 감지하여 자이로 신호를 생성하며, 예를 들어 자이로 신호는 헤드 마운트 디스플레이 장치의 각속도 신호일 수 있다. 실시예에 따라서, 자이로 센서는 다양한 방식으로 구동될 수 있는데 가령 자이로 센서는 진동식, 기계식, 유체식 또는 광학식으로 구동되는 센서일 수 있다. 또한, 자이로 센서의 구체적인 구성 및 작동원리에 대해서는 당해 기술분야에 널리 알려져 있으므로, 여기서는 그에 대한 상세 설명을 생략한다.
또한, 움직임 정보 추출부(220)는 사용자의 인체에 부착된 인체 센서를 이용하여 사용자 움직임의 가속도 및 각가속도를 추출할 수 있으며, 인체 센서는 사용자의 인체에 팔, 다리, 몸통 및 머리 중 적어도 어느 하나의 부위에 부착되어 사용자의 움직임에 따른 가속도 및 각가속도를 측정할 수 있다.
상기 인체 센서는 모션 감지 센서, 가속도 센서 및 자이로 센서 중 적어도 어느 하나일 수 있으며, 인체에 부착되는 개수는 한정되지 않는다.
산출부(230)는 영상의 가속도 및 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 및 영사의 각가속도 및 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도를 산출한다.
예를 들어, 산출부(230)는 추출된 영상의 가속도 및 각가속도 값과, 추출된 사용자 움직임의 가속도 및 각가속도 값에 기초하여 영상의 가속도 값과 사용자 움직임의 가속도 값의 차이 값에 대한 상대 가속도를 산출하고, 영상의 각가속도 값과 사용자 움직임의 각가속도 값의 차이 값에 대한 상대 각가속도를 산출할 수 있다.
인가부(240)는 산출된 상대 가속도 및 산출된 상대 각가속도에 기반하여 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS)를 인가한다.
인가부(240)는 상대 가속도 및 상대 각가속도의 산출 값에 의한 전기적 신호의 갈바닉 전기 전정 자극을 사용자의 귀에 인접한 접촉 부위에 인가할 수 있다.
또한, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템(200)은 제어부(250)를 더 포함할 수 있다.
제어부(250)는 상대 가속도 및 상대 각가속도 각각의 산출 값의 증가 및 감소에 기반하여 인가부(240)로부터 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극의 세기를 조절하여 인가하도록 제어할 수 있다.
예를 들면, 제어부(250)는 상대 가속도 및 상대 각가속도의 산출 값에 기초하여 기설정된 전류 출력값(예컨대, 직류/교류, 양/음극, 전류량, 시간 등)을 생성하여 인가부(240)를 통해 갈바닉 전극에 인가되도록 제어할 수 있다.
또한, 제어부(250)는 스위칭을 통해 양극과 음극의 극성을 바꿀 수 있는 연속성 직류전류를 선택적으로 갈바닉 전극에 인가되도록 제어함이 바람직하다.
실시예에 따라서, 제어부(250)는 움직임 정보 추출부(220)로부터 추출된 사용자의 좌/우 움직임에 따른 가속도 및 각가속도에 기반하여 영상의 가속도 및 각가속도와의 상대 가속도 및 상대 각가속도를 산출하도록 제어할 수 있으며, 산출된 사용자의 좌/우 움직임에 따른 상대 가속도 및 상대 각가속도 값에 따라 사용자의 우측 및 좌측에 각각 기설정된 전류량을 갖는 양전류 및 음전류가 흐르도록 제어할 수 있다.
실시예에 따른 전술한 바와 같이 사용자의 좌/우 움직임 인지를 위한 좌우대칭의 양극 방식(Bilateral-Bipolar fashion)은 사용자의 양측 귀의 유양돌기(mastoid) 중 일측 부분에는 양극을, 반대측에는 음극의 전기 자극을 제공하는 것으로서, 일반적으로 음극 자극 방향으로 회전감을 느끼게 되고, 보상작용으로 양극 자극 방향으로 신체동요가 발생할 수 있다.
다른 실시예에 따른 전술한 바와 같이 사용자의 전/후 움직임 인지를 위한 좌우대칭의 단극 방식(Bilateral Unipolar fashion)은 사용자의 양측 귀의 유양돌기 부분에 음극 혹은 양극의 단극 전기 자극을 제공하는 것으로서, 일반적으로 양극 자극은 앞으로 향하는 감각이 발생하며, 이의 보상작용으로 뒤로 향하는 신체동요가 발생할 수 있다. 반대로, 음극 자극은 뒤로 향하는 감각이 발생하고, 이의 보상작용으로 앞으로 향하는 신체동요가 발생할 수도 있다.
예를 들어, 신체의 좌/우 동요는 양측 귀에 양전류와 음전류의 2가지 전류를 주는 방식이고, 신체의 전후 동요는 양측 귀에 동시에 양전류 혹은 음전류의 한 가지 전류만 주는 방식일 수 있다.
또한, 사용자의 뒷목의 가운데 부분에 접지 전극이 더 부착될 수 있다. 이에 따라서, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템(200)의 제어부(250)는 스위칭을 통해 양극과 음극의 극성을 바꿀 수 있는 연속성 직류전류를 선택적으로 갈바닉 전극에 인가되도록 제어함이 바람직하며, 영상 정보 추출부(210) 및 움직임 정보 추출부(220)로부터 추출된 전방 움직임 입력값(예컨대, 앞으로 가속시 발생)에 따라 갈바닉 전극(사용자의 양쪽 귀 부근에 부착된 한 쌍의 갈바닉 전극)에 기설정된 전류량을 갖는 양전류가 흐르도록 제어함과 아울러, 영상 정보 추출부(210) 및 움직임 정보 추출부(220)로부터 추출된 후방 움직임 입력값(예컨대, 뒤로 가속시 발생)에 따라 갈바닉 전극(사용자의 양쪽 귀 부근에 부착된 한 쌍의 갈바닉 전극)에 기설정된 전류량을 음전류가 흐르도록 제어함이 바람직할 수 있다.
도 3은 실시예에 따른 헤드 마운트 디스플레이 장치의 외관을 도시한 도면이다.
도 3을 참조하면, 헤드 마운트 디스플레이 장치(300)는 사용자의 시야를 전체적으로 커버하도록 사용자의 안면에 착용될 수 있다. 헤드 마운트 디스플레이 장치(300)의 디스플레이부(미도시)는 미리 설정된 프레임 속도(frame rate)(예컨대, 1초당 90 내지 120 프레임의 속도)에 따라 영상을 표시하도록 구성될 수 있으며, 디스플레이부는 액정표시장치(liquid crystal display, LCD), 유기발광표시장치(organic light emitting display, OLED), 플렉시블(flexible) 표시 장치 및 투명 표시 장치 중 적어도 어느 하나를 포함할 수 있다. 이러한 디스플레이부에는 소정의 영상이 표시될 수 있는데, 이는 도 4를 참조하여 설명하도록 한다.
도 4는 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 디스플레이부에 출력되는 영상을 도시한 도면이다.
도 4를 참조하면, 본 발명의 다른 실시예에 따른 헤드 마운트 디스플레이 장치(300)의 디스플레이부에는 3차원 영상(400)이 표시될 수 있다. 예를 들어, 이러한 3차원 영상(400)은 사용자의 시점에서 바라보는 원근감을 가진 3차원 영상을 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템(200)은 영상 정보 추출부(210)를 통해, 3차원 영상(400)에서 특징점(미도시)을 검출하고, 검출된 특징점의 좌표를 기준으로 카메라의 움직임 방향에 대한 속도, 가속도, 각가속도, 기울기 변화량 및 이동거리 변화량 중 적어도 어느 하나에 따른 영상의 가속도 및 각가속도를 추출할 수 있다.
실시예에 따라서, 본 발명의 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템(200)은 3차원 영상(400)에서 특징점을 검출하기 위해, 콘텐츠 내부 카메라로부터 촬영된 3차원 영상을 그레이 스케일(gray scale)로 변환하여 이진화하고, 이진화된 영상에 대해 모폴로지(morphology) 기법을 이용하여 노이즈를 제거하며, 노이즈가 제거된 영상을 라벨링(labeling)하여 그레이 밸류(gray value)값을 산출하고, 산출된 그레이 밸류값을 바탕으로 영상 좌표계를 검출할 수 있다.
또한, 본 발명의 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 영상 처리된 영상좌표계를 통해 3차원 영상(400)에서의 특징점에 대한 중심좌표를 검출할 수 있으며, 검출된 특징점의 중심좌표를 이용하여 요(yaw)각 및 피치(pitch)각을 추출하여 영상의 가속도 및 각가속도를 추출할 수 있다.
실시예에 따라서, 상기 피치각은 본 발명의 일실시예에 다른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템의 영상 정보 추출부로부터 추출된 영상의 가속도에서 측정한 3축 방향의 가속도를 이용하여 산출될 수 있다.
다만, 영상의 움직임 변화에 기초하여 영상의 가속도 및 각가속도를 추출하기 위해 3차원 영상(400)에서 특징점을 검출하는 방법은 이에 한정되는 것은 아니며, 당해 기술분야에 널리 알려져 있는 영상에서의 특징점 검출 방법을 사용할 수도 있다.
도 5a 내지 도 5c는 사용자 움직임의 가속도 및 각가속도를 추출하기 위한 예를 도시한 것이다.
보다 상세하게는, 도 5a는 사용자의 인체에 부착된 인체 센서를 이용하여 사용자 움직임의 가속도 및 각가속도를 추출하기 위한 예를 도시한 것이고, 도 5b는 모션 캡쳐 장치를 이용하여 사용자 움직임의 가속도 및 각가속도를 추출하기 위한 예를 도시한 것이며, 도 5c는 모션 캡쳐 장치로 인식되는 사용자 움직임의 예를 도시한 것이다.
도 5a를 참조하면, 본 발명의 다른 실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 사용자 인체(500)의 팔, 다리, 몸통 및 머리 중 적어도 어느 하나에 부착된 인체 센서를 이용하여 사용자 움직임의 가속도 및 각가속도를 추출할 수 있다.
예를 들면, 인체 센서는 팔에 부착된 센서(510a), 다리에 부착된 센서(510b), 몸통에 부착된 센서(510c) 및 머리에 부착된 센서(510d)를 포함할 수 있으며, 사용자(500)는 복수 개의 인체 센서(510)를 인체에 부착할 수 있다.
이에 따라서, 본 발명의 다른 실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 복수 개의 인체 센서(510)로부터 감지되는 모션에 따른 움직임의 가속도 및 각가속도를 추출할 수 있다.
실시예에 따라서는 사용자(500)는 헤드 마운트 디스플레이 장치를 더 착용할 수 있다.
도 5b를 참조하면, 본 발명의 다른 실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 사용자(500)의 움직임을 감지하는 모션 캡쳐 장치(530) 및 헤드 마운트 디스플레이 장치(520)를 이용하여 산출되는 상대 가속도 및 상대 각가속도에 따른 갈바닉 전기 전정 자극을 사용자(500)에게 인가할 수 있다.
예를 들면, 모션 캡쳐 장치(530)는 레이저(laser) 센서 및 깊이 카메라를 포함할 수 있으며, 모션 캡쳐 또는 모션 트랙킹 시스템에 기초하여 사용자(500)의 3차원 움직임을 감지할 수 있다.
실시예에 따라서, 모션 캡쳐 장치(530)로 감지된 사용자(500)의 3차원 움직임에 대한 정보는 헤드 마운트 디스플레이 장치(520)로 전송될 수 있으며, 헤드 마운트 디스플레이 장치(520)는 수신된 사용자(500)의 3차원 움직임에 따른 정보와, 가상 현실 콘텐츠에 따른 영상 정보를 연계하여 동작시킬 수 있다.
또한 실시예에 따라서, 본 발명의 다른 실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 모션 캡쳐 장치(530)로 감지된 사용자(500)의 3차원 움직임에 따른 속도, 가속도 및 각가속도 중 적어도 어느 하나의 정보와, 헤드 마운트 디스플레이 장치(520)로 감지되는 가상 현실 콘텐츠에 따른 영상의 속도, 가속도 및 각가속도 중 적어도 어느 하나의 정보에 기초하여 상대 가속도 및 상대 각가속도를 산출할 수 있다.
도 5c를 참조하면, 모션 캡쳐 장치(530)는 모션 트랙킹(motion tracking)을 적용하여 사용자(500)의 주요 관절(joint) 부위에 대응하는 조인트 부를 감지할 수 있다.
예를 들어, 모션 캡쳐 장치(530)는 사용자(500) 인체의 머리, 어깨(왼쪽, 중심, 오른쪽), 팔, 손목, 손, 허리, 엉덩이(왼쪽, 가운데, 오른쪽), 무릎, 발목 및 발 각각에 대한 조인트 부를 감지하고, 감지된 조인트 부에 기초하여 사용자(500)의 다양한 움직임(a, b, c, d)을 감지할 수 있으며, 그에 따른 움직임의 속도, 가속도 및 각가속도를 감지할 수 있다.
도 6a 및 도 6b는 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템의 상대 가속도 및 상대 각가속도를 산출하는 예를 도시한 도면이다.
도 6a를 참조하면, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 콘텐츠 내부 카메라(610)에 의한 영상(611)의 움직임 변화에 기초하여 영상의 가속도 및 각가속도를 추출할 수 있다.
보다 상세하게는, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연도 시뮬레이션 시스템은 콘텐츠 내부 카메라(610)로부터 촬영된 영상(611)에 기반하여 특징점의 중심좌표(미도시)를 검출하고, 검출된 특징점의 중심좌표를 기준으로 영상(611)의 움직임에 대응하여 이동하는 특지점의 움직임 변화율을 감지하여 영상의 가속도(
Figure 112016060825811-pat00001
) 및 각가속도(
Figure 112016060825811-pat00002
)를 추출할 수 있다.
도 6b를 참조하면, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 헤드 마운트 디스플레이 장치(620)에 포함된 복수의 센서들로부터 센싱된 사용자의 움직임 변화에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출할 수 있다.
보다 상세하게는, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 헤드 마운트 디스플레이 장치(620)의 가속도를 감지하는 가속도 센서 및 회전 각속도를 감지하는 자이로 센서를 이용하여 사용자 움직임 변화에 따른 사용자 움직임의 가속도(
Figure 112016060825811-pat00003
) 및 각가속도(
Figure 112016060825811-pat00004
)를 추출할 수 있다.
그러므로, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 추출된 영상의 가속도 및 각가속도와, 추출된 사용자 움직임의 가속도 및 각가속도를 이용하여 하기의 [수식 1] 및 [수식 2]로부터 상대 가속도 및 상대 각가속도를 산출할 수 있다.
[수식 1]
Figure 112016060825811-pat00005
여기서, 상기 A는 상대 가속도를 의미하고, 상기
Figure 112016060825811-pat00006
는 영상의 가속도를 의미하며, 상기
Figure 112016060825811-pat00007
는 사용자 움직임의 가속도를 의미한다.
[수식 2]
Figure 112016060825811-pat00008
여기서, 상기
Figure 112016060825811-pat00009
는 상대 각가속도를 의미하고, 상기
Figure 112016060825811-pat00010
는 영상의 각가속도를 의미하며, 상기
Figure 112016060825811-pat00011
는 사용자 움직임의 각가속도를 의미한다.
도 7a 및 도 7b는 다른 실시예에 따른 갈바닉 전극의 배치 예를 도시한 도면이다.
보다 상세하게는, 도 7a는 복수의 갈바닉 전극이 부착된 사용자 얼굴의 상면을 도시한 것이고, 도 7b는 갈바닉 전극이 부착된 사용자 얼굴의 정면을 도시한 것이다.
갈바닉 전극(Active electrodes)(731, 732, 733, 734)은 도 7a 및 도 7b에 도시된 바와 같이, 사용자 얼굴(700)에 각각 부착되어 있으며, 사용자에게 갈바닉 전기 전정 자극을 인가하는 기능을 수행한다.
이러한 갈바닉 전극(731, 732, 733, 734)은 예컨대, 전도성 고무(conductive rubber), 소아용 ECG 전극, EnoG용 전극 및 헤드폰 방식의 전극 중 적어도 어느 하나로 다양하게 구현됨이 바람직하다.
도 7a를 참조하면, 사용자 얼굴(700)에 복수의 갈바닉 전극(731, 732, 733, 734)이 부착된 것을 확인할 수 있다. 사용자 얼굴(700)의 상면을 참조하여 왼쪽에 부착된 갈바닉 전극(731)은 사용자의 왼쪽 귀(720L)의 유양돌기(mastoid) 부근에 부착되어 있으며, 오른쪽에 부착된 갈바닉 전극(732)은 사용자의 오른쪽 귀(720R)의 유양돌기 부근에 부착되어 있는 것을 알 수 있다.
또한, 사용자 얼굴(700)의 상면을 참조하면, 갈바닉 전극(733)은 사용자의 코(710) 및 이마 부근에 부착되어 있으며, 갈바닉 전극(734)은 사용자의 목에 부착되어 있는 것을 알 수 있다.
즉, 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 제어부(250)의 제어에 기초하여 사용자에게 제공될 전기 자극을 생성하여 인가하는 인가부(240)를 통해 사용자 얼굴(700)에 부착된 적어도 두 개 이상의 갈바닉 전극에 전기 자극을 전달할 수 있다.
예를 들어, 사용자의 양쪽 귀(720) 부근에 부착된 갈바닉 전극(731, 732)에 전달되는 자극들은 귀(720)의 윗부분에 배치된 피하 조직 또는 아랫부분에 배치된 피하 조직을 통해 전정 기관으로 전달될 수 있다. 그에 따라, 인가부(240)에서 인가된 상대 가속도 및 상대 각가속도에 기반한 갈바닉 전기 전정 자극의 전기 자극이 사용자의 전정 기관에 대해 전자기적으로 작용할 수 있다.
본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템은 사용자의 양쪽 귀(720) 부근에 부착된 갈바닉 전극(731, 732)을 기본으로 하되, 실시예에 따라서는 사용자의 코(710) 및 목 부근에 추가로 부착된 갈바닉 전극(733, 734)을 더 사용할 수도 있다.
도 7b를 참조하면, 사용자의 코(710) 및 이마 부근에 부착된 갈바닉 전극(733)은 사용자 얼굴(700)의 정중앙을 지나는 시상면 라인(sagittal plane line, 701) 상에 부착될 수 있다. 또한 실시예에 따라서, 시상면 라인(701)을 기준으로 사용자의 뒷목 부근에 접지 전극(grounding electrode, 미도시)를 더 부착될 수 있다.
실시예에 따라서, 양측 귀(720)의 유양돌기 부분에 부착된 갈바닉 전극(731, 732)에 동시에 양전류 혹은 음전류가 주어지면 전류가 흐르지 않을 수 있다. 이에 따라서, 갈바닉 전극(731, 732)에 동시에 주어질 양전류 혹은 음전류가 흐르게 할 접지 전극(양측 귀(720)에 양전류가 주어질 경우 음전극으로, 음전류가 주어지면 양전극으로 자동으로 설정됨)을 사용자의 뒷목의 가운데 부분에 부착하면 전류가 흘러 전후 동요를 유발할 수 있다.
도 8은 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 방법을 설명하기 위한 도면이다.
도 8에 도시된 방법은 도 2에 도시된 본 발명의 일실시예에 따른 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템에 의해 수행될 수 있다.
도 8을 참조하면, 단계 810에서 콘텐츠 내부 카메라에 의한 영상의 움직임 변화에 기초하여 영상의 가속도 및 각가속도(Angular acceleration)를 추출한다.
단계 810은 카메라의 움직임 방향, 움직임 방향에 대한 속도, 가속도, 각속도, 각가속도, 기울기 변화량 및 이동거리 변화량 중 적어도 어느 하나에 기초하여 영상의 가속도 및 각가속도를 추출하는 단계일 수 있다. 예를 들어, 단계 810은 영상으로부터 검출되는 특징점을 기준으로 움직임 변화율을 감지하여 영상의 가속도 및 각가속도를 추출하는 단계일 수 있다.
단계 820에서 헤드 마운트 디스플레이 장치(Head Mounted Display device, HMD)에 포함된 복수의 센서들로부터 센싱된 사용자의 움직임 변화에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출한다.
단계 820은 헤드 마운트 디스플레이 장치의 가속도를 감지하는 가속도(accelerometer) 센서를 이용하여 사용자의 움직임 변화에 대한 사용자의 움직임의 가속도를 추출하는 단계일 수 있다.
또한, 단계 820은 헤드 마운트 디스플레이 장치의 상하(X축), 좌우(Y축) 및 앞뒤(Z축) 방향으로의 회전 각속도를 감지하기 위한 자이로(Gyro) 센서를 이용하여 사용자의 움직임 변화에 대한 사용자의 움직임의 각가속도를 추출하는 단계일 수 있다.
단계 830에서 영상의 가속도 및 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 및 영상의 각가속도 및 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도를 산출한다.
예를 들어, 단계 830은 추출된 영상의 가속도 및 각가속도 값과, 추출된 사용자 움직임의 가속도 및 각가속도 값에 기초하여 영상의 가속도 값과 사용자 움직임의 가속도 값의 차이 값에 대한 상대 가속도를 산출하고, 영상의 각가속도 값과 사용자 움직임의 각가속도 값의 차이 값에 대한 상대 각가속도를 산출하는 단계일 수 있다.
단계 840에서, 산출된 상대 가속도 및 산출된 상대 각가속도에 기반하여 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS)을 인가한다.
단계 840은 상대 가속도 및 상대 각가속도의 산출 값에 의한 전기적 신호의 갈바닉 전기 전정 자극을 사용자의 귀에 인접한 접촉 부위에 인가하는 단계일 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
300, 520, 620: 헤드 마운트 디스플레이 장치
400, 611: 3차원 영상
500: 사용자
510: 인체 센서
530: 모션 캡쳐 장치
610: 콘텐츠 내부 카메라
700: 사용자 얼굴
701: 시상면 라인
710: 사용자의 코
720: 양쪽 귀
731, 732, 733, 734: 갈바닉 전극

Claims (14)

  1. 콘텐츠 내부 영상의 움직임 변화에 기초하여 영상의 가속도 및 각가속도(Angular acceleration)를 추출하는 영상 정보 추출부;
    헤드 마운트 디스플레이 장치에 포함된 장치 센서와, 인체에 부착된 인체 센서를 포함하는 복수의 센서들로부터 센싱된 사용자의 움직임 변화에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출하는 움직임 정보 추출부;
    상기 영상의 가속도 및 상기 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 및 상기 영상의 각가속도 및 상기 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도를 산출하는 산출부; 및
    상기 산출된 상대 가속도 및 상기 산출된 상대 각가속도에 기반하여 상기 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS)을 인가하되, 양극과 음극의 극성을 선택적으로 변경할 수 있는 연속성 직류전류를 상기 갈바닉 전기 전정 자극으로 인가하고, 상기 양극 및 상기 음극의 연속성 직류전류를 인체의 서로 다른 위치에서 함께 제공하여 상기 음극방향으로의 회전감을 제공하거나, 상기 양극 및 상기 음극의 연속성 직류전류 중에서 어느 하나만을 제공하여 전후 움직임을 제공하도록 제어하는 인가부
    를 포함하는 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  2. 제1항에 있어서,
    상기 영상 정보 추출부는
    상기 콘텐츠 내부의 카메라의 움직임 방향, 상기 움직임 방향에 대한 속도, 가속도, 각속도, 각가속도, 기울기 변화량 및 이동거리 변화량 중 적어도 어느 하나에 기초하여 상기 영상의 가속도 및 각가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  3. 제2항에 있어서,
    상기 영상 정보 추출부는
    상기 영상으로부터 검출되는 특징점을 기준으로 움직임 변화율을 감지하여 상기 영상의 가속도 및 각가속도를 추출하는 것을 특징으로 하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  4. 제1항에 있어서,
    상기 움직임 정보 추출부는
    상기 헤드 마운트 디스플레이 장치(Head Mounted Display device, HMD)에 포함된 장치 센서와, 상기 사용자의 인체에 부착된 인체 센서를 포함하는 상기 복수의 센서들로부터 센싱된 센싱 정보에 기초하여 상기 사용자 움직임의 가속도 및 각가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  5. 제4항에 있어서,
    상기 움직임 정보 추출부는
    상기 헤드 마운트 디스플레이 장치의 가속도를 감지하는 가속도(accelerometer) 센서를 이용하여 상기 사용자의 움직임 변화에 따른 상기 사용자 움직임의 가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  6. 제5항에 있어서,
    상기 움직임 정보 추출부는
    상기 헤드 마운트 디스플레이 장치의 상하(X축), 좌우(Y축) 및 앞뒤(Z축) 방향으로의 회전 각속도를 감지하기 위한 자이로(Gyro) 센서를 이용하여 상기 사용자의 움직임 변화에 따른 상기 사용자 움직임의 각가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  7. 제1항에 있어서,
    상기 인가부는
    상기 상대 가속도 및 상기 상대 각가속도의 산출 값에 의한 전기적 신호의 상기 갈바닉 전기 전정 자극을 상기 사용자의 귀에 인접한 접촉 부위에 인가하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  8. 제1항에 있어서,
    상기 상대 가속도 및 상기 상대 각가속도 각각의 산출 값의 증가 및 감소에 기반하여 상기 인가부로부터 상기 헤드 마운트 디스플레이 장치에 상기 갈바닉 전기 전정 자극의 세기를 조절하여 인가하도록 제어하는 제어부
    를 더 포함하는 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템.
  9. 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템의 동작 방법에 있어서,
    콘텐츠 내부 영상의 움직임 변화에 기초하여 영상의 가속도 및 각가속도(Angular acceleration)를 추출하는 단계;
    헤드 마운트 디스플레이 장치에 포함된 장치 센서와, 인체에 부착된 인체 센서를 포함하는 복수의 센서들로부터 센싱된 사용자의 움직임 변화에 기초하여 사용자 움직임의 가속도 및 각가속도를 추출하는 단계;
    상기 영상의 가속도 및 상기 사용자 움직임의 가속도의 차이에 따른 상대 가속도, 및 상기 영상의 각가속도 및 상가 사용자 움직임의 각가속도의 차이에 따른 상대 각가속도를 산출하는 단계; 및
    상기 산출된 상대 가속도 및 상기 산출된 상대 각가속도에 기반하여 상기 헤드 마운트 디스플레이 장치에 갈바닉 전기 전정 자극(Galvanic Vestibular Stimulation, GVS)을 인가하되, 양극과 음극의 극성을 선택적으로 변경할 수 있는 연속성 직류전류를 상기 갈바닉 전기 전정 자극으로 인가하고, 상기 양극 및 상기 음극의 연속성 직류전류를 인체의 서로 다른 위치에서 함께 제공하여 상기 음극방향으로의 회전감을 제공하거나, 상기 양극 및 상기 음극의 연속성 직류전류 중에서 어느 하나만을 제공하여 전후 움직임을 제공하도록 제어하는 단계
    를 포함하는 가속도 및 각가속도를 이용한 연동 시뮬레이션 방법.
  10. 제9항에 있어서,
    상기 영상의 가속도 및 각가속도를 추출하는 단계는
    상기 콘텐츠 내부의 카메라의 움직임 방향, 상기 움직임 방향에 대한 속도, 가속도, 각속도, 각가속도, 기울기 변화량 및 이동거리 변화량 중 적어도 어느 하나에 기초하여 상기 영상의 가속도 및 각가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 방법.
  11. 제9항에 있어서,
    상기 사용자 움직임의 가속도 및 각가속도를 추출하는 단계는
    헤드 마운트 디스플레이 장치(Head Mounted Display device, HMD)에 포함된 장치 센서와, 상기 사용자의 인체에 부착된 인체 센서를 포함하는 상기 복수의 센서들로부터 센싱된 센싱 정보에 기초하여 상기 사용자의 움직임의 가속도 및 각가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 방법.
  12. 제11항에 있어서,
    상기 사용자 움직임의 가속도 및 각가속도를 추출하는 단계는
    상기 헤드 마운트 디스플레이 장치의 가속도를 감지하는 가속도(accelerometer) 센서를 이용하여 상기 사용자의 움직임 변화에 대한 가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 방법.
  13. 제12항에 있어서,
    상기 사용자 움직임의 가속도 및 각가속도를 추출하는 단계는
    상기 헤드 마운트 디스플레이 장치의 상하(X축), 좌우(Y축) 및 앞뒤(Z축) 방향으로의 회전 각속도를 감지하기 위한 자이로(Gyro) 센서를 이용하여 상기 사용자의 움직임 변화에 대한 각가속도를 추출하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 방법.
  14. 제9항에 있어서,
    상기 갈바닉 전기 전정 자극을 인가하는 단계는
    상기 상대 가속도 및 상기 상대 각가속도의 산출 값에 의한 전기적 신호의 상기 갈바닉 전기 전정 자극을 상기 사용자의 귀에 인접한 접촉 부위에 인가하는
    가속도 및 각가속도를 이용한 연동 시뮬레이션 방법.
KR1020160078632A 2016-06-23 2016-06-23 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법 Active KR101806715B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160078632A KR101806715B1 (ko) 2016-06-23 2016-06-23 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160078632A KR101806715B1 (ko) 2016-06-23 2016-06-23 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101806715B1 true KR101806715B1 (ko) 2017-12-07

Family

ID=60920359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160078632A Active KR101806715B1 (ko) 2016-06-23 2016-06-23 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101806715B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230032988A (ko) * 2021-08-31 2023-03-07 고려대학교 세종산학협력단 전정 기관 내부 이온 유체 흐름 예측 디지털 트윈 기반 전정 기관 내부 유체 흐름 제어 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
JP2015212828A (ja) * 2015-06-17 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
JP2015212828A (ja) * 2015-06-17 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230032988A (ko) * 2021-08-31 2023-03-07 고려대학교 세종산학협력단 전정 기관 내부 이온 유체 흐름 예측 디지털 트윈 기반 전정 기관 내부 유체 흐름 제어 장치 및 그 방법
KR102811288B1 (ko) * 2021-08-31 2025-05-22 고려대학교 세종산학협력단 전정 기관 내부 이온 유체 흐름 예측 디지털 트윈 기반 전정 기관 내부 유체 흐름 제어 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US9918663B2 (en) Feedback wearable
CN103345064B (zh) 一种集成3d识别的帽子及帽子的3d识别方法
CN205666911U (zh) 一种运动视觉呈现系统
US11792500B2 (en) Eyewear determining facial expressions using muscle sensors
KR102347249B1 (ko) 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
JP6774975B2 (ja) 眼球回転検出装置、電子機器及びシステム
US20190101984A1 (en) Heartrate monitor for ar wearables
CN108140105A (zh) 具有脸部表情检测能力的头戴式显示器
TW201823805A (zh) 電子式隱形眼鏡、其成像系統、提供內容之方法與非暫態之電腦可讀取媒介
EP3365755B1 (en) Video display apparatus and method for reducing vr sickness
CN115202471B (zh) 一种全身姿态追踪及触觉设备及虚拟现实系统
CN109584285B (zh) 一种显示内容的控制方法、装置及计算机可读介质
WO2019063706A1 (en) DEVICE FOR DETERMINING AND ANALYZING THE MOTOR SKILLS AND THE CURRENT SKILLS OF A PERSON
KR101976092B1 (ko) 둥근 어깨 자세를 교정하는 자세교정시스템
JP6629313B2 (ja) 姿勢検出装置、眼鏡型電子機器、姿勢検出方法およびプログラム
CN106344036A (zh) 一种检测人体运动姿势的智能运动背心装置及其检测方法
KR101806715B1 (ko) 가속도 및 각가속도를 이용한 연동 시뮬레이션 시스템 및 그 방법
JP6535123B2 (ja) 眼球運動検出装置及び眼球運動検出方法
US11454826B2 (en) Contact lens-based eye tracking using magnetic fields
US20190380637A1 (en) Information processing method, information processing device, and program
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
Kon et al. Interpretation of navigation information modulates the effect of the waist-type Hanger Reflex on walking
JP7766170B2 (ja) ウェアラブル機器及び表示方法
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
WO2022221106A1 (en) Enabling the visually impaired with ar using force feedback

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 9