[go: up one dir, main page]

KR20160016907A - 정보 표시 장치 - Google Patents

정보 표시 장치 Download PDF

Info

Publication number
KR20160016907A
KR20160016907A KR1020157036710A KR20157036710A KR20160016907A KR 20160016907 A KR20160016907 A KR 20160016907A KR 1020157036710 A KR1020157036710 A KR 1020157036710A KR 20157036710 A KR20157036710 A KR 20157036710A KR 20160016907 A KR20160016907 A KR 20160016907A
Authority
KR
South Korea
Prior art keywords
information
display
unit
area
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020157036710A
Other languages
English (en)
Inventor
미키오 사사키
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20160016907A publication Critical patent/KR20160016907A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G06F17/30277—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/182—Distributing information between displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은, 이용자가 보고 있는 것을 차단하는 일없이, 이용자에게 제공하는 정보를 표시할 수 있는 정보 표시 장치를 제공하기 위해서, 이용자의 시계에 대응하는 화상을 입력하는 화상 입력부(1)와, 이용자의 시계 내에서의 시선의 위치를 나타내는 주시점을 검지하는 시선 검지부(2)와, 화상 입력부(1)로부터 입력된 화상으로부터, 시선 검지부(2)에서 검지된 주시점을 포함하는 물체의 화상 내에서의 영역을 제 1 영역으로서 추출하는 물체 인식부(3)와, 물체 인식부(3)에서 추출된 제 1 영역에 대한 정보에 근거하여, 시계 내에서 이용자의 시선이 닿지 않는 위치를 표시 위치로서 결정하는 표시 위치 결정부(5)와, 표시 위치 결정부(5)로 결정된 표시 위치에, 이용자에게 제시하는 정보를 표시하는 정보 표시부(6)를 구비하고 있다.

Description

정보 표시 장치{INFORMATION DISPLAY DEVICE}
본 발명은 실세계의 화상 또는 영상에, 이용자에게 제공하는 정보를 중첩하여 표시하는 정보 표시 장치에 관한 것이다.
최근, 인간이 지각하는 실세계에 대해, 컴퓨터에 의해서 정보의 추가나 강조를 행하는 것에 의해, 인간을 둘러싸는 실세계를 확장하는 AR(Augmented Reality) 기술이 이용되도록 되어 오고 있다. 이 AR 기술을 이용한 기기로서, 예를 들면 Google(등록 상표)사가 진행하고 있는 Google 글래스와 같은, 카메라와 소형의 표시 장치를 구비한 디바이스가 알려져 있다.
이 AR 기술을 이용한 디바이스는 인간이 직접 보고 있는 시계(視界) 또는 카메라로 파악한 현실의 영상 등의 중에, 시계 중의 오브젝트 또는 눈으로 포착할 수 없는 오브젝트 등에 대한 정보를 컴퓨터에서 생성하여 제시하여, 이것에 의해 인간의 지각을 지원한다.
이러한 기술로서, 예를 들면 특허문헌 1은 극장 내에서 시계 내에 등장하는 인물에 관한 정보를, 영상에 중첩하여 표시하는 것에 의해 이용자에 대해 등장 인물을 이해하기 쉽게 하는 기술을 개시하고 있다. 이 기술에서는, 시계 내의 화상을 사분면으로 구획하고, 각 사분면 내에서 인물을 검출할 수 있는지 여부에 의해서 정보 표시가 가능한지 여부를 판단하고, 인물이 검출되지 않는 영역에 정보를 표시한다.
그러나, 이 특허문헌 1에 개시된 기술과 같이, 이용자에게 제시하는 정보를 현실의 공간에 그대로 중첩하여 시계 내에 표시하면, 이용자의 시계를 차단하는 경우가 있어, 이용자의 시계가 방해받을 수 있다고 하는 문제가 있다. 이 문제를 해소하기 위해서, 비특허문헌 1은 「확장 현실감 환경을 위한 시선 계측에 의한 주변 시야 영역 정보 제시 수법」을 개시하고 있다. 이 주변 시야 영역 정보 제시 수법에서는, 시선 인식 장치를 이용하여 이용자의 주시점(a pointof gaze)을 검지하고, 그 검지한 주시점의 주변을 중심 시야, 그 외측의 영역을 주변 시야로 하고, 주변 시야에 정보의 제시를 행하는 것에 의해 이용자의 시계가 방해받는 것을 방지하고 있다.
특허문헌 1: 일본 특허 공개 제2012-108793호 공보
비특허문헌 1: 「확장 현실감 환경을 위한 시선 계측에 의한 주변 시야 영역 정보 제시 수법」, 이시구로 요시오, 레키모토 쥰이치, 정보 처리 학회 논문지, Vol.53 No.4, pp1328-1337(Apr.2012) 비특허문헌 2: 「색 유사성에 근거한 형상 특징량 CS-HOG의 제안」, 고토 유히, 야마우치 유지, 후지요시 히로노부, 화상 센싱 심포지엄(SSII2012), IS3-04, 2012.
상술한 바와 같이, 비특허문헌 1에 개시된 주변 시야 영역 정보 제시 수법에서는, 시선 인식 장치를 이용하여 시계를 중심 시야와 주변 시야로 분할하고, 주변 시야에 정보의 제시를 행하는 것에 의해 이용자의 시계가 방해받는 것을 방지하고 있다. 그러나, 이용자가 보고 있는 오브젝트의 형상에 따라서는, 그 오브젝트가 주변 시야에 들어가 버려, 이용자가 보고 있는 것이, 제시된 정보에 의해서 차단되게 되는 경우가 있다.
본 발명은, 이러한 문제를 해결하기 위해서 이루어진 것으로, 이용자가 보고 있는 것을 차단하는 일없이, 이용자에게 제공하는 정보를 표시할 수 있는 정보 표시 장치를 제공하는 것을 과제로 한다.
본 발명에 따른 정보 표시 장치에서는, 상기 과제를 해결하기 위해서, 이용자의 시계에 대응하는 화상을 입력하는 화상 입력부와, 이용자의 시계 내에서의 시선의 위치를 나타내는 주시점을 검지하는 시선 검지부와, 화상 입력부로부터 입력된 화상으로부터, 시선 검지부에서 검지된 주시점을 포함하는 물체의 화상 내에서의 영역을 제 1 영역으로서 추출하는 물체 인식부와, 물체 인식부에서 추출된 제 1 영역에 대한 정보에 근거하여, 시계 내에서 이용자의 시선이 닿지 않는 위치를 표시 위치로서 결정하는 표시 위치 결정부와, 표시 위치 결정부에서 결정된 표시 위치에, 이용자에게 제시하는 정보를 표시하는 정보 표시부를 구비하는 것을 특징으로 한다.
본 발명에 따른 정보 표시 장치에 의하면, 시계 내의 이용자의 시선이 닿지 않는 영역에 정보를 표시하므로, 이용자가 보고 있는 것을 차단하는 일없이, 이용자에게 제공하는 정보를 표시할 수 있다.
도 1은 본 발명의 실시 형태 1에 따른 정보 표시 장치를 나타내는 도면이다.
도 2는 본 발명의 실시 형태 1에 따른 정보 표시 장치의 동작을 나타내는 흐름도이다.
도 3은 본 발명의 실시 형태 1에 따른 정보 표시 장치에서 사용되는 주시점을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 형태 1에 따른 정보 표시 장치에서 물체가 존재하는 영역을 추출하는 모습을 나타내는 도면이다.
도 5는 본 발명의 실시 형태 1에 따른 정보 표시 장치에서 정보를 표시하는 영역을 결정하는 모습을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 형태 1에 따른 정보 표시 장치를 운전석에 적용한 경우의 이미지를 나타내는 도면이다.
도 7은 본 발명의 실시 형태 2에 따른 정보 표시 장치에서 정보의 표시 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 형태 2의 변형예에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다.
도 9는 본 발명의 실시 형태 2의 변형예에 따른 정보 표시 장치에서 정보의 표시 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 형태 3에 따른 정보 표시 장치의 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 실시 형태 5에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다.
도 12는 본 발명의 실시 형태 6에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다.
도 13은 본 발명의 실시 형태 7에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다.
도 14는 본 발명의 실시 형태 7에 따른 정보 표시 장치의 동작을 설명하기 위한 도면이다.
이하, 본 발명의 실시 형태를, 도면을 참조하면서 상세히 설명한다.
실시 형태 1
도 1은 본 발명의 실시 형태 1에 따른 정보 표시 장치를 나타내는 도면으로서, 도 1(a)는 정보 표시 장치의 전기적인 구성을 나타내는 블럭도, 도 1(b)는 정보 표시 장치를 안경에 적용한 경우의 구조의 이미지를 나타내는 도면이다. 정보 표시 장치는 화상 입력부(1), 시선 검지부(2), 물체 인식부(3), 타이머(4), 표시 위치 결정부(5) 및 정보 표시부(6)를 구비하고 있다.
화상 입력부(1)는, 예를 들면 카메라에 의해서 구성되어 있고, 이용자의 시계를 촬영하는 것에 의해 얻어지는 시계에 대응하는 화상을 입력한다. 이 화상 입력부(1)에서 입력된 화상은 물체 인식부(3)에 보내어진다.
시선 검지부(2)는 이용자가 시계 내의 어느 부분을 보고 있는지를 나타내는 시선을 검지한다. 이 시선 검지부(2)에 의해서 검지된 시선의 시계 내의 위치(주시점)는 물체 인식부(3)에 보내어진다.
물체 인식부(3)(물체 추출부(3))는 화상 입력부(1)로부터 보내어져 온 화상으로부터, 시선 검지부(2)로부터 보내어져 온 주시점을 포함하는 물체를 인식하여 추출한다. 즉, 물체 인식부(3)는 주시점을 포함하는 물체의 화상 내에서의 영역(제 1 영역)을 추출한다. 이 물체 인식부(3)는, 예를 들면 윤곽 추출을 행하여 물체의 형상이나 영역을 인식한다. 이 물체 인식부(3)에서 인식하여 추출된 물체를 나타내는 정보는 표시 위치 결정부(5)에 보내어진다. 또, 화상으로부터 영역을 추출하는 화상 처리, 예를 들면 화상으로부터의 물체 검출에 관해서는 비특허문헌 2에 나타내는 기존의 기술을 이용할 수 있다.
타이머(4)는 일정 시간, 예를 들면 수초를 계측한다. 이 타이머(4)는 표시 위치 결정부(5)로부터의 지시에 의해 시동되고, 설정된 시간이 경과하면, 그 취지를 표시 위치 결정부(5)에 통지하고, 그 후에 정지한다.
표시 위치 결정부(5)는, 물체 인식부(3)로부터의 정보에 근거하여, 표시 위치, 즉 시계 내의 어느 영역에 정보를 표시할지를 결정한다. 이 표시 위치 결정부(5)에 의해서 결정된 표시 위치를 나타내는 정보는 정보 표시부(6)에 보내어진다. 이 때, 표시 위치 결정부(5)는, 타이머(4)를 시동시키고, 이 타이머(4)로부터 일정 시간이 경과한 취지의 통지를 수취할 때까지 표시 위치를 나타내는 정보를 고정한다. 즉, 표시 위치 결정부(5)는 일정 시간이 경과한 취지의 통지를 타이머(4)로부터 수취할 때까지 표시 위치를 변화시키지 않도록 정보 표시부(6)에 통지한다.
표시 위치를 나타내는 정보를 고정하여 정보 표시를 일정 시간 유지하는 것은 다음의 이유에 의한다. 즉, 시선 검지부(2)로부터의 주시점에 근거하여 정보의 표시 위치가 결정되는 경우, 시선이 이동하면 정보의 표시 위치도 변화하게 된다. 이 상황에서는, 이용자는 표시된 정보를 볼 수 없는 경우가 있다. 그래서, 일단 정보를 표시하면, 표시 위치 결정부(5)에서 타이머(4)를 시동시키고, 일정 시간은 표시한 정보의 표시 위치를 변경하지 않도록 하고 있다. 이것에 의해, 이용자의 시선이 이동한 경우이더라도, 일정 시간은 정보의 표시 위치가 고정되므로, 이용자는 제시된 정보를 보다 확실히 확인할 수 있게 된다.
정보 표시부(6)는 표시 위치 결정부(5)로부터 보내어져 온 정보에 의해서 나타내어진 표시 위치에 정보를 표시한다. 이 정보 표시부(6)에서는, 예를 들면 안경의 렌즈부를 스크린으로 하여 시계 내에 정보가 투영된다.
다음으로, 상기와 같이 구성되는 실시 형태 1에 따른 정보 표시 장치의 동작을 설명한다. 도 2는 이용자에게 제공하는 정보를 시계 내에 표시하는 경우의 정보 표시 장치의 동작을 나타내는 흐름도이다. 처리가 개시되면, 우선 이용자의 시선의 검지가 행해진다(스텝 ST11). 즉, 시선 검지부(2)는 시계 내의 이용자가 보고 있는 개소(주시점)를 검지한다. 도 3은 시계 내의 좌측 아래쪽의 자동차에 대해서 주시점이 위치하고 있는 예를 나타내고 있다. 이 시선 검지부(2)에서 검지된 주시점은, 예를 들면 화상 내에서의 좌표값(x, y)으로서 물체 인식부(3)에 보내어진다.
다음에, 이용자가 보고 있는 물체의 영역이 추출된다(스텝 ST12). 즉, 물체 인식부(3)는 화상 입력부(1)로부터 보내어져 온 화상 중에서, 시선 검지부(2)로부터 보내어져 온 주시점의 위치 정보의 일례인 좌표값(x, y)이 포함되는 영역을, 이용자가 보고 있는 물체로서 인식하고, 도 4에 파선으로 나타낸 바와 같이, 그 물체가 존재하는 영역을 추출한다. 즉, 물체 인식부(3)는 주시점을 포함하는 물체의 화상 내에서의 영역을 추출한다. 이것에 의해, 물체의 영역을 나타내는 정보, 예를 들면 영역의 윤곽을 나타내는 점열(x1, y1), (x2, y2), …, (xn, yn)이 얻어진다. 이 물체의 영역을 나타내는 정보는 표시 위치 결정부(5)에 보내어진다.
다음에, 정보의 표시 위치가 결정된다(스텝 ST13). 즉, 표시 위치 결정부(5)는 정보를 시계 내의 어느 영역(위치)에 표시할지를 결정한다. 이 때, 이용자가 보고 있는 영역(제 1 영역)과는 다른 영역(제 2 영역)에 대응하는 시계 내의 위치에 표시하도록 표시 위치가 결정된다. 이용자가 보고 있지 않는 영역 중의, 어느 부분을 정보의 표시에 사용할지에 대한 결정에는 여러가지 알고리즘을 이용할 수 있지만, 예를 들면 간이적으로 하기와 같은 방법을 이용할 수 있다. 또, 이용자가 보고 있는 영역과는 다른 영역에는, 이용자가 보고 있는 물체를 표시 정보에 의해 저해하지 않을 정도이면, 이용자가 보고 있는 영역이 일부 포함되어도 좋다.
즉, 영역의 윤곽을 나타내는 점열 데이터로부터, x, y의 최대값 및 최소값을 구하고, 그들을 xmax, ymax, xmin, ymin라고 하면, 영역을 둘러싸는 직사각형 영역이, 도 5(a)에 나타내는 바와 같이, (xmin, ymin)-(xmax, ymin)-(xmax, ymax)-(xmin, ymax)로 정해진다. 따라서, 직사각형의 상하좌우의 영역 중, 가장 면적이 큰 영역을 표시 영역으로 한다.
도 5(a)에 나타내는 바와 같이, 시계의 사이즈를 가로 Xw, 세로 Yh라고 한 경우에, 각 영역의 면적은 아래 식으로 나타낼 수 있다. 표시 위치 결정부(5)는 이러한 식을 이용하여 면적을 구하고, 가장 큰 영역을 표시 영역으로서 선택하고, 그 선택한 영역의 정보를 표시 위치로서 정보 표시부(6)에 보낸다.
위쪽 영역: Xw·ymin
아래쪽 영역: Xw·(Yh-ymax)
왼쪽 영역: xmin·Yh
오른쪽 영역: (Xw-xmax)·Yh
다음에, 정보가 표시된다(스텝 ST14). 즉, 정보 표시부(6)는, 도 5(b)에 나타내는 바와 같이, 표시 위치 결정부(5)로부터 보내어져 온 표시 위치에 정보를 표시한다. 또, 표시되는 정보의 사이즈 등에 의해, 그 표시 위치에서 표시가 어려운 경우는, 정보 표시부(6)는 표시 위치를 이동(displacement)시키는 등의 처리를 행한 후에 표시를 행하도록 구성할 수 있다.
이상 설명한 바와 같이, 실시 형태 1에 따른 정보 표시 장치에 의하면, 물체 인식부(3)에서 추출한 화상 내에서의 물체의 영역(제 1 영역)에 대한 정보에 근거하여, 시계 내의 이용자의 시선이 닿지 않는 위치에 정보를 표시하도록 구성했으므로, 이용자가 보고 있는 물체를 정보가 차단하는 일없이, 양호한 정보의 표시가 가능해진다.
또, 상술한 예에서는, 정보 표시 장치를 안경에 적용한 경우에 대해 설명했지만, 도 6에 나타내는 바와 같이, 예를 들면 자동차의 운전석에 적용할 수도 있다. 이 경우, 계기판(instrument panel) 부분에, 운전자의 시선을 파악하는 시선 검지부(2)를 설치하고, 화상 입력부(카메라)(1)는 운전자의 시계를 촬영할 수 있도록 외측에 설치하고, 정보 표시부(6)는 프론트 스크린에 정보를 표시하는 헤드업 디스플레이에 의해 구성한다. 이 구성에 의해, 운전자는 주위의 상황에 따른 정보의 제시를 받을 수 있다.
실시 형태 2
본 발명의 실시 형태 2에 따른 정보 표시 장치는 이용자에게 제시하는 정보의 표시 위치의 결정을, 실시 형태 1과 비교하여, 간략화한 것이다. 이 정보 표시 장치의 구성은, 표시 위치 결정부(5)의 동작을 제외하고, 도 1에 나타낸 실시 형태 1에 따른 정보 표시 장치의 구성과 동일하다.
이 실시 형태 2에 따른 정보 표시 장치의 표시 위치 결정부(5)는 이용자가 보고 있지 않는 시계 내의 영역 중의, 어느 부분을 정보의 표시에 사용할지를 결정하는 알고리즘이 실시 형태 1의 그것과 상이하다. 즉, 실시 형태 1에서는, 표시 위치 결정부(5)는, 물체 인식부(3)에서 인식된 물체의 상하좌우의 영역 중 가장 큰 영역을 정보의 표시 위치로 결정하지만, 이 실시 형태 2에서는, 물체 인식부(3)에서 인식된 물체에 대해, 시계의 중앙의 반대측의 먼 위치에, 이용자에게 제시하는 정보를 표시하도록 표시 위치가 결정된다. 즉, 표시 위치 결정부(5)는 시계에 대응하는 화상 내의 중앙에 대해, 이용자가 보고 있는 영역과는 반대측의 영역에 대응하는 시계 내의 위치를 표시 위치로서 결정한다.
다음에, 상기와 같이 구성되는 정보 표시 장치의 동작을 설명한다. 이 정보 표시 장치의 동작은 스텝 ST13의 표시 위치 결정 처리의 내용을 제외하고, 도 2의 흐름도에 나타낸 실시 형태 1에 따른 정보 표시 장치의 동작과 동일하다. 이하, 도 2에 나타낸 흐름도를 참조하면서 실시 형태 1과 다른 부분을 중심으로 설명하며, 동일 부분의 설명은 간략화한다.
처리가 개시되면, 우선 이용자의 시선의 검지가 행해진다(스텝 ST11). 다음에, 이용자가 보고 있는 물체의 영역이 추출된다(스텝 ST12). 다음에, 정보의 표시 위치가 결정된다(스텝 ST13). 즉, 표시 위치 결정부(5)는 이용자에게 제시하는 정보를, 도 7에 나타내는 바와 같이, 스텝 ST12에서 물체 인식부(3)에 의해서 추출된 물체에 대해, 시계의 중앙의 반대측, 즉 이용자가 보고 있는 영역으로부터 먼 위치에 표시할 수 있도록 표시 위치를 결정한다. 환언하면, 물체로부터 시계의 중앙을 통해 가장 먼 위치 P1을 기점으로 하는 영역을 표시 위치로 결정한다. 그 후, 정보가 표시된다(스텝 ST14).
이상 설명한 바와 같이, 실시 형태 2에 따른 정보 표시 장치에 의하면, 도 7에 나타내는 바와 같이, 이용자가 보고 있는 물체로부터 가장 먼 곳에 정보가 표시되므로, 이용자가 보고 있는 물체를 정보가 차단하는 일없이, 양호한 정보의 표시가 가능해진다. 또, 실시 형태 1과 같이, 정보의 표시 위치를 결정하기 위해서 물체의 상하좌우의 영역의 면적을 구할 필요가 없기 때문에, 표시 위치를 결정할 때까지의 처리 시간을 단축할 수 있다.
또, 이 실시 형태 2에서는, 이용자가 보고 있는 「물체」로부터 가장 먼 곳에 정보를 표시하도록 구성했지만, 더 간략화하여, 이용자의 「주시점」으로부터 가장 먼 곳에 정보를 표시하도록 변형할 수 있다.
도 8은 이 실시 형태 2의 변형예에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다. 이 정보 표시 장치는, 실시 형태 1에 따른 정보 표시 장치로부터 물체 인식부(3)를 제거함과 아울러, 화상 입력부(1)에서 얻어진 화상은 직접 표시 위치 결정부(5)에 보내어지도록 구성되어 있다.
표시 위치 결정부(5)는 화상 입력부(1)로부터의 화상 및 시선 검지부(2)로부터의 정보에 근거하여, 표시 위치, 즉 어느 영역에 정보를 표시할지를 결정한다. 구체적으로는, 표시 위치 결정부(5)는 시선 검지부(2)에서 검지된 주시점에 대해, 시계의 중앙의 반대측의 먼 위치에, 이용자에게 제시하는 정보를 표시하도록 표시 위치가 결정된다. 환언하면, 표시 위치 결정부(5)는 시계에 대응하는 화상 내의 중앙에 대해, 이용자의 주시점과는 반대측의 영역에 대응하는 시계 내의 위치를 표시 위치로서 결정한다.
다음으로, 상기와 같이 구성되는 실시 형태 2의 변형예에 따른 정보 표시 장치의 동작을 설명한다. 이 정보 표시 장치의 동작은 스텝 ST12의 물체의 영역을 추출하는 처리가 제거됨과 아울러, 스텝 ST13의 처리 내용이 변경되어 있는 점을 제외하고, 도 2의 흐름도에 나타낸 실시 형태 1에 따른 정보 표시 장치의 동작과 동일하다. 이하, 실시 형태 1과 다른 부분을 중심으로 설명하고, 동일 부분의 설명은 간략화한다.
처리가 개시되면, 우선 이용자의 시선의 검지가 행해진다(스텝 ST11). 다음에, 정보의 표시 위치가 결정된다(스텝 ST13). 즉, 표시 위치 결정부(5)는 이용자에게 제시하는 정보를, 도 9에 나타내는 바와 같이, 스텝 ST11에서 시선 검지부(2)에 의해서 검지된 주시점에 대해, 시계의 중앙의 반대측, 즉 이용자가 보고 있는 영역으로부터 먼 위치에 표시할 수 있도록 표시 위치를 결정한다. 환언하면, 주시점으로부터 시계의 중앙을 통해 가장 먼 위치 P2를 기점으로 하는 영역을 표시 위치로 결정한다. 그 후, 정보가 표시된다(스텝 ST14).
이상 설명한 바와 같이, 실시 형태 2의 변형예에 따른 정보 표시 장치에 의하면, 도 9에 나타내는 바와 같이, 이용자의 주시점으로부터 가장 먼 곳에 정보가 표시되므로, 이용자가 보고 있는 물체를 정보가 차단하는 일없이, 양호한 정보의 표시가 가능해진다. 또, 이용자가 보고 있는 「물체」로부터 가장 먼 곳에 정보를 표시하는 경우와 비교하여, 물체를 인식하는 처리도 필요없게 되므로, 정보의 표시 위치를 결정할 때까지의 처리 시간을 더 단축할 수 있다.
또, 상술한 실시 형태 2 및 실시 형태 2의 변형예에서, 표시 위치를 결정함에 있어, 표시되는 정보의 사이즈 등에 의해, 그 위치에서 표시가 어려운 경우는 표시 위치를 이동시키는 등을 행하여 정보를 표시하도록 구성할 수 있다.
실시 형태 3
본 발명의 실시 형태 3에 따른 정보 표시 장치는 실시 형태 1에 따른 정보 표시 장치에서, 이용자에게 제시하는 정보의 표시 위치(영역)를 더 좁혀, 가능한 한 시계가 방해받지 않도록 한 것이다. 이 정보 표시 장치의 구성은 물체 인식부(3) 및 표시 위치 결정부(5)의 동작을 제외하고, 도 1에 나타낸 실시 형태 1에 따른 정보 표시 장치의 구성과 동일하다.
물체 인식부(3)는, 실시 형태 1과 마찬가지로, 화상 입력부(1)로부터 보내어져 온 화상으로부터, 시선 검지부(2)로부터 보내어져 온 주시점을 포함하는 물체를 인식하여 추출함과 아울러, 또 표시 위치 결정부(5)에서 결정된 표시 영역에 존재하는 물체를 인식해서 추출한다. 이 물체 인식부(3)에서 인식된 물체의 영역을 나타내는 정보는 표시 위치 결정부(5)에 보내어진다.
표시 위치 결정부(5)는, 실시 형태 1과 동일하게 해서 결정한 면적이 가장 큰 영역(표시 영역) 내에서, 또한 도 10(a)의 파선으로 둘러싼 영역으로서 나타내는 바와 같이, 물체 인식부(3)에서 추출된 물체의 영역(제 3 영역) 이외의 아무것도 없는 영역을 표시 위치로서 결정한다. 이 표시 위치 결정부(5)에 의해서 결정된 표시 위치를 나타내는 정보는 정보 표시부(6)에 보내어진다.
다음에, 상기와 같이 구성되는 정보 표시 장치의 동작을 설명한다. 이 정보 표시 장치의 동작은 스텝 ST13의 표시 위치 결정 처리의 내용을 제외하고, 도 2의 흐름도에 나타낸 실시 형태 1에 따른 정보 표시 장치의 동작과 동일하다. 이하, 도 2에 나타낸 흐름도를 참조하면서 실시 형태 1과 다른 부분을 중심으로 설명하고, 동일 부분의 설명은 간략화한다.
처리가 개시되면, 우선 이용자의 시선의 검지가 행해진다(스텝 ST11). 다음에, 이용자가 보고 있는 물체의 영역이 추출된다(스텝 ST12). 다음에, 정보의 표시 위치가 결정된다(스텝 ST13). 즉, 표시 위치 결정부(5)는 정보를 시계 내의 어느 영역(위치)에 표시할지를 결정한다. 이 때, 이용자가 보고 있는 영역과는 다른 영역에 표시하도록, 예를 들면 이하와 같이 해서 표시 위치가 결정된다.
우선, 표시 위치 결정부(5)는, 실시 형태 1과 마찬가지로, 물체 인식부(3)에서 인식된 물체의 상하좌우의 영역 중 가장 큰 영역을 정보의 표시 영역으로 결정한다. 다음에, 물체 인식부(3)는, 도 10(a)에 나타내는 바와 같이, 표시 위치 결정부(5)에 의해서 결정된 표시 영역 내에 존재하는 물체의 영역을 인식하고 추출을 행한다. 이러한 화상 처리에는, 비특허문헌 2에 나타낸 바와 같은 기존의 기술을 이용할 수 있다. 그 후, 표시 위치 결정부(5)는 물체 인식부(3)에서 인식된 물체 이외의 아무것도 없는 영역을 표시 위치로서 결정한다. 환언하면, 표시 위치 결정부(5)는 물체 인식부(3)에서 추출된 표시 영역(제 2 영역) 내의 물체가 존재하는 영역(제 3 영역)과는 다른 영역에 대응하는 시계 내의 위치를 표시 위치로서 결정한다. 또, 여기서 결정된 영역에는, 물체가 존재하는 영역(제 3 영역)의 일부가 포함되어 있어도 좋다. 이 표시 위치 결정부(5)에 의해서 결정된 표시 위치를 나타내는 정보는 정보 표시부(6)에 보내어진다. 그 후, 정보가 표시된다(스텝 ST14).
이상 설명한 바와 같이, 실시 형태 3에 따른 정보 표시 장치에 의하면, 도 10(a)에 나타내는 바와 같이, 예를 들면 물체의 주위의 면적이 가장 큰 영역이 특정되고, 그 특정된 영역 내에서 물체가 아무것도 없는 영역이 더 특정되고, 그 후 도 10(b)에 나타내는 바와 같이, 특정된 영역이 정보의 표시 영역으로서 결정되어 정보가 표시된다. 따라서, 이용자가 보고 있는 물체를 정보가 차단하는 일없이, 양호한 정보의 표시가 가능해진다. 또한, 시계 내에서 이용자의 주시하는 물체 이외의 물체를 차단하지 않도록 정보 표시하므로, 이용자는 시계 내에서 주시하는 물체 이외의 물체의 상황을 파악하면서 정보를 열람하는 것이 가능해진다. 또한, 표시되는 정보의 사이즈 등에 의해, 그 영역에서 표시가 어려운 경우는 표시 위치를 이동시키는 등을 해서 정보를 표시하도록 구성할 수 있다.
실시 형태 4
본 발명의 실시 형태 4에 따른 정보 표시 장치는 이용자의 주시점의 움직임에 따라 정보의 표시를 제어하도록 한 것이다. 이 정보 표시 장치의 구성은 표시 위치 결정부(5)의 동작을 제외하고, 도 1에 나타낸 실시 형태 1에 따른 정보 표시 장치의 구성과 동일하다.
표시 위치 결정부(5)는, 실시 형태 1에서는, 타이머(4)로부터의 정보에 의해, 표시한 정보의 위치를 일정 시간만 변경하지 않도록 제어했지만, 실시 형태 4에서는, 이용자의 시점의 이동에 따라, 정보의 표시 위치를 가변으로 한다.
다음에, 상기와 같이 구성되는 정보 표시 장치의 동작을 설명한다. 이 정보 표시 장치의 동작은 표시 위치 결정부(5)의 동작을 제외하고, 도 2의 흐름도에 나타낸 실시 형태 1에 따른 정보 표시 장치의 동작과 같다. 이하, 도 2에 나타낸 흐름도를 참조하면서 실시 형태 1과 다른 부분을 중심으로 설명하고, 동일 부분의 설명은 간략화한다.
처리가 개시되면, 우선, 이용자의 시선의 검지가 행해진다(스텝 ST11). 다음에, 이용자가 보고 있는 물체의 영역이 추출된다(스텝 ST12). 다음에, 정보의 표시 위치가 결정된다(스텝 ST13). 즉, 표시 위치 결정부(5)는 정보를 시계 내의 어느 영역(위치)에 표시할지를 결정한다. 이 때, 이용자가 보고 있는 영역과는 다른 영역에 표시하도록 표시 위치가 결정된다. 이 표시 위치 결정부(5)에 의해서 결정된 표시 위치를 나타내는 정보는 정보 표시부(6)에 보내어진다. 그 후, 정보가 표시된다(스텝 ST14).
상기 상태에서, 표시 위치 결정부(5)는, 타이머(4)에 의해서 계측된 일정 시간 내에 이용자의 주시점이 정보의 표시 영역으로 이동해 온 경우, 이용자가 정보를 보고 있다고 판단하여, 시선 검지부(2)로부터 보내어져 오는 주시점이 정보의 표시 영역으로부터 멀어지지 않는 한은 정보의 표시 위치를 변경하지 않는다. 이 때, 타이머(4)는 리셋된다.
또한, 표시 위치 결정부(5)는, 이용자의 주시점이 정보의 표시 영역으로부터 멀어지면, 타이머(4)를 시동시키고, 일정 시간, 예를 들면 수초 동안이 경과한 후, 정보의 표시 위치의 변경을 가능하게 한다. 일정 시간 내에 이용자의 주시점이 다시 정보의 표시 영역으로 되돌아온 경우는 타이머(4)를 리셋하고, 정보의 표시 위치를 유지한다.
또, 일정 시간 후, 정보의 표시 위치의 변경이 가능하게 된 경우이더라도, 주시점의 이동량이 적은 경우, 예를 들면 소정의 임계값보다 작은 경우에는 정보의 표시 위치를 변화시키지 않는다고 하는 처리를 행하도록 구성할 수도 있다.
이상 설명한 바와 같이, 실시 형태 4에 따른 정보 표시 장치에 의하면, 이용자의 주시점의 움직임에 따라 정보의 표시 위치를 변경하도록 구성했으므로, 양호한 정보의 표시가 가능해진다.
실시 형태 5
본 발명의 실시 형태 5에 따른 정보 표시 장치는 이용자의 동작 상태에 따라 정보의 표시를 제어하도록 한 것이다. 도 11은 실시 형태 5에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다. 이 정보 표시 장치는 도 1에 나타낸 실시 형태 1에 따른 정보 표시 장치에 가속도 센서(11), 위치 정보 센서(12), 동작 상태 검지부(13) 및 표시 제어부(14)가 추가되어 구성되어 있다.
가속도 센서(11)는 정보 표시 장치의 가속도를 검지한다. 가속도 센서(11)로서는, 예를 들면 휴대 전화 등에서 이용되고 있는 것과 동등한 것을 사용할 수 있다. 가속도 센서(11)에서 검지된 가속도를 나타내는 정보는 동작 상태 검지부(13)에 보내어진다.
위치 정보 센서(12)로서는, 예를 들면 휴대 전화 등에 탑재되어 있는 GPS(Global Positioning System)와 동등한 것을 사용할 수 있다. 이 위치 정보 센서(12)는 위성으로부터의 신호를 수신하는 것에 의해, 지구상에서의 정보 표시 장치의 위치를 검출한다. 이 위치 정보 센서(12)에서 검출된 위치를 나타내는 정보는 동작 상태 검지부(13)에 보내어진다.
동작 상태 검지부(13)는 가속도 센서(11) 및 위치 정보 센서(12)로부터의 정보에 근거하여 정보 표시 장치의 물리적인 동작 상태를 판단하고, 그 동작 상황에 관한 정보를 표시 제어부(14)에 보낸다.
표시 제어부(14)는 동작 상태 검지부(13)으로부터의 동작 상황에 관한 정보에 따라, 정보의 표시의 가부를 지시하는 정보를 생성하고, 정보 표시부(6)에 보낸다. 이것에 의해, 정보 표시부(6)는 이용자에게 제공하는 정보를 표시하거나, 또는 표시를 정지한다.
다음으로, 상기와 같이 구성되는 정보 표시 장치의 동작을 설명한다. 여기서는, 정보 표시의 타이밍의 제어를 중심으로 설명한다. 이용자가 예를 들면 보행 중인 경우, 이용자에 대해 정보 표시를 행하여 시계를 방해하면 위험한 상황으로 되는 경우가 있다. 이 상황을 피하기 위해서, 동작 상태 검지부(13)는 정보 표시 장치 및 이용자의 동작 상태를 판단하고, 정보 표시의 제어를 행한다.
구체적으로는, 동작 상태 검지부(13)는 가속도 센서(11)로부터의 정보에 근거하여, 이용자가 걷고 있거나 또는 달리고 있는지 여부를 판정한다. 만약, 걷고 있거나 또는 달리고 있는 등 상태를 검지하면, 그 취지를 나타내는 정보를 표시 제어부(14)에 보낸다.
표시 제어부(14)는 동작 상태 검지부(13)로부터 동작 상황에 관한 정보를 수취하면, 그 상황이 정보 표시에 적절할지 여부를 판단하고, 만약 부적절한 상황인 경우는 정보 표시를 정지하도록 정보 표시부(6)에 지시한다. 이 지시에 따라, 정보 표시부(6)는 정보 표시를 정지한다.
이용자가 정지한 상태로 되면, 동작 상태 검지부(13)는 가속도 센서(11)로부터의 정보에 근거하여 정지하고 있는 상황을 검지하고, 그 정보를 표시 제어부(14)에 보낸다. 표시 제어부(14)는 이용자가 정지한 상태에 있는 것을 검지하면 정보 표시에 적절한 상태라고 판단하여, 정보 표시부(6)에 정보 표시를 지시한다.
상술한 예에서는 표시 제어부(14)에서 「보행 중 또는 주행 중이 정보 표시에 부적절」, 「정지 중이 정보 표시에 적절」이라는 조건 설정으로 설명했지만, 가속도 센서(11)나 위치 정보 센서(12)로부터의 정보에 의해서, 보다 상세한 상태 판단을 행할 수 있는 경우는 조건 설정을 상세히 행하도록 구성할 수 있다. 예를 들면, 「정지 중이면서 숙이고 있는 상태가 정보 표시에 적절」 등의 조건 설정을 행할 수 있다. 또한, 이러한 조건을 이용자가 설정할 수 있도록 하여, 정보 표시 장치의 내부에 기억할 수 있도록 구성할 수도 있다. 또한, 주위에 많은 차량이 존재하는 것을 검지한 경우에, 정보 표시를 정지하도록 구성할 수도 있다. 또, 주위에 차량이 존재하는지 여부에 대해서는, 위치 정보 센서(12)의 위치 정보 및 지도 데이터를 이용하는 것에 의해 판단할 수 있다. 예를 들면, 이용자의 위치가 지도에서의 도로 부근에 있는 경우는 주위에 차량이 존재한다고 판단할 수 있다. 지도 데이터에 대해서는, 정보 표시 장치 내에 기억되도록 해도 좋고, 서버 등의 외부 장치로부터 취득하도록 해도 좋다.
이상 설명한 바와 같이, 실시 형태 5에 따른 정보 표시 장치에 의하면, 이용자의 동작 상황에 따라 정보의 표시의 가부를 제어하도록 구성했으므로, 이용자가 정보를 주시하는 것에 의해서 위험한 상황으로 되는 것을 피할 수 있다.
실시 형태 6
본 발명의 실시 형태 6에 따른 정보 표시 장치는 주위의 음성 상태에 따라 정보의 표시를 제어하도록 한 것이다. 도 12는 실시 형태 6에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다. 이 정보 표시 장치는 도 11에 나타낸 실시 형태 5에 따른 정보 표시 장치로부터 가속도 센서(11), 위치 정보 센서(12), 동작 상태 검지부(13) 및 표시 제어부(14)를 제거함과 아울러, 음성 입력부(21), 음성 인식부(22) 및 표시 제어부(23)를 추가하여 구성되어 있다.
음성 입력부(21)는, 예를 들면 마이크로폰 등에 의해 구성되어 있고, 이용자의 음성을 입력하는, 이 음성 입력부(21)로부터 입력된 음성은, 음성 정보로서 음성 인식부(22)에 보내어진다.
음성 인식부(22)는 음성 입력부(21)로부터 보내어져 온 음성 정보로부터 음성을 인식한다. 이 음성 인식부(22)에서 얻어진 음성 인식 결과는 표시 제어부(23)에 보내어진다.
표시 제어부는 음성 인식부(22)로부터 보내어져 오는 음성 인식 결과에 따라, 정보 표시의 가부를 정보 표시부(6)에 지시한다. 이것에 의해, 정보 표시부(6)는 이용자에게 제공하는 정보를 표시하거나 또는 표시를 정지한다.
다음으로, 상기와 같이 구성되는 정보 표시 장치의 동작을 설명한다. 여기서는, 정보 표시의 타이밍의 제어를 중심으로 설명한다. 음성 입력부(21)는 이용자의 주위의 음성 또는 이용자의 음성 등이 입력되어, 음성 인식부(22)에 보낸다. 음성 인식부(22)는 음성 입력부(21)로부터 입력된 음성이 무엇인지를 판정하고, 판정 결과를 음성 인식 결과로서 표시 제어부(23)에 보낸다. 예를 들면, 이용자의 주위에서 긴급 차량이 통과한 경우, 음성 인식부(22)는 음성 입력부(21)로부터 입력된 긴급 차량의 소리로부터 긴급 차량인 것을 인식하고, 그 음성 인식 결과를 표시 제어부(23)에 보낸다. 표시 제어부(23)는 음성 인식부(22)로부터의 음성 인식 결과에 근거하여 긴급 차량이 부근에 있는 경우는 정보 표시에 부적절한 상황이라고 판단하여, 정보 표시부(6)에 정보 표시의 정지를 지시한다.
또, 음성 인식부(22)에서 이용자가 발한 음성을 인식하는 것에 의해 직접적으로 정보 표시를 제어하도록 구성할 수도 있다. 예를 들면, 이용자가 「정보 표시 정지」 등의 음성을 발성하는 것에 의해 음성 인식부(22)가 그 지시를 검출하고, 표시 제어부(23)에 「정보 표시 정지」를 인식한 취지를 전한다. 이것에 의해, 표시 제어부(23)는 정보 표시에 부적절하다는 것을 판정하여, 정보 표시부(6)에 정보 표시의 정지를 지시한다. 또한, 정보 표시가 가능하다는 것을 음성에 의해 지시할 수도 있다.
이상 설명한 바와 같이, 실시 형태 6에 따른 정보 표시 장치에 의하면, 주위의 음성에 따라 정보의 표시의 가부를 제어하도록 구성했으므로, 주위의 상황에 따른 양호한 정보의 표시가 가능해진다.
실시 형태 7
본 발명의 실시 형태 7에 따른 정보 표시 장치는 실시 형태 6에 따른 정보 표시 장치에 화상 검색 기능을 추가한 것이다. 도 13은 실시 형태 7에 따른 정보 표시 장치의 구성을 나타내는 블럭도이다. 이 정보 표시 장치는, 도 12에 나타낸 실시 형태 6에 따른 정보 표시 장치의 표시 제어부(23) 대신에 커맨드 판정부(31)를 마련하고, 통신 장치(32) 및 화상 검색 장치(33)를 더 추가하여 구성되어 있다.
커맨드 판정부(31)는, 음성 인식부(22)로부터 보내어져 오는 음성 인식 결과가 검색의 커맨드를 나타내고 있는 경우에, 물체 인식부(3) 및 시선 검지부(2)로부터의 정보에 근거하여 검색 대상이 되는 화상을 취득하고, 통신 장치(32)에 보낸다. 또한, 커맨드 판정부(31)는 통신 장치(32)로부터 수취한 검색 결과 정보를 정보 표시부(6)에 보낸다.
통신 장치(32)는 커맨드 판정부(31)로부터 보내어져 온 검색 대상의 화상을 화상 검색 장치(33)에 보내고, 화상 검색을 의뢰한다. 또한, 통신 장치(32)는 화상 검색 장치(33)로부터 보내어져 온 검색 결과 정보를 커맨드 판정부(31)에 보낸다.
화상 검색 장치(33)는 통신 장치(32)로부터 보내어져 온 검색 대상의 화상에 근거하여 화상 검색을 행하고, 검색 결과 정보를 통신 장치(32)에 보낸다.
다음으로, 상기와 같이 구성되는 정보 표시 장치의 동작을 설명한다. 이용자는, 시계 중에서, 화상 검색의 대상이 되는 물체에 시점을 맞추면서 음성에 의해, 예를 들면 「보고 있는 것을 검색」이라는 발화(發話)를 행한다. 음성 입력부(21)는 이용자의 발화에 의한 음성을 입력받아, 음성 인식부(22)에 보낸다. 음성 인식부(22)는 음성 입력부(21)으로부터 입력된 음성이 시선 검색의 커맨드인 것을 커맨드 판정부(31)에 전달한다.
커맨드 판정부(31)는 음성 인식부(22)로부터의 정보에 대응하여, 필요한 일련의 처리의 정보를 갖고 있으며, 시선 검색의 커맨드라고 하는 정보로부터 시선 검색에 관한 일련의 처리를 개시한다. 즉, 커맨드 판정부(31)는 시선 검지부(2)로부터 주시점의 정보를 얻고, 물체 인식부(3)에 대해, 그 위치에 있는 물건의 영역을 추출시킨다. 물체 인식부(3)의 동작은 실시 형태 1에서 설명한 것과 동일하다. 도 14에 나타내는 바와 같이, 물체 인식부(3)에 의해 이용자가 보고 있는 물체의 영역이 추출되면, 커맨드 판정부(31)는 그 영역의 화상을 취득하고, 통신 장치(32)를 경유하여 화상 검색 장치(33)에 보내어 화상 검색을 의뢰한다.
이 화상 검색 장치(33)로서는, 예를 들면 Google의 화상 검색 사이트를 이용할 수 있다. 화상 검색 장치(33)는 검색한 화상에 관련되는 정보를 검색 결과 정보로서 통신 장치(32)에 보낸다. 통신 장치(32)는 화상 검색 장치(33)로부터의 검색 결과 정보를 커맨드 판정부(31)에 보낸다. 커맨드 판정부(31)는 통신 장치(32)로부터 검색 결과 정보를 취득하고, 그 정보를 정보 표시부(6)에 보낸다. 정보 표시부(6)는 표시 위치 결정부(5)로부터의 표시 위치를 나타내는 정보와 커맨드 판정부(31)로부터의 검색 결과 정보를 수취하여 적절한 영역에 정보 표시를 행한다. 이들 일련의 처리에 의해서, 이용자는 자신이 시계 중에서 주목하고 있는 것에 관한 정보를 검색하고, 그 결과를 참조할 수 있다.
이상 설명한 바와 같이, 실시 형태 7에 따른 정보 표시 장치에 의하면, 이용자가 발화하는 음성에 따라, 이용자가 보고 있는 화상에 관련되는 정보를 화상 검색 장치(33)로부터 취득하고, 이 취득한 정보를 적절한 영역에 표시하도록 구성했으므로, 이용자에게 소망하는 정보를 제공할 수 있다.
또, 본원 발명은 그 발명의 범위 내에 있고, 각 실시 형태의 자유로운 조합 혹은 각 실시 형태의 임의의 구성요소의 변형, 혹은 각 실시 형태에서 임의의 구성요소의 생략이 가능하다.
(산업상의 이용 가능성)
본 발명은 이용자가 윈도우를 통해 보는 실제의 시계 내에 여러 정보를 표시하는, 예를 들면 카 내비게이션 시스템 등에 이용할 수 있다.
1: 화상 입력부
2: 시선 검지부
3 물체 인식부
4: 타이머
5: 표시 위치 결정부
6: 정보 표시부
11: 가속도 센서
12: 위치 정보 센서
13: 동작 상태 검지부
14: 표시 제어부
21: 음성 입력부
22: 음성 인식부
23: 표시 제어부
31: 커맨드 판정부
32: 통신 장치
33: 화상 검색 장치

Claims (9)

  1. 이용자의 시계(視界)에 대응하는 화상을 입력하는 화상 입력부와,
    이용자의 시계 내에서의 시선의 위치를 나타내는 주시점(a pointof gaze)을 검지하는 시선 검지부와,
    상기 화상 입력부로부터 입력된 화상으로부터, 상기 시선 검지부에서 검지된 상기 주시점을 포함하는 물체의 상기 화상 내에서의 영역을 제 1 영역으로서 추출하는 물체 인식부와,
    상기 물체 인식부에서 추출된 상기 제 1 영역에 대한 정보에 근거하여, 시계 내에서 이용자의 시선이 닿지 않는 위치를 표시 위치로서 결정하는 표시 위치 결정부와,
    상기 표시 위치 결정부에서 결정된 표시 위치에, 이용자에게 제시하는 정보를 표시하는 정보 표시부
    를 구비한 정보 표시 장치.
  2. 제 1 항에 있어서,
    상기 표시 위치 결정부는 상기 화상내 중 상기 제 1 영역과는 다른 제 2 영역에 대응하는 시계 내의 위치를 상기 표시 위치로서 결정하는
    것을 특징으로 하는 보 표시 장치.
  3. 제 2 항에 있어서,
    상기 물체 인식부는 상기 제 2 영역내에 존재하는 물체의 영역을 제 3 영역으로서 추출하고,
    상기 표시 위치 결정부는, 상기 제 2 영역 내이고 상기 제 3 영역과는 다른 영역에 대응하는 시계 내의 위치를 상기 표시 위치로서 결정하는
    것을 특징으로 하는 정보 표시 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    시간을 계측하는 타이머를 구비하고,
    상기 표시 위치 결정부는 상기 타이머에서 설정된 시간이 계측될 때까지 상기 표시 위치를 유지하는
    것을 특징으로 하는 정보 표시 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 표시 위치 결정부는 상기 시선 검지부에서 검지된 이용자의 상기 주시점의 이동에 따라, 정보의 상기 표시 위치를 제어하는
    것을 특징으로 하는 정보 표시 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    가속도를 검출하는 가속도 센서 및 위치를 검출하는 위치 정보 센서로부터의 정보에 근거하여 이용자의 동작 상태를 검지하는 동작 상태 검지부와,
    상기 동작 상태 검지부에서 검지된 이용자의 동작 상태에 근거하여 정보 표시의 가부를 지시하는 표시 제어부를 구비하며,
    상기 정보 표시부는 상기 표시 제어부로부터의 지시에 근거하여 정보 표시를 행하는
    것을 특징으로 하는 정보 표시 장치.
  7. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    주위의 음성을 입력하는 음성 입력부와,
    상기 음성 입력부에서 입력된 음성을 인식하는 음성 인식부와,
    상기 음성 인식부로부터의 음성 인식 결과에 따라, 정보 표시의 가부를 지시하는 표시 제어부를 구비하며,
    상기 정보 표시부는 상기 표시 제어부로부터의 지시에 근거하여 정보 표시를 행하는
    것을 특징으로 하는 정보 표시 장치.
  8. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    주위의 음성을 입력하는 음성 입력부와,
    상기 음성 입력부에서 입력된 음성을 인식하는 음성 인식부와,
    상기 음성 인식부로부터의 음성 인식 결과가 검색의 커맨드를 나타내고 있는 경우에, 상기 물체 인식부 및 상기 시선 검지부로부터의 정보에 근거하여 검색 대상이 되는 화상을 취득하고, 해당 화상 검색을 의뢰하는 커맨드 판정부와,
    상기 커맨드 판정부로부터 수취한 화상에 관련되는 정보를 검색하고, 검색 결과를 상기 커맨드 판정부에 보내는 화상 검색 장치를 구비하며,
    상기 커맨드 판정부는 상기 화상 검색 장치로부터 수취한 검색 결과의 정보를 상기 정보 표시부에 보내고,
    상기 정보 표시부는 상기 커맨드 판정부로부터 수취한 검색 결과의 정보에 근거해 정보 표시를 행하는
    것을 특징으로 하는 정보 표시 장치.
  9. 제 1 항에 있어서,
    상기 표시 위치 결정부는 상기 화상 내의 중앙에 대해 상기 제 1 영역과는 반대측의 영역에 대응하는 시계 내의 위치를 상기 표시 위치로서 결정하는 것을 특징으로 하는 정보 표시 장치.
KR1020157036710A 2013-05-29 2013-05-29 정보 표시 장치 Ceased KR20160016907A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/064927 WO2014192103A1 (ja) 2013-05-29 2013-05-29 情報表示装置

Publications (1)

Publication Number Publication Date
KR20160016907A true KR20160016907A (ko) 2016-02-15

Family

ID=51988176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157036710A Ceased KR20160016907A (ko) 2013-05-29 2013-05-29 정보 표시 장치

Country Status (6)

Country Link
US (1) US20160054795A1 (ko)
EP (1) EP3007048A4 (ko)
JP (1) JPWO2014192103A1 (ko)
KR (1) KR20160016907A (ko)
CN (1) CN105229584A (ko)
WO (1) WO2014192103A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
KR102154912B1 (ko) * 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
JP6264870B2 (ja) * 2013-12-13 2018-01-24 富士通株式会社 情報提供装置、プログラム、及びシステム
JP6638195B2 (ja) * 2015-03-02 2020-01-29 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US10444930B2 (en) * 2014-08-05 2019-10-15 Lg Electronics Inc. Head-mounted display device and control method therefor
US9955059B2 (en) * 2014-10-29 2018-04-24 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US9633019B2 (en) * 2015-01-05 2017-04-25 International Business Machines Corporation Augmenting an information request
WO2016121883A1 (ja) 2015-01-29 2016-08-04 京セラ株式会社 電子機器
DE112015007066T5 (de) * 2015-10-30 2018-07-12 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
KR20190002416A (ko) * 2016-04-27 2019-01-08 로비 가이드스, 인크. 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템
US9851792B2 (en) 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
CN106274689B (zh) * 2016-08-18 2019-01-11 青岛海信移动通信技术股份有限公司 倒车影像中的信息显示方法、装置及终端
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
JP6784116B2 (ja) * 2016-09-23 2020-11-11 富士ゼロックス株式会社 情報処理装置、画像形成装置およびプログラム
US20190271843A1 (en) * 2016-11-02 2019-09-05 Sharp Kabushiki Kaisha Terminal apparatus, operating method, and program
WO2018118661A1 (en) * 2016-12-21 2018-06-28 Pcms Holdings, Inc. System and method for placement of augmented reality information for users based on their activity
EP3369602A1 (en) * 2017-03-02 2018-09-05 Ricoh Company Ltd. Display controller, display control method, and carrier means
EP3537712B1 (en) * 2018-03-09 2025-11-26 Bayerische Motoren Werke Aktiengesellschaft Method, system and computer program product for controlling a video call while driving a vehicle
JP2021096490A (ja) * 2018-03-28 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN109670456A (zh) * 2018-12-21 2019-04-23 北京七鑫易维信息技术有限公司 一种内容推送方法、装置、终端和存储介质
CN110347261A (zh) * 2019-07-11 2019-10-18 Oppo广东移动通信有限公司 信息显示方法、装置、存储介质及增强现实设备
US20220405955A1 (en) * 2020-01-21 2022-12-22 Pioneer Corporation Information providing apparatus, information providing method, information providing program, and storage medium
WO2021166238A1 (ja) * 2020-02-21 2021-08-26 マクセル株式会社 情報表示装置
JP7380365B2 (ja) * 2020-03-19 2023-11-15 マツダ株式会社 状態推定装置
CN112506345B (zh) * 2020-12-10 2024-04-16 北京达佳互联信息技术有限公司 一种页面显示方法、装置、电子设备及存储介质
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
JP7316344B2 (ja) * 2021-11-30 2023-07-27 株式会社ドワンゴ アラート表示システム、アラート表示方法、およびアラート表示プログラム
CN116092058B (zh) * 2022-11-01 2025-08-22 合肥工业大学 基于视线方向对比学习的驾驶员分心行为检测方法
CN116380061B (zh) * 2022-12-15 2025-09-09 中国科学院上海微系统与信息技术研究所 一种移动机器人视听觉融合感知与导航方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP3717653B2 (ja) * 1998-01-20 2005-11-16 株式会社リコー 頭部搭載型画像表示装置
GB0422500D0 (en) * 2004-10-09 2004-11-10 Ibm Method and system for re-arranging a display
JP4691071B2 (ja) * 2007-07-05 2011-06-01 ヤフー株式会社 ページアクション起動装置、ページアクション起動制御方法、および、ページアクション起動制御プログラム
CN101566990A (zh) * 2008-04-25 2009-10-28 李奕 一种嵌入于视频的搜索方法及其系统
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP5120716B2 (ja) * 2008-09-24 2013-01-16 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
JP5656457B2 (ja) * 2010-06-01 2015-01-21 シャープ株式会社 商品情報提供端末装置および商品情報提供システム
JP5348114B2 (ja) * 2010-11-18 2013-11-20 日本電気株式会社 情報表示システム、装置、方法及びプログラム
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
CN102749991B (zh) * 2012-04-12 2016-04-27 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
US10685487B2 (en) * 2013-03-06 2020-06-16 Qualcomm Incorporated Disabling augmented reality (AR) devices at speed

Also Published As

Publication number Publication date
US20160054795A1 (en) 2016-02-25
CN105229584A (zh) 2016-01-06
EP3007048A4 (en) 2017-01-25
WO2014192103A1 (ja) 2014-12-04
EP3007048A1 (en) 2016-04-13
JPWO2014192103A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
KR20160016907A (ko) 정보 표시 장치
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US10783654B2 (en) Information processing apparatus, information processing method, and recording medium
US9898868B2 (en) Display device, method of controlling the same, and program
US20250095326A1 (en) Display system and display method
KR101430614B1 (ko) 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법
US10061995B2 (en) Imaging system to detect a trigger and select an imaging area
US12296749B2 (en) Image processing apparatus, image processing method, and image processing system
CN110895676B (zh) 动态对象跟踪
US10771707B2 (en) Information processing device and information processing method
US20180316911A1 (en) Information processing apparatus
KR20160045342A (ko) 웨어러블 기기를 이용한 차량 제어장치 및 방법
CN108885497B (zh) 信息处理装置、信息处理方法和计算机可读介质
US20180365884A1 (en) Methods, devices, and systems for determining field of view and producing augmented reality
JP2016195323A (ja) 情報処理装置、情報処理方法、プログラム
JP2014174880A (ja) 情報提供装置、及び情報提供プログラム
EP2831702B1 (en) Information processing device, information processing method and program
US11487355B2 (en) Information processing apparatus and information processing method
WO2016088227A1 (ja) 映像表示装置及び方法
JP2014174879A (ja) 情報提供装置、及び情報提供プログラム
JP2014174091A (ja) 情報提供装置、及び情報提供プログラム
US10409464B2 (en) Providing a context related view with a wearable apparatus
US20230222738A1 (en) Information processing apparatus, information processing method, and program
JP2007218655A (ja) ナビゲーション装置
US12339730B2 (en) Head mounted display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000