[go: up one dir, main page]

RU2014148784A - Обработка пользовательской входной информации с отслеживанием глаз - Google Patents

Обработка пользовательской входной информации с отслеживанием глаз Download PDF

Info

Publication number
RU2014148784A
RU2014148784A RU2014148784A RU2014148784A RU2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A
Authority
RU
Russia
Prior art keywords
input information
user
recognition
eyes
physical state
Prior art date
Application number
RU2014148784A
Other languages
English (en)
Other versions
RU2608462C2 (ru
Inventor
Крис НОРДЕН
Original Assignee
СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи. filed Critical СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи.
Publication of RU2014148784A publication Critical patent/RU2014148784A/ru
Application granted granted Critical
Publication of RU2608462C2 publication Critical patent/RU2608462C2/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

1. Способ для получения входной информации устройством, который включает:определение множества пользователей, физически присутствующих у устройства;получение входной информации устройством от первого пользователя из множества физически присутствующих пользователей; ираспознавание физического состояния одного из множества пользователей связанного с входной информацией.2. Способ по п. 1, отличающийся тем, что получение входной информации включает получение входной информации по сенсорному экрану дисплея.3. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает распознавание того, что глаза первого пользователя сфокусированы на горячей точке.4. Способ по п. 1, дополнительно включающий локализацию глаз каждого из множества пользователей, физически присутствующих у устройства.5. Способ по п. 1, дополнительно включающий калибровку фокуса глаза пользователя с участками на дисплее.6. Способ по п. 1, отличающийся тем, что входная информация распознается на горячей точке сенсорного экрана дисплея, и физическое состояние первого пользователя включает фокусирование глаз на горячей точке.7. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает обработку изображений первого пользователя.8. Способ по п. 7, отличающийся тем, что обработка изображений включает идентификацию одной или более областей пикселей, связанных с белочной оболочкой глаза первого пользователя в изображении пользователя.9. Способ по п. 1, дополнительно включающий обработку входной информации для первого пользователя, чье физическое состояние связано с получением входной информации.10. Способ, в котором постоянный машино

Claims (20)

1. Способ для получения входной информации устройством, который включает:
определение множества пользователей, физически присутствующих у устройства;
получение входной информации устройством от первого пользователя из множества физически присутствующих пользователей; и
распознавание физического состояния одного из множества пользователей связанного с входной информацией.
2. Способ по п. 1, отличающийся тем, что получение входной информации включает получение входной информации по сенсорному экрану дисплея.
3. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает распознавание того, что глаза первого пользователя сфокусированы на горячей точке.
4. Способ по п. 1, дополнительно включающий локализацию глаз каждого из множества пользователей, физически присутствующих у устройства.
5. Способ по п. 1, дополнительно включающий калибровку фокуса глаза пользователя с участками на дисплее.
6. Способ по п. 1, отличающийся тем, что входная информация распознается на горячей точке сенсорного экрана дисплея, и физическое состояние первого пользователя включает фокусирование глаз на горячей точке.
7. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает обработку изображений первого пользователя.
8. Способ по п. 7, отличающийся тем, что обработка изображений включает идентификацию одной или более областей пикселей, связанных с белочной оболочкой глаза первого пользователя в изображении пользователя.
9. Способ по п. 1, дополнительно включающий обработку входной информации для первого пользователя, чье физическое состояние связано с получением входной информации.
10. Способ, в котором постоянный машиночитаемый носитель сохраняет программу, выполняемую процессором для реализации способа получения входной информации, включающий:
определение множества пользователей, физически присутствующих у устройства;
получение входной информации устройством от первого пользователя из множества физически присутствующих пользователей; и
распознавание физического состояния одного из множества пользователей, связанного с входной информацией.
11. Способ по п. 10, отличающийся тем, что получение входной информации включает получение входной информации по сенсорному экрану дисплея.
12 Способ по п. 10, отличающийся тем, что распознавание физического состояния включает распознавание того, что глаза первого пользователя сфокусированы на горячей точке.
13. Способ по п. 10, дополнительно включающий локализацию глаз каждого из множества пользователей, физически присутствующих у устройства.
14. Способ по п. 10, дополнительно включающий калибровку фокуса глаза пользователя с участками на дисплее.
15. Способ по п. 10, отличающийся тем, что входная информация распознается в горячих точках на сенсорном экране дисплея, а физическое состояние первого пользователя включает фокусировку глаз на горячей точке.
16. Способ по п. 10, отличающийся тем, что распознавание физического состояния включает обработку изображений первого пользователя.
17. Способ по п. 16, отличающийся тем, что обработка изображений включает определение одной или более областей пикселей, связанных с белочной оболочкой глаза первого пользователя в изображении пользователя.
18. Способ по п. 10, дополнительно включающий обработку входной информации для первого пользователя, чье физическое состояние связано с входной информацией.
19. Система для распознавания входной информации, содержащая:
дисплейное устройство;
камеру, способную захватывать данные цветного изображения и передавать данные изображения на процессор;
процессор, настроенный на выполнение одного или более модулей;
выполняемый модуль распознавания деталей, сохраненный в памяти и настроенный на распознавание физических деталей пользователя;
выполняемый модуль распознавания фокусирования пользователя, сохраненный в памяти и настроенный с возможностью распознавания точки фокусирования глаз пользователя; и
выполняемый модуль обработки входной информации, сохраненный в памяти и настроенный с возможностью получения и обработки входной информации от пользователя.
20. Система по п. 19, дополнительно содержащая IR устройство, настроенное с возможностью захвата инфракрасного изображения одного или более пользователей.
RU2014148784A 2012-05-04 2013-04-04 Обработка пользовательской входной информации с отслеживанием глаз RU2608462C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/464,703 US9471763B2 (en) 2012-05-04 2012-05-04 User input processing with eye tracking
US13/464,703 2012-05-04
PCT/US2013/035331 WO2013165646A2 (en) 2012-05-04 2013-04-04 User input processing with eye tracking

Publications (2)

Publication Number Publication Date
RU2014148784A true RU2014148784A (ru) 2016-06-27
RU2608462C2 RU2608462C2 (ru) 2017-01-18

Family

ID=49512152

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014148784A RU2608462C2 (ru) 2012-05-04 2013-04-04 Обработка пользовательской входной информации с отслеживанием глаз

Country Status (9)

Country Link
US (3) US9471763B2 (ru)
EP (1) EP2845077A4 (ru)
JP (1) JP5974165B2 (ru)
KR (1) KR101705841B1 (ru)
CN (1) CN104520799A (ru)
BR (1) BR112014027343B1 (ru)
IN (1) IN2014MN02224A (ru)
RU (1) RU2608462C2 (ru)
WO (1) WO2013165646A2 (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US20170097656A1 (en) * 2014-03-18 2017-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Controlling a target device
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104383681B (zh) * 2014-10-27 2016-03-30 腾讯科技（深圳）有限公司 游戏进程控制方法、装置和移动终端
KR101671838B1 (ko) 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
CN105159590B (zh) * 2015-08-27 2017-06-23 广东欧珀移动通信有限公司 一种控制用户终端的屏幕的方法及用户终端
US9958941B2 (en) * 2015-09-24 2018-05-01 Tobii Ab Eye-tracking enabled wearable devices
DE102015222388A1 (de) 2015-11-13 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN109726334A (zh) * 2016-01-06 2019-05-07 北京京东尚科信息技术有限公司 电子书籍的推送方法和装置
CN106066694A (zh) * 2016-05-30 2016-11-02 维沃移动通信有限公司 一种触摸屏操作响应的控制方法及终端
US10032053B2 (en) 2016-11-07 2018-07-24 Rockwell Automation Technologies, Inc. Tag based location
CN107092873A (zh) * 2017-04-08 2017-08-25 闲客智能（深圳）科技有限公司 一种眼动方向识别方法及装置
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
JP2022515608A (ja) * 2018-12-31 2022-02-21 ガーディアン・グラス・エルエルシー 大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法
US10890992B2 (en) * 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
CN110262673A (zh) * 2019-06-26 2019-09-20 广东技术师范大学 一种眼睛控制键盘打字的方法
US11800206B2 (en) * 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11156831B2 (en) * 2019-12-31 2021-10-26 Tobii Ab Eye-tracking system and method for pupil detection, associated systems and computer programs
US12124625B1 (en) * 2023-06-30 2024-10-22 Rockwell Collins, Inc. Pupil dynamics, physiology, and context for estimating vigilance

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JP2000148396A (ja) * 1998-11-06 2000-05-26 Canon Inc 情報入力装置および方法
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
AU2002233323A1 (en) * 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
TW200622893A (en) * 2004-07-09 2006-07-01 Nokia Corp Cute user interface
JP2006201966A (ja) 2005-01-19 2006-08-03 Oki Electric Ind Co Ltd 端末装置
JP2007089732A (ja) * 2005-09-28 2007-04-12 Aruze Corp 入力装置
JP4649319B2 (ja) 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
WO2007074842A1 (ja) * 2005-12-27 2007-07-05 Matsushita Electric Industrial Co., Ltd. 画像処理装置
JP5580987B2 (ja) * 2006-08-18 2014-08-27 株式会社カネカ 官能基を有する分岐ビニル系重合体の製造方法
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US8147316B2 (en) * 2006-10-10 2012-04-03 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems
WO2008115287A2 (en) * 2006-10-18 2008-09-25 Efthimion Enterprises, Inc. Laser assisted microwave plasma spectroscopy
WO2009107371A1 (ja) * 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
US8686953B2 (en) * 2008-09-12 2014-04-01 Qualcomm Incorporated Orienting a displayed element relative to a user
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8432366B2 (en) * 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
CN101593022B (zh) * 2009-06-30 2011-04-27 华南理工大学 一种基于指端跟踪的快速人机交互方法
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP5305039B2 (ja) * 2010-03-25 2013-10-02 アイシン・エィ・ダブリュ株式会社 表示装置、表示方法、及び表示プログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5664064B2 (ja) 2010-09-22 2015-02-04 富士通株式会社 視線検出装置および補正係数算出プログラム
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8717393B2 (en) * 2010-11-03 2014-05-06 Blackberry Limited System and method for controlling a display of a mobile device
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101797599B1 (ko) * 2011-06-30 2017-11-15 엘지이노텍 주식회사 백라이트 유닛 및 그를 이용한 디스플레이 장치
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking

Also Published As

Publication number Publication date
US10496159B2 (en) 2019-12-03
WO2013165646A3 (en) 2015-03-26
JP5974165B2 (ja) 2016-08-23
CN104520799A (zh) 2015-04-15
RU2608462C2 (ru) 2017-01-18
WO2013165646A2 (en) 2013-11-07
EP2845077A2 (en) 2015-03-11
KR101705841B1 (ko) 2017-02-10
US9471763B2 (en) 2016-10-18
US20170139476A1 (en) 2017-05-18
KR20150032661A (ko) 2015-03-27
IN2014MN02224A (ru) 2015-10-09
EP2845077A4 (en) 2016-01-13
US20200249751A1 (en) 2020-08-06
BR112014027343A2 (pt) 2017-07-18
BR112014027343B1 (pt) 2021-09-21
US11650659B2 (en) 2023-05-16
US20130293467A1 (en) 2013-11-07
JP2015521312A (ja) 2015-07-27

Similar Documents

Publication Publication Date Title
RU2014148784A (ru) Обработка пользовательской входной информации с отслеживанием глаз
CN107710221B (zh) 一种用于检测活体对象的方法、装置和移动终端
JP2018500704A (ja) 領域抽出方法及び装置
WO2019218303A1 (zh) 智能售货柜、物品识别方法、装置、服务器和存储介质
US20160125221A1 (en) Method for recognizing iris and electronic device thereof
RU2013128144A (ru) Электронная офтальмологическая линза с датчиком конвергенции зрачков
CN105892685A (zh) 一种智能设备的题目搜索方法和装置
RU2011106920A (ru) Устройство обработки информации, способ обработки информации и программа
JP2016031761A5 (ru)
RU2014110041A (ru) Устройство захвата изображений, способ управления этим устройством и программа
US20200098136A1 (en) Information processing device, information processing method, and program
CN106911922A (zh) 从单个传感器生成的深度图
US20180197300A1 (en) Irradiation system, irradiation method, and program storage medium
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
JP2017521742A5 (ru)
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
US20230384162A1 (en) Heat trace area extraction apparatus, heat trace area extraction method and program
JP2018205648A5 (ru)
WO2016165379A1 (zh) 一种投影方法、装置、设备及计算机存储介质
JP2019048026A (ja) 生体情報解析装置及び手肌解析方法
JP2020505705A (ja) 特徴画像を習得するための方法およびデバイスならびにユーザー認証方法
TW201351210A (zh) 操作區的決定方法與系統
KR20200141517A (ko) 스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체
TWI519840B (zh) 能夠即時對特定可移動物件進行自動對焦的方法、具有自動對焦功能的攝影裝置、以及儲存用來執行即時對特定可移動物件進行自動對焦之電腦程式的電腦可讀式儲存媒體
US20230136191A1 (en) Image capturing system and method for adjusting focus