[go: up one dir, main page]

RU2608462C2 - Обработка пользовательской входной информации с отслеживанием глаз - Google Patents

Обработка пользовательской входной информации с отслеживанием глаз Download PDF

Info

Publication number
RU2608462C2
RU2608462C2 RU2014148784A RU2014148784A RU2608462C2 RU 2608462 C2 RU2608462 C2 RU 2608462C2 RU 2014148784 A RU2014148784 A RU 2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A RU 2608462 C2 RU2608462 C2 RU 2608462C2
Authority
RU
Russia
Prior art keywords
physically present
eyes
users
sensitive device
input
Prior art date
Application number
RU2014148784A
Other languages
English (en)
Other versions
RU2014148784A (ru
Inventor
Крис НОРДЕН
Original Assignee
СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи. filed Critical СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи.
Publication of RU2014148784A publication Critical patent/RU2014148784A/ru
Application granted granted Critical
Publication of RU2608462C2 publication Critical patent/RU2608462C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к компьютерным системам взаимодействия пользователя. Технический результат заключается в повышении точности ввода при взаимодействии множества пользователя с компьютерной системой с помощью отдельного механизма ввода. Система определяет, который из множества пользователей передает входную информацию через единое устройство ввода информации. Механизм захватывает изображения одного или более пользователей. Если входная информация распознана, изображения могут быть обработаны для определения того, какой из пользователей передал входную информацию, используя устройство ввода информации. Изображения могут быть обработаны для идентификации головы и глаз каждого пользователя и определения точки фокусирования каждого глаза пользователя. Пользователь, чьи глаза сфокусированы на участке ввода информации, идентифицируется как передающий входную информацию. Если в качестве механизма ввода информации используется сенсорный экран, пользователь фокусирует глаза на участке сенсорного экрана, который, если был затронут, идентифицируется как источник входной информации. 3 н. и 1 з.п. ф-лы, 11 ил.

Description

ПЕРЕКРЕСТНЫЕ ССЫЛКИ
Данная патентная заявка претендует на преимущество и приоритет патентной заявки США номер 13/464,703 от 4 мая 2012, описание которой включено здесь в виде ссылки.
ОБЛАСТЬ ТЕХНИКИ
Данное изобретение в основном относится к системам обработки ввода и, в частности, к обработке ввода от множества пользователей с помощью обработки изображений.
УРОВЕНЬ ТЕХНИКИ
Приложения компьютерных систем взаимодействуют с пользователями, получая пользовательскую входную информацию, обрабатывают входную информацию и предоставляют результат. Так как системы становятся более продвинутыми и больше людей пользуются технологией, приложения вынуждены взаимодействовать одновременно со многими пользователями. Многие пользователи могут взаимодействовать с компьютерными системами в одно и то же время, и пользователи могут получать выходную информацию, относящуюся к конкретному пользователю. Например, два пользователя могут использовать игровые устройства управления для игры в компьютерную игру, позволяющую пользователям соревноваться друг с другом во время игровой сессии. Каждый пользователь дает входную информацию с помощью соответствующего игрового устройства управления.
Технология развилась таким образом, что позволяет использовать различные виды взаимодействия с компьютерными системами. Точнее, для получения входной информации от удаленного игрового устройства управления для каждого пользователя, например, некоторые компьютерные системы используют отдельные механизмы ввода информации, такие как сенсорный экран. При взаимодействии одного пользователя с компьютерным устройством отдельный механизм ввода информации получает входную информацию от отдельного пользователя. При взаимодействии множества пользователей с компьютерной системой с помощью отдельного механизма ввода информации очень сложно определить, который из пользователей ввел входную информацию.
Существует необходимость на данном уровне техники в системе, позволяющей множеству пользователей легко и эффективно взаимодействовать с компьютерным устройством, использовать отдельный механизм ввода информации.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В варианте реализации, надежности, функциональности, контенте или деловом соответствии, основываясь на обучающихся технологиях, эффективном мониторинге и управлении ресурсами, настоящая система может собирать данные и проводить анализ информации для выпадающих значений сетевого приложения с очень малыми затратами.
В варианте реализации входная информация может быть получена первым идентифицирующим множеством пользователей, физически присутствующих у устройства. Входная информация может быть получена устройством от первого пользователя из множества физически присутствующих пользователей. Физическое состояние может быть распознано от одного из множества пользователей, связанных с входной информацией.
В варианте реализации система для распознавания входной информации может содержать дисплейное устройство, камеру, процессор и модули, сохраняемые в памяти и выполняемые процессором. Камера может захватывать данные цветного изображения и передавать данные изображения процессору. Модуль распознавания деталей выполняется для распознавания физических деталей пользователя. Модуль распознавания фокусирования пользователя распознает точку фокусировки глаз пользователя. Модуль обработки входной информации получает и обрабатывает входную информацию от пользователя.
КРАТКОЕ ОПИСАНИЕ ФИГУР
Фигура 1 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран компьютерной консоли.
Фигура 2 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран планшетного компьютера.
Фигура 3 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран мобильного устройства.
Фигура 4 иллюстрирует примерное компьютерное устройство с механизмом распознавания пользователя.
Фигура 5 иллюстрирует примерный набор выполняемых программных модулей.
Фигура 6 представляет собой блок-схему последовательности процесса примерного способа определения входной информации от одного из множества пользователей.
Фигуры 7А-7C представляют собой примерные иллюстрации глаз пользователей.
Фигура 8 представляет собой блок-схему примерного компьютерного устройства, получившего входную информацию от одного из множества пользователей.
Фигура 9 представляет собой блок-схему примерной системы для реализации компьютерным устройством.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Варианты реализации изобретения определяют, который из пользователей из множества пользователей передает входную информацию через единое устройство ввода информации. Компьютерная система может содержать механизм захвата изображений одного или более пользователей. Изображения могут быть обработаны для определения того, какой из пользователей передает входную информацию, используя устройство ввода информации. Например, изображения могут быть обработаны для идентификации голов и глаз каждого пользователя и определения точки фокусирования для глаз каждого пользователя. Пользователь, чьи глаза сфокусированы на устройстве ввода информации, идентифицируются при вводе входной информации. В вариантах реализации, в которых механизмом ввода информации может быть сенсорный экран, пользователь фокусирует глаза на части сенсорного экрана, которая была тронута, определяется как передающая входную информацию.
Варианты реализации изобретения могут быть использованы с различными типами компьютерных устройств. Фигура 1 представляет собой блок-схему примерной системы для получения входной информации с помощью сенсорного экрана компьютерной консоли. Компьютерная консоль 125 передает данные изображения для отображения на сенсорный экран 120. Сенсорный экран 120 может получать входную информацию путем прикосновения и передавать входную информацию компьютерной консоли 125. Компьютерная консоль может получать входную информацию, обрабатывать входную информацию, создавать новые данные изображения и передавать данные изображения на сенсорный экран 120. Любой из пользователей 105 и 110 может передать входную информацию в компьютерную консоль 125, например, прикоснувшись к сенсорному экрану 120. Настоящее изобретение способно определять, который из пользователей прикоснулся к сенсорному экрану, и соответствующе обработать входную информацию. Фигура 2 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран планшетного компьютера 130. Пользователи 105 и 110 могут оба передавать входную информацию на планшетный компьютер 130, используя сенсорный экран планшета. В данном варианте реализации изобретения возможно определить, который из пользователей 105 и 110 передал входную информацию на планшетный компьютер 130, и соответствующе обработать входную информацию. Фигура 3 представляет собой блок-схему примерной системы для получения входной информации через сенсорный экран мобильного устройства. Пользователи 105 и 110 могут оба передать входную информацию мобильному устройству 140 через сенсорный экран или другую входную информацию. Данное изобретение может определить, который из пользователей передал входную информацию на мобильное устройство 140 и обработать входную информацию для этого пользователя.
Фигура 4 иллюстрирует примерное компьютерное устройство с механизмом распознавания пользователя 45. Механизм распознавания пользователя 405 может быть использован с компьютерной консолью, планшетным компьютером, мобильным устройством или любым другим компьютерным устройством. Механизм распознавания пользователя содержит цветную камеру 410 и инфракрасную (IR) камеру 415. Цветная камера 410 может захватывать изображения в области 420 в непосредственной близости к компьютерному устройству. Изображения могут быть обработаны для идентификации пользователей, физических деталей пользователей и состояния физических деталей. Например, изображения двух игроков, захваченные цветной камерой 410, могут быть обработаны для идентификации двух пользователей в области 420, физические детали обоих пользователей, включая головы и глаза пользователей, и состояние глаз каждого пользователя, к примеру, на чем каждый пользователь фокусирует свои глаза. IR система изображений 415 также может быть использована для захвата и обработки изображений. IR система изображений 415 может быть использована в условиях слабой освещенности для захвата IR изображений в области 425. IR изображения могут быть обработаны для идентификации количества пользователей, физических деталей пользователя и состояний деталей подобно обработке изображений цветной камеры.
Фигура 5 иллюстрирует примерный набор выполняемых программных модулей. Модули могут выполняться процессором для реализации различных аспектов изобретения, здесь описанного. Модуль распознавания деталей 520 распознает детали в изображениях пользователя. Например, модуль распознавания деталей может получать изображение, распознавать контуры человеческого лица и определять глаза на лице. Модуль 520 может иметь шаблон одного или более лиц для сравнения частей полученного изображения для идентификации человеческого лица. Шаблон может храниться в модуле библиотеки деталей 540. В некоторых вариантах реализации модуль распознавания деталей 540 может распознавать движение между двумя или более последовательными изображениями и использовать изменения в окраске пикселей для распознавания пользователей. После распознавания головы пользователя модуль распознавания деталей анализирует детали головы для распознавания глаз пользователя. Глаза могут быть определены распознаванием детали, такой как нос, близкий к глазам, определение того, что глаза пользователя находятся на определенной дистанции от верха головы пользователя, или выполнение других алгоритмов, вообще известных в данной области техники. В дополнение к физическим деталям, другие детали также могут быть определены, такие как, например, расстояние от пользователя до компьютерного устройства. В некоторых вариантах реализации, если распознано, что некто находится на расстоянии от компьютерного устройства, большем, чем пороговое, пользователь не будет считаться пользователем, способным вводить входную информацию.
Модуль фокусирования пользователя 510 может анализировать изображения глаз пользователя и определять, на чем фокусируется пользователь. Передняя часть человеческого глаза содержит черный зрачок, цветную радужною оболочку вокруг зрачка и белую белочную оболочку глаза вокруг цветной радужной оболочки. Компьютерное устройство может анализировать область и расположение белочной оболочки глаза для определения того, сфокусирован ли пользователь вверх, вниз, влево или вправо. Например, если глаза пользователя сфокусированы на объекте справа от него, изображение захватываемого глаза пользователя покажет больше белочной оболочки глаза пользователя с правой стороны глаза в изображении (левой стороны пользователя), чем с левой стороны, поскольку глаза будут двигаться налево.
Модуль входной информации фокусирования 530 получает входную информацию и обрабатывает входную информацию. Входная информация может выбираться из обозначенной горячей точки на сенсорном экране, кнопки, беспроводного сигнала, или несколько другой входной информации. Модуль входной информации фокусирования 530 может получать информацию от других модулей, определяющих пользователя, передающего новейшую входную информацию. Модуль обработки входной информации затем обрабатывает входную информацию как действие определенного пользователя.
Модуль библиотеки деталей 540 может содержать маски лиц и глаз, шаблонов, моделей и других данных, используемых для обработки изображения и распознавания физических деталей пользователя и состояния деталей, таких как направления фокусирования глаза пользователя.
Фигура 6 представляет собой блок-схему последовательности процесса примерного способа определения входной информации от одного из множества пользователей. Способ по Фигуре 6 может быть выполнен любыми компьютерными устройствами 120 и 125, 130 и 140. Взаимодействующие пользователи определяются компьютерным устройством на этапе 610. Взаимодействующие пользователи - это те, которые могут вводить входную информацию в компьютерное устройство. Взаимодействующие пользователи могут быть определены регистрацией в системе или обработкой изображения. Регистрация может включать передачу идентификационной информации некоторого вида от каждого пользователя или индикацию того, что они присутствуют у компьютерного устройства. Обработка изображения может включать захват одного или более изображений области, из которой пользователи могут передавать входную информацию, распознавание количества человеческих голов и присвоение значения каждой распознанной голове. В некоторых вариантах реализации как регистрация, так и обработка изображения могут быть использованы для идентификации взаимодействующих пользователей.
Способ распознавания человеческой головы с помощью обработки изображения может начинаться с анализа изображения форм, похожих на человеческую голову. Формы могут быть определены с использованием контрастного распознавания, распознавания движения и других техник. После обнаружения потенциальной формы головы голова кандидата анализируется на детали, общие для большинства человеческих голов. Детали могут содержать контраст, затенение или другие детали, присутствующие на носу, во рту или может быть глазах. Если голова кандидата удовлетворяет пороговому уровню деталей, голова кандидата может быть опознана как голова взаимодействующего пользователя. В данной области технологии известны и другие способы распознавания лиц в изображении.
Область глаза каждого пользователя локализуется на этапе 615. Распознавание области глаза головы взаимодействующего пользователя может включать поиск по контрасту, яркости или другим уровням свойств изображения по области головы, где располагается глаз. После локализации глаза пользователя поведение глаз может быть откалибровано для каждого взаимодействующего пользователя на этапе 620. Калибровка может включать инструкции на экране для взаимодействующего пользователя, отмечающие необходимое расстояние между компьютерным устройством и лицом пользователя, инструкции для рассмотрения обозначенной точки на экране и другие указания. Калибровка может потребовать от пользователя посмотреть на различные точки или горячие точки дисплея компьютерного устройства и проанализировать изображение глаза пользователя при известном фокусировании глаз пользователя. Например, Фигуры 7А-С иллюстрируют голову и глаза пользователя при фокусировании глаз пользователя на различных областях. Фигура 7А иллюстрирует голову пользователя 710 с глазами 714 и 712. Глаз 714 содержит область цветной радужной оболочки и область зрачка 716 и области белочной оболочки глаза 718 и 720. Глаз 712 содержит область цветной радужной оболочки, область зрачка 722 и области белочной оболочки глаза 724 и 726. При одинаковом расположении областей белочной оболочки глаза слева и справа от областей цветной радужной оболочки и зрачка может быть определено, что пользователь сфокусирован прямо. Если область белочной оболочки глаза значительно больше справа от областей цветной радужной оболочки и зрачка, чем область белочной оболочки глаза слева от зрачка и цветной радужной оболочки, пользователь может сфокусироваться направо от пользователя (Фигура 7B). Таким же образом, если область белочной оболочки глаза значительно больше справа и ниже цветной радужной оболочки и области зрачка, чем область белочной оболочки глаза слева и выше зрачка и цветной радужной оболочки, пользователь может сфокусироваться в направлении справа вверху от пользователя (Фигура 7C). Градус фокусирования и соответствующая точка фокусирования может быть получена от проведения ряда измерений глаза пользователя во время калибровки. Область и локализация зрачка пользователя, белочной оболочки глаза и других объектов может быть записана для последовательного отслеживания глаз пользователя.
Отслеживание глаз пользователя начинается на этапе 625. Отслеживание включает захват последовательных изображений пользователя. Изображения могут быть обработаны для отслеживания и поддержки знания о локализации и фокусировке глаза пользователя. В некоторых вариантах реализации изображения захватываются одно за другим и сохраняются, но затем отбрасываются, если не была получена входная информация от любого из пользователей.
Входная информация распознается в горячей точке экрана на этапе 630. Входная информация может содержать горячую точку прикосновения пользователя на сенсорном экране для одного из компьютерной консоли 120, планшетного компьютера 220 и мобильного устройства 320. Горячая точка может быть конкретным изображением объекта, демонстрируемого на экране, такого как изображение символа, звонка, виртуальной вещи, текста или другого объекта. Пользователь фокусирует глаза на расположении горячей точки входной информации, определенной на этапе 635. Расположение глаза может быть определено, как описано выше по отношению к процессу калибровки. Пользователь в соответствии с конкретной входной информацией может быть определен множеством способов. Например, определяется фокусирование глаза каждого пользователя и выбирается пользователь с фокусированием глаза, наиболее близким к горячей точке. В другом случае фокусирование глаза для каждого пользователя может быть определено, пока фокусирование глаза распознается в пределах пороговой дистанции горячей точки, с которой получена входная информация. В некоторых вариантах реализации правдоподобие входной информации может быть определено для каждого пользователя на основе истории их входной информации, их фокусирование глаза, где ожидается входная информация от пользователя, и т.д. После связывания входной информации с определенным пользователем входная информация в горячей точке обрабатывается для конкретного пользователя на этапе 640.
Фигура 8 представляет собой блок-схему примерного компьютерного устройства, получающего входную информацию от одного из множества пользователей. Компьютерное устройство 800 содержит систему камеры 805 (система распознавания пользователя) с цветной камерой 810 и IR камерой 815. Пользователи 830 и 835 каждый находятся на расстоянии 820 от цветной камеры 810 и расстоянии 825 от IR камеры 815. Компьютерное устройство 800 содержит сенсорный экран с горячими точками 840, 845, 850, 855 и 860. Во время калибровки система может продемонстрировать текст, который просит пользователя сфокусироваться на конкретной горячей точке, пока система захватит изображение глаза пользователя.
Когда входная информация получена, компьютерное устройство 800 определяет фокусировку пользователя и определяет входную информацию как входящую от пользователя, сфокусировавшегося на горячей точке, получившей входную информацию. Например, пользователь 835 ввел входную информацию в горячей точке 855, нажимая экран в горячей точке 855. Во время получения входной информации устройство обработки будет анализировать изображения, захваченные цветной камерой 810, IR камерой 815 или обеими. Фокусирование пользователей определяется из изображений. Если после обработки изображения пользователь 830 определен как сфокусировавшийся на 870, а пользователь 835 определен как сфокусировавшийся на 880, что соответствует горячей точке 855, входная информация, полученная в горячей точке 855, будет связана с пользователем 835. Определяя, куда сфокусированы глаза пользователя, входная информация, получаемая через устройство, используемое множеством игроков, может быть связанна с один из множества игроков.
Фигура 9 иллюстрирует примерную компьютерную систему 900, которая может быть использована для реализации компьютерного устройства для использования в настоящей технологии. Система 900 из Фигуры 9 может быть реализована в средах, подобных компьютерной консоли 120, планшетного компьютера 220 и мобильного устройства 320. Компьютерная система 900 Фигуры 9 содержит одну или более камер 910, процессоры 915 и память 920. Основная память 920 хранит, в частности, инструкции и данные для выполнения процессором 915. Основная память 920 может хранить выполняемый код во время работы. Система 900 Фигуры 9 дополнительно содержит устройство хранения 925, портативные диск(и) хранения 930, IR устройство 935, устройства вывода 940, устройства ввода пользовательской информации 945, дисплей 950 и периферийные устройства 955.
Камеры 910 могут содержать более одной камеры, способных захватывать серии фотографий; подходящих для анализа обработки изображений. Фотографии могут быть размещены в компьютерной системе, размещенной снаружи по отношению к системе. Захваченные камерой 910 изображения могут быть переданы процессору 915 по шине 960, который может выполнять модули, хранящиеся в памяти 920, для анализа изображения на предмет деталей распознавания.
IR устройство 935 может содержать IR камеру, способную захватывать изображения в условиях очень слабой освещенности. IR изображения могут быть обработаны так же, как изображения цветной камеры для распознавания деталей пользователя. Захваченные изображения от IR устройства 935 могут быть переданы на процессор 915 для обработки по шине 960.
Компоненты, показанные в Фигуре 9, изображены как подключенные по одной шине 990. Однако компоненты могут быть подключены через одну или более шин передачи данных. Например, процессорное устройство 915 и основная память 920 могут быть соединены по локальной микропроцессорной шине, а запоминающее устройство 925, периферийное устройство(а) 955, портативное запоминающее устройство 930 и система дисплея 950 могут быть соединены по одной или более шинам входной/выходной (I/O) информации.
Запоминающее устройство 925, которое может быть реализовано с помощью магнитного диска или оптического диска, является энергонезависимым устройством хранения для хранения данных и инструкций для использования процессорным устройством 915. Устройство хранения 925 может хранить системные программы для воплощения вариантов реализации настоящего изобретения для загрузки этого программного обеспечения в основную память 920.
Портативное запоминающее устройство 930 работает в связке с портативным энергонезависимым носителем хранения, таким как дискета, компакт-диск или цифровой видеодиск, для ввода и вывода данных и кода в и из компьютерной системы 900 Фигуры 9. Системное программное обеспечение для воплощения вариантов реализации настоящего изобретения может храниться на таком портативном носителе и вводить информацию в компьютерную систему 900 по портативному устройству хранения 930.
Устройство ввода информации 945 реализует частично интерфейс пользователя. Устройство ввода информации 945 может содержать алфавитно-цифровую клавиатуру, такую как клавиатура для ввода алфавитно-цифровой и другой информации, или указывающее устройство, такое как мышь, трекбол, стилус или кнопки управления курсором. Дополнительно, система 900, как показано на Фигуре 9, содержит выводные устройства 940. Примеры подходящих выводных устройств содержат динамики, принтеры, сетевые интерфейсы и мониторы.
Система дисплея 950 может содержать жидкокристаллический дисплей (LCD) или другое подходящее дисплейное устройство. Система дисплея 950 получает текстовую и графическую информацию и обрабатывает ее для вывода на дисплейное устройство. Система дисплея 950 может содержать устройство сенсорного экрана, которое получает входную информацию распознаванием прикосновения к поверхности дисплея. Пикселы, полученные в результате прикосновения, передаются на процессор 915 по шине 960.
Периферийные устройства 955 могут содержать любой тип компьютерных вспомогательных устройств для добавления дополнительной функциональности компьютерной системе. Например, периферийное устройство(а) 955 может содержать модем или маршрутизатор.
Компоненты компьютерной системы 900 Фигуры 9 являются типичными для компьютерных систем, которые могут подходить для использования с вариантами реализации данного изобретения и представляют основную категорию таких компьютерных компонентов, которые хорошо известны в данной области техники. Таким образом, компьютерная система 900 Фигуры 9 может быть персональным компьютером, переносным компьютерным устройством, телефоном, мобильным компьютерным устройством, рабочей станцией, сервером, мини-компьютером, главным компьютером или любым другим компьютерным устройством. Компьютер также может содержать различные конфигурации шин, сетевых платформ, многопроцессорных платформ и т.д. Могут использоваться различные операционные системы, в том числе Unix, Linux, Windows, Macintosh OS, Palm OS и другие подходящие операционные системы.
Следующее детализированное описание технологии присутствует здесь в иллюстративных целях. Не следует считать, что технология исчерпывается или ограничивается в точности с вышеизложенным. Множество модификаций и вариаций возможно в виду вышеизложенного. Описанные варианты реализации были выбраны с целью наилучшего объяснения принципов технологии и ее практического применения, таким образом сделав возможным для других специалистов в данной области техники наилучшим образом освоить технологию в различных вариантах реализации и с различными модификациями, как это удобнее для конкретного использования при обдумывании. Объем технологии определяется приведенной здесь формулой изобретения.

Claims (27)

1. Способ для приема ввода чувствительным к касанию устройством, содержащий:
захват данных изображения для физической области, окружающей упомянутое чувствительное к касанию устройство;
идентификацию множества пользователей, физически присутствующих у упомянутого чувствительного к касанию устройства, посредством идентификации голов-кандидатов из захваченных данных изображения;
идентификацию признаков лица для каждого из множества физически присутствующих пользователей, причем упомянутые признаки лица включают в себя глаза каждого из множества физически присутствующих пользователей;
калибровку глаз каждого из множества физически присутствующих пользователей до взаимодействия в реальном времени с упомянутым чувствительным к касанию устройством, причем калибровка включает в себя фокусировку с множеством заранее определенных участков упомянутого чувствительного к касанию устройства;
отслеживание фокусировки глаз для глаз каждого из множества физически присутствующих пользователей в реальном времени и последующую калибровку, причем фокусировка глаз включает в себя анализ упомянутой области и локализацию белочной оболочки в отношении зрачка для каждого глаза каждого из множества физически присутствующих пользователей;
прием ввода на упомянутом чувствительном к касанию устройстве, причем упомянутый ввод обнаруживается в горячей точке на дисплее с сенсорным экраном упомянутого чувствительного к касанию устройства; и
ассоциирование упомянутого ввода с действующим пользователем из множества физически присутствующих пользователей на основании отслеживания фокуса глаз каждого из множества физически присутствующих пользователей, причем действующий пользователь определяется как имеющий фокус глаз, ближайший к горячей точке, в результате анализа упомянутой области и локализации белочной оболочки по отношению к зрачку для глаз каждого из множества физически присутствующих пользователей.
2. Невременный машиночитаемый носитель, имеющий сохраненную программу, выполняемую процессором для реализации способа для приема ввода чувствительным к касанию устройством, содержащего:
захват данных изображения для физической области, окружающей упомянутое чувствительное к касанию устройство;
идентификацию множества пользователей, физически присутствующих у упомянутого чувствительного к касанию устройства, посредством идентификации голов-кандидатов из захваченных данных изображения;
идентификацию признаков лица для каждого из множества физически присутствующих пользователей, причем упомянутые признаки лица включают в себя глаза каждого из множества физически присутствующих пользователей;
калибровку глаз каждого из множества физически присутствующих пользователей до взаимодействия в реальном времени с упомянутым чувствительным к касанию устройством, причем калибровка включает в себя фокусировку с множеством заранее определенных участков упомянутого чувствительного к касанию устройства;
отслеживание фокуса глаз для глаз каждого из множества физически присутствующих пользователей в реальном времени и последующую калибровку, причем фокус глаз включает в себя анализ упомянутой области и локализации белочной оболочки по отношению к зрачку для каждого глаза каждого из множества физически присутствующих пользователей;
прием ввода на упомянутом чувствительном к касанию устройстве, причем упомянутый ввод обнаруживается в горячей точке на дисплее с сенсорным экраном упомянутого чувствительного к касанию устройства; и
ассоциирование упомянутого ввода с действующим пользователем из множества физически присутствующих пользователей на основании отслеживания фокуса глаз каждого из множества физически присутствующих пользователей, причем действующий пользователь определяется как имеющий фокус глаз, ближайший к горячей точке, в результате анализа упомянутой области и локализации белочной оболочки по отношению к зрачку для глаз каждого из множества физически присутствующих пользователей.
3. Система для обнаружения ввода, содержащая:
чувствительное к касанию устройство, которое принимает ввод в горячей точке на дисплее с сенсорным экраном упомянутого чувствительного к касанию устройства;
камеру, которая захватывает данные цветного изображения для физической области, окружающей упомянутое чувствительное к касанию устройство;
энергонезависимое запоминающее устройство, подсоединенное к камере для приема захваченных данных изображения;
процессор, который выполняет невременные считываемые компьютером инструкции, сохраненные в памяти, причем выполнение инструкций:
идентифицирует множество пользователей, физически присутствующих у упомянутого чувствительного к касанию устройства, посредством идентификации голов-кандидатов из захваченных данных изображения, хранимых в упомянутом энергонезависимом запоминающем устройстве;
идентифицирует признаки лица для каждого из множества физически присутствующих пользователей, причем упомянутые признаки лица включают в себя глаза каждого из множества физически присутствующих пользователей;
калибрует глаза каждого из множества физически присутствующих пользователей до взаимодействия в реальном времени с упомянутым чувствительным к касанию устройством, причем калибровка включает в себя фокусировку с множеством заранее определенных участков упомянутого чувствительного к касанию устройства;
отслеживает фокусировку глаз для глаз каждого из множества физически присутствующих пользователей в реальном времени и последующую калибровку, причем фокусировка глаз включает в себя анализ упомянутой области и локализацию белочной оболочки в отношении зрачка для каждого глаза каждого из множества физически присутствующих пользователей;
ассоциирование принятого ввода на дисплее с сенсорным экраном с действующим пользователем из множества физически присутствующих пользователей на основании отслеживания фокуса глаз каждого из множества физически присутствующих пользователей, причем действующий пользователь определяется как имеющий фокус глаз, ближайший к горячей точке, в результате анализа упомянутой области и локализации белочной оболочки по отношению к зрачку для глаз каждого из множества физически присутствующих пользователей.
4. Система по п. 3, дополнительно содержащая ИК-устройство, которое захватывает ИК-изображения одного или более пользователей упомянутого множества физически присутствующих пользователей, причем захваченные ИК-изображения использованы совместно с камерой для идентификации голов-кандидатов.
RU2014148784A 2012-05-04 2013-04-04 Обработка пользовательской входной информации с отслеживанием глаз RU2608462C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/464,703 US9471763B2 (en) 2012-05-04 2012-05-04 User input processing with eye tracking
US13/464,703 2012-05-04
PCT/US2013/035331 WO2013165646A2 (en) 2012-05-04 2013-04-04 User input processing with eye tracking

Publications (2)

Publication Number Publication Date
RU2014148784A RU2014148784A (ru) 2016-06-27
RU2608462C2 true RU2608462C2 (ru) 2017-01-18

Family

ID=49512152

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014148784A RU2608462C2 (ru) 2012-05-04 2013-04-04 Обработка пользовательской входной информации с отслеживанием глаз

Country Status (9)

Country Link
US (3) US9471763B2 (ru)
EP (1) EP2845077A4 (ru)
JP (1) JP5974165B2 (ru)
KR (1) KR101705841B1 (ru)
CN (1) CN104520799A (ru)
BR (1) BR112014027343B1 (ru)
IN (1) IN2014MN02224A (ru)
RU (1) RU2608462C2 (ru)
WO (1) WO2013165646A2 (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US20170097656A1 (en) * 2014-03-18 2017-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Controlling a target device
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104383681B (zh) * 2014-10-27 2016-03-30 腾讯科技（深圳）有限公司 游戏进程控制方法、装置和移动终端
KR101671838B1 (ko) 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
CN105159590B (zh) * 2015-08-27 2017-06-23 广东欧珀移动通信有限公司 一种控制用户终端的屏幕的方法及用户终端
US9958941B2 (en) * 2015-09-24 2018-05-01 Tobii Ab Eye-tracking enabled wearable devices
DE102015222388A1 (de) 2015-11-13 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN109726334A (zh) * 2016-01-06 2019-05-07 北京京东尚科信息技术有限公司 电子书籍的推送方法和装置
CN106066694A (zh) * 2016-05-30 2016-11-02 维沃移动通信有限公司 一种触摸屏操作响应的控制方法及终端
US10032053B2 (en) 2016-11-07 2018-07-24 Rockwell Automation Technologies, Inc. Tag based location
CN107092873A (zh) * 2017-04-08 2017-08-25 闲客智能（深圳）科技有限公司 一种眼动方向识别方法及装置
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
JP2022515608A (ja) * 2018-12-31 2022-02-21 ガーディアン・グラス・エルエルシー 大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法
US10890992B2 (en) * 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
CN110262673A (zh) * 2019-06-26 2019-09-20 广东技术师范大学 一种眼睛控制键盘打字的方法
US11800206B2 (en) * 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11156831B2 (en) * 2019-12-31 2021-10-26 Tobii Ab Eye-tracking system and method for pupil detection, associated systems and computer programs
US12124625B1 (en) * 2023-06-30 2024-10-22 Rockwell Collins, Inc. Pupil dynamics, physiology, and context for estimating vigilance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
RU2007101283A (ru) * 2004-07-09 2008-08-20 Нокиа Корпорейшн (Fi) Интеллектуальный пользовательский интерфейс
US20100066667A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user
US20100130280A1 (en) * 2006-10-10 2010-05-27 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JP2000148396A (ja) * 1998-11-06 2000-05-26 Canon Inc 情報入力装置および方法
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
AU2002233323A1 (en) * 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
JP2006201966A (ja) 2005-01-19 2006-08-03 Oki Electric Ind Co Ltd 端末装置
JP2007089732A (ja) * 2005-09-28 2007-04-12 Aruze Corp 入力装置
JP4649319B2 (ja) 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
WO2007074842A1 (ja) * 2005-12-27 2007-07-05 Matsushita Electric Industrial Co., Ltd. 画像処理装置
JP5580987B2 (ja) * 2006-08-18 2014-08-27 株式会社カネカ 官能基を有する分岐ビニル系重合体の製造方法
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
WO2008115287A2 (en) * 2006-10-18 2008-09-25 Efthimion Enterprises, Inc. Laser assisted microwave plasma spectroscopy
WO2009107371A1 (ja) * 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8432366B2 (en) * 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
CN101593022B (zh) * 2009-06-30 2011-04-27 华南理工大学 一种基于指端跟踪的快速人机交互方法
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP5305039B2 (ja) * 2010-03-25 2013-10-02 アイシン・エィ・ダブリュ株式会社 表示装置、表示方法、及び表示プログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5664064B2 (ja) 2010-09-22 2015-02-04 富士通株式会社 視線検出装置および補正係数算出プログラム
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8717393B2 (en) * 2010-11-03 2014-05-06 Blackberry Limited System and method for controlling a display of a mobile device
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101797599B1 (ko) * 2011-06-30 2017-11-15 엘지이노텍 주식회사 백라이트 유닛 및 그를 이용한 디스플레이 장치
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
RU2007101283A (ru) * 2004-07-09 2008-08-20 Нокиа Корпорейшн (Fi) Интеллектуальный пользовательский интерфейс
US20100130280A1 (en) * 2006-10-10 2010-05-27 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems
US20100066667A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user

Also Published As

Publication number Publication date
US10496159B2 (en) 2019-12-03
WO2013165646A3 (en) 2015-03-26
JP5974165B2 (ja) 2016-08-23
RU2014148784A (ru) 2016-06-27
CN104520799A (zh) 2015-04-15
WO2013165646A2 (en) 2013-11-07
EP2845077A2 (en) 2015-03-11
KR101705841B1 (ko) 2017-02-10
US9471763B2 (en) 2016-10-18
US20170139476A1 (en) 2017-05-18
KR20150032661A (ko) 2015-03-27
IN2014MN02224A (ru) 2015-10-09
EP2845077A4 (en) 2016-01-13
US20200249751A1 (en) 2020-08-06
BR112014027343A2 (pt) 2017-07-18
BR112014027343B1 (pt) 2021-09-21
US11650659B2 (en) 2023-05-16
US20130293467A1 (en) 2013-11-07
JP2015521312A (ja) 2015-07-27

Similar Documents

Publication Publication Date Title
RU2608462C2 (ru) Обработка пользовательской входной информации с отслеживанием глаз
US9489574B2 (en) Apparatus and method for enhancing user recognition
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
KR20090119107A (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
JP2013161406A (ja) データ入力装置、表示装置、データ入力方法、及びデータ入力プログラム
CN107562205B (zh) 一种智能终端的投影键盘及该投影键盘的操作方法
JP2023160899A (ja) 集中度計測装置、集中度計測方法、およびプログラム
WO2010061448A1 (ja) 操作入力装置、情報処理装置及び選択ボタン特定方法
CN114092985A (zh) 一种终端控制方法、装置、终端及存储介质
Bâce et al. Accurate and robust eye contact detection during everyday mobile device interactions
CN106815264B (zh) 一种信息处理方法及系统
CN109960412B (zh) 一种基于触控调整注视区域的方法以及终端设备
CN112527103B (zh) 显示设备的遥控方法、装置、设备及计算机可读存储介质
Teixeira et al. Open/closed hand classification using Kinect data
CN108132711A (zh) 一种播放进度条控制方法及电子设备
KR100686517B1 (ko) 동공 모양 모델링 방법
US20150103205A1 (en) Method of controlling digital apparatus and image capture method by recognition of hand shape, and apparatus therefor
JP7470069B2 (ja) 指示物体検出装置、指示物体検出方法及び指示物体検出システム
CN113554557A (zh) 以增强现实方式显示皮肤细节的方法及电子设备
KR102308190B1 (ko) 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체
CN117765621A (zh) 活体检测方法、装置及存储介质
CN117392736A (zh) 人眼注视区域的检测方法、装置及头戴增强现实设备
CN119540309A (zh) 多模态眼动数据映射方法、装置、边缘计算设备及介质