CN118192836A - 用于显示器的非接触式人机界面 - Google Patents
用于显示器的非接触式人机界面 Download PDFInfo
- Publication number
- CN118192836A CN118192836A CN202311716645.0A CN202311716645A CN118192836A CN 118192836 A CN118192836 A CN 118192836A CN 202311716645 A CN202311716645 A CN 202311716645A CN 118192836 A CN118192836 A CN 118192836A
- Authority
- CN
- China
- Prior art keywords
- fov
- display
- option
- options
- object detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
- G01S13/44—Monopulse radar, i.e. simultaneous lobing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
- G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供一种包括处理器和对象检测器的设备。所述对象检测器检测对象在所述对象检测器的视场(FOV)内的位置。所述处理器基于显示器上的一个或多个选项将所述FOV划分为一个或多个FOV扇区。另外,所述处理器将所述一个或多个选项中的每一个唯一地映射到所述一个或多个FOV扇区中的FOV扇区。所述处理器另外控制指针在所述显示器上的移动以指向所述一个或多个选项中的选项,针对所述选项,所映射的FOV扇区包括所述对象的检测到的位置,从而实现所述显示器的非接触式控制。
Description
技术领域
本公开大体上涉及电子电路,并且更具体地,涉及一种用于显示器的非接触式人机界面。
背景技术
如今,电子装置提供了不同类型的人机界面(HMI),例如,基于触摸的界面、物理按钮、指针式装置等。为了使用这些HMI执行任何动作,用户需要与HMI进行物理接触,而这是不希望的。因此,希望为电子装置提供非接触式HMI解决方案。
发明内容
附图的详细描述旨在作为对本公开的实施例的描述,而不旨在表示本公开可以实施的唯一形式。应理解,相同或等效功能可以通过旨在涵盖于本公开的精神和范围内的不同实施例来实现。
在本公开的实施例中,公开一种设备。所述设备可以包括对象检测器和耦合到所述对象检测器的处理器。所述对象检测器可以被配置成检测对象相对于所述对象检测器的位置。所述处理器可以被配置成基于显示器上的一个或多个选项将所述对象检测器的视场(FOV)划分为一个或多个FOV扇区。所述处理器可以另外被配置成将所述一个或多个选项中的每一个唯一地映射到所述一个或多个FOV扇区中的FOV扇区。另外,所述处理器可以被配置成控制指针在所述显示器上的移动以指向所述一个或多个选项中的第一选项,针对所述第一选项,所映射的FOV扇区包括所述对象的检测到的位置。
在本公开的另一实施例中,公开一种启用用于显示器的非接触式人机界面(HMI)的方法。所述方法可以包括通过设备的对象检测器检测对象相对于所述对象检测器的位置。所述方法可以另外包括通过所述设备的处理器基于所述显示器上的一个或多个选项将所述对象检测器的视场(FOV)划分为一个或多个FOV扇区,并将所述一个或多个选项中的每一个唯一地映射到所述一个或多个FOV扇区中的FOV扇区。另外,所述方法可以包括通过所述处理器控制指针在所述显示器上的移动以指向所述一个或多个选项中的第一选项,针对所述第一选项,所映射的FOV扇区包括所述对象的检测到的位置。
在本公开的又一实施例中,公开一种设备,所述设备包括显示器、对象检测器和处理器。所述显示器可以被配置成显示一个或多个选项。所述对象检测器可以被配置成检测对象相对于所述对象检测器的位置。所述处理器可以耦合到所述对象检测器和所述显示器。所述处理器可以被配置成基于一个或多个选项将所述对象检测器的视场(FOV)划分为一个或多个FOV扇区,并将所述一个或多个选项中的每一个唯一地映射到所述一个或多个FOV扇区中的FOV扇区。另外,所述处理器可以被配置成控制指针在所述显示器上的移动以指向所述一个或多个选项中的第一选项,针对所述第一选项,所映射的FOV扇区包括所述对象的检测到的位置。
在一些实施例中,所述对象检测器可以包括由以下组成的群组中的至少一个:一个或多个超宽带(UWB)无线电检测和测距(雷达)收发器、一个或多个移动目标指示雷达收发器、一个或多个连续波雷达收发器、一个或多个调频波雷达收发器、一个或多个脉冲雷达收发器,和一个或多个多普勒效应雷达收发器。
在一些实施例中,所述检测到的位置可以对应于所述对象相对于所述对象检测器的水平角度和竖直角度。所述FOV可以包括所述对象检测器的水平角度范围和竖直角度范围。为了将所述FOV划分为所述一个或多个FOV扇区,所述处理器可以另外被配置成基于所述一个或多个选项将所述水平角度范围划分为一个或多个水平角度子范围并将所述竖直角度范围划分为一个或多个竖直角度子范围。所述一个或多个FOV扇区中的每个FOV扇区可以包括所述一个或多个水平角度子范围中的水平角度子范围和所述一个或多个竖直角度子范围中的竖直角度子范围的唯一组合。
在一些实施例中,所述一个或多个选项可以一行或多行和一列或多列布置于所述显示器上。所述处理器可以基于所述一个或多个选项布置于所述显示器上的所述一列或多列的计数将所述水平角度范围划分为所述一个或多个水平角度子范围。所述处理器可以另外基于所述一个或多个选项布置于所述显示器上的所述一行或多行的计数将所述竖直角度范围划分为所述一个或多个竖直角度子范围。
在一些实施例中,所述处理器可以另外被配置成基于所述对象在由水平平面和竖直平面组成的群组中的至少一个中的位置的改变来控制所述指针在所述显示器上的所述移动,以将所述指针从所述一个或多个选项中的所述第一选项移位到第二选项。
在一些实施例中,所述一个或多个选项可以包括一个或多个图形用户界面(GUI)元素。
在一些实施例中,所述一个或多个选项可以包括由向左滚动选项、向右滚动选项、向上滚动选项和向下滚动选项组成的群组中的至少一个。所述处理器可以另外被配置成执行由以下组成的群组中的一个:当所述第一选项对应于所述向左滚动选项时在所述显示器上的向左滚动动作、当所述第一选项对应于所述向右滚动选项时在所述显示器上的向右滚动动作、当所述第一选项对应于所述向上滚动选项时在所述显示器上的向上滚动动作,以及当所述第一选项对应于所述向下滚动选项时在所述显示器上的向下滚动动作。
在一些实施例中,所述对象检测器可以另外被配置成基于所述对象在与所述对象检测器相距阈值距离内而发起对所述对象的所述位置的所述检测。
在一些实施例中,所述对象检测器可以另外被配置成基于所述对象在所述阈值距离内的持续时间超过阈值持续时间而发起对所述对象的所述位置的所述检测。
在一些实施例中,所述对象检测器可以另外被配置成基于所述对象与所述对象检测器之间的距离的改变而检测所述对象相对于所述对象检测器的向前移动和向后移动。在所述指针指向所述第一选项之后可以检测所述向前移动和所述向后移动。所述处理器可以另外被配置成基于在所定义持续时间内对所述向前移动和所述向后移动的所述检测来执行针对所述第一选项的选择动作。所述对象检测器可以另外被配置成基于所述对象在所述对象检测器的所述FOV内的多个对象之中最接近所述对象检测器而从所述多个对象中选择所述对象。
在一些实施例中,所述设备可以是与所述显示器连接的即插即用设备并且用作所述显示器的非接触式HMI。
附图说明
当结合附图阅读时,将更好地理解本公开的实施例的以下详细描述。本公开借助于例子来进行说明且不受附图限制,附图中,类似的附图标记表示类似的元件。
图1示出根据本公开实施例的耦合到第二设备的第一设备的示意性框图,第二设备用作第一设备的非接触式人机界面(HMI);
图2示出根据本公开另一实施例的利用非接触式HMI启用的第三设备的示意性框图;
图3A-图3F是示出根据本公开实施例的使用非接触式HMI操纵显示器的示例性情况的图;
图4是示出根据本公开实施例的显示器上的选项的示例性布置的图;以及
图5A和图5B共同表示根据本公开实施例的流程图,示出了启用用于显示器的非接触式HMI的方法。
具体实施方式
传统上,为了避免基于物理接触的界面与用户交互,使用具有非接触式人机界面(HMI)功能的装置。这种非接触式HMI功能通常基于姿势辨识系统来实现,所述姿势辨识系统检测用户做出的预定义姿势并控制装置的相关功能。可以要求用户将他们的手/脸放置在姿势辨识系统附近,以准确检测用户做出的预定义姿势。然而,此类姿势辨识系统使用复杂的机器学习算法和/或硬件密集型成像装置。此外,这些姿势辨识系统在变化的环境条件下(例如,弱光条件、多个邻近对象等)不提供可靠性,并且具体地说旨在检测预定义人类姿势(例如,手势、面部姿势等)。因此,姿势辨识系统被限制为检测使用特定对象类型做出的一些特定姿势,因而限制了在不符合预定义姿势或对象类型标准的其它情况下使用姿势辨识系统。
本公开的各种实施例公开一种提供非接触式HMI功能的设备。所述设备可以包括检测对象的位置的对象检测器。可以检测对象相对于对象检测器的位置。另外,所述设备可以包括耦合到对象检测器的处理器。处理器可以基于显示器上的选项将对象检测器的视场(FOV)划分为FOV扇区。每个选项唯一地映射到FOV扇区中的一个。处理器可以另外控制指针在显示器上的移动以指向选项中的一个,针对所述选项,所映射的FOV扇区包括对象的检测到的位置。
因此,所述设备启用用于控制显示器的非接触式HMI功能。所述设备可以被实施为即插即用解决方案,所述解决方案可以通过最少的软件更新将任何基于接触的HMI转换为非接触式HMI,或可以被实施为装置中的内置机制以提供非接触式HMI功能。所述设备的一些实施例可能不需要使用成像装置的复杂姿势辨识系统。因此,简化了设备的工作。另外,对象检测器不限于识别便于非接触式HMI功能的任何特定类型的对象,这使得所述设备更加用户友好且易于使用。例如,对象检测器使用无线电检测和测距(雷达)机制来进行对象识别和位置跟踪,从而允许设备即使在变化的环境条件下(例如,弱光条件)也能精确且准确地跟踪对象。此外,所述设备克服了基于接触的HMI装置的挑战(例如,传播接触感染)。
图1示出根据本公开实施例的耦合到第二设备102的第一设备100的示意性框图,所述第二设备102用作所述第一设备100的非接触式人机界面(HMI)。第一设备100的例子可以包括但不限于电视机、智能手机、投影仪、笔记本电脑、台式机、查询一体机或具有显示能力的任何其它设备。第一设备100可以包括显示器104和显示控制器106。第二设备102可以包括对象检测器108、处理器110和存储器111。
显示器104的例子可以包括但不限于单色或彩色液晶显示器(LCD)、有机发光二极管(OLED)或任何其它合适的显示技术。在实施例中,显示器104可以是触摸屏显示器。显示器104可以被配置成向第一设备100的终端用户呈现用户界面(UI)。稍后在图3A-图3F中示出UI和终端用户。UI可以另外以图形用户界面(GUI)元素的形式呈现各种选项,终端用户可以通过提供用户输入来选择这些选项。UI上呈现的选项的例子可以包括但不限于图标、统一资源定位符(URL)链接、选项卡、复选框、按钮、滚动选项(例如,向左滚动、向右滚动、向上滚动和向下滚动),或终端用户可选择的其它GUI元素。作为默认选项,第一设备100可以支持用于接收用户输入的各种机制,例如遥控器、基于触摸屏的控件等。在实施例中,选项(例如,GUI元素)可以以行和列布置于UI上。在另一实施例中,UI上的选项(例如,GUI元素)可以以随机方式布置,并且可以不遵循特定模式。
显示控制器106可以耦合到显示器104。显示控制器106可以包括合适的逻辑、电路和/或界面,所述逻辑、电路和/或界面可以被配置成执行用于控制显示器104的各种操作。显示控制器106可以被配置成生成驱动信号DSig,并将驱动信号DSig提供到显示器104。在实施例中,显示控制器106可以基于终端用户的用户输入来生成驱动信号DSig。驱动信号DSig可以控制UI的呈现、对UI上的各种选项(例如,GUI元素)的操纵以及UI的其它功能。
为简洁起见,第一设备100仅被示为包括显示器104和显示控制器106;然而,在实际实施方案中,第一设备100可以包括用于功能要求的任何额外组件(例如,微处理器、电源等)。
第二设备102可以通信地耦合到第一设备100。如图1所示,第二设备102可以是即插即用设备,被配置成与第一设备100(例如,显示器104)连接以启用(或激活)第一设备100的非接触式HMI功能。第一设备100与第二设备102之间的连接可以是有线连接或无线连接。第二设备102可以通过对象检测器108、处理器110和存储器111来实施用于第一设备100的非接触式HMI功能。
对象检测器108可以包括合适的逻辑、电路和/或界面,所述逻辑、电路和/或界面可以被配置成执行用于检测和跟踪对象检测器108的视场(FOV)112内的对象的各种操作。FOV 112可以对应于对象检测器108在任何时刻可感知的角锥体。换句话说,FOV 112可以表示对象检测器108的感测范围或检测范围。FOV 112可以根据跨越水平平面的水平角度范围和跨越竖直平面的竖直角度范围来定义。在实施例中,在对象检测器108的附近可以存在多个对象,例如第一对象114a、第二对象114b和第三对象114c。
对象检测器108可以被配置成检测存在于FOV 112内的那些对象的位置。例如,由于第一对象114a和第二对象114b存在于FOV 112内,因此对象检测器108可以被配置成检测第一对象114a和第二对象114b相对于对象检测器108的位置。然而,当第三对象114c存在于FOV 112之外时,对象检测器108可能无法检测第三对象114c的位置。对象的位置可以对应于对象相对于对象检测器108的水平角度和竖直角度。水平角度可以指示对象在水平平面中相对于对象检测器108的位置,而竖直角度可以指示对象在竖直平面中相对于对象检测器108的位置。
对象检测器108可以另外被配置成选择FOV 112中的一个对象作为用于进一步跟踪的目标对象。在实施例中,对象检测器108可以被配置成检测FOV 112中的每个对象与对象检测器108的距离,并且在FOV 112的对象之中选择一个对象作为最接近对象检测器108的目标对象。
在示例性实施例中,对象检测器108可以包括一个或多个超宽带(UWB)无线电检测和测距(雷达)收发器。每个UWB雷达收发器可以在FOV 112内发射短程无线电信号。FOV 112内的第一对象114a和第二对象114b可以反射短程无线电信号,然后由UWB雷达收发器接收所述短程无线电信号。对象检测器108可以基于UWB雷达收发器接收到的反射的短程无线电信号,来检测每个对象(例如,第一对象114a和第二对象114b)与对象检测器108的距离。此外,对象检测器108可以被配置成基于在UWB雷达收发器处接收到的反射的短程无线电信号的到达角(AoA),来检测每个对象(例如,第一对象114a和第二对象114b)的位置。例如,UWB雷达收发器可以以阵列布置,并且可以通过测量阵列的各个UWB雷达收发器之间的反射的无线电信号的到达时间差来计算AoA。
在示例性实施例中,当FOV 112内不存在对象时(例如,为了节能),每个UWB雷达收发器可以以周期性的时间间隔发射短程无线电信号。然而,如果UWB雷达收发器检测到FOV112内存在对象,则对象检测器108可以被配置成确定检测到的对象是否存在于与对象检测器108相距阈值距离内。当对象检测器108确定检测到的对象不存在于与对象检测器108相距阈值距离内时,对象检测器108可以连续地发射无线电信号,直到不再检测到对象或检测到对象存在于与对象检测器108相距阈值距离内。相反,当对象检测器108确定对象存在于与对象检测器108相距阈值距离内时,对象检测器108可以被配置成检测对象相对于对象检测器108的位置。此外,如果对象检测器108确定在与对象检测器108相距阈值距离内存在多个对象,则对象检测器108可以选择最接近的对象来检测位置。
在另一实施例中,例如,当终端用户错误地将对象放置在对象检测器108的阈值距离内时,对象检测器108可以被配置成等待第一阈值持续时间以发起对对象位置的检测,从而防止虚假或不想要的对象跟踪事件。换句话说,当对象在阈值距离内的持续时间超过第一阈值持续时间时,对象检测器108可以发起对所选对象的位置的检测。
在实施例中,对象检测器108的阈值距离可以取决于对象检测器108中所使用的UWB雷达收发器的位置、大小、类型、计数等。在另一实施例中,阈值距离可以是供终端用户选择的可配置参数。例如,终端用户可以将阈值距离配置为对象检测器108中所使用的UWB雷达收发器支持的最大距离值与最小距离值之间的任何距离值。
对象检测器108可以另外被配置成向处理器110提供指示所选对象的检测到的位置的位置信息Pinfo(例如,水平角度和竖直角度)。由于对象检测器108可以连续地跟踪(或检测)所选对象的位置,因此提供到处理器110的位置信息Pinfo可以指示所选对象位置的实时或近实时改变。位置信息Pinfo可以另外指示所选对象与对象检测器108相距的距离。
在实施例中,对象检测器108可以另外被配置成基于所选对象与对象检测器108之间的距离的改变来检测所选对象相对于对象检测器108的向前移动和向后移动。在一个例子中,所选对象可以在向前方向上然后在向后方向上移动,或在向后方向上然后在向前方向上移动。在此类情况下,由于所选对象与对象检测器108之间的距离的改变,对象检测器108可以检测到所选对象已经以来回方式移动。
位置信息Pinfo可以另外指示所选对象与对象检测器108相距的距离的时间序列。时间序列可以包括所选对象与对象检测器108相距的距离值的时间系列。因此,当所选对象在向前方向上然后在向后方向上或在向后方向上然后在向前方向上移动时,位置信息Pinfo指示所选对象的来回运动。
尽管描述了对象检测器108可以包括一个或多个UWB雷达收发器,但本公开的范围不限于此。在其它实施例中,可以使用不同的收发器来实施对象检测器108,而不偏离本公开的范围。此类收发器的例子可以包括但不限于移动目标指示雷达收发器、连续波雷达收发器、调频波雷达收发器、脉冲雷达收发器、多普勒效应雷达收发器等。
处理器110可以通信地耦合到对象检测器108。在实施例中,处理器110和对象检测器108可以包括在单个外壳中,并且处理器110可以通过有线连接耦合到对象检测器108。在另一实施例中,第二设备102可以包括两个单独的外壳,一个用于对象检测器108,另一个用于处理器110。在此类实施例中,处理器110可以通过有线连接或无线连接耦合到对象检测器108。
处理器110可以包括合适的逻辑、电路和/或界面,所述逻辑、电路和/或界面可以被配置成执行用于实施用于第一设备100的非接触式HMI功能的各种操作。处理器110可以被配置成从显示控制器106接收显示信息Dinfo。显示信息Dinfo可以指示显示器104的UI上呈现的选项(例如,GUI元素)。在实施例中,显示信息Dinfo可以另外指示UI上的选项(例如,GUI元素)的空间布置。例如,如果选项以行和列布置,则显示信息Dinfo可以指示每个选项的行号和列号。在另一例子中,显示信息Dinfo可以另外指示显示器104的UI上的每个选项所占据的像素的像素数。换句话说,显示信息Dinfo使得处理器110能够确定每个选项在显示器104的UI上的位置。
处理器110可以另外被配置成基于显示器104上的选项将对象检测器108的FOV112划分为不同的FOV扇区(稍后在图3C和图3F中示出)。为了将FOV 112划分为FOV扇区,处理器110可以被配置成基于显示信息Dinfo所指示的选项将FOV 112的水平角度范围划分为一个或多个水平角度子范围,并且将FOV 112的竖直角度范围划分为一个或多个竖直角度子范围。水平角度子范围可以对应于水平角度范围的子集,并且竖直角度子范围可以对应于竖直角度范围的子集。在实施例中,显示器104上的选项以一行或多行和一列或多列布置,处理器110可以基于选项布置于显示器104上的一列或多列的计数将水平角度范围划分为一个或多个水平角度子范围,并且基于选项布置于显示器104上的一行或多行的计数将竖直角度范围划分为一个或多个竖直角度子范围。
在一个例子中,六个选项(例如,GUI元素)可以以两行和三列布置于显示器104的UI上。在此类情况下,处理器110可以将0°-180°的水平角度范围划分为0°-60°、61°-120°和121°-180度的三个水平角度子范围,并且将0°-90°的竖直角度范围划分为0°-45°和46°-90°的两个竖直角度子范围,从而将FOV 112划分为对应于六个选项的六个FOV扇区。在此类情况下,每个FOV扇区可以包括水平角度子范围和竖直角度子范围的唯一组合。例如,第一FOV扇区可以包括0°-60°的水平角度子范围和0°-45°的竖直角度子范围,并且第二FOV扇区可以包括0°-60°的水平角度子范围和46°-90°的竖直角度子范围。
处理器110可以另外被配置成将每个选项(例如,GUI元素)唯一地映射到FOV扇区中的一个FOV扇区。在实施例中,处理器110可以根据选项在显示器104上的位置布置和FOV扇区的空间位置将选项映射到FOV扇区。例如,可以将左上选项映射到左上FOV扇区,并且可以将右上选项映射到右FOV扇区。在映射后,显示器104上的每个选项与所映射的FOV扇区的水平角度子范围和竖直角度子范围唯一地相关联。在实施例中,处理器110可以被配置成将与选项(例如,GUI元素)和FOV扇区的映射有关的信息存储在存储器111中。
处理器110可以另外被配置成控制指针(稍后在图3B-图3F中示出)在显示器104上的移动以指向选项,针对所述选项,所映射的FOV扇区包括所选对象的检测到的位置。处理器110可以另外控制指针在显示器104上的移动,以基于所选对象在水平平面或竖直平面中的位置的改变将指针从一个选项移位到另一选项。例如,处理器110可以控制指针的移动以指向与所选对象的第一位置相对应的第一选项。然而,对象可以从第一位置移动到第二位置,以将指针指向另一选项。在此类情况下,从对象检测器108接收到的位置信息Pinfo可以指示所选对象的位置的改变。基于位置信息Pinfo所指示的改变的位置,处理器110可以另外控制指针的移动以指向第二选项,针对所述第二选项,所映射的FOV扇区包括第二位置。
处理器110可以另外被配置成基于在指针指向显示器104上的选项之后在所定义持续时间内检测到所选对象的向前移动和向后移动,执行针对指针在显示器104上指向的选项的选择动作。所定义持续时间的例子可以包括3秒、5秒等。当位置信息Pinfo指示在指针指向显示器104上所呈现的选项中的一个之后所选对象已经来回移动,并且来回移动在所定义持续时间内执行时,处理器110可以执行选择动作以选择指针在显示器104上指向的选项。选择动作可以产生与所选选项相关联的操作。处理器110可以参考位置信息Pinfo中的时间序列以确定所选对象的来回移动是否在所定义持续时间内执行。在处理器110检测到对象的来回移动没有在所定义持续时间内执行的情况下(例如,在向前方向和向后方向上移动对象所花费的时间超过所定义持续时间的情况下),处理器110不执行选择动作。在实施例中,所定义持续时间可以是可配置参数。例如,在实施例中,终端用户可以在第二设备102的设置期间定义所定义持续时间。
处理器110可以另外被配置成生成控制信号CS并将控制信号CS传送到显示控制器106,以指示对显示器104的控制操作。生成控制信号CS以控制指针在显示器104上的移动并控制执行选择动作。驱动信号Dsig由显示控制器106基于可以产生对显示器104的控制操作的控制信号CS生成。因此,通过将第二设备102与第一设备100一起使用,终端用户可以以非接触式方式提供用户输入,而不依赖于第一设备100的默认机制。
在实施例中,显示器104的UI上呈现的选项的任何改变可以使得显示控制器106向处理器110提供更新的显示信息Dinfo,进而可以使得处理器110将FOV 112划分为与改变的选项相对应的新的FOV扇区,并将新的FOV扇区映射到改变的选项。另外,处理器110可以更新存储在存储器111中的映射信息,以反映映射中的改变。
在实施例中,处理器110生成的控制信号CS的格式可以取决于第一设备100的配置要求。换句话说,处理器110可以以第一设备100支持的格式生成控制信号CS。在实施例中,当在第一设备100与第二设备102之间建立连接时,可以在它们之间共享兼容性信息。处理器110能够基于第一设备100的检测到的类型来改变控制信号CS的格式。在另一实施例中,可以通过程序更新(例如,软件更新、固件更新等)重新配置显示控制器106,以解释由处理器110传送的控制信号CS。
存储器111可以包括合适的逻辑、电路和界面,所述逻辑、电路和界面可以被配置成存储与选项(例如,GUI元素)和FOV扇区的映射有关的信息。处理器110可以基于显示器104上显示的选项的任何改变来更新信息。存储器111的例子可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可移动存储驱动器、硬盘驱动器(HDD)、闪存、固态存储器等。本领域的技术人员将显而易见的是,本公开的范围不限于将存储器111实现为独立组件,如本文所描述。在另一实施例中,在不偏离本公开的范围的情况下,存储器111可以是处理器110的内置存储器。
图2示出根据本公开另一实施例的利用非接触式HMI启用的第三设备200的示意性框图。第三设备200可以包括显示器104、显示控制器106、对象检测器108、处理器110和存储器111。显示器104、显示控制器106、对象检测器108、处理器110和存储器111的操作与图1的前述描述中所描述的相同。如图2所示,代替使用即插即用设备102来启用非接触式HMI功能,第三设备200具有非接触式HMI功能作为内置在其中的输入机制。
图3A-图3F是示出根据本公开实施例的使用非接触式HMI操纵显示器104的示例性情况300A-300F的图。为了进行描述,结合第一设备100和第二设备102来描述示例性情况300A-300F。然而,在不偏离本公开的范围的情况下,还可以使用第三设备200来执行示例性情况300A-300F。
在关于图3A的示例性情况300A中,第二设备102被示为已经通信地耦合到第一设备100,用于启用第一设备100的非接触式HMI功能。第一设备100被示为已经通电,其中显示器104显示UI(下文称为并且表示为“UI 302”)。UI 302被示为显示(例如,呈现)以三行和三列布置的九个选项‘A’、‘B’、‘C’、‘D’、‘E’、‘F’、‘G’、‘H’和‘I’。这九个选项是可选GUI元素。尽管在示例性情况300A中,第二设备102被示为放置在显示器104下方,但是本公开的范围不限于此。
第一设备100中的显示控制器106可以将指示显示器104的UI 302上呈现的九个选项(例如,‘A’、‘B’、‘C’、‘D’、‘E’、‘F’、‘G’、‘H’和‘I’)的显示信息Dinfo传送到处理器110。显示信息Dinfo可以另外指示九个选项以三行和三列布置,同时指示九个选项中的每一个的行号和列号。在实施例中,显示信息Dinfo可以另外指示显示器104的UI 302上的九个选项中的每一个所占据的像素的像素数。基于显示信息Dinfo中指示的选项,处理器110可以将对象检测器108的FOV 112划分为不同的FOV扇区(例如,如图3C所示的九个FOV扇区)。将FOV 112划分为九个FOV扇区可以包括将FOV 112的水平角度范围划分为三个水平角度子范围并且将FOV 112的竖直角度范围划分为三个竖直角度子范围。然后,处理器110可以将这九个选项唯一地映射到FOV扇区。在实施例中,可以跨越FOV扇区均匀地划分水平角度范围和竖直角度范围。在另一实施例中,可以根据显示器104上的每个选项所占据的像素数跨越FOV扇区划分水平角度范围和竖直角度范围。
关于图3C,FOV 112被示为已被均匀地划分为九个FOV扇区,例如,FOV扇区‘S1’、‘S2’、‘S3’、‘S4’、‘S5’、‘S6’、‘S7’、‘S8’和‘S9’。另外,FOV扇区‘S1’、‘S2’、‘S3’、‘S4’、‘S5’、‘S6’、‘S7’、‘S8’和‘S9’由处理器110分别映射到选项‘A’、‘B’、‘C’、‘D’、‘E’、‘F’、‘G’、‘H’和‘I’。然后,映射信息由处理器110存储在第二设备102的存储器111中。
返回参考图3A,在时间实例T1,终端用户(下文称为并且表示为“终端用户303”)尝试通过使用他们的手作为用于控制HMI的对象304来提供用户输入。在示例性实施例中,对象304可以对应于图1和图2的第一对象114a。如示例性情况300A中所示,终端用户303的手存在于与第二设备102相距距离D1处,第二设备102在FOV 112之外。因此,对象检测器108不能将终端用户303的手检测为用于控制显示器104的目标对象。在下文中,在不偏离本公开的范围的情况下,术语“终端用户303的手”和“对象304”可互换地使用。
尽管在示例性情况300A中,终端用户303的手被用作用于控制显示器104的对象,但是本公开的范围不限于此。在不偏离本公开的范围的情况下,终端用户303可以使用任何对象来控制显示器104,而不管对象的形状、大小、型号、颜色等。例如,终端用户303可以使用笔、书、球等作为用于控制显示器104的对象。换句话说,第二设备102与对象的类型无关,由此提高了使用的简易性,特别是对于不同能力的人而言。
在关于图3B的示例性情况300B中,终端用户303被示为已经移动得更靠近第二设备102,使得现在终端用户303的手在FOV 112内并且与第二设备102相距距离D2处。在此类情况下,由对象检测器108发射的无线电信号被对象304和例如终端用户303的手臂等一个或多个其它对象反射。对象检测器108可以接收反射的无线电信号,并且可以确定每个对象与对象检测器108相距的距离。例如,对象检测器108可以确定对象304(例如,终端用户303的手)和终端用户303的手臂与对象检测器108相距的距离。基于所确定的距离,对象检测器108可以另外确定在与对象检测器108相距阈值距离内是否存在任何对象。
在非限制性例子中,假设终端用户303的手和手臂被确定为存在于与对象检测器108相距阈值距离内。在阈值距离内存在多个对象的情况下,对象检测器108可以选择检测到的对象之中最接近的对象作为目标对象。在示例性情况300B中,对象检测器108可以选择终端用户303的手(例如,对象304)作为用于进一步跟踪的目标对象。
对象检测器108可以另外确定对象304在阈值距离内是否已达至少第一阈值持续时间(例如,2秒、3秒等)。然后,对象检测器108可以基于对象304在与对象检测器108相距阈值距离内超过第一阈值持续时间来发起对对象304的位置的检测。在时间实例T2,可以在相对于对象检测器108具有水平角度‘H1’和竖直角度‘V1’的位置‘P1’处检测到对象304。然后,对象检测器108可以向处理器110提供对象304的位置信息Pinfo。位置信息Pinfo可以指示对象304的距离值和与每个距离值相对应的位置值的时间系列。
然后,处理器110可以识别FOV扇区‘S1’、‘S2’、‘S3’、‘S4’、‘S5’、‘S6’、‘S7’、‘S8’和‘S9’中的哪一个与包括位置‘P1’的水平角度‘H1’和竖直角度‘V1’的水平角度子范围和竖直角度子范围相对应。在识别出包括位置‘P1’的FOV扇区后,处理器110可以生成控制信号CS以指示针对显示器104的控制操作。可以生成控制信号CS,以控制指针(下文称为并且表示为“指针306”)在显示器104上的移动以指向选项‘A’、‘B’、‘C’、‘D’、‘E’、‘F’、‘G’、‘H’和‘I’之中的一个选项,针对所述选项,所映射的FOV扇区包括位置‘P1’。然后,处理器110可以将控制信号CS提供到第一设备100中的显示控制器106,并且显示控制器106可以生成驱动信号DSig并将驱动信号DSig提供到显示器104,以导航指针306指向选项,针对所述选项,所映射的FOV扇区包括位置‘P1’。
现在参考图3C,示例性情况300C示出位置‘P1’包括在FOV扇区‘S4’中。因此,在所选对象304位于位置‘P1’的时间实例T2,处理器110识别FOV扇区‘S4’。然后,处理器110生成控制信号CS,以控制指针306指向映射到包括位置‘P1’的FOV扇区‘S4’的选项‘D’。响应于控制信号CS,控制显示器104并且指针306被示为指向选项‘D’。
返回参考图3B,在时间实例T2,指针306可以仅指向选项‘D’,而不选择选项‘D’进行进一步操作。通常,在导航指针306以指向期望选项之后,要求终端用户303提交选择输入。图3D示出示例性情况300D,其中终端用户303以非接触式方式提供针对选项‘D’的选择输入。图3E和图3F示出示例性情况300E和300F,其中终端用户303不是提供针对选项‘D’的选择输入,而是提供用于导航指针306以指向另一选项的输入。
现在参考图3D,示例性情况300D示出对象304的来回移动。在时间实例T3,终端用户303可以相对于第二设备102在向后方向上移动对象304(例如,终端用户303的手),然后在时间实例T4,终端用户303可以相对于第三设备102在向前方向上移动对象304。为简洁起见,假设在时间实例T3和T4,对象304相对于对象检测器108保持相同的水平角度‘H1’和竖直角度‘V1’,并且仅来回移动对象304。
对象检测器108可以基于对象304与对象检测器108之间的距离的改变来检测对象304相对于对象检测器108的向后移动和向前移动。向前移动和向后移动是在指针306在时间实例T2指向选项‘D’之后检测到的。在检测到对象304的向前移动和向后移动后,对象检测器108可以向处理器110传送指示对象304与对象检测器108的距离值的时间系列的新的位置信息Pinfo。
处理器110可以基于新的位置信息Pinfo来识别对象304的来回移动。处理器110可以另外确定在指针306指向选项‘D’之后,对象304的来回移动是否在所定义持续时间内完成。例如,处理器110可以确定时间实例T2与T4之间经过的时间,以确定完成对象304的来回移动所花费的时间。在一种情况下,当在对象304的来回移动期间经过的时间超过所定义持续时间时,处理器110可以丢弃由对象304的往返移动所指示的用户输入。然而,当处理器110确定在对象304的来回移动期间经过的时间少于或等于所定义持续时间时,处理器110可以生成另一控制信号CS并提供给显示控制器106以执行选项‘D’的选择动作。显示控制器106在接收到控制信号CS后可以生成驱动信号DSig,所述驱动信号DSig使得选择选项‘D’。图3D中的阴影指针306指示选择了选项‘D’。尽管未示出,但在不偏离本公开的范围的情况下,选项‘D’的选择可使得链接到选项‘D’的操作被执行。
尽管终端用户303被示为首先在向后方向上然后在向前方向上移动对象304以执行选择动作,但本公开的范围不限于此。在另一实施例中,在不偏离本公开的范围的情况下,终端用户303可以在向前方向上然后在向后方向上移动对象304以执行选择动作。
在实施例中,响应于对选项‘D’执行的选择动作,可以在UI 302上另外打开子页面。在此类情况下,显示控制器106可以向处理器110传送指示UI 302中的改变的新的显示信息Dinfo。处理器110可以根据新的显示信息Dinfo将FOV 112划分为新的FOV扇区,并且将新呈现的选项唯一地映射到新的FOV扇区以用于进一步控制显示器104。
现在参考图3E,在示例性情况300E中,终端用户303被示为已经将他们的手(例如,对象304)从位置‘P1’移动到新的位置‘P2’,使得水平角度‘H1’改为水平角度‘H2’,并且竖直角度‘V1’改为‘V2’。换句话说,在T2与T3之间的时间间隔期间,对象304的位置从‘P1’改为‘P2’。
对象检测器108可以检测对象304的位置的改变,并且可以向处理器110传送指示对象304的距离值和对应位置值的时间系列的新的位置信息Pinfo。然后,处理器110可以识别FOV扇区‘S1’、‘S2’、‘S3’、‘S4’、‘S5’、‘S6’、‘S7’、‘S8’和‘S9’中的哪一个与分别包括新的位置‘P2’的水平角度‘H2’和竖直角度‘V2’的水平角度子范围和竖直角度子范围相对应。在识别出包括位置‘P2’的FOV扇区后,处理器110可以生成另一控制信号CS以控制指针306的移动,以指向选项‘A’、‘B’、‘C’、‘D’、‘E’、‘F’、‘G’、‘H’和‘I’之中的另一选项,针对所述另一选项,所映射的FOV扇区包括位置‘P2’。然后,处理器110可以将控制信号CS提供到显示控制器106,并且显示控制器106可以生成驱动信号DSig并将驱动信号DSig提供到显示器104,以将指针306从选项‘D’导航到指向另一选项(例如,选项‘A’),针对所述另一选项,所映射的FOV扇区包括位置‘P2’。
现在参考图3F,示例性情况300F示出对象304的位置‘P1’改为位置‘P2’。位置‘P2’包括在FOV扇区‘S1’中。因此,在时间实例T3,在所选对象304位于位置‘P2’时,处理器110识别FOV扇区‘S1’。另外,处理器110生成控制信号CS以控制指针306在显示器104上的移动,并将指针306从选项‘D’移位到被映射到包括位置‘P2’的FOV扇区‘S1’的选项‘A’。换句话说,响应于对象304在水平平面和/或竖直平面中的位置的改变,处理器110控制指针306的移动,以将指针306从旧选项移位到对应于新位置‘P2’的新选项。响应于控制信号CS,在时间实例T3,控制显示器104并且指针306被示为指向选项‘A’。
在实施例中,对象检测器108可以在检测到对象304的位置改变时向处理器110提供关于对象304的后续位置信息Pinfo。例如,在初始位置检测之后,对象304可以在相当长的持续时间内保持静止。在此类情况下,对象检测器108可以在初始位置检测时提供位置信息Pinfo;然而,由于对象304的位置在相当长的持续时间内不改变,因此对象检测器108可以防止提供相同的位置信息Pinfo。对象检测器108可以等待直到检测到对象304的位置的任何改变。此类实施方案可以考虑终端用户303控制显示器104的打算。对象304的位置在相当长的持续时间内没有改变可能指示终端用户303没有控制显示器104的打算。
尽管第二设备102被示为包括单个对象检测器108,但本公开的范围不限于此。在另一实施例中,第二设备102可以包括多个对象检测器。此类对象检测器可以相对于显示器104以不同定向放置,以便于增强对象检测和显示控制。在示例性情况下,显示器104可以具有布置于其上的多个选项,例如,以18行和18列布置的324个选项。在此类情况下,映射到每个选项的FOV扇区可能非常小,使得所选对象的位置的微小变化都会使指针306指向另一选项。为了避免此类情况并提高非接触式HMI的用户体验,可以使用多个对象检测器,其中每个对象检测器被映射到选项的子集,而不是被映射到所有呈现的选项。在此类情况下,显示器上的UI可以被划分为不同的区段,每个区段由对象检测器中的一个控制。
在另一实施例中,对象检测器108可以包括多个雷达收发器,所述多个雷达收发器可以基于UI 302的复杂性(例如,UI 302上的多个选项)和显示器104的显示器大小而选择性地启用或禁用。例如,待启用的雷达收发器的计数可以随着显示器大小的增加或显示器104上呈现的选项数量的增加而增加。
图4是示出根据本公开示例性实施例的显示器104上的选项的示例性布置的图400。在图4中,UI 402被示为呈现在显示器104上。UI 402具有各种选项,例如,向左滚动选项404a、向右滚动选项404b、向上滚动选项404c、向下滚动选项404d和其它GUI元素。处理器110可以被配置成当终端用户303选择向左滚动选项404a时在显示器104的UI 402上执行向左滚动动作,并且当终端用户303选择向右滚动选项404b时在UI 402上进行向右滚动动作。类似地,处理器110可以被配置成当终端用户303选择向上滚动选项404c时在UI 402上执行向上滚动动作,并且当终端用户303选择向下滚动选项404d时在UI 402上执行向下滚动动作。尽管UI 402被示为明确地显示向左滚动选项404a、向右滚动选项404b、向上滚动选项404c和向下滚动选项404d作为GUI元素,但是本公开的范围不限于此。在另一实施例中,UI402可以具有为向上滚动选项、向下滚动选项、向左滚动选项和向右滚动选项划界的区域,而不明确地显示向左滚动选项404a、向右滚动选项404b、向上滚动选项404c和向下滚动选项404d。
UI 402上呈现的选项可能不符合成行和列的布置。在此类情况下,处理器110可以根据UI 402上的每个选项所占据的像素的数量和像素的位置,将FOV 112划分为FOV扇区。
图5A和图5B共同表示根据本公开实施例的流程图500,示出了启用用于显示器104的非接触式HMI的方法。
参考图5A,在步骤502,基于显示器104上的一个或多个选项(例如,‘A’、‘B’、‘C’、‘D’、‘E’、‘F’、‘G’、‘H’和‘I’),将对象检测器108的FOV 112划分为一个或多个FOV扇区(例如,扇区图3C和3F中所示的扇区‘S1’、‘S2’、‘S3’、‘S4’、‘S5’、‘S6’、‘S7’、‘S8’和‘S9’)。基于显示器104上的选项,通过将FOV 112的水平角度范围划分为一个或多个水平角度子范围并且将FOV 112的竖直角度范围划分为一个或多个竖直角度子范围,将FOV 112划分为FOV扇区。处理器110可以将FOV 112划分为FOV扇区,使得每个FOV扇区包括水平角度子范围和竖直角度子范围的唯一组合。在实施例中,处理器110可以基于在显示器104上布置选项的列的计数,将水平角度范围划分为一个或多个水平角度子范围。另外,处理器110可以基于在显示器104上布置选项的行的计数,将竖直角度范围划分为一个或多个竖直角度子范围,如图1和图3A-图3F的前述描述中所描述的。
在步骤504,将一个或多个选项中的每一个唯一地映射到一个或多个FOV扇区中的一个FOV扇区。处理器110可以将显示器104上的一个或多个选项中的每一个唯一地映射到一个或多个FOV扇区中的一个FOV扇区。换句话说,基于FOV扇区与选项之间的映射,将每个选项唯一地映射到一个或多个水平角度子范围中的水平角度子范围和一个或多个竖直角度子范围中的竖直角度子范围。
在步骤506,检测来自对象304的干扰。当对象304存在于对象检测器108的FOV 112内时,对象检测器108可以检测来自对象304的干扰。在步骤508,对象检测器108可以确定对象304在对象检测器108的阈值距离内是否已达第一阈值持续时间。如果在步骤508,对象检测器108确定对象304在阈值距离内尚未达第一阈值持续时间,则对象检测器108可以等待直到对象304满足阈值距离和第一阈值持续时间条件两者。如果在步骤508,对象检测器108确定对象304在对象检测器108的阈值距离内已达第一阈值持续时间,则执行步骤510。
在步骤510,检测对象304的位置。对象检测器108可以检测对象304相对于对象检测器108的位置。所述位置由水平角度和竖直角度表示。对象检测器108可以向处理器110提供指示对象304的检测到的位置的位置信息Pinfo。在步骤512,控制指针306在显示器104上的移动以指向一个或多个选项中的一个,针对所述一个选项,所映射的FOV扇区包括检测到的位置。处理器110可以控制指针306在显示器104上的移动以指向选项,针对所述选项,所映射的水平角度子范围和所映射的竖直角度子范围分别包括对象304的水平角度和竖直角度。
在步骤514,对象检测器108可以确定在所定义持续时间内是否检测到对象304的向前移动和向后移动。如果在步骤514,对象检测器108确定在所定义持续时间内检测到对象304的向前移动和向后移动,则执行步骤516。在步骤516,基于在所定义持续时间内检测到向前移动和向后移动来执行针对指针306指向的选项的选择动作。处理器110可以向显示控制器106传送控制信号CS,以执行针对指针306在显示器104上指向的选项的选择动作。如果在步骤514,处理器110确定在所定义持续时间内没有检测到对象304的向前移动和向后移动,则执行步骤518(如图5B所示)。
现在参考图5B,在步骤518,对象检测器108可以确定对象304的位置是否已经改变。如果在步骤518,对象检测器108确定对象304的位置已经改变,则执行步骤510。然而,如果在步骤518,对象检测器108确定对象304的位置尚未改变,则执行步骤520。在步骤520,对象检测器108可以确定对象304是否已经保持静止达第二阈值持续时间(例如,30秒、45秒、1分钟、2分钟等)。如果在步骤520,对象检测器108确定对象304尚未保持静止达第二阈值持续时间,则执行步骤510,其中检测对象304的新位置。然而,如果在步骤520,对象检测器108确定对象304已经保持静止达第二阈值持续时间,则执行步骤506,其中对象检测器108等待检测来自新对象的干扰。此类控制使得对象检测器108能够推导终端用户303的打算。例如,如果所选对象304保持静止达第二阈值持续时间,则对象检测器108可以推导出终端用户303不打算使用对象304来控制显示器104,并且仅仅将对象304放置在对象检测器108的FOV112内。
当显示器104上的UI 302被更新或改变以呈现与前一个UI不同的选项时,可以再次实施流程图500。例如,当对选项执行选择动作时,可以更新UI 302以呈现具有更多选项可供选择的弹出窗口。在此类情况下,可以针对更新后的UI再次实施流程图500。换句话说,显示控制器106在显示器104的UI 302发生任何改变时将显示信息Dinfo传送到处理器110,并且再次实施流程图500。
因此,所述设备(例如,第二设备102或第三设备200)启用用于控制显示器(例如,显示器104)的非接触式HMI功能。在实施例中,所述设备可以被实施为即插即用解决方案,所述解决方案可以通过最少的软件更新将基于接触的HMI转换为非接触式HMI。在另一实施例中,所述设备可以被实施为装置中的内置机制以提供非接触式HMI功能。所述设备不需要任何成像装置来跟踪对象的移动,并且消除了任何复杂的姿势辨识算法来识别用户的打算,这进一步简化了所述设备的工作,并为姿势辨识系统提供了有效的替代方案。所述设备中的对象检测器108不限于识别便于非接触式HMI功能的任何特定类型的对象,这使得所述设备更加用户友好且易于使用。对象检测器108使用雷达机制来进行对象识别和位置跟踪,从而允许所述设备即使在弱光条件下也能精确且准确地跟踪对象。对象检测器108有助于非接触式HMI,而与控制界面、显示器的类型、纵横比或显示器的大小无关。此外,所述设备克服了基于接触的HMI装置的挑战(例如,传播接触感染)。
虽然已经示出并描述了本公开的各种实施例,但应清楚,本公开不限于这些实施例。在不脱离权利要求书中所描述的本公开的精神和范围的情况下,本领域的技术人员将显而易见许多修改、改变、变化、替代和等效物。另外,除非另外说明,否则例如“第一”和“第二”的术语用于任意地区分此类术语所描述的元件。因此,这些术语未必旨在指示这些元件的时间或其它优先级排序。
Claims (10)
1.一种设备,其特征在于,包括:
对象检测器,所述对象检测器被配置成检测对象相对于所述对象检测器的位置;以及
处理器,所述处理器耦合到所述对象检测器并且被配置成:
基于显示器上的一个或多个选项将所述对象检测器的视场(FOV)划分为一个或多个FOV扇区;
将所述一个或多个选项中的每一个唯一地映射到所述一个或多个FOV扇区中的FOV扇区;以及
控制指针在所述显示器上的移动以指向所述一个或多个选项中的第一选项,针对所述第一选项,所映射的FOV扇区包括所述对象的检测到的位置。
2.根据权利要求1所述的设备,其特征在于,所述检测到的位置对应于所述对象相对于所述对象检测器的水平角度和竖直角度。
3.根据权利要求2所述的设备,其特征在于,所述FOV包括所述对象检测器的水平角度范围和竖直角度范围,其中为了将所述FOV划分为所述一个或多个FOV扇区,所述处理器另外被配置成基于所述一个或多个选项将所述水平角度范围划分为一个或多个水平角度子范围并将所述竖直角度范围划分为一个或多个竖直角度子范围,并且其中所述一个或多个FOV扇区中的每个FOV扇区包括所述一个或多个水平角度子范围中的水平角度子范围和所述一个或多个竖直角度子范围中的竖直角度子范围的唯一组合。
4.根据权利要求3所述的设备,其特征在于,所述一个或多个选项以一行或多行和一列或多列布置于所述显示器上。
5.根据权利要求4所述的设备,其特征在于,所述处理器(i)基于所述一个或多个选项布置于所述显示器上的所述一列或多列的计数将所述水平角度范围划分为所述一个或多个水平角度子范围,以及(ii)基于所述一个或多个选项布置于所述显示器上的所述一行或多行的计数将所述竖直角度范围划分为所述一个或多个竖直角度子范围。
6.根据权利要求1所述的设备,其特征在于,所述处理器另外被配置成基于所述对象在由水平平面和竖直平面组成的群组中的至少一个中的位置的改变来控制所述指针在所述显示器上的所述移动,以将所述指针从所述一个或多个选项中的所述第一选项移位到第二选项。
7.根据权利要求1所述的设备,其特征在于,所述一个或多个选项包括由向左滚动选项、向右滚动选项、向上滚动选项和向下滚动选项组成的群组中的至少一个,并且其中所述处理器另外被配置成执行由以下组成的群组中的一个:(i)当所述第一选项对应于所述向左滚动选项时在所述显示器上的向左滚动动作,(ii)当所述第一选项对应于所述向右滚动选项时在所述显示器上的向右滚动动作,(iii)当所述第一选项对应于所述向上滚动选项时在所述显示器上的向上滚动动作,以及(iv)当所述第一选项对应于所述向下滚动选项时在所述显示器上的向下滚动动作。
8.一种方法,其特征在于,包括:
通过设备的对象检测器检测对象相对于所述对象检测器的位置;
通过所述设备的处理器基于显示器上的一个或多个选项将所述对象检测器的视场(FOV)划分为一个或多个FOV扇区;
通过所述处理器将所述一个或多个选项中的每一个唯一地映射到所述一个或多个FOV扇区中的FOV扇区;以及
通过所述处理器控制指针在所述显示器上的移动以指向所述一个或多个选项中的第一选项,针对所述第一选项,所映射的FOV扇区包括所述对象的检测到的位置。
9.根据权利要求8所述的方法,其特征在于,另外包括:
通过所述对象检测器基于所述对象与所述对象检测器之间的距离的改变而检测所述对象相对于所述对象检测器的向前移动和向后移动,其中在所述指针指向所述第一选项之后检测所述向前移动和所述向后移动;以及
通过所述处理器基于在所定义持续时间内对所述向前移动和所述向后移动的所述检测来执行针对所述第一选项的选择动作。
10.一种设备,其特征在于,包括:
显示器,所述显示器被配置成显示一个或多个选项;
对象检测器,所述对象检测器被配置成检测对象相对于所述对象检测器的位置;以及
处理器,所述处理器耦合到所述对象检测器和所述显示器,并且被配置成:
基于所述显示器上的所述一个或多个选项将所述对象检测器的视场(FOV)划分为一个或多个FOV扇区;
将所述一个或多个选项中的每一个唯一地映射到所述一个或多个FOV扇区中的FOV扇区;以及
控制指针在所述显示器上的移动以指向所述一个或多个选项中的第一选项,针对所述第一选项,所映射的FOV扇区包括所述对象的检测到的位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN202221072350 | 2022-12-14 | ||
| IN202221072350 | 2022-12-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118192836A true CN118192836A (zh) | 2024-06-14 |
Family
ID=91407368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311716645.0A Pending CN118192836A (zh) | 2022-12-14 | 2023-12-14 | 用于显示器的非接触式人机界面 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240201845A1 (zh) |
| CN (1) | CN118192836A (zh) |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501515B1 (en) * | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
| US8866745B1 (en) * | 2002-03-11 | 2014-10-21 | Brad Schrick | System and method for providing a touch input interface for information computing and control devices |
| US8139029B2 (en) * | 2006-03-08 | 2012-03-20 | Navisense | Method and device for three-dimensional sensing |
| US8334841B2 (en) * | 2006-03-13 | 2012-12-18 | Navisense | Virtual user interface method and system thereof |
| US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
| WO2010042880A2 (en) * | 2008-10-10 | 2010-04-15 | Neoflect, Inc. | Mobile computing device with a virtual keyboard |
| US20120139907A1 (en) * | 2010-12-06 | 2012-06-07 | Samsung Electronics Co., Ltd. | 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system |
| EP2703971A4 (en) * | 2011-04-27 | 2014-11-12 | Nec Solution Innovators Ltd | INPUT DEVICE, INPUT METHOD AND RECORDING MEDIUM |
| EP2624116B1 (en) * | 2012-02-03 | 2017-09-06 | EchoStar Technologies L.L.C. | Display zoom controlled by proximity detection |
| US20140240215A1 (en) * | 2013-02-26 | 2014-08-28 | Corel Corporation | System and method for controlling a user interface utility using a vision system |
| US9916009B2 (en) * | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| JP2016004541A (ja) * | 2014-06-19 | 2016-01-12 | 本田技研工業株式会社 | 車両用操作入力装置 |
| WO2020141493A1 (en) * | 2019-01-04 | 2020-07-09 | Visteon Global Technologies, Inc. | Ehorizon upgrader module, moving objects as ehorizon extension, sensor detected map data as ehorizon extension, and occupancy grid as ehorizon extension |
| US11567580B2 (en) * | 2020-01-29 | 2023-01-31 | Samsung Electronics Co., Ltd. | Adaptive thresholding and noise reduction for radar data |
| EP4402559A4 (en) * | 2021-09-15 | 2025-08-20 | Neural Lab Inc | CONTACTLESS IMAGE-BASED INPUT INTERFACE |
| US12019847B2 (en) * | 2021-10-11 | 2024-06-25 | James Christopher Malin | Contactless interactive interface |
| US20240061496A1 (en) * | 2022-08-19 | 2024-02-22 | Mobeus Industries, Inc. | Implementing contactless interactions with displayed digital content |
| US20240061546A1 (en) * | 2022-08-19 | 2024-02-22 | Mobeus Industries, Inc. | Implementing contactless interactions with displayed digital content |
| EP4372405B1 (en) * | 2022-11-15 | 2025-09-17 | Infineon Technologies AG | Apparatus and computer-implemented method for gesture detection, radar system and electronic device |
-
2023
- 2023-05-25 US US18/323,712 patent/US20240201845A1/en not_active Abandoned
- 2023-12-14 CN CN202311716645.0A patent/CN118192836A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240201845A1 (en) | 2024-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210326642A1 (en) | User-Customizable Machine-Learning in Radar-Based Gesture Detection | |
| JP6585205B2 (ja) | 見通し外レーダ型ジェスチャ認識 | |
| US8693724B2 (en) | Method and system implementing user-centric gesture control | |
| US10042508B2 (en) | Operation control device and operation control method | |
| US8436809B2 (en) | Apparatus, method and medium converting motion signals | |
| RU2421776C2 (ru) | Способ управления позицией контрольной точки в командной области и способ управления устройством | |
| EP2908215B1 (en) | Method and apparatus for gesture detection and display control | |
| US20130194208A1 (en) | Information terminal device, method of controlling information terminal device, and program | |
| US20130286033A1 (en) | Method and apparatus for drawing tool selection | |
| US10140002B2 (en) | Information processing apparatus, information processing method, and program | |
| CN107688298B (zh) | 远程控制设备及其控制方法 | |
| CA2803889A1 (en) | Activation objects for interactive systems | |
| EP3010001A1 (en) | Remote controller apparatus and control method thereof | |
| KR20170043911A (ko) | 전자 장치 및 그 제어 방법 | |
| US9817572B2 (en) | Overlapped transparent display and control method thereof | |
| US11360642B2 (en) | Method and apparatus for setting parameter | |
| WO2012057177A1 (ja) | リモコンおよびリモコン用プログラム | |
| WO2018145264A1 (zh) | 超声医学检测设备及成像控制方法、成像系统、控制器 | |
| US20180275854A1 (en) | Information processing apparatus, information processing method, and program | |
| CN118192836A (zh) | 用于显示器的非接触式人机界面 | |
| US11570017B2 (en) | Batch information processing apparatus, batch information processing method, and program | |
| CA2813479C (en) | Method and apparatus for drawing tool selection | |
| KR101104732B1 (ko) | 정보제어장치를 이용한 데이터 전송시스템 및 방법, 그 단말기 및 정보제어장치 | |
| US20020005910A1 (en) | Novel cursor control system | |
| HK1197106A1 (zh) | 信息科技裝置輸入系統及相關方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |