[go: up one dir, main page]

CN110377145B - 电子设备确定方法、系统、计算机系统和可读存储介质 - Google Patents

电子设备确定方法、系统、计算机系统和可读存储介质 Download PDF

Info

Publication number
CN110377145B
CN110377145B CN201810331949.8A CN201810331949A CN110377145B CN 110377145 B CN110377145 B CN 110377145B CN 201810331949 A CN201810331949 A CN 201810331949A CN 110377145 B CN110377145 B CN 110377145B
Authority
CN
China
Prior art keywords
electronic device
determining
similarity
preset
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810331949.8A
Other languages
English (en)
Other versions
CN110377145A (zh
Inventor
王雅卓
关煜
徐忠飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810331949.8A priority Critical patent/CN110377145B/zh
Priority to EP19785227.0A priority patent/EP3779645B1/en
Priority to US17/042,018 priority patent/US11481036B2/en
Priority to JP2020551794A priority patent/JP7280888B2/ja
Priority to PCT/CN2019/082567 priority patent/WO2019196947A1/zh
Publication of CN110377145A publication Critical patent/CN110377145A/zh
Application granted granted Critical
Publication of CN110377145B publication Critical patent/CN110377145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种电子设备确定方法,包括:通过第一电子设备识别操作体所做的第一动作,获取识别结果;以及根据识别结果,确定可通过第一电子设备进行控制的第二电子设备。本公开还提供了一种电子设备确定系统、一种计算机系统和一种计算机可读存储介质。

Description

电子设备确定方法、系统、计算机系统和可读存储介质
技术领域
本公开涉及互联网技术领域,更具体地,涉及一种电子设备确定方法、系统、计算机系统和计算机可读存储介质。
背景技术
目前,在进行智能控制前,一般需要先确定哪些设备是被控制对象。
相关技术中的确定被控制设备的方式大多是使用者通过接触式方式(如触摸操作)向控制终端发出相应的确认信息,然后再由控制终端根据该确认信息确定出被控制设备。
而随着智能家居的发展,接触式方式已无法提供更好的用户体验。为了克服上述缺陷,另一些相关技术还提供了通过非接触式方式(如语音操作)实现遥控确定被控制设备的技术方案。
然而,在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:现有的语音确认方式不仅存在语义理解不准确的缺陷,而且对距离和环境噪音要求较高,导致使用场景受限。
发明内容
有鉴于此,本公开提供了一种通过第一电子设备根据识别操作体所做的第一动作的识别结果,确定可以通过第一电子设备进行控制的第二电子设备,以解决现有的语音操控方式不仅存在语义理解不准确的缺陷,而且对距离和环境噪音要求较高,导致使用场景受限的缺陷的电子设备确定方法和系统。
本公开的一个方面提供了一种电子设备确定方法,上述电子设备确定方法包括:通过第一电子设备识别操作体所做的第一动作,获取识别结果;以及根据上述识别结果,确定可通过上述第一电子设备进行控制的第二电子设备。
根据本公开的实施例,确定可通过上述第一电子设备进行控制的第二电子设备包括:确定可通过上述第一电子设备进行控制的至少一个候选电子设备;确定坐标原点;确定上述至少一个候选电子设备中各候选电子设备对应的以上述坐标原点为起点且以自身位置为终点的至少一个第一位置矢量;确定以上述坐标原点为起点且以上述操作体做出第二动作后所在的位置为终点的第二位置矢量;以及基于上述至少一个第一位置矢量和上述第二位置矢量,从上述至少一个候选电子设备中确定出上述第二电子设备。
根据本公开的实施例,从上述至少一个候选电子设备中确定出上述第二电子设备包括:确定上述至少一个第一位置矢量中各位置矢量与同一坐标轴形成的至少一个第一角度;确定上述第二位置矢量与上述同一坐标轴形成的第二角度;计算上述至少一个第一角度中每个角度与上述第二角度的角度差,得到对应的至少一个角度差;以及在上述至少一个角度差中存在小于等于预设角度的角度差的情况下,将上述至少一个候选电子设备中小于等于上述预设角度的角度差对应的电子设备确定为上述第二电子设备。
根据本公开的实施例,上述电子设备确定方法还包括:在将上述至少一个候选电子设备中小于等于上述预设角度的角度差对应的电子设备确定为上述第二电子设备之前,输出上述对应的电子设备的名称信息;以及在上述操作体针对上述名称信息作出确认操作的情况下,将上述对应的电子设备确定为上述第二电子设备。
根据本公开的实施例,在确定可通过上述第一电子设备进行控制的至少一个候选电子设备的过程中,针对目标区域内的每个电子设备:获取该电子设备的图像;计算该电子设备的图像的第一积分图;获取至少一个预设积分图,其中,上述预设积分图是通过对预设模板图像进行计算得到的,上述预设模板图像是可通过上述第一电子设备进行控制的电子设备得到的图像;计算上述第一积分图与上述至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度;以及在上述至少一个第一相似度中存在满足第一相似度阈值的相似度的情况下,将该电子设备确定为上述候选电子设备。
根据本公开的实施例,上述电子设备确定方法还包括:在将该电子设备确定为上述候选电子设备之前,计算与该电子设备对应的图像的第一直方图;获取至少一个预设直方图,其中,上述预设直方图是通过对预设模板图像进行计算得到的;计算上述第一直方图与上述至少一个预设直方图中每个预设直方图的第二相似度,得到至少一个第二相似度;以及在上述至少一个第一相似度中存在满足第一相似度阈值的相似度且在上述至少一个第二相似度也存在满足第二相似度阈值的相似度的情况下,将该电子设备确定为上述候选电子设备。
本公开的另一个方面提供了一种电子设备确定系统,上述电子设备确定系统包括:第一获取模块,用于通过第一电子设备识别操作体所做的第一动作,获取识别结果;以及第一确定模块,用于根据上述识别结果,确定可通过上述第一电子设备进行控制的第二电子设备。
根据本公开的实施例,第一确定模块包括:第一确定单元,用于确定可通过上述第一电子设备进行控制的至少一个候选电子设备;第二确定单元,用于确定坐标原点;第三确定单元,用于确定上述至少一个候选电子设备中各候选电子设备对应的以上述坐标原点为起点且以自身位置为终点的至少一个第一位置矢量;第四确定单元,用于确定以上述坐标原点为起点且以上述操作体做出第二动作后所在的位置为终点的第二位置矢量;以及第五确定单元,用于基于上述至少一个第一位置矢量和上述第二位置矢量,从上述至少一个候选电子设备中确定出上述第二电子设备。
根据本公开的实施例,第五确定单元包括:第一确定子单元,用于确定上述至少一个第一位置矢量中各位置矢量与同一坐标轴形成的至少一个第一角度;第二确定子单元,用于确定上述第二位置矢量与上述同一坐标轴形成的第二角度;计算子单元,用于计算上述至少一个第一角度中每个角度与上述第二角度的角度差,得到对应的至少一个角度差;以及第三确定子单元,用于在上述至少一个角度差中存在小于等于预设角度的角度差的情况下,将上述至少一个候选电子设备中小于等于上述预设角度的角度差对应的电子设备确定为上述第二电子设备。
根据本公开的实施例,上述电子设备确定系统还包括:输出模块,用于在将上述至少一个候选电子设备中小于等于上述预设角度的角度差对应的电子设备确定为上述第二电子设备之前,输出上述对应的电子设备的名称信息;以及第二确定模块,用于在上述操作体针对上述名称信息作出确认操作的情况下,将上述对应的电子设备确定为上述第二电子设备。
根据本公开的实施例,在上述第一确定单元确定可通过上述第一电子设备进行控制的至少一个候选电子设备的过程中,针对目标区域内的每个电子设备:获取该电子设备的图像;计算该电子设备的图像的第一积分图;获取至少一个预设积分图,其中,上述预设积分图是通过对预设模板图像进行计算得到的,上述预设模板图像是可通过上述第一电子设备进行控制的电子设备得到的图像;计算上述第一积分图与上述至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度;以及在上述至少一个第一相似度中存在满足第一相似度阈值的第一相似度的情况下,将该电子设备确定为上述候选电子设备。
根据本公开的实施例,上述电子设备确定系统还包括:第一计算模块,用于在将该电子设备确定为上述候选电子设备之前,计算与该电子设备对应的图像的第一直方图;第二获取模块,用于获取至少一个预设直方图,其中,上述预设直方图是通过对预设模板图像进行计算得到的;第二计算模块,用于计算上述第一直方图与上述至少一个预设直方图中每个预设直方图的第二相似度,得到至少一个第二相似度;以及第三确定模块,用于在上述至少一个第一相似度中存在满足第一相似度阈值的相似度且在上述至少一个第二相似度也存在满足第二相似度阈值的相似度的情况下,将该电子设备确定为上述候选电子设备。
本公开的另一个方面提供了一种计算机系统,包括:一个或多个处理器;计算机可读存储介质,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现上述实施例中任一项所述的电子设备确定方法。
本公开的另一个方面提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使上述处理器实现上述实施例中任一项所述的电子设备确定方法。
根据本公开的实施例,因为采用了通过第一电子设备根据识别操作体所做的第一动作的识别结果,确定可通过第一电子设备进行控制的第二电子设备的技术手段,可以至少部分地解决现有的语音操控方式不仅存在语义理解不准确的缺陷,而且对距离和环境噪音要求较高,导致使用场景受限的技术问题,并因此可以实现以一种使用场景受限较小且更为自然的方式帮助用户确定第二电子设备的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的电子设备确定方法和系统的应用场景;
图2示意性示出了根据本公开实施例的电子设备确定方法的流程图;
图3A示意性示出了根据本公开实施例的确定第二电子设备的流程图;
图3B示意性示出了根据本公开另一实施例的确定第二电子设备的流程图;
图3C示意性示出了根据本公开另一实施例的电子设备确定方法的流程图;
图3D示意性示出了根据本公开实施例的确定候选电子设备的流程图;
图3E示意性示出了根据本公开另一实施例的电子设备确定方法的流程图;
图3F示意性示出了根据本公开实施例的第一电子设备为双目摄像图的示意图;
图3G示意性示出了根据本公开实施例的确定第二电子设备的示意图;
图4示意性示出了根据本公开实施例的电子设备确定系统的框图;
图5A示意性示出了根据本公开实施例的第一确定模块的框图;
图5B示意性示出了根据本公开实施例的第五确定单元的框图;
图5C示意性示出了根据本公开另一实施例的电子设备确定系统的框图;
图5D示意性示出了根据本公开另一实施例的电子设备确定系统的框图;以及
图6示意性示出了根据本公开实施例的适于实现电子设备确定方法的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种电子设备确定方法,该电子设备确定方法可以包括:通过第一电子设备识别操作体所做的第一动作,获取识别结果;以及根据识别结果,确定可通过第一电子设备进行控制的第二电子设备。
图1示意性示出了根据本公开实施例的电子设备确定方法和系统的应用场景。需要注意的是,图1所示仅为可以应用本公开实施例的应用场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
在本公开实施例的应用场景中,如图1所示,假设第一电子设备为摄像头101,操作体为人手102,第二电子设备为电视103。在用户可以通过人手102做出第一动作后,摄像头101可以识别人手102所做出的第一动作,并获得识别结果,该摄像头101可以根据该识别结果对确定出可被摄像头101控制的电视103。进一步,摄像头101还可以对电视103进行控制,例如打开电视103、关闭电视103等。
换言之,在本公开实施例的应用场景中,可以实现通过第一电子设备基于识别操作体所做的第一动作的识别结果,确定出可被第一电子设备进行控制的第二电子设备,进而可以解决现有的语音操控方式不仅存在语义理解不准确的缺陷,而且对距离和环境噪音要求较高,导致使用场景受限得缺陷。
图2示意性示出了根据本公开实施例的电子设备确定方法的流程图。
如图2所示,该电子设备确定方法可以包括操作S201和操作S202,其中:
在操作S201,通过第一电子设备识别操作体所做的第一动作,获取识别结果。
在操作S202,根据识别结果,确定可通过第一电子设备进行控制的第二电子设备。
本公开提供的电子设备确定方法可以应用于第一电子设备,该第一电子设备可以包括但不限于手机、台视电脑、笔记本电脑、平板电脑、摄像头等,该第一电子设备可以与第二电子设备进行通信,比如对第二电子设备进行控制。
根据本公开的实施例,该第一电子设备可以具有识别功能。具体地,该第一电子设备可以识别场景中的至少一个电子设备,进而从该至少一个电子设备中识别出可通过第一电子设备进行控制的至少一个候选电子设备,其中,该可通过第一电子设备进行控制的至少一个候选电子设备可以包括第二电子设备。
在本公开的实施例中,该第一电子设备还可以识别操作体所做的第一动作,进而得到识别结果。其中,该第一电子设备与该操作体非接触,且该第一动作可以是该操作体在操作体本身与该第一电子设备共同所在的空间内执行的。
需要说明的是,上述操作体可以包括用户的肢体、手、脚等,也可以包括由用户操控的物体。相应地,该操作体所做的第一动作可以为用户的肢体、手、脚等所做的动作,也可以为用户操控物体做出的动作。
下面以操作体为人手为例,详细说明第一电子设备识别人手所做的动作的方案。
根据本公开的实施例,在识别人手的动作之前,可以先识别手势,例如,可以利用基于肤色的手势分割方法识别手势。具体地,该基于肤色的手势分割方法是利用肤色与背景颜色的差异进行区别,然后利用手势独特的边缘特性(例如人手的轮廓)来进一步区分,以此来识别和确定手势。进一步,在确定手势后,第一电子设备(例如摄像头)可以使用Meanshift算法来跟踪人手的运动,进而通过人手的运动轨迹来判断操控指令。
根据本公开的实施例,该第一电子设备识别该操作体所做的第一动作后,可以得到识别结果。其中,该识别结果可以包括该第一动作所对应的操控指令,且该识别结果可以是基于识别到的该第一动作的运动轨迹得到的,也可以是基于识别到的该第一动作的最终展现姿态得到的,在此不做限定。进一步,第一电子设备可以获取该识别结果,并根据该识别结果确定出可被第一电子设备进行控制的第二电子设备。
根据本公开的实施例,在确定出第二电子设备之后,第一电子设备还可以根据识别结果对第二电子设备进行控制。例如,若第一动作为操作体在空中画出的圆形,则该第一动作可以用于使第一电子设备确定出第二电子设备并控制第二电子设备睡眠;若第一动作为操作体在空中画出的“X”形,则该第一动作可以用于使第一电子设备确定出第二电子设备并控制第二电子设备增加音量。
需要说明的是,在本公开的实施例中,第一电子设备可以称为主电子设备,第二电子设备可以称为从电子设备。其中,本公开实施例的第一电子设备可以控制电子设备(例如第二电子设备)执行操作,也可以自行执行操作;本公开实施例的第二电子设备可以被第一电子设备进行控制,也可以自行发出动作,例如定时播放音乐。
与本公开的实施例不同,目前一种相关技术是使用者通过接触式方式(如触摸操作)向控制终端发出相应的确认信息,然后再由控制终端根据该确认信息确定出被控制设备。然而,接触式方式已无法提供更好的用户体验。另一些相关技术还提供了通过非接触式方式(如语音操作)实现遥控确定被控制设备的技术方案。但是,现有的语音确认方式不仅存在语义理解不准确的缺陷,而且对距离和环境噪音要求较高,导致使用场景受限。此外,另一些相关技术还提供了手势识别技术,但是目前的手势识别技术只适用于某种特定使用场景,例如体感游戏和VR设备控制等场景,且该技术局限于用户与单一被操作设备两者之间的交互,无法涉及第三类设备交互。
而通过本公开的实施例,通过使第一电子设备基于识别操作体所做的第一动作的识别结果,确定出可被第一电子设备进行控制的第二电子设备,可以以一种使用场景受限较小且更为自然的方式帮助用户确定出第二电子设备,还可以解决现有的语音操控方式不仅存在语义理解不准确的缺陷,而且对距离和环境噪音要求较高,导致使用场景受限得缺陷。
下面参考图3A~图3G,结合具体实施例对图2所示的方法做进一步说明。
图3A示意性示出了根据本公开实施例的确定第二电子设备的流程图。
如图3A所示,确定可通过第一电子设备进行控制的被控电子设备可以包括操作S301~操作S305,其中:
在操作S301,确定可通过第一电子设备进行操控的至少一个候选电子设备。
在操作S302,确定坐标原点。
在操作S303,确定至少一个候选电子设备中各候选电子设备对应的以坐标原点为起点且以自身位置为终点的至少一个第一位置矢量。
在操作S304,确定以坐标原点为起点且以操作体做出第二动作后所在的位置为终点的第二位置矢量。
在操作S305,基于至少一个第一位置矢量和第二位置矢量,从至少一个候选电子设备中确定出第二电子设备。
在本公开的实施例中,在确定出第二电子设备之前,可以先确定出可通过第一电子设备进行操控的至少一个候选电子设备,进而可以从该至少一个候选电子设备中确定出第二电子设备。
根据本公开的实施例,第一电子设备可以基于识别到的至少一个候选电子设备和操作体,建立三维坐标系,并确定出该三维坐标系的原点。由于每个候选电子设备的自身位置与该坐标原点之间有一定距离,可以确定出以坐标原点为起点且以每个候选电子设备的自身位置为终点第一位置矢量,进而可以得到上述至少一个候选电子设备中各候选电子设备对应的至少一个第一位置矢量。同理,由于操作体做出第二动作后所在的位置也与该坐标原点之间有一定距离,可以确定出以该坐标原点为起点且以操作体做出第二动作后所在的位置为终点的第二位置矢量。进而,可以基于该至少一个第一位置矢量和该第二位置矢量,从上述至少一个候选电子设备中确定出第二电子设备。
需要说明的是,本公开实施例中的操作体所做的第二动作可以为用户的肢体、手、脚等所做的动作,也可以为用户操控物体做出的动作。例如,在操作体为人手时,该操作体所做的第二动作可以是人手指向被控电子设备的动作。此外,第二动作可以是与第一动作相同的动作,即第一动作和第二动作均可以是用于确定出第二电子设备;第二动作也可以是与第一动作不同的动作,比如第一动作可以是用于指示第一电子设备对第二电子设备进行控制,第二动作可以是用于指示第一电子设备确定出第二电子设备。
通过本公开的实施例,通过基于至少一个第一位置矢量和第二位置矢量,从至少一个候选电子设备中确定出第二电子设备,不仅可以提高确定出第二电子设备的准确性,还可以提高用户体验。
图3B示意性示出了根据本公开另一实施例的确定第二电子设备的流程图。
如图3B所示,从至少一个候选电子设备中确定出第二电子设备可以包括操作S401~操作S404,其中:
在操作S401,确定至少一个第一位置矢量中各位置矢量与同一坐标轴形成的至少一个第一角度。
在操作S402,确定第二位置矢量与同一坐标轴形成的第二角度。
在操作S403,计算至少一个第一角度中每个角度与第二角度的角度差,得到对应的至少一个角度差。
在操作S404,在至少一个角度差中存在小于等于预设角度的角度差的情况下,将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为第二电子设备。
在本公开的实施例中,可以根据确定出的至少一个第一位置矢量,确定各第一位置矢量与某一坐标轴形成的至少一个第一角度,该坐标轴例如可以是x轴、y轴、z轴等。还可以根据确定出的第二位置矢量,确定该第二位置矢量与某一坐标轴形成的第二角度。应该理解,该第一角度和该第二角度分别是第一位置矢量和第二位置矢量与同一坐标轴形成的角度。
根据本公开的实施例,可以分别计算至少一个第一角度中每个角度与第二角度的角度差,进而可以得到至少一个角度差。将上述至少一个角度差中各个角度差分别与预设角度作比较,在至少一个角度差中存在小于等于该预设角度的角度差的情况下,可以确定出小于等于该预设角度的角度差对应的候选电子设备,并将该候选电子设备确定为第二电子设备。
通过本公开的实施例,通过将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为第二电子设备,可以进一步提高了确定第二电子设备的准确度。
图3C示意性示出了根据本公开另一实施例的电子设备确定方法的流程图。
如图3C所示,该电子设备确定方法还可以包括操作S501和操作S502,其中:
在操作S501,在将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为第二电子设备之前,输出对应的电子设备的名称信息。
在操作S502,在操作体针对名称信息作出确认操作的情况下,将对应的电子设备确定为第二电子设备。
在本公开的实施例中,为了进一步保证至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备是用户想要通过确定出的第二电子设备,则可以在将该对应的电子设备确定为第二电子设备之前,输出该对应的电子设备的名称信息,具体地,可以语音播报该名称信息,也可以通过显示屏显示该名称信息,还可以通过全息投影方式显示该名称信息。
根据本公开的实施例,用户可以根据第一电子设备输出的名称信息执行相应操作,若该名称信息是用户想要通过第一电子设备确定出的第二电子设备对应的名称信息,则用户可以向第一电子设备反馈针对该名称信息作出的确认操作,在第一电子设备接收到该确认操作后,可以将该对应的电子设备确定为第二电子设备。其中,该确认操作可以是操作体所做的动作,第一电子设备接收该确认操作可以是通过识别该操作体所做的动作。
通过本公开的实施例,在接收到操作体针对名称信息作出确认操作的情况下,将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为第二电子设备,可以进一步提高用户想要确定出的第二电子设备的准确性。
作为一种可选的实施例,在确定可通过第一电子设备进行控制的至少一个候选电子设备的过程中,针对目标区域内的每个电子设备:获取该电子设备的图像;计算该电子设备的图像的第一积分图;获取至少一个预设积分图,其中,预设积分图是通过对预设模板图像进行计算得到的,预设模板图像是可通过第一电子设备进行控制的电子设备得到的图像;计算第一积分图与至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度;以及在至少一个第一相似度中存在满足第一相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。
图3D示意性示出了根据本公开实施例的确定候选电子设备的流程图。
如图3D所示,在确定可通过第一电子设备进行控制的至少一个候选电子设备的过程中,针对目标区域内的每个电子设备可以执行操作S601~操作S605,其中:
在操作S601,获取该电子设备的图像。
在操作S602,计算该电子设备的图像的第一积分图。
在操作S603,获取至少一个预设积分图,其中,预设积分图是通过对预设模板图像进行计算得到的,预设模板图像是可通过第一电子设备进行控制的电子设备得到的图像。
在操作S604,计算第一积分图与至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度。
在操作S605,在至少一个第一相似度中存在满足第一相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。
在本公开的实施例中,目标区域可以包括第一电子设备可以识别区域,例如在第一电子设备为摄像头时,该目标区域可以包括该摄像头可以扫描到的区域。
根据本公开的实施例,第一电子设备可以识别目标区域内的部分电子设备,也可以识别目标区域内的所有电子设备,其中,该目标区域内的电子设备可以包括可通过第一电子设备进行控制的电子设备,也可以包括不可通过该第一电子设备进行控制的电子设备。
根据本公开的实施例,针对上述每个电子设备,该第一电子设备可以获取该电子设备的图像,其中,该图像可以是第一电子设备通过扫描该电子设备得到的图像。计算该电子设备的图像的第一积分图,其中,该第一积分图可以包括第一方向积分图,也可以包括第一方向积分图和第一颜色积分图。
在本公开的实施例中,可以获取预先存储在主控电子设备中的至少一个预设积分图,其中,该预设积分图可以是通过对预设模板图像进行计算得到的,其中,该预设积分图可以包括预设方向积分图,也可以包括预设方向积分图和预设颜色积分图。上述预设模板图像可以预先存储在第一电子设备中,且该预设模板图像还可以是由可通过第一电子设备进行控制的电子设备得到的图像,例如,该预设模板图像可以是第一电子设备对可通过第一电子设备进行控制的电子设备进行扫描得到的。
进一步,计算上述第一积分图与至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度。具体地,可以计算第一方向积分图与与至少一个预设方向积分图中每个预设方向积分图的第三相似度;也可以计算第一方向积分图与至少一个预设方向积分图中每个预设方向积分图的第三相似度,以及第一颜色积分图与至少一个预设颜色积分图中每个预设颜色积分图的第四相似度。
检测在至少一个第一相似度中是否存在满足第一相似度阈值的相似度,可以是检测在至少一个第三相似度中是否存在满足第三相似度阈值的相似度;也可以是检测在至少一个第三相似度中是否存在满足第三相似度阈值的相似度,以及在至少一个第四相似度中是否存在满足第四相似度阈值的相似度。
在至少一个第一相似度中存在满足第一相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。换言之,可以是在至少一个第三相似度中存在满足第三相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备;也可以是在至少一个第三相似度中存在满足第三相似度阈值的相似度,且在至少一个第四相似度中存在满足第四相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。
通过本公开的实施例,在至少一个第一相似度中存在满足第一相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备,进而可以得到至少一个候选电子设备,以便第一电子设备可以从该至少一个候选电子设备中确定出用户想要确定的第二电子设备。
图3E示意性示出了根据本公开另一实施例的电子设备确定方法的流程图。
如图3E所示,该电子设备确定方法还可以包括操作S701~操作S704,其中:
在操作S701,在将该电子设备确定为候选电子设备之前,计算与该电子设备对应的图像的第一直方图。
在操作S702,获取至少一个预设直方图,其中,预设直方图是通过对预设模板图像进行计算得到的
在操作S703,计算第一直方图与至少一个预设直方图中每个预设直方图的第二相似度,得到至少一个第二相似度。
在操作S704,在至少一个第一相似度中存在满足第一相似度阈值的相似度且在至少一个第二相似度也存在满足第二相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。
在本公开的实施例中,为了进一步保证确定出的候选电子设备是可通过第一电子设备进行控制的电子设备的准确性,在将该电子设备确定为候选电子设备之前,可以进一步计算与该电子设备对应的图像的第一直方图。其中,该该第一直方图可以包括第一方向直方图,也可以包括第一方向直方图和第一颜色直方图。
根据本公开的实施例,可以获取预先存储在第一电子设备中的至少一个预设直方图,其中,该预设直方图可以是通过对预设模板图像进行计算得到的,其中,该预设直方图可以包括预设方向直方图,也可以包括预设方向直方图和预设颜色直方图。
进一步,计算上述第一直方图与至少一个预设直方图中每个预设直方图的第一相似度,可以得到至少一个第一相似度。具体地,可以计算第一方向直方图与至少一个预设方向直方图中每个预设方向直方图的第五相似度;也可以计算第一方向直方图与至少一个预设方向直方图中每个预设方向直方图的第五相似度,以及第一颜色直方图与至少一个预设颜色直方图中每个预设颜色直方图的第六相似度。
检测在至少一个第二相似度中是否存在满足第二相似度阈值的相似度,可以是检测在至少一个第五相似度中是否存在满足第五相似度阈值的相似度;也可以是检测在至少一个第五相似度中是否存在满足第五相似度阈值的相似度,以及在至少一个第六相似度中是否存在满足第六相似度阈值的相似度。
进一步,在至少一个第一相似度中存在满足第一相似度阈值的相似度且在至少一个第二相似度也存在满足第二相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。换言之,可以是在至少一个第三相似度中存在满足第三相似度阈值的相似度,且至少一个第五相似度中存在满足第五相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备;也可以是在至少一个第三相似度中存在满足第三相似度阈值的相似度,且在至少一个第四相似度中存在满足第四相似度阈值的相似度,且在至少一个第五相似度中存在满足第五相似度阈值的相似度,且在至少一个第六相似度中存在满足第六相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。
下面以第一电子设备为摄像头为例,举例说明本公开的实施例。
假设第一电子设备为摄像头,该摄像头中存储了所有可被摄像头控制的电子设备的不同角度的图像(又称为预设模板图像)信息。此外,摄像头可以扫描目标区域内的电子设备,且通过摄像头获取的该目标区域内的电子设备的图像可以称为预处理图像。其中,摄像头可以通过似物性推荐算法识别目标区域内的电子设备,且在短时间内确定一组候选框集合。在此基础上采用统计匹配方法将预处理图像的第一积分图和预设模板图像的预设积分图进行相似度比较,实现物体识别功能。具体步骤如下:
a.计算预处理图像的第一方向积分图和第一颜色积分图与预设模板图像的预设方向积分图和预设颜色积分图进行比较;
b.通过似物性推荐算法,得到相似图像的候选框集合,并计算每个候选框的第一方向直方图和第一颜色直方图,其中,该候选框可以是上述实施例中至少一个相似度中满足第一相似度阈值的相似度对应的电子设备的图像;
c.计算各候选框中的第一直方图与预设模板图像的预设直方图的第二相似度,若第二相似度达到第二相似度阈值即判断匹配成功。
应该理解,基于上述实施例,可以识别到拍摄画面中的所有可被第一电子设备进行控制的电子设备。
通过本公开的实施例,在第一相似度满足第一相似度阈值且在第二相似度也满足第二相似度阈值的情况下,将该电子设备确定为候选电子设备中的一个,可以提高确定出的每个候选电子设备的正确率。
图3F示意性示出了根据本公开实施例的第一电子设备为双目摄像头的示意图。
如图3F所示,假设第一电子设备可以包括摄像头,该摄像头可以包括双目摄像头104,该双目摄像头104可以通过识别画面中至少一个候选电子设备和操作体所做的第一动作(例如用户的手势),以及操作体所做的第一动作的深度信息,实现一种全新的交互方式来帮助用户控制场景中的其他设备,例如第二电子设备。
图3G示意性示出了根据本公开实施例的确定第二电子设备的示意图。
需要说明的是,在操作体与至少一个候选电子设备处于第一电子设备(例如摄像头)所扫描到的画面(又称为目标区域)中时,该第一电子设备可通过识别操作体的特定动作(例如特定手势)启动第一电子设备的动作控制功能(例如手势控制功能)。该第一电子设备可以识别操作体的动作及画面中可被第一电子设备操控的至少一个候选电子设备,且该动作的最终展现姿态指向某一电子设备时,第一电子设备反馈该电子设备的名称信息,如该名称信息符合用户期望,则将该电子设备确定为第二电子设备,且用户可以通过操作体的第一动作使第一电子设备控制该第二电子设备,例如手势滑动控制。
在本公开的实施例中,如图3G所示,假设第一电子设备为双目摄像头104,该双目摄像头104可以获取场景105中的物体(包括至少一个被控设备)和用户106的深度信息,以此来建立三维坐标系。在双目摄像头104检测到用户106启动设备操控的手势时,假定用户106的脖子与用户106的肩膀位置是重合的,则可以以该用户106的脖子位置作为原点建立三维坐标系。用户106的正前方为x轴正方向,靠近双目摄像头104的方向为y轴正方向,用于记录深度信息,上方为z轴正方向。
三维坐标建好后双目摄像头104锁定用户106的手势所指的被控电子设备步骤如下:
a.根据三维坐标系计算场景105中至少一个候选电子设备中每台候选电子设备的位置坐标,以记录位置矢量,得到至少一个第一位置矢量;
b.双目摄像头104检测到用户106的启动手势时,开始跟踪用户106的人手的位置,之后人手发生位移并停留在某一位置时双目摄像头104记录此时人手的第二位置矢量,记作α;
c.比较至少一个第一位置矢量中的每个位置矢量与第二位置矢量α,例如可以确定至少一个第一位置矢量中的每个位置矢量与坐标轴的第一角度,得到至少一个第一角度,确定第二位置矢量与该坐标轴的第二角度,进而将至少一个第一角度中的每个角度与第二角度进行比较;
d.如果至少一个第一角度中存在与第二角度接近或重合的角度,此时可以通过双目摄像头104通过语音提示该与第二角度接近或重合的角度对应的电子设备的名称信息;
e.在用户106针对所述名称信息做出确认手势后,可以将至少一个候选电子设备中与第二角度接近或重合的角度对应的电子设备确认为被控电子设备,且该双目摄像头104可以根据识别用户106所做的第一动作的识别结果操控被控电子设备,其中,该识别结果可以用于标识操控指令,该操控指令可以包括开机、关机、档位增加、档位减小等。
本公开实施例提供的双目摄像头设备,提供了一种全新的智能家居控制方式,其可以利用图像识别和手势识别技术,自动识别场景中的其它设备,保存相关识别数据后,再识别用户的手势动作,可以实现利用手势控制家庭中其它智能设备的目的。
此外,本公开的实施例补充了目前语音操控对距离和背景噪音要求较高的缺点,且以一种场景受限较小且更为自然的方式帮助用户操作家庭中的不同设备。
图4示意性示出了根据本公开实施例的电子设备确定系统的框图。
如图4所示,该电子设备确定系统可以包括第一获取模块410和第一确定模块420,其中:
第一获取模块410用于通过第一电子设备识别操作体所做的第一动作,获取识别结果。
第一确定模块420用于根据识别结果,确定可通过第一电子设备进行控制的第二电子设备。
通过本公开的实施例,通过使主控电子设备基于识别操作体所做的第一动作的识别结果,对被控电子设备进行控制,可以以一种使用场景受限较小且更为自然的方式帮助用户操控被控电子设备,还可以解决现有的语音操控方式不仅存在语义理解不准确的缺陷,而且对距离和环境噪音要求较高,导致使用场景受限的缺陷。
图5A示意性示出了根据本公开实施例的第一确定模块的框图。
如图5A所示,该第一确定模块420可以包括第一确定单元421、第二确定单元422、第三确定单元423、第四确定单元424和第五确定单元425,其中:
第一确定单元421用于确定可通过第一电子设备进行控制的至少一个候选电子设备。
第二确定单元422用于确定坐标原点。
第三确定单元423用于确定至少一个候选电子设备中各候选电子设备对应的以坐标原点为起点且以自身位置为终点的至少一个第一位置矢量。
第四确定单元424用于确定以坐标原点为起点且以操作体做出第二动作后所在的位置为终点的第二位置矢量。
第五确定单元425用于基于至少一个第一位置矢量和第二位置矢量,从至少一个候选电子设备中确定出第二电子设备。
通过本公开的实施例,通过基于至少一个第一位置矢量和第二位置矢量,从至少一个候选电子设备中确定出被控电子设备,进而使对该被控电子设备执行控制操作,不仅可以提高控制的准确性,还可以提高用户体验。
图5B示意性示出了根据本公开实施例的第五确定单元的框图。
如图5B所示,该第五确定单元425可以包括第一确定子单元4251、第二确定子单元4252、计算子单元4253和第三确定子单元4254,其中:
第一确定子单元4251用于确定至少一个第一位置矢量中各位置矢量与同一坐标轴形成的至少一个第一角度。
第二确定子单元4252用于确定第二位置矢量与同一坐标轴形成的第二角度。
计算子单元4253用于计算至少一个第一角度中每个角度与第二角度的角度差,得到对应的至少一个角度差。
第三确定子单元4254用于在至少一个角度差中存在小于等于预设角度的角度差的情况下,将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为第二电子设备。
通过本公开的实施例,通过将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为被控电子设备,可以进一步提高了确定被控电子设备的准确度。
图5C示意性示出了根据本公开另一实施例的电子设备确定系统的框图。
如图5C所示,该电子设备确定系统400还可以包括输出模块510和第二确定模块520,其中:
输出模块510用于在将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为第二电子设备之前,输出对应的电子设备的名称信息。
第二确定模块520用于在操作体针对名称信息作出确认操作的情况下,将对应的电子设备确定为第二电子设备。
通过本公开的实施例,在接收到操作体针对名称信息作出确认操作的情况下,将至少一个候选电子设备中小于等于预设角度的角度差对应的电子设备确定为被控电子设备,可以更加准确的确定出用户想要通过主控电子设备操控的被控电子设备。
作为一种可选的实施例,在第一确定单元确定可通过第一电子设备进行操控的至少一个候选电子设备的过程中,针对目标区域内的每个电子设备:获取该电子设备的图像;计算该电子设备的图像的第一积分图;获取至少一个预设积分图,其中,预设积分图是通过对预设模板图像进行计算得到的,预设模板图像是可通过第一电子设备进行操控的电子设备得到的图像;计算第一积分图与至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度;以及在至少一个第一相似度中存在满足第一相似度阈值的第一相似度的情况下,将该电子设备确定为候选电子设备。
通过本公开的实施例,在至少一个第一相似度中存在满足第一相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备,进而可以得到至少一个候选电子设备,以便主控电子设备可以从该至少一个候选电子设备中确定出用户想要操控的被控电子设备。
图5D示意性示出了根据本公开另一实施例的电子设备确定系统的框图。
如图5D所示,该电子设备确定系统400还可以包括第一计算模块610、第二获取模块620、第二计算模块630和第三确定模块640,其中:
第一计算模块610用于在将该电子设备确定为候选电子设备之前,计算与该电子设备对应的图像的第一直方图。
第二获取模块620用于获取至少一个预设直方图,其中,预设直方图是通过对预设模板图像进行计算得到的。
第二计算模块630用于计算第一直方图与至少一个预设直方图中每个预设直方图的第二相似度,得到至少一个第二相似度。
第三确定模块640用于在至少一个第一相似度中存在满足第一相似度阈值的相似度且在至少一个第二相似度也存在满足第二相似度阈值的相似度的情况下,将该电子设备确定为候选电子设备。
通过本公开的实施例,在第一相似度满足第一相似度阈值且在第二相似度也满足第二相似度阈值的情况下,将该电子设备确定为候选电子设备中的一个,可以提高确定出的每个候选电子设备的正确率。
可以理解的是,第一获取模块410、第一确定模块420、输出模块510、第二确定模块520、第一计算模块610、第二获取模块620、第二计算模块630、第三确定模块640、第一确定单元421、第二确定单元422、第三确定单元423、第四确定单元424、第五确定单元425、第一确定子单元4251、第二确定子单元4252、计算子单元4253以及第三确定子单元4254可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本发明的实施例,第一获取模块410、第一确定模块420、输出模块510、第二确定模块520、第一计算模块610、第二获取模块620、第二计算模块630、第三确定模块640、第一确定单元421、第二确定单元422、第三确定单元423、第四确定单元424、第五确定单元425、第一确定子单元4251、第二确定子单元4252、计算子单元4253以及第三确定子单元4254中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,第一获取模块410、第一确定模块420、输出模块510、第二确定模块520、第一计算模块610、第二获取模块620、第二计算模块630、第三确定模块640、第一确定单元421、第二确定单元422、第三确定单元423、第四确定单元424、第五确定单元425、第一确定子单元4251、第二确定子单元4252、计算子单元4253以及第三确定子单元4254中的至少一个可以至少被部分地实现为计算机程序模块/单元/子单元,当该程序被计算机运行时,可以执行相应模块/单元/子单元的功能。
本公开的另一个方面提供了一种计算机系统,包括:一个或多个处理器;计算机可读存储介质,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现上述实施例中任一项所述的电子设备控制方法。
图6示意性示出了根据本公开实施例的适于实现电子设备确定方法的计算机系统的框图。图6示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,根据本公开实施例的计算机系统700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有计算机系统700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行以上各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行以上各种操作。
根据本公开的实施例,计算机系统700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。计算机系统700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,上文参考流程图描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是,本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。根据本公开的实施例,计算机可读介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本公开还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使上述处理器实现上述实施例中任一项所述的电子设备确定方法,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行:通过第一电子设备识别操作体所做的第一动作,获取识别结果;以及根据识别结果,确定可通过第一电子设备进行控制的第二电子设备
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种电子设备确定方法,包括:
通过第一电子设备识别操作体所做的第一动作,获取识别结果;以及
根据所述识别结果,确定可通过所述第一电子设备进行控制的第二电子设备,其中,包括:
所述第二电子设备对应的第一角度与所述操作体对应的第二角度的角度差小于等于预设角度,其中,所述第一角度为所述第二电子设备对应的位置矢量与同一坐标轴形成的角度,所述第二角度为所述操作体做出第二动作后对应的位置矢量与所述同一坐标轴形成的角度。
2.根据权利要求1所述的方法,其中,确定可通过所述第一电子设备进行控制的第二电子设备包括:
确定可通过所述第一电子设备进行控制的至少一个候选电子设备;
确定坐标原点;
确定所述至少一个候选电子设备中各候选电子设备对应的以所述坐标原点为起点且以自身位置为终点的至少一个第一位置矢量;
确定以所述坐标原点为起点且以所述操作体做出所述第二动作后所在的位置为终点的第二位置矢量;以及
基于所述至少一个第一位置矢量和所述第二位置矢量,从所述至少一个候选电子设备中确定出所述第二电子设备。
3.根据权利要求2所述的方法,其中,从所述至少一个候选电子设备中确定出所述第二电子设备包括:
确定所述至少一个第一位置矢量中各位置矢量与所述同一坐标轴形成的至少一个第一角度;
确定所述第二位置矢量与所述同一坐标轴形成的第二角度;
计算所述至少一个第一角度中每个角度与所述第二角度的角度差,得到对应的至少一个角度差;以及
在所述至少一个角度差中存在小于等于所述预设角度的角度差的情况下,将所述至少一个候选电子设备中小于等于所述预设角度的角度差对应的电子设备确定为所述第二电子设备。
4.根据权利要求3所述的方法,其中,所述方法还包括:
在将所述至少一个候选电子设备中小于等于所述预设角度的角度差对应的电子设备确定为所述第二电子设备之前,输出所述对应的电子设备的名称信息;以及
在所述操作体针对所述名称信息作出确认操作的情况下,将所述对应的电子设备确定为所述第二电子设备。
5.根据权利要求2所述的方法,其中,在确定可通过所述第一电子设备进行控制的至少一个候选电子设备的过程中,针对目标区域内的每个电子设备:
获取该电子设备的图像;
计算该电子设备的图像的第一积分图;
获取至少一个预设积分图,其中,所述预设积分图是通过对预设模板图像进行计算得到的,所述预设模板图像是可通过所述第一电子设备进行控制的电子设备得到的图像;
计算所述第一积分图与所述至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度;以及
在所述至少一个第一相似度中存在满足第一相似度阈值的相似度的情况下,将该电子设备确定为所述候选电子设备。
6.根据权利要求5所述的方法,其中,所述方法还包括:
在将该电子设备确定为所述候选电子设备之前,计算与该电子设备对应的图像的第一直方图;
获取至少一个预设直方图,其中,所述预设直方图是通过对预设模板图像进行计算得到的;
计算所述第一直方图与所述至少一个预设直方图中每个预设直方图的第二相似度,得到至少一个第二相似度;以及
在所述至少一个第一相似度中存在满足第一相似度阈值的相似度且在所述至少一个第二相似度也存在满足第二相似度阈值的相似度的情况下,将该电子设备确定为所述候选电子设备。
7.一种电子设备确定系统,包括:
第一获取模块,用于通过第一电子设备识别操作体所做的第一动作,获取识别结果;以及
第一确定模块,用于根据所述识别结果,确定可通过所述第一电子设备进行控制的第二电子设备,其中,包括:
所述第二电子设备对应的第一角度与所述操作体对应的第二角度的角度差小于等于预设角度,其中,所述第一角度为所述第二电子设备对应的位置矢量与同一坐标轴形成的角度,所述第二角度为所述操作体做出第二动作后对应的位置矢量与所述同一坐标轴形成的角度。
8.根据权利要求7所述的系统,其中,第一确定模块包括:
第一确定单元,用于确定可通过所述第一电子设备进行控制的至少一个候选电子设备;
第二确定单元,用于确定坐标原点;
第三确定单元,用于确定所述至少一个候选电子设备中各候选电子设备对应的以所述坐标原点为起点且以自身位置为终点的至少一个第一位置矢量;
第四确定单元,用于确定以所述坐标原点为起点且以所述操作体做出所述第二动作后所在的位置为终点的第二位置矢量;以及
第五确定单元,用于基于所述至少一个第一位置矢量和所述第二位置矢量,从所述至少一个候选电子设备中确定出所述第二电子设备。
9.根据权利要求8所述的系统,其中,第五确定单元包括:
第一确定子单元,用于确定所述至少一个第一位置矢量中各位置矢量与所述同一坐标轴形成的至少一个第一角度;
第二确定子单元,用于确定所述第二位置矢量与所述同一坐标轴形成的第二角度;
计算子单元,用于计算所述至少一个第一角度中每个角度与所述第二角度的角度差,得到对应的至少一个角度差;以及
第三确定子单元,用于在所述至少一个角度差中存在小于等于所述预设角度的角度差的情况下,将所述至少一个候选电子设备中小于等于所述预设角度的角度差对应的电子设备确定为所述第二电子设备。
10.根据权利要求9所述的系统,其中,所述系统还包括:
输出模块,用于在将所述至少一个候选电子设备中小于等于所述预设角度的角度差对应的电子设备确定为所述第二电子设备之前,输出所述对应的电子设备的名称信息;以及
第二确定模块,用于在所述操作体针对所述名称信息作出确认操作的情况下,将所述对应的电子设备确定为所述第二电子设备。
11.根据权利要求8所述的系统,其中,在所述第一确定单元确定可通过所述第一电子设备进行控制的至少一个候选电子设备的过程中,针对目标区域内的每个电子设备:
获取该电子设备的图像;
计算该电子设备的图像的第一积分图;
获取至少一个预设积分图,其中,所述预设积分图是通过对预设模板图像进行计算得到的,所述预设模板图像是可通过所述第一电子设备进行控制的电子设备得到的图像;
计算所述第一积分图与所述至少一个预设积分图中每个预设积分图的第一相似度,得到至少一个第一相似度;以及
在所述至少一个第一相似度中存在满足第一相似度阈值的第一相似度的情况下,将该电子设备确定为所述候选电子设备。
12.根据权利要求11所述的系统,其中,所述系统还包括:
第一计算模块,用于在将该电子设备确定为所述候选电子设备之前,计算与该电子设备对应的图像的第一直方图;
第二获取模块,用于获取至少一个预设直方图,其中,所述预设直方图是通过对预设模板图像进行计算得到的;
第二计算模块,用于计算所述第一直方图与所述至少一个预设直方图中每个预设直方图的第二相似度,得到至少一个第二相似度;以及
第三确定模块,用于在所述至少一个第一相似度中存在满足第一相似度阈值的相似度且在所述至少一个第二相似度也存在满足第二相似度阈值的相似度的情况下,将该电子设备确定为所述候选电子设备。
13.一种计算机系统,包括:
一个或多个处理器;
计算机可读存储介质,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至6中任一项所述的电子设备确定方法。
14.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使所述处理器实现权利要求1至6中任一项所述的电子设备确定方法。
CN201810331949.8A 2018-04-13 2018-04-13 电子设备确定方法、系统、计算机系统和可读存储介质 Active CN110377145B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810331949.8A CN110377145B (zh) 2018-04-13 2018-04-13 电子设备确定方法、系统、计算机系统和可读存储介质
EP19785227.0A EP3779645B1 (en) 2018-04-13 2019-04-12 Electronic device determining method and system, computer system, and readable storage medium
US17/042,018 US11481036B2 (en) 2018-04-13 2019-04-12 Method, system for determining electronic device, computer system and readable storage medium
JP2020551794A JP7280888B2 (ja) 2018-04-13 2019-04-12 電子機器確定方法、システム、コンピュータシステムおよび読取り可能な記憶媒体
PCT/CN2019/082567 WO2019196947A1 (zh) 2018-04-13 2019-04-12 电子设备确定方法、系统、计算机系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810331949.8A CN110377145B (zh) 2018-04-13 2018-04-13 电子设备确定方法、系统、计算机系统和可读存储介质

Publications (2)

Publication Number Publication Date
CN110377145A CN110377145A (zh) 2019-10-25
CN110377145B true CN110377145B (zh) 2021-03-30

Family

ID=68163196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810331949.8A Active CN110377145B (zh) 2018-04-13 2018-04-13 电子设备确定方法、系统、计算机系统和可读存储介质

Country Status (5)

Country Link
US (1) US11481036B2 (zh)
EP (1) EP3779645B1 (zh)
JP (1) JP7280888B2 (zh)
CN (1) CN110377145B (zh)
WO (1) WO2019196947A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111276139B (zh) * 2020-01-07 2023-09-19 百度在线网络技术(北京)有限公司 语音唤醒方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866083A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 手势识别方法、装置和系统
CN105425954A (zh) * 2015-11-04 2016-03-23 哈尔滨工业大学深圳研究生院 应用于智能家居中的人机交互方法及系统
CN107203756A (zh) * 2016-06-06 2017-09-26 亮风台(上海)信息科技有限公司 一种识别手势的方法与设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231427A (ja) 1999-02-08 2000-08-22 Nec Corp マルチモーダル情報解析装置
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
JP4516042B2 (ja) * 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
US8321219B2 (en) * 2007-10-05 2012-11-27 Sensory, Inc. Systems and methods of performing speech recognition using gestures
TWI423144B (zh) * 2009-11-10 2014-01-11 Inst Information Industry Combined with the audio and video behavior identification system, identification methods and computer program products
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
JP5730086B2 (ja) 2011-03-18 2015-06-03 Necパーソナルコンピュータ株式会社 入力装置および入力方法
US20120304067A1 (en) * 2011-05-25 2012-11-29 Samsung Electronics Co., Ltd. Apparatus and method for controlling user interface using sound recognition
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN103152467B (zh) * 2011-12-07 2015-03-18 智易科技股份有限公司 手持式电子装置及遥控方法
TWI472985B (zh) * 2013-01-02 2015-02-11 Elan Microelectronics Corp 觸控板的手勢識別方法
CN104007865B (zh) * 2013-02-27 2017-04-19 联想(北京)有限公司 识别方法和电子设备
JP5909455B2 (ja) 2013-04-01 2016-04-26 富士通フロンテック株式会社 二段バーコード読取装置および二段バーコード読取方法
KR20130088104A (ko) * 2013-04-09 2013-08-07 삼성전자주식회사 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
CN103616965A (zh) * 2013-11-22 2014-03-05 深圳Tcl新技术有限公司 基于空间定位设备的菜单控制方法
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US9785247B1 (en) * 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
KR101603553B1 (ko) * 2014-12-15 2016-03-15 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 제스쳐 인식 방법 및 이를 수행하는 차량
CN107787497B (zh) * 2015-06-10 2021-06-22 维塔驰有限公司 用于在基于用户的空间坐标系中检测手势的方法和装置
KR20170124104A (ko) * 2016-04-29 2017-11-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
EP3483702A4 (en) 2016-07-05 2019-07-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
KR102822062B1 (ko) * 2017-02-24 2025-06-19 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
CN107484072A (zh) * 2017-04-06 2017-12-15 宝沃汽车(中国)有限公司 汽车娱乐系统的控制方法、装置及车辆

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866083A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 手势识别方法、装置和系统
CN105425954A (zh) * 2015-11-04 2016-03-23 哈尔滨工业大学深圳研究生院 应用于智能家居中的人机交互方法及系统
CN107203756A (zh) * 2016-06-06 2017-09-26 亮风台(上海)信息科技有限公司 一种识别手势的方法与设备

Also Published As

Publication number Publication date
EP3779645B1 (en) 2024-07-24
US20210165494A1 (en) 2021-06-03
EP3779645A1 (en) 2021-02-17
JP2021517314A (ja) 2021-07-15
EP3779645C0 (en) 2024-07-24
EP3779645A4 (en) 2021-12-29
WO2019196947A1 (zh) 2019-10-17
US11481036B2 (en) 2022-10-25
CN110377145A (zh) 2019-10-25
JP7280888B2 (ja) 2023-05-24

Similar Documents

Publication Publication Date Title
US12164760B2 (en) Method and apparatus for dynamically displaying icon based on background image
US11367307B2 (en) Method for processing images and electronic device
CN108450058B (zh) 实时自动车载相机校准
KR102665643B1 (ko) 아바타 표시를 제어하기 위한 방법 및 그 전자 장치
US20140300542A1 (en) Portable device and method for providing non-contact interface
US20110279663A1 (en) Real-time embedded vision-based human hand detection
US20170083741A1 (en) Method and device for generating instruction
CN109003224B (zh) 基于人脸的形变图像生成方法和装置
EP3218879A1 (en) Image capturing apparatus and method
WO2020062493A1 (zh) 图像处理方法和装置
US20130188836A1 (en) Method and apparatus for providing hand detection
CN110619656A (zh) 基于双目摄像头的人脸检测跟踪方法、装置及电子设备
US20140232748A1 (en) Device, method and computer readable recording medium for operating the same
US20200380717A1 (en) Positioning method, positioning device and nonvolatile computer-readable storage medium
KR102498597B1 (ko) 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법
US20210158539A1 (en) Enhanced optical flow estimation using a varied scan order
US20220237916A1 (en) Method for detecting collisions in video and electronic device
WO2022222510A1 (zh) 交互控制方法、终端设备及存储介质
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN108960213A (zh) 目标跟踪方法、装置、存储介质及终端
CN110377145B (zh) 电子设备确定方法、系统、计算机系统和可读存储介质
EP3200045A1 (en) Gesture control using depth data
CN109040588A (zh) 人脸图像的拍照方法、装置、存储介质及终端
CN108055461A (zh) 自拍角度的推荐方法、装置、终端设备及存储介质
CN114943872B (zh) 目标检测模型的训练方法、装置、目标检测方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant