CN119322562A - 基于指纹的输入交互方法及装置 - Google Patents

Abstract

本公开提出一种基于指纹的输入交互方法及装置，涉及人机交互技术领域。其中，方法包括：获取用户使用指纹传感器与智能设备进行输入交互时的连续指纹帧图像；基于连续指纹帧图像与预先注册的用户指纹信息，对用户进行身份认证；当用户的身份认证通过，根据每个指纹传感器对应的多个连续指纹帧图像在时间序列上的变化信息，识别每个指纹传感器对应的触摸操作的动作；根据智能设备的应用场景和动作信息，确定与输入交互匹配的输入交互指令。本公开利用对用户进行身份认证和动作识别，提高用户的输入交互过程的安全性。基于连续指纹帧图像在时间序列上的变化信息可识别多种动作，丰富了输入交互方式，为用户提供更加丰富、便捷、个性化的交互体验。

Description

基于指纹的输入交互方法及装置

技术领域

本公开涉及人机交互技术领域，尤其涉及一种基于指纹的输入交互方法及装置。

背景技术

随着AR/VR技术的兴起和可穿戴式电子产品的普及，人们对更加便捷、高效的人机交互方式的需求也越来越强烈。指纹传感器作为一种经典的生物识别传感器，通常用于身份认证。相关技术中存在利用指纹传感器进行动作识别进而进行人机交互的方案。目前，智能眼镜、入耳式耳机等智能设备多采用狭长的触控长条输入方式，可实现简单的按压等交互技术，交互方式单一，不能支持更加丰富的输入交互功能。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开第一方面实施例提出了一种基于指纹的输入交互方法，所述方法应用于智能设备，包括以下步骤：

响应于用户使用至少一个指纹传感器与所述智能设备进行输入交互，获取所述用户在至少一个指纹传感器上进行触摸操作时，每个指纹传感器对应的多个连续指纹帧图像；

基于所述至少一个指纹传感器中一个或多个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，对所述用户进行身份认证；

响应于所述用户的身份认证通过，根据所述每个指纹传感器对应的多个连续指纹帧图像在时间序列上的变化信息，确定所述每个指纹传感器对应的触摸操作是否为点击动作类型；

对于所述至少一个指纹传感器中触摸操作为点击动作类型的第一指纹传感器，提取所述第一指纹传感器对应的多个连续指纹帧图像中的接触时间变化信息，并根据所述接触时间变化信息确定所述第一指纹传感器对应的第一动作；

对于所述至少一个指纹传感器中触摸操作为非点击动作类型的第二指纹传感器，提取所述第二指纹传感器对应的多个连续指纹帧图像中指纹特征的总位移信息、重心位移信息和角度变化信息，并根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作；

根据所述智能设备的应用场景和动作信息，确定与所述输入交互匹配的输入交互指令，所述动作信息包括所述第一动作和/或所述第二动作。

在本公开一些实施例中，所述根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作，包括：响应于所述总位移信息大于第一阈值，所述重心位移信息小于或等于第二阈值，所述角度变化信息小于或等于第三阈值，确定所述第二动作为滑动动作；或者，响应于所述总位移信息小于或等于所述第一阈值，所述重心位移信息大于所述第二阈值，所述角度变化信息小于或等于所述第三阈值，确定所述第二动作为滚动动作；或者，响应于所述总位移信息小于或等于所述第一阈值，所述重心位移信息小于或等于所述第二阈值，所述角度变化信息大于所述第三阈值，确定所述第二动作为旋转动作。

在本公开一些实施例中，所述根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作，包括：根据所述总位移信息、所述重心位移信息和所述角度变化信息，通过预先训练的分类器确定所述第二指纹传感器对应的第二动作；其中，所述分类器通过机器学习方法学习获得总位移信息、重心位移信息和角度变化信息与动作之间的映射关系。

在本公开一些实施例中，所述根据所述智能设备的应用场景和动作信息，确定与所述输入交互匹配的输入交互指令，包括：基于所述每个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，识别所述每个指纹传感器上触摸操作的手指信息；基于所述应用场景确定动作、手指与输入交互指令之间的映射关系；根据所述动作信息、所述手指信息和所述映射关系确定与所述输入交互匹配的输入交互指令。

在本公开一些实施例中，所述输入交互指令包括所述智能设备的动作执行指令和/或符号输入指令。

在本公开一些实施例中，所述方法还包括：基于所述触摸操作生成交互反馈信息，所述交互反馈信息用于为所述用户提供触摸反馈，所述交互反馈信息包括以下至少一种：图像反馈信息、声音反馈信息和振动反馈信息。

在本公开一些实施例中，所述至少一个指纹传感器位于所述智能设备的侧边区域。

本公开第二方面实施例提出了一种基于指纹的输入交互装置，所述装置设置于智能设备，其特征在于，包括：

获取模块，用于响应于用户使用至少一个指纹传感器与所述智能设备进行输入交互，获取所述用户在至少一个指纹传感器上进行触摸操作时，每个指纹传感器对应的多个连续指纹帧图像；

身份认证模块，用于基于所述至少一个指纹传感器中一个或多个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，对所述用户进行身份认证；

第一确定模块，用于响应于所述用户的身份认证通过，根据所述每个指纹传感器对应的多个连续指纹帧图像在时间序列上的变化信息，确定所述每个指纹传感器对应的触摸操作是否为点击动作类型；

第二确定模块，用于对于所述至少一个指纹传感器中触摸操作为点击动作类型的第一指纹传感器，提取所述第一指纹传感器对应的多个连续指纹帧图像中的接触时间变化信息，并根据所述接触时间变化信息确定所述第一指纹传感器对应的第一动作；

第三确定模块，用于对于所述至少一个指纹传感器中触摸操作为非点击动作类型的第二指纹传感器，提取所述第二指纹传感器对应的多个连续指纹帧图像中指纹特征的总位移信息、重心位移信息和角度变化信息，并根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作；

第四确定模块，用于根据所述智能设备的应用场景和动作信息，确定与所述输入交互匹配的输入交互指令，所述动作信息包括所述第一动作和/或所述第二动作。

本公开第三方面实施例提出了一种智能设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现前述第一方面所述的方法。

本公开第四方面实施例提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述第一方面所述的方法。

通过本公开实施例提供的基于指纹的输入交互方法，通过分析至少一个指纹传感器对应的连续指纹帧图像，对用户进行身份认证和动作识别，提高用户的输入交互过程的安全性。基于连续指纹帧图像在时间序列上的变化信息可识别多种动作，实现基于小面积指纹传感器的动作识别，进一步确定对应的输入交互指令，丰富了输入交互方式，为用户提供更加丰富、便捷、个性化的交互体验。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本公开实施例所提供的一种基于指纹的输入交互方法的流程示意图；

图2为本公开实施例所提供的一种滑动动作、滚动动作和旋转动作的示意图；

图3为本公开实施例所提供的一种滑动动作、滚动动作和旋转动作对应的连续指纹帧图像的示意图；

图4为本公开实施例所提供的一种动作、手指与符号输入指令之间的映射关系的示意图；

图5为本公开实施例所提供的一种基于指纹的输入交互装置的示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

本公开提出一种基于指纹的输入交互方法及装置。具体地，下面参考附图描述本公开实施例的基于指纹的输入交互方法及装置。

图1为本公开实施例所提供的一种基于指纹的输入交互方法的流程示意图，该输入交互方法应用于智能设备。如图1所示，该基于指纹的输入交互方法可以包括但不限于以下步骤：

步骤101，响应于用户使用至少一个指纹传感器与智能设备进行输入交互，获取用户在至少一个指纹传感器上进行触摸操作时，每个指纹传感器对应的多个连续指纹帧图像。

在本公开实施例中，用户可使用指纹传感器可使用一个指纹传感器与智能设备进行输入交互，或者还可以使用多个指纹传感器与智能设备进行输入交互。

其中，指纹传感器为以下一种或多种：光学传感器、超声波传感器和电容传感器。指纹传感器可以是窄条状的指纹传感器，还可以是其他形状的指纹传感器，如面积较大的圆形、方形指纹传感器等。智能设备可以是智能眼镜、入耳式耳机、智能手表等可穿戴智能设备，或者还可以是移动手机、平板电脑等智能设备。

可选地，本公开实施例中至少一个指纹传感器可以位于智能设备的侧边区域。例如，一个或多个指纹传感器可设置在智能眼镜的镜框侧面或镜脚侧面区域

为了优化用户使用体验，可选地，本公开一些实施例中，当用户在指纹传感器上进行触摸操作时，智能设备可基于触摸操作生成交互反馈信息，交互反馈信息用于为用户提供触摸反馈，交互反馈信息包括以下至少一种：图像反馈信息、声音反馈信息和振动反馈信息。

在本公开一些实施例中，在每个指纹传感器采集用户的连续指纹帧图像时，可预先对采集来的原始图像进行预处理，如转换为灰度图、高斯模糊处理、图像增强、裁剪、校正等。

步骤102，基于至少一个指纹传感器中一个或多个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，对用户进行身份认证。

在一种实现方式中，可当用户首次使用智能设备，或首次开启指纹权限时，预先注册用户指纹信息。用户可将一根或多根手指横向滑动过指纹传感器，记录每根注册手指指纹的序列帧图像，基于序列帧图像提取完整的指纹特征(如指纹图像中的细节点、纹线方向等特征)，生成并存储用户的用户指纹信息。注册时还可以加入指纹质量判断功能，自动识别较差的指纹图像，并提醒用户重新注册该手指，提高注册的指纹模板质量。

在用户与智能设备进行输入交互时，可基于预先注册的用户指纹信息与当前交互过程中采集的连续指纹帧图像进行匹配，以对用户进行身份认证，以保证人机交互安全，保证用户个人隐私。

步骤103，响应于用户的身份认证通过，根据每个指纹传感器对应的多个连续指纹帧图像在时间序列上的变化信息，确定每个指纹传感器对应的触摸操作是否为点击动作类型。

作为一种示例，在当前触摸操作中，可将接触的时间小于触摸时间阈值和/或多个连续指纹帧图像中的指纹特征无明显位移变化、重心变化、角度变化的动作确定为点击动作类型，将接触的时间大于或等于触摸时间阈值且指纹特征存在明显变化的动作确定为非点击动作。其中，是否存在明显变化可通过与预设阈值进行比对确认。

以点击动作类型中的单击动作为例，可根据连续指纹帧图像确认该触摸操作中发生了一次触摸，且用户与指纹传感器接触的时间小于触摸时间阈值。以双击动作为例，可根据连续指纹帧图像确认该触摸操作中发生了两次触摸，且用户与指纹传感器两次接触的时间均小于触摸时间阈值。以单次长按动作为例，可根据连续指纹帧图像确认该触摸操作中发生了一次触摸，尽管接触的时间大于或等于触摸时间阈值，但通过比较连续指纹帧图像之间的特征变化发现此次触摸操作并无明显位移变化、重心变化、角度变化。以单击、长按的组合动作为例，可根据连续指纹帧图像确认该触摸操作中发生了两次触摸，两次触摸中接触的时间小于触摸时间阈值的即为单击，接触的时间均大于或等于触摸时间阈值但指纹特征无明显变化的即为长按。由于单击和长按均属于点击动作类型，则可判定本次单击、长按的组合动作为点击动作类型。

步骤104，对于至少一个指纹传感器中触摸操作为点击动作类型的第一指纹传感器，提取第一指纹传感器对应的多个连续指纹帧图像中的接触时间变化信息，并根据接触时间变化信息确定第一指纹传感器对应的第一动作。

根据多个连续指纹帧图像中的接触时间变化信息即可确认当前触摸操作中共发生了几次点击，每次点击为单击还是长按，由此确认第一指纹传感器对应的第一动作(如单击、长按或单击、长按的组合动作)。

步骤105，对于至少一个指纹传感器中触摸操作为非点击动作类型的第二指纹传感器，提取第二指纹传感器对应的多个连续指纹帧图像中指纹特征的总位移信息、重心位移信息和角度变化信息，并根据总位移信息、重心位移信息和角度变化信息，确定第二指纹传感器对应的第二动作。

可选地，在本公开一些实施例中，提供了三种非点击动作，分别为滑动动作、滚动动作和旋转动作。图2为本公开实施例所提供的一种滑动动作、滚动动作和旋转动作的示意图。需要说明的是，总位移信息表示用户进行触摸操作时手指相对于智能设备或指纹传感器的总位移，总位移信息可以包括总位移距离、总位移方向、总位移速度等信息。重心位移信息中的重心表示指纹帧图像中指纹图案或指纹特征的重心，重心位移信息可以包括重心位移距离、重心位移方向和重心位移速度等信息。角度变化信息包括指纹帧图像中指纹特征的角度变化，角度变化信息可以包括角度变化量、角度变化方向和角速度等信息。

在一种实现方式中，可基于总位移信息、重心位移信息、角度变化信息和各自对应的阈值确定第二动作。图3为本公开实施例所提供的一种滑动动作、滚动动作和旋转动作对应的连续指纹帧图像的示意图。作为一种示例，当总位移信息大于第一阈值，重心位移信息小于或等于第二阈值，角度变化信息小于或等于第三阈值，可确定第二动作为滑动动作。即如图3所示，在手指进行滑动动作时(对应图2中的“上下左右平移动作”)，手指本身的位置发生明显变化(如从传感器一端移到另一端)，但在连续指纹帧图像中指纹图案的重心和旋转角度无较大变化。当总位移信息小于或等于第一阈值，重心位移信息大于第二阈值，角度变化信息小于或等于第三阈值，确定第二动作为滚动动作。在手指进行滚动动作时，连续指纹帧图像中的指纹图案在指纹采集区域内发生了明显位移，但手指本身并未存在明显移动和旋转，多个连续指纹帧图像中相同的指纹特征无明显位移。当总位移信息小于或等于第一阈值，重心位移信息小于或等于第二阈值，角度变化信息大于第三阈值，确定第二动作为旋转动作。在手指进行旋转动作时，连续指纹帧图像中指纹图案的角度发生明显变化，但手指本身和指纹采集区域内的图案重心并未发生明显变化。

在另一种实现方式中，还可通过预先训练的分类器识别第二动作。作为一种示例，可将总位移信息、重心位移信息和角度变化信息输入至预先训练的分类器，以确定第二指纹传感器对应的第二动作。其中，分类器通过机器学习方法(如支持向量机、神经网络等)或经验算法学习获得总位移信息、重心位移信息和角度变化信息与动作之间的映射关系，识别用户动作。

可选地，指纹特征可以包括指纹的细节点特征、局部特征、脊线特征、深度学习描述子中的任意一种。

需要说明的是，由于本公开实施例提出的基于指纹的输入交互方法是基于连续指纹帧图像在时间序列上的特征变化识别用户不同动作的，对指纹传感器的面积要求不高，因此可适用于传感器面积较小的如窄条状指纹传感器的动作识别，面积较大的传感器也同样使用本实施例提出的方法。

步骤106，根据智能设备的应用场景和动作信息，确定与输入交互匹配的输入交互指令，动作信息包括第一动作和/或第二动作。

其中，输入交互指令包括智能设备的动作执行指令和/或符号输入指令。

需要说明的是，在不同应用场景下，用户在同一智能设备上进行同样的触摸操作所触发的交互指令不同。以智能眼镜为例，在音乐播放场景下，可通过对指纹传感器的触摸操作确认以下动作执行指令：

左右滚动：快进/回退；

上下平移：增大音量/减小音量；

左右滑动：切换上一首/切换下一首。

在地图导航场景下，相同的触摸操作可对应以下动作执行指令：

左右滚动：地图放大/地图缩小；

上下平移：地图上下移动；

左右移动：地图左右移动；

左右旋转：地图旋转。

需要说明的是，符号输入指令指通过用户在指纹传感器上的触摸操作实现符号输入交互。通过符号与动作之间的映射关系，使得用户可不依赖视觉，仅通过手指与指纹传感器的交互实现符号的输入。

还需要说明的是，当指纹传感器的数量为一个时，可根据用户在单个指纹传感器上的触摸操作，确定该指纹传感器对应的第一动作或第二动作，进而确定输入交互指令。当指纹传感器的数量为两个时，根据用户在两个指纹传感器上的触摸操作，确定每个指纹传感器对应的动作。两个指纹传感器可以都是第一动作(如智能眼镜中左手手指单击左侧指纹传感器，右手手指单击右侧指纹传感器)，也可都是第二动作(例如两个指纹传感器均对应向前滑动动作)，或者还可以是第一动作和第二动作的组合(例如一个指纹传感器为单击动作，另一个指纹传感器为旋转动作)。当指纹传感器的数量为两个以上时同理，多个指纹传感器可以有多种动作组合，通过设置动作与输入交互指令的映射关系，即可为不同动作(或动作组合)设置相应的指令。用户可自定义不同动作对应的指令，以符合用户个人习惯，使得交互过程更加个性化。

为了进一步丰富交互方式，可选地，在本公开一些实施例中，可基于每个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，识别每个指纹传感器上触摸操作的手指信息。基于应用场景确定动作、手指与输入交互指令之间的映射关系。根据动作信息、手指信息和映射关系确定与输入交互匹配的输入交互指令。从而确定用户的哪根手指做了什么动作，对应哪个输入交互指令。其中，动作、手指与输入交互指令之间的映射关系可由用户自定义，以满足个性化需求。可选地，在本公开实施例中，基于连续指纹帧图像识别手指信息和图像中指纹特征在完整指纹中的所在区域时可使用但不限于以下匹配算法：滑窗搜索法、相关性匹配法、特征点匹配方法、相似距离判断。

图4为本公开实施例所提供的一种动作、手指与符号输入指令之间的映射关系的示意图。如图4所示，可为不同手指进行不同的动作的触摸操作时，可输入对应的符号，由此代替传统的按钮输入、键盘输入或语言输入，误触率低，不存在语音输入交互中环境噪声、隐私保护等问题，且不占用智能设备空间或屏幕空间，丰富了指纹传感器的功能及用户交互体验。

可选地，在本公开一些实施例中，当智能设备根据输入交互指令执行对应操作后，可生成交互完成反馈信息，用以反馈该智能设备已执行用户输入的输入交互指令。当输入交互指令为动作执行指令时，可通过图像、声音、振动等形式的交互完成反馈信息。当输入交互指令为符号输入指令时，可通过图像(显示符号)、声音(读出符号)、振动等形式的交互完成反馈信息。

通过实施本公开实施例，通过分析至少一个指纹传感器对应的连续指纹帧图像，对用户进行身份认证和动作识别，提高用户的输入交互过程的安全性。基于连续指纹帧图像在时间序列上的变化信息可识别多种动作，实现基于小面积指纹传感器的动作识别，进一步确定对应的输入交互指令，丰富了人机交互方式，为用户提供更加丰富、便捷、个性化的交互体验。

图5为本公开实施例所提供的一种基于指纹的输入交互装置的示意图，该装置设置于智能设备。如图5所示，该基于指纹的输入交互装置包括：获取模块501、身份认证模块502、第一确定模块503、第二确定模块504、第三确定模块505和第四确定模块506。

其中，获取模块501，用于响应于用户使用至少一个指纹传感器与智能设备进行输入交互，获取用户在至少一个指纹传感器上进行触摸操作时，每个指纹传感器对应的多个连续指纹帧图像。

身份认证模块502，用于基于至少一个指纹传感器中一个或多个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，对用户进行身份认证。

第一确定模块503，用于响应于用户的身份认证通过，根据每个指纹传感器对应的多个连续指纹帧图像在时间序列上的变化信息，确定每个指纹传感器对应的触摸操作是否为点击动作类型。

第二确定模块504，用于对于至少一个指纹传感器中触摸操作为点击动作类型的第一指纹传感器，提取第一指纹传感器对应的多个连续指纹帧图像中的接触时间变化信息，并根据接触时间变化信息确定第一指纹传感器对应的第一动作。

第三确定模块505，用于对于至少一个指纹传感器中触摸操作为非点击动作类型的第二指纹传感器，提取第二指纹传感器对应的多个连续指纹帧图像中指纹特征的总位移信息、重心位移信息和角度变化信息，并根据总位移信息、重心位移信息和角度变化信息，确定第二指纹传感器对应的第二动作。

第四确定模块506，用于根据智能设备的应用场景和动作信息，确定与输入交互匹配的输入交互指令，动作信息包括第一动作和/或第二动作。

在本公开一些实施例中，第三确定模块505具体用于：响应于总位移信息大于第一阈值，重心位移信息小于或等于第二阈值，角度变化信息小于或等于第三阈值，确定第二动作为滑动动作；或者，响应于总位移信息小于或等于第一阈值，重心位移信息大于第二阈值，角度变化信息小于或等于第三阈值，确定第二动作为滚动动作；或者，响应于总位移信息小于或等于第一阈值，重心位移信息小于或等于第二阈值，角度变化信息大于第三阈值，确定第二动作为旋转动作。

在本公开一些实施例中，第三确定模块505具体用于：根据总位移信息、重心位移信息和角度变化信息，通过预先训练的分类器确定第二指纹传感器对应的第二动作；其中，分类器通过机器学习方法学习获得总位移信息、重心位移信息和角度变化信息与动作之间的映射关系。

在本公开一些实施例中，第四确定模块506具体用于：基于每个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，识别每个指纹传感器上触摸操作的手指信息；基于应用场景确定动作、手指与输入交互指令之间的映射关系；根据动作信息、手指信息和映射关系确定与输入交互匹配的输入交互指令。

在本公开一些实施例中，输入交互指令包括智能设备的动作执行指令和/或符号输入指令。

在本公开一些实施例中，在如图5所示实施例的基础上，基于指纹的输入交互装置还可包括反馈模块。其中，反馈模块用于：基于触摸操作生成交互反馈信息，交互反馈信息用于为用户提供触摸反馈，交互反馈信息包括以下至少一种：图像反馈信息、声音反馈信息和振动反馈信息。

在本公开一些实施例中，至少一个指纹传感器位于智能设备的侧边区域。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

为了实现上述实施例，本公开还提出一种智能设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现执行前述实施例所提供的方法。作为一种示例，智能设备可以是智能眼镜、入耳式耳机、智能手表等可穿戴智能设备，或者还可以是移动手机、平板电脑等智能设备。

为了实现上述实施例，本公开还提出一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述实施例所提供的方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述实施例所提供的方法。

本公开中所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

在前述各实施例描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于指纹的输入交互方法，所述方法应用于智能设备，其特征在于，包括以下步骤：

响应于用户使用至少一个指纹传感器与所述智能设备进行输入交互，获取所述用户在至少一个指纹传感器上进行触摸操作时，每个指纹传感器对应的多个连续指纹帧图像；

基于所述至少一个指纹传感器中一个或多个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，对所述用户进行身份认证；

响应于所述用户的身份认证通过，根据所述每个指纹传感器对应的多个连续指纹帧图像在时间序列上的变化信息，确定所述每个指纹传感器对应的触摸操作是否为点击动作类型；

对于所述至少一个指纹传感器中触摸操作为点击动作类型的第一指纹传感器，提取所述第一指纹传感器对应的多个连续指纹帧图像中的接触时间变化信息，并根据所述接触时间变化信息确定所述第一指纹传感器对应的第一动作；

对于所述至少一个指纹传感器中触摸操作为非点击动作类型的第二指纹传感器，提取所述第二指纹传感器对应的多个连续指纹帧图像中指纹特征的总位移信息、重心位移信息和角度变化信息，并根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作；

根据所述智能设备的应用场景和动作信息，确定与所述输入交互匹配的输入交互指令，所述动作信息包括所述第一动作和/或所述第二动作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作，包括：

响应于所述总位移信息大于第一阈值，所述重心位移信息小于或等于第二阈值，所述角度变化信息小于或等于第三阈值，确定所述第二动作为滑动动作；或者，

响应于所述总位移信息小于或等于所述第一阈值，所述重心位移信息大于所述第二阈值，所述角度变化信息小于或等于所述第三阈值，确定所述第二动作为滚动动作；或者，

响应于所述总位移信息小于或等于所述第一阈值，所述重心位移信息小于或等于所述第二阈值，所述角度变化信息大于所述第三阈值，确定所述第二动作为旋转动作。

3.根据权利要求1所述的方法，其特征在于，所述根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作，包括：

根据所述总位移信息、所述重心位移信息和所述角度变化信息，通过预先训练的分类器确定所述第二指纹传感器对应的第二动作；

其中，所述分类器通过机器学习方法学习获得总位移信息、重心位移信息和角度变化信息与动作之间的映射关系。

4.根据权利要求1所述的方法，其特征在于，所述根据所述智能设备的应用场景和动作信息，确定与所述输入交互匹配的输入交互指令，包括：

基于所述每个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，识别所述每个指纹传感器上触摸操作的手指信息；

基于所述应用场景确定动作、手指与输入交互指令之间的映射关系；

根据所述动作信息、所述手指信息和所述映射关系确定与所述输入交互匹配的输入交互指令。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述输入交互指令包括所述智能设备的动作执行指令和/或符号输入指令。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述触摸操作生成交互反馈信息，所述交互反馈信息用于为所述用户提供触摸反馈，所述交互反馈信息包括以下至少一种：图像反馈信息、声音反馈信息和振动反馈信息。

7.根据权利要求1所述的方法，其特征在于，所述至少一个指纹传感器位于所述智能设备的侧边区域。

8.一种基于指纹的输入交互装置，所述装置设置于智能设备，其特征在于，包括：

获取模块，用于响应于用户使用至少一个指纹传感器与所述智能设备进行输入交互，获取所述用户在至少一个指纹传感器上进行触摸操作时，每个指纹传感器对应的多个连续指纹帧图像；

身份认证模块，用于基于所述至少一个指纹传感器中一个或多个指纹传感器对应的多个连续指纹帧图像与预先注册的用户指纹信息，对所述用户进行身份认证；

第一确定模块，用于响应于所述用户的身份认证通过，根据所述每个指纹传感器对应的多个连续指纹帧图像在时间序列上的变化信息，确定所述每个指纹传感器对应的触摸操作是否为点击动作类型；

第二确定模块，用于对于所述至少一个指纹传感器中触摸操作为点击动作类型的第一指纹传感器，提取所述第一指纹传感器对应的多个连续指纹帧图像中的接触时间变化信息，并根据所述接触时间变化信息确定所述第一指纹传感器对应的第一动作；

第三确定模块，用于对于所述至少一个指纹传感器中触摸操作为非点击动作类型的第二指纹传感器，提取所述第二指纹传感器对应的多个连续指纹帧图像中指纹特征的总位移信息、重心位移信息和角度变化信息，并根据所述总位移信息、所述重心位移信息和所述角度变化信息，确定所述第二指纹传感器对应的第二动作；

第四确定模块，用于根据所述智能设备的应用场景和动作信息，确定与所述输入交互匹配的输入交互指令，所述动作信息包括所述第一动作和/或所述第二动作。

9.一种智能设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。