[go: up one dir, main page]

CN113658357A - 基于声音和图像识别的远程控制智能门锁的方法 - Google Patents

基于声音和图像识别的远程控制智能门锁的方法 Download PDF

Info

Publication number
CN113658357A
CN113658357A CN202110918816.2A CN202110918816A CN113658357A CN 113658357 A CN113658357 A CN 113658357A CN 202110918816 A CN202110918816 A CN 202110918816A CN 113658357 A CN113658357 A CN 113658357A
Authority
CN
China
Prior art keywords
door lock
voice
user
intelligent door
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110918816.2A
Other languages
English (en)
Inventor
张孝友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN202110918816.2A priority Critical patent/CN113658357A/zh
Publication of CN113658357A publication Critical patent/CN113658357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Lock And Its Accessories (AREA)

Abstract

本发明涉及智能门锁控制领域，具体涉及一种基于声音和图像识别的远程控制智能门锁的方法，实现了基于声音和图像识别对门锁进行远程控制，极大地提高了控制安全性。技术方案包括：实时检测用户声音数据，并记录语音数据和用户人脸图像数据，上传记录的语音数据到云端服务器，云端服务器对语音数据进行语义分析，获取开锁指令，再获取语音数据中的声纹特征信息，将获取的声纹特征信息与用户注册的声纹特征信息进行对比，验证通过后将结果下发至智能门锁的控制应用程序，再进行人脸特征对比，并验证所有人脸图像数据中的嘴部变化特征，验证通过后控制门锁远程打开。本发明适用于远程控制智能门锁。

Description

基于声音和图像识别的远程控制智能门锁的方法
技术领域
本发明涉及智能门锁控制领域，具体涉及一种基于声音和图像识别的远程控制智能门锁的方法。
背景技术
随着物联网和智能门锁的发展，智能门锁不仅提供多种本机开锁模式，还提供了远程音视频呼叫、远程控制等远程功能。智能门锁的远程功能不仅设备厂商自己能够使用还会提供给其他开发者使用，以便更多的控制方式提供给消费者。目前远程应用控制门锁开门的方式要么需要密码验证不够便捷；要么单语音控制不够安全。
发明内容
本发明的目的是提供一种基于声音和图像识别的远程控制智能门锁的方法，实现了基于声音和图像识别对门锁进行远程控制，极大地提高了控制安全性。
本发明采取如下技术方案实现上述目的，基于声音和图像识别的远程控制智能门锁的方法，包括：
步骤1、实时检测用户声音数据；
步骤2、检测到用户有声音开始输入时，实时记录语音数据和用户人脸图像数据；
步骤3、检测到用户声音输入完成时，结束记录语音和图像数据；
步骤4、上传记录的语音数据到云端服务器，云端服务器对语音数据进行语义分析，获取开锁指令，开锁指令获取后再获取语音数据中的声纹特征信息；
步骤5、将获取的声纹特征信息与用户注册的声纹特征信息进行对比，验证通过后将结果下发至智能门锁的控制应用程序；
步骤6、智能门锁的控制应用程序提取记录的用户人脸图像数据并上传到云端服务器；
步骤7、云端服务器将收到的人脸图像数据与用户注册的人脸特征进行对比，并验证所有人脸图像数据中的嘴部变化特征，验证通过后将结果下发至智能门锁的控制应用程序；
步骤8、智能门锁的控制应用程序收到人脸特征验证结果后控制门锁远程打开。
进一步的是，步骤1之前还包括：用户通过智能门锁的控制应用程序注册其声纹特征以及人脸特征信息到云端服务器。
进一步的是，步骤1之前还包括：在智能门锁的控制应用程序中设置远程控制接口，远程控制接口用于实现访客与用户的远程音视频通话。
本发明在获取用户语音开门指令的同时，使用声纹和人脸图像特征信息验证用户身份，并且使用嘴部特征的变化信息做活体验证。声纹验证通过后再验证人脸特征，进行人脸特征验证时，验证所有人脸图像数据中的嘴部变化特征，三重验证极大地提高了身份验证的安全性。
附图说明
图1是本发明基于声音和图像识别的远程控制智能门锁的方法流程图。
具体实施方式
本发明基于声音和图像识别的远程控制智能门锁的方法，包括：
步骤1、实时检测用户声音数据；
步骤2、检测到用户有声音开始输入时，实时记录语音数据和用户人脸图像数据；
步骤3、检测到用户声音输入完成时，结束记录语音和图像数据；
步骤4、上传记录的语音数据到云端服务器，云端服务器对语音数据进行语义分析，获取开锁指令，开锁指令获取后再获取语音数据中的声纹特征信息；
步骤5、将获取的声纹特征信息与用户注册的声纹特征信息进行对比，验证通过后将结果下发至智能门锁的控制应用程序；
步骤6、智能门锁的控制应用程序提取记录的用户人脸图像数据并上传到云端服务器；
步骤7、云端服务器将收到的人脸图像数据与用户注册的人脸特征进行对比，并验证所有人脸图像数据中的嘴部变化特征，验证通过后将结果下发至智能门锁的控制应用程序；
步骤8、智能门锁的控制应用程序收到人脸特征验证结果后控制门锁远程打开。
步骤1之前还包括：用户通过智能门锁的控制应用程序注册其声纹特征以及人脸特征信息到云端服务器。
步骤1之前还包括：在智能门锁的控制应用程序中设置远程控制接口，远程控制接口用于实现访客与用户的远程音视频通话。
步骤4中，开锁指令包括含有开锁或者请求开锁的语义，语音数据中包含开锁指令，才会进行声纹特征对比分析、人脸特征对比分析以及嘴部变化特征分析；目的是为了防止其他语音干扰。
图1是本发明基于声音和图像识别的远程控制智能门锁的一种实施例方法流程图，包括：
步骤S11、检测用户和访客通话过程中的录音数据；
步骤S12、用户有声音输入时开始记录用户声音数据和图像关键帧；
步骤S13、当声音输入完成时，结束记录声音和图像数据，得到用户一次语音输入数据和语音输入过程中的人脸图像数据；
步骤S14、控制应用上传语音数据到验证云端服务器，云端服务器先语义分析语音指令，获取到开锁指令后，获取语音数据中的声纹特征信息与用户注册的特征信息对比，验证完成后将结果下发给控制应用；
步骤S15、控制应用接收到声纹特征和语音指令验证通过消息后，提取每一张图像数据中的人脸特征信息；
步骤S16、控制应用上传人脸特征信息到云端服务器与用户注册的人脸特征比对，并验证每一张图像数据中的嘴部变化特征，验证完成后将结果下发给控制应用；
步骤S17、发送开锁指令到门锁云端服务器，控制应用接收到云端服务器人脸特征验证通过消息后，控制门锁远程开门。
用户使用远程控制应用和访客沟最便捷有效的就是音视频通话。音视频通话过程中，远程应用需要通过用户运行远程应用的设备(包括智能手机、智能电视等，后续简称远程设备)采集用户的声音和图像数据。所以本方案的核心就是利用远程设备的声音和图像采集系统，在获取用户语音开门指令的同时，使用声纹和人脸图像特征信息验证用户身份，并且使用嘴部特征的变化信息做活体验证。这样使用声纹、人脸特征、活体验证三重验证，极大的提高了身份验证的安全性。

Claims (3)

1.基于声音和图像识别的远程控制智能门锁的方法，其特征在于，包括：
步骤1、实时检测用户声音数据；
步骤2、检测到用户有声音开始输入时，实时记录语音数据和用户人脸图像数据；
步骤3、检测到用户声音输入完成时，结束记录语音和图像数据；
步骤4、上传记录的语音数据到云端服务器，云端服务器对语音数据进行语义分析，获取开锁指令，开锁指令获取后再获取语音数据中的声纹特征信息；
步骤5、将获取的声纹特征信息与用户注册的声纹特征信息进行对比，验证通过后将结果下发至智能门锁的控制应用程序；
步骤6、智能门锁的控制应用程序提取记录的用户人脸图像数据并上传到云端服务器；
步骤7、云端服务器将收到的人脸图像数据与用户注册的人脸特征进行对比，并验证所有人脸图像数据中的嘴部变化特征，验证通过后将结果下发至智能门锁的控制应用程序；
步骤8、智能门锁的控制应用程序收到人脸特征验证结果后控制门锁远程打开。
2.根据权利要求1所述的基于声音和图像识别的远程控制智能门锁的方法，其特征在于，步骤1之前还包括：用户通过智能门锁的控制应用程序注册其声纹特征以及人脸特征信息到云端服务器。
3.根据权利要求2所述的基于声音和图像识别的远程控制智能门锁的方法，其特征在于，步骤1之前还包括：在智能门锁的控制应用程序中设置远程控制接口，远程控制接口用于实现访客与用户的远程音视频通话。
CN202110918816.2A 2021-08-11 2021-08-11 基于声音和图像识别的远程控制智能门锁的方法 Pending CN113658357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110918816.2A CN113658357A (zh) 2021-08-11 2021-08-11 基于声音和图像识别的远程控制智能门锁的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110918816.2A CN113658357A (zh) 2021-08-11 2021-08-11 基于声音和图像识别的远程控制智能门锁的方法

Publications (1)

Publication Number Publication Date
CN113658357A true CN113658357A (zh) 2021-11-16

Family

ID=78479483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110918816.2A Pending CN113658357A (zh) 2021-08-11 2021-08-11 基于声音和图像识别的远程控制智能门锁的方法

Country Status (1)

Country Link
CN (1) CN113658357A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790054A (zh) * 2016-12-20 2017-05-31 四川长虹电器股份有限公司 基于人脸识别和声纹识别的交互式认证系统及方法
CN108320752A (zh) * 2018-01-26 2018-07-24 青岛易方德物联科技有限公司 应用于社区门禁的云声纹识别系统及其方法
CN110211278A (zh) * 2019-07-31 2019-09-06 一石数字技术成都有限公司 基于人脸抓拍的远程确认访客身份的门禁系统及通行方法
CN210627300U (zh) * 2019-08-30 2020-05-26 北京君林科技股份有限公司 一种低功耗的智能门锁
CN111611437A (zh) * 2020-05-20 2020-09-01 浩云科技股份有限公司 一种防止人脸声纹验证替换攻击的方法及装置
CN112132996A (zh) * 2019-06-05 2020-12-25 Tcl集团股份有限公司 一种门锁控制方法、移动终端、门控终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790054A (zh) * 2016-12-20 2017-05-31 四川长虹电器股份有限公司 基于人脸识别和声纹识别的交互式认证系统及方法
CN108320752A (zh) * 2018-01-26 2018-07-24 青岛易方德物联科技有限公司 应用于社区门禁的云声纹识别系统及其方法
CN112132996A (zh) * 2019-06-05 2020-12-25 Tcl集团股份有限公司 一种门锁控制方法、移动终端、门控终端及存储介质
CN110211278A (zh) * 2019-07-31 2019-09-06 一石数字技术成都有限公司 基于人脸抓拍的远程确认访客身份的门禁系统及通行方法
CN210627300U (zh) * 2019-08-30 2020-05-26 北京君林科技股份有限公司 一种低功耗的智能门锁
CN111611437A (zh) * 2020-05-20 2020-09-01 浩云科技股份有限公司 一种防止人脸声纹验证替换攻击的方法及装置

Similar Documents

Publication Publication Date Title
EP3327720B1 (en) User voiceprint model construction method and apparatus
CN108320752B (zh) 应用于社区门禁的云声纹识别系统及其方法
US5761329A (en) Method and apparatus employing audio and video data from an individual for authentication purposes
CN102316162A (zh) 基于语音命令的车辆远程控制方法、装置及系统
US9799338B2 (en) Voice print identification portal
CN108074310B (zh) 基于语音识别模块的语音交互方法及智能锁管理系统
CN105069874B (zh) 一种移动互联网声纹门禁系统及其实现方法
CN105895096A (zh) 一种身份识别与语音交互操作的方法及装置
Ren et al. Secure smart home: A voiceprint and internet based authentication system for remote accessing
CN112734988A (zh) 一种智能门锁的胁迫开锁的判断与报警系统及其方法
CN105933765A (zh) 一种语音解锁方法及装置
CN106375641A (zh) 一种入户视频对讲机器人及入户视频对讲控制方法
CN108597526A (zh) 一种权限确认方法、装置、存储介质及智能音箱
KR20190119521A (ko) 전자 장치 및 그 동작 방법
CN104717469B (zh) 微信楼宇可视对讲门口机
CN111063080A (zh) 一种基于人工智能算法的访客预约管理系统及方法
CN112000938A (zh) 基于多模识别的电网调度身份认证方法及系统
KR20140067687A (ko) 대화형 음성인식이 가능한 차량 시스템
CN110717166A (zh) 车载身份识别方法及系统
WO2019184006A1 (zh) 语音控制方法、装置和音响设备
CN113658357A (zh) 基于声音和图像识别的远程控制智能门锁的方法
US20240071392A1 (en) Upgrade method, upgrade apparatus, and electronic device
CN111915766A (zh) 一种声纹控制的锁具以及声纹识别的方法和系统
CN104134257A (zh) 一种语音识别的智能防盗锁
KR100608591B1 (ko) 멀티미디어 회의록 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211116