[go: up one dir, main page]

WO2016006949A1 - 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 - Google Patents

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 Download PDF

Info

Publication number
WO2016006949A1
WO2016006949A1 PCT/KR2015/007132 KR2015007132W WO2016006949A1 WO 2016006949 A1 WO2016006949 A1 WO 2016006949A1 KR 2015007132 W KR2015007132 W KR 2015007132W WO 2016006949 A1 WO2016006949 A1 WO 2016006949A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
user
type wearable
pattern information
glass type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/007132
Other languages
English (en)
French (fr)
Inventor
한성철
엄정한
김진영
이경현
김대중
김석기
유철현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nexsys Co ltd
Original Assignee
Nexsys Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150042548A external-priority patent/KR101629758B1/ko
Application filed by Nexsys Co ltd filed Critical Nexsys Co ltd
Publication of WO2016006949A1 publication Critical patent/WO2016006949A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation

Definitions

  • the present invention relates to an information processing system and method using a wearable device, and more particularly, to a system and method for information processing data acquired during the activity of a user having a wearable device.
  • the present invention relates to a system, method and program for unlocking a glass type wearable device in an information processing system and method using a wearable device, and more particularly, to unlock a user by using a glass type wearable device.
  • An unlocking system and method thereof are provided.
  • the head mounted display device is mainly made of a safety glasses or a helmet type device to see the screen in front of the eyes, and was developed to realize virtual reality.
  • Glass-type wearable devices generally have a small display such as a liquid crystal installed at a position close to both eyes (both eyes) to project an image.
  • the wearable device is for use in space development, nuclear reactors, military institutions, and medical institutions.
  • Various developments for games and the like are in progress.
  • a glass type wearable device according to the prior art is also disclosed in US Pat. No. US8,427,396.
  • glass wearable devices Although various types of glass wearable devices have been researched and emerged, methods or services that wearers can conveniently utilize in daily life are very limited, and UI (User Interface) or UX (User Experience) suitable for glass wearable devices is very limited. Neither is it being developed. In addition, recently, glass-type wearable devices that can perform most functions by themselves, as well as glass-type wearable devices used in conjunction with mobile terminals such as smartphones, have been developed. Different from the mobile terminal of the need for a service suitable for the characteristics of the glass-type wearable device.
  • UI User Interface
  • UX User Experience
  • the lock is released by a user authentication by drawing a lock pattern on the display unit or a fingerprint recognition method, but the glass type wearable device There is no unlocking method suitable for the characteristics of.
  • An object of the present invention is to compare the pre-stored user authentication pattern information and input user authentication pattern information according to various types of user authentication method, and to unlock the glass type wearable device to unlock the system, method and program In providing.
  • a method of unlocking a glass type wearable device comprising: receiving input pattern information by the glass type wearable device; And releasing a device lock state by comparing the input pattern information with setting pattern information, wherein the input pattern information is obtained by a glass type wearable device from a user or by an external device, and the glass type wearable device.
  • the pattern information is transmitted to the pattern information, and the setting pattern information is pattern information previously stored in the glass type wearable device.
  • the pattern information may be a combination of at least one of a voice pattern, an iris pattern, an eye blink pattern, a heartbeat pattern, a pulse pattern, a palm pattern, a hand gesture pattern, and a head movement pattern.
  • the method may further include listing one or more user authentication schemes on the screen.
  • the method may further include selecting a specific user authentication method from the user.
  • the method may further include granting limited use rights to functions provided in the glass type wearable device according to the user authentication method.
  • the function provided by the glass type wearable device Granting limited usage rights may further include.
  • the method may further include applying, by the glass type wearable device, a setting state corresponding to the authenticated user when two or more users have stored the setting pattern information, and the setting state is different according to the user.
  • the setting state may include at least one of a using application, a user interface type, logged in account information, and stored data.
  • the method may further include: notifying the registered user through wireless communication when the user authentication approval fails more than a predetermined number of times.
  • the performing of the notification may include transmitting the current location information of the glass type wearable device.
  • the method may further include: obtaining a first outline from a specific input gesture in the input pattern information when the pattern information is a hand gesture pattern; Calculating a similarity degree by comparing the first outline with a second outline of a set gesture in the set pattern information; And determining the input gesture as the set gesture when the similarity corresponds to a specific value or more.
  • a difference between the first input gesture acquired at a specific time point and the second input gesture acquired before a specific time from the specific time point may be identified to recognize a change in the hand gesture input from the user.
  • the unlocking program for a glass-shaped wearable device executes the above-described unlocking method in combination with hardware and is stored in a medium.
  • the present invention it is possible to prevent others from using the glass-type wearable device without the user's consent.
  • the user can easily unlock the glass type wearable device. That is, the user can easily release the lock state when worn in a manner such as a head movement, an iris recognition, etc. in accordance with the characteristics of the glass type wearable device.
  • the security level can be set differently for each user authentication method.
  • the user may be given different usage rights according to the user, and thus, a plurality of users may provide convenience in using a single glass type wearable device.
  • the registered user can be notified of the failure to unlock by SMS or e-mail, and the location information of the glass wearable device can also be provided, thereby preventing the loss of the glass wearable device.
  • FIG. 1 is a block diagram of a glass type wearable device system according to an exemplary embodiment of the present invention.
  • FIG 2 is an exemplary view of a glass type wearable device related to one embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of releasing a glass type wearable device according to an exemplary embodiment of the present invention.
  • FIG. 4 is an exemplary screen of a glass type wearable device to which a unlocking method using voice recognition is applied according to an embodiment of the present invention.
  • FIG. 5 is a glass-type wearable device example screen to which a unlocking method is applied using a user's hand gesture pattern information recognition method according to an embodiment of the present invention.
  • FIG. 6 is a glass-type wearable device example screen to which the unlocking method using the user's moving pattern information recognition according to an embodiment of the present invention is applied.
  • 1 is a block diagram of a glass type wearable device system according to an exemplary embodiment of the present invention.
  • 2 is an exemplary view of a glass type wearable device related to one embodiment of the present invention.
  • 3 is a flowchart illustrating a method of releasing a glass type wearable device according to an exemplary embodiment of the present invention.
  • 4 is an exemplary screen of a glass type wearable device to which a unlocking method using voice recognition is applied according to an embodiment of the present invention.
  • 5 is a glass-type wearable device example screen to which a unlocking method is applied using a user's hand gesture pattern information recognition method according to an embodiment of the present invention.
  • 6 is a glass-type wearable device example screen to which the unlocking method using the user's moving pattern information recognition according to an embodiment of the present invention is applied.
  • the glass type wearable device 10 the input unit 100, the user input unit 110, the keyboard 111, the touch pad 112, the camera unit 120, the first camera 121, and the first 2 camera 122, the third camera 123, the sensing unit 130, gyro sensor 131, acceleration sensor 132, pressure sensor 133, iris sensor 134, heart rate detection sensor 135 , EMG sensor 136, voice input unit 140, control unit 210, voice recognition unit 220, situation evaluation module 230, voice-to-text conversion module 240, wireless communication unit 250, memory 260 ), An interface unit 270, an output unit 300, a display unit 310, an audio output unit 320, an alarm unit 330, and a haptic module 340 are illustrated.
  • FIG. 1 is a block diagram of a glass type wearable device system 10 according to an embodiment of the present invention.
  • the glass type wearable device system 10 may include an input unit 100, a user input unit 110, a keyboard 111, a touch pad 112, and a camera unit 120.
  • the components shown in FIG. 1 are not essential, so a glassy wearable device with more or less components may be implemented.
  • FIG 2 is an exemplary view of a glass type wearable device related to one embodiment of the present invention.
  • the components may be provided inside or on one side of the glass type wearable device as shown in FIG. 2.
  • the input unit 100 is for inputting an audio signal, a video signal, a user's manipulation signal, a biosignal, and the like.
  • the input unit 100 includes a user input unit 110, a camera unit 120, a sensing unit 130, and a voice input unit 140.
  • the user input unit 110 generates key input data input by the user for controlling the operation of the device.
  • the user input unit 110 may include a keypad, a keyboard 111, a dome switch, a touch pad (static pressure / capacitance) 112 (hereinafter, may also be referred to as a touch unit), a jog wheel, a jog Switch, finger mouse, or the like.
  • a touch pad static pressure / capacitance 112
  • the camera 120 is for inputting a video signal or an image signal, and two or more cameras 120 may be provided according to a configuration aspect of the device.
  • the camera 120 processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display 310.
  • the image frame processed by the camera 120 may be stored in the memory 260 or transmitted to the outside through the wireless communication unit 250.
  • the control unit 210 transmits the image signal and the video signal.
  • the camera unit 120 may include one or more cameras according to the direction or purpose of the captured image.
  • the first camera 121 may be provided at one side of the glass type wearable device to capture an image of the front side.
  • the second camera 122 may be provided at one side of the glass type wearable device to acquire an image or an image in an eyeball direction.
  • the third camera 123 may be provided at the rear or side of the glass type wearable device 10 to acquire an image or an image of the rear or side.
  • the sensing unit 130 generates a sensing signal for controlling the operation of the device by detecting the current state of the device, such as whether the user wears the glass-shaped wearable device 10 or the position of the device.
  • the sensing unit 130 may perform a function of an input unit receiving an input signal for information processing of the device, and may perform various sensing functions such as whether an external device is connected or not.
  • the sensing unit 130 includes a proximity sensor, a pressure sensor 133, a motion sensor, a fingerprint recognition sensor, an iris recognition sensor 134, a heart rate detection sensor 135, a skin temperature sensor, a skin resistance sensor and an electrocardiogram sensor. And various sensors.
  • the proximity sensor can detect the presence or absence of an approaching object or an object present in the vicinity without mechanical contact.
  • the proximity sensor can detect a proximity object by using a change in an alternating magnetic field or a change in a static magnetic field, or by using a change rate of capacitance.
  • Two or more proximity sensors may be provided according to the configuration aspect.
  • the pressure sensor 133 may detect whether the glass type wearable device 10 is pressed, the magnitude of the pressure, and the like.
  • the pressure sensor 133 may be installed at a portion of the glass type wearable device 10 that requires the detection of pressure according to the use environment. If the pressure sensor 133 is installed in the display 310, a touch input through the display 310 and a greater pressure than the touch input are applied according to the signal output from the pressure sensor 133. The pressure touch input can be identified. In addition, according to the signal output from the pressure sensor 133, it is also possible to know the magnitude of the pressure applied to the display 310 when the pressure touch input.
  • the motion sensor includes one or more of sensors such as a gyro sensor 131, an acceleration sensor 132, and a geomagnetic sensor, and detects the position or movement of the glass type wearable device 10 using the same.
  • the acceleration sensor 132 that can be used for a motion sensor is a device that converts an acceleration signal in one direction into an electrical signal, and is widely used with the development of micro-electromechanical systems (MEMS) technology.
  • MEMS micro-electromechanical systems
  • the gyro sensor 131 is a sensor for measuring the angular velocity, and may sense a direction returned to the reference direction.
  • the heart rate detection sensor 135 measures the change in the light blood flow rate according to the change in blood vessel thickness due to the heartbeat.
  • the skin temperature sensor measures the skin temperature as the resistance value changes in response to the temperature change.
  • Skin resistance sensors measure the electrical resistance of the skin.
  • the iris recognition sensor 134 performs a function of recognizing a person using iris information of an eye having unique characteristics for each person.
  • the human iris is completed after 18 months of age, and then the circular iris pattern, which is raised near the inner edge of the iris, is almost unchanged once determined. Therefore, iris recognition is the application of security authentication technology by informatizing the characteristics of different iris for each person. In other words, it is an authentication method developed as a means of identifying people by analyzing the shape and color of the iris and the morphology of the retinal capillaries.
  • the iris recognition sensor 134 codes and compares the iris pattern with an image signal, and determines the comparison.
  • the general operation principle is as follows. First, when the user's eyes are focused on the mirror in the center of the iris recognizer at a certain distance, the infrared camera adjusts the focus through the zoom lens. Then, the iris camera images the user's iris into a photograph, and the iris recognition algorithm analyzes the iris contrast patterns by area to generate a unique iris code. Finally, a comparison search is performed as soon as the iris code is registered in the database.
  • the iris recognition sensor 134 may be provided inside the second camera 122 disposed in the eye direction, and in this case, the second camera 122 may perform a function of the iris recognition sensor.
  • the distance sensor includes a distance measurement method between two points, a triangulation method (infrared ray type, natural light type), and ultrasonic type.
  • a triangulation method infrared ray type, natural light type
  • ultrasonic type As in the conventional triangulation principle, the distance between two points is displayed when the measured objects from the two paths are reflected by the right angle prism and incident on the two image sensors so that the relative positions match.
  • the ultrasonic method is a method in which the distance is measured by transmitting an ultrasonic wave having a sharp directivity to the object to be measured and receiving a reflected wave conveyed from the object to be measured.
  • the receiving sensor uses a piezoelectric element.
  • the Doppler radar is a radar that utilizes a phase change of the reflected wave, that is, a Doppler effect of the wave.
  • the doppler radar includes a continuous wave radar that transmits and receives a sine wave which is not pulse modulated, and a pulse radar that uses pulse modulated radio waves as an electromagnetic wave signal waveform.
  • Continuous wave radar is unsuitable for long range radar because modulating frequency is relatively high in order to obtain the performance of Doppler frequency filter. There are features that can be.
  • the pulse radar measures the distance to the target by the time from pulse transmission to reflection echo reception.
  • the voice input unit 140 is for inputting a voice signal and may include a microphone.
  • the microphone receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes it into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the wireless communication unit 250 and output in the call mode.
  • various noise canceling algorithms may be used to remove noise generated while receiving an external sound signal.
  • the output unit 300 is for outputting an audio signal, an image signal, a video signal or an alarm signal.
  • the output unit 300 may include a display unit 310, a sound output unit 320, an alarm unit 330, and a haptic module 340.
  • the display 310 displays and outputs information processed by the device. For example, when the device is in a call mode, the device displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the device is in a video call mode or a photographing mode, the captured or received images may be displayed at the same time or simultaneously, and the UI and the GUI may be displayed.
  • UI user interface
  • GUI graphic user interface
  • the display unit 310 may be used as an input device in addition to the output device. If the display unit 310 is configured as a touch screen, the display unit 310 may include a touch screen panel and a touch screen panel controller.
  • the display unit 310 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. It may include at least one of (3D display).
  • two or more display units 310 may exist according to the implementation form of the device. For example, the external display unit 310 and the internal display unit 310 may be simultaneously provided in the device.
  • the display unit 310 may be implemented as a head up display (HUD), a head mounted display (HMD), or the like.
  • HMD Head mounted Display
  • a head up display (HUD) is an image display device for projecting a virtual image onto glass in a user's visible area.
  • the sound output unit 320 outputs audio data received from the wireless communication unit or stored in the memory 260 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output module 320 outputs a sound signal related to a function performed in the device, for example, a call signal reception sound and a message reception sound.
  • the sound output module 320 may include a speaker, a buzzer, and the like.
  • the alarm unit 330 outputs a signal for notifying occurrence of an event of the device. Examples of events occurring in the device include call signal reception, message reception, and key signal input.
  • the alarm unit 330 outputs a signal for notifying occurrence of an event in a form other than an audio signal or a video signal. For example, the signal may be output in the form of vibration.
  • the alarm unit 330 may output a signal to notify the call signal when the call signal is received or a message is received. Also.
  • the key signal is input, the alarm unit 330 may output the signal as a feedback to the key signal input. The user may recognize the occurrence of an event through the signal output from the alarm unit 330.
  • the signal for notifying the event occurrence in the device may also be output through the display 310 or the sound output unit.
  • the haptic module 340 generates various haptic effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module 340 is a vibration effect.
  • the haptic module 340 When the haptic module 340 generates vibration by the tactile effect, the intensity and pattern of the vibration generated by the haptic module 340 may be converted, and may be output by combining different vibrations or sequentially.
  • the wireless communication unit 250 may include a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and a location information module.
  • the broadcast receiving module receives at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel, a terrestrial channel, and the like.
  • the broadcast management server may mean a server that generates and transmits at least one of a broadcast signal and broadcast related information, or a server that receives at least one of the pre-generated broadcast signal and broadcast related information and transmits the same to a terminal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network, and in this case, may be received by the mobile communication module.
  • Broadcast related information may exist in various forms.
  • the broadcast receiving module may receive a broadcast signal using various broadcast systems, and receive a digital broadcast signal using a digital broadcast system.
  • the broadcast receiving module may be configured to be suitable for all broadcast systems providing broadcast signals as well as such digital broadcast systems.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module may be stored in the memory 260.
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to voice call signal, video call signal, or text / multimedia message transmission and reception.
  • the wireless internet module refers to a module for wireless internet access, and the wireless internet module may be embedded or external to the device.
  • Wireless Internet technologies include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), long term evolution (LTE), LTE-A Long Term Evolution-Advanced and the like can be used.
  • the short range communication module refers to a module for short range communication.
  • Beacon, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, etc. may be used as a short range communication technology.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module refers to a module that receives the positioning signal and measures the position of the glass type wearable device.
  • the position information module may correspond to a Global Position System (GPS) module, and the positioning signal may correspond to a GPS signal.
  • GPS Global Position System
  • the Global Position System (GPS) module receives position information from a plurality of GPS satellites.
  • the memory 260 may store a program for processing and controlling the controller 210, and may perform a function for temporarily storing input or output data (eg, a message, a still image, a video, etc.). It may be.
  • input or output data eg, a message, a still image, a video, etc.
  • the memory 260 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM
  • the storage medium may include at least one type of storage medium.
  • the device may operate a web storage that performs a storage function of a memory on the Internet.
  • the memory 260 may be referred to as a storage 260 hereinafter.
  • the interface unit 270 serves as an interface with all external devices connected to the device. Examples of external devices that connect to the device include wired / wireless headsets, external chargers, wired / wireless data ports, memory cards, card sockets such as Subscriber Identification Module (SIM) or User Identity Module (UIM) cards, Audio I / O (Input / Output) terminals, video I / O (Input / Output) terminals, earphones, and the like.
  • SIM Subscriber Identification Module
  • UIM User Identity Module
  • the interface unit 270 may receive data from such an external device or receive power and transfer the data to each component within the device, and may transmit data within the device to the external device.
  • the controller 210 typically controls the operation of each unit to perform a function of controlling the overall operation of the device. For example, perform related control and processing for voice calls, data communications, and the like. In addition, the controller 210 performs a function of processing data for multimedia reproduction. In addition, it performs a function of processing the data received from the input unit 100 or the sensing unit 130.
  • the controller 210 performs face detection and face recognition for face recognition. That is, the controller 210 may include a face detection module and a face recognition module for face recognition.
  • the face detection module may extract only the face area from the camera image acquired by the camera unit 120. For example, the face detection module extracts a face region by recognizing feature elements in the face such as eyes, nose, and mouth.
  • the face recognition module may generate a template by extracting feature information from the extracted face region, and recognize a face by comparing a template with face information data in a face database.
  • the controller 210 may perform a function of extracting and recognizing a character from an image or an image acquired by the camera unit 120. That is, the controller 210 may include a character recognition module for character recognition.
  • Optical character recognition may be applied as a character recognition method of the character recognition module.
  • OCR Optical character recognition
  • the OCR method converts a typeface image of a document written by a person who can be obtained by an image scan or printed by a machine into a format such as a computer code that can be edited by a computer, and can be implemented by software.
  • the OCR method may compare several standard pattern letters and input characters prepared in advance and select the most similar to the standard pattern letters as the corresponding letters.
  • the character recognition module includes standard pattern letters of various languages, it is possible to read printed characters of various languages. Such a method is called a pattern matching method among the OCR methods, and the OCR method is not limited thereto, and various methods may be applied. In addition, the character recognition method of the character recognition module is not limited to the OCR method, various methods for recognizing the character on the offline already printed may be applied.
  • the controller 210 may perform a function of recognizing a gaze direction based on an eyeball image or an image acquired by the second camera 122. That is, the controller 210 may include a gaze analysis module that performs gaze direction recognition. The direction of the user's gaze and the gaze may be measured and then calculated by synthesis to determine the user's direction.
  • the gaze direction may mean a direction of the face of the user and may be measured by the gyro sensor 131 or the acceleration sensor 132 of the sensing unit 130. The gaze direction may be grasped by the gaze analysis module in a direction viewed by the user's pupil.
  • the gaze analysis module may detect a movement of a pupil through analysis of a real-time camera image, and apply a method of calculating a direction of a gaze based on a fixed position reflected by the cornea. For example, through the image processing method, the position of the corneal reflected light by the center of the pupil and the illumination may be extracted and the gaze position may be calculated through the positional relationship thereof.
  • the controller 210 may be represented by the information processor 210.
  • the power supply unit receives an external power source and an internal power source under the control of the controller 210 to supply power for operation of each component.
  • the speech recognition unit 220 performs a function of identifying linguistic meaning content from the speech by automatic means. Specifically, the process of identifying a word or word sequence and extracting meaning by inputting a speech waveform is classified into five categories: speech analysis, phoneme recognition, word recognition, sentence interpretation, and meaning extraction.
  • the voice recognition unit 220 may further include a voice evaluation module for comparing whether the stored voice and the input voice are the same.
  • the voice recognition unit 220 may further include a voice-to-text conversion module 240 for converting an input voice into text or converting a text into voice.
  • the EEG signal generation unit generates an EEG signal having a frequency and a waveform for tuning human EEG. That is, the EEG signal generator transmits the vibration of the EEG frequency to the skull to perform the function of tuning the EEG.
  • EEG is the flow of electricity that occurs when a cranial nerve signal is transmitted. These brain waves are delta waves, which are very slow when you sleep, beta waves, which are fast when you are active, and alpha waves, which are medium speeds when you meditate. Therefore, the EEG signal generator may induce alpha waves and theta waves to exert the effects of learning assistance and mental concentration.
  • FIG. 3 is a flowchart illustrating a method of releasing a glass type wearable device according to an exemplary embodiment of the present invention.
  • the method for unlocking a glass type wearable device may include: receiving input pattern information by the glass type wearable device (S100); And releasing the device lock state by comparing the input pattern information with the setting pattern information (S200).
  • the unlocking method according to an embodiment of the present invention will be described in order.
  • the glass type wearable device 10 receives input pattern information (S100).
  • the pattern information may include at least one of a voice pattern, an iris pattern, an eye blink pattern, a heartbeat pattern, a pulse pattern, a palm pattern, a gesture pattern as illustrated in FIG. 5, or a head movement pattern as illustrated in FIG. 6. It is a combination.
  • the pattern information is not limited to the user authentication method described above, and any user authentication method that can be implemented by various input information through the sensing unit 130 and the user input unit 110 of the glass type wearable device 10. It may include.
  • the input pattern information is pattern information that the glass type wearable device 10 is obtained from a user or obtained by an external device and transmitted to the glass type wearable device.
  • the glass type wearable device 10 releases the device lock state by comparing the input pattern information with setting pattern information (S200).
  • the setting pattern information is pattern information previously stored in the glass type wearable device 10.
  • the glass type wearable device 10 releases the lock state so that the user can use the glass type wearable device 10 when the input pattern information matches the pre-stored set pattern information. Can be.
  • the glass type wearable device 10 may receive a high motion from a user and display the recognized high motion direction on the display 310. The user may check whether the head movement direction input by the user through the display 310 is properly input.
  • the glass type wearable device 10 may display a specific input sentence on the display 310 to request a user to read the input sentence by voice. Thereafter, the controller 210 of the glass type wearable device 10 may compare the pre-stored voice pattern with the input voice pattern, and release the lock state if the two match.
  • the glass type wearable device 10 may sequentially receive a hand gesture pattern formed by a combination of one or more hand gestures through the first camera 121. Thereafter, the glass type wearable device 10 may determine whether to release the locked state by comparing the input hand gesture pattern information with previously stored hand gesture pattern information. When the input hand gesture pattern information and the pre-stored hand gesture pattern information match, the glass type wearable device 10 may release the lock state so that the user can utilize various functions.
  • the method may further include listing one or more user authentication schemes on the screen. And selecting a specific user authentication method from the user.
  • the user may identify and select a user authentication method for using the glass type wearable device 10 through the display 310.
  • the method may further include granting limited use authority to a function provided by the glass type wearable device 10 according to the user authentication method. Since some user authentication methods can be easily recognized by others, it is necessary to restrict the use of some functions by granting only limited use rights when unlocking the user authentication method. For example, the eye blink pattern information can be easily recognized and stolen by other persons than the registered user, compared to the iris recognition information. Therefore, the use of a function including personal information can be restricted when authenticating the user by the eye blink pattern information. have.
  • the glass type wearable device 10 when more than one user stores the setting pattern information, when the user corresponding to the specific setting pattern information corresponds to a user whose use authority of the glass type wearable device 10 is limited, the glass type wearable device 10
  • the step of granting limited use rights for the functions provided in the; may further include. That is, when the lock state is released by setting pattern information for user authentication of a specific user among registered users, the usable function of the glass type wearable device may be limited.
  • the method may further include the step of applying, by the glass type wearable device 10, a setting state corresponding to the authenticated user when two or more users have stored the setting pattern information, and the setting state is different according to the user.
  • the setting state may include at least one of a user application, a user interface (UI) type, logged in account information, and stored data. That is, when more than one user stores setting pattern information for user authentication, the data stored in the glass type wearable device 10 is different for each user, and the function of the glass type wearable device 10 used may be different. have.
  • stored data such as personal information for each user should not be disclosed to other users. Accordingly, the glass type wearable device 10 may load data from the storage unit 260 according to the user who stores the setting pattern information, and the user may apply a user function and a UI set by the user.
  • the method may further include: notifying the registered user through wireless communication when the user authentication approval fails more than a predetermined number of times.
  • the notification method through wireless communication may include a notification SMS or an e-mail. Through this, the registered user can recognize the fact that someone attempts to unlock the device, thereby preventing the loss of the glass type wearable device 10.
  • the performing of the notification may include transmitting the current location information of the glass type wearable device. If the glass type wearable device is lost, the location information of the device may be transmitted to the registered user according to a user authentication failure, thereby helping to find the lost device.
  • the glass type wearable device 10 extracts a first outline and a second outline, which are outlines of the input gesture and the set gesture, calculates similarity between the first outline and the second outline, and determines whether the input gesture and the set gesture match. You can judge.
  • the change of the input gesture may be recognized by calculating a difference between a first input gesture acquired at a specific time point and a second input gesture acquired before a specific time from the specific time point. That is, when the lock pattern is configured with a plurality of input gestures, the pattern information may be sequentially received only when the change of the hand gesture is recognized. Therefore, the glass type wearable device 10 compares the first input gesture acquired in real time with the second input gesture acquired before a specific time to determine a difference, and if the difference value is equal to or greater than a specific value, the second input gesture is determined. It may be recognized as changed to the first input gesture. Through this, the glass type wearable device 10 may receive the input gestures in order and release the lock state through the gesture pattern.
  • an embodiment of the present invention may further include displaying on the display 310 whether the user authentication is approved. That is, the user may check whether the user authentication is approved by the input pattern information through the display 310. In addition, the user may attempt to authenticate the user again through a user authentication failure message displayed on the display 310.
  • the unlocking system of the glass type wearable device includes an authentication information input unit 100 and a control unit 210.
  • the authentication information input unit performs a function of receiving user authentication pattern information according to a user authentication method.
  • the authentication information input unit includes a sensing unit 130, a user input unit 110, a voice input unit 140, and the camera unit 120. That is, the authentication information input unit motion sensor and heart rate detection sensor 135 of the user input unit 110, the first camera 121 and the second camera 122 of the camera unit 120, the sensing unit 130. ), And may include at least one of the voice input unit 140.
  • the voice input unit 140 receives the voice information of the user to be compared with the preset voice information of the user.
  • Motion sensors such as the acceleration sensor 132 or gyro sensor 131 receives the user's moving pattern.
  • the heartbeat detection sensor 135 receives the heartbeat pattern information of the user.
  • the first camera 121 is coupled to one side of the front portion of the glass type wearable device to receive a user's hand gesture pattern.
  • the second camera 122 is coupled to the glass type wearable device in the direction of the user's eye and includes an iris recognition sensor 134 to receive the user's iris pattern information and eye blink pattern information.
  • the controller 210 determines whether the input user authentication pattern information matches the stored user authentication pattern information. For example, as shown in FIG. 6, when the high motion pattern information is inputted by the motion sensor, the controller 210 compares the high motion pattern information with the stored motion pattern information, and determines whether there is a match. When the hand gesture pattern information is input by comparison, the hand gesture pattern information is compared with the stored hand gesture pattern information.
  • the controller 210 may include a voice recognition unit 220 to compare the input voice pattern information with the stored voice pattern information.
  • the controller 210 performs a function of instructing the glass type wearable device 10 to operate normally when the input user authentication pattern information matches the stored user authentication pattern information.
  • the controller 210 may perform a function of granting limited use authority to a function provided by the glass type wearable device 10 according to a user authentication method.
  • the controller 210 may classify the user authentication method according to the user's setting, and limit the use of some functions by restricting the use right of the glass type wearable device 10 when authenticating the user according to a specific user authentication method.
  • the eye blink pattern information may be easily recognized and stolen by other persons than the registered user, compared to the iris recognition information, so that the controller 210 may personalize the personal information according to the user's setting when authenticating the user by the eye blink pattern information. You can limit the use of the included functions.
  • the controller 210 corresponds to a user whose usage authority of the glass type wearable device is limited as a result of the user authentication. Can perform a function that grants limited permissions.
  • the controller 210 may limit the usable functions of the glass type wearable device 10.
  • an embodiment of the present invention may further include a display unit 310 for displaying a user authentication method, a user authentication process, and a user authentication result to be input to the user.
  • the display unit 310 functions to display a screen. As shown in FIGS. 4 to 6, the display unit 310 displays a user authentication method to be input, and if the user authentication pattern information is input, compares with the previously stored user authentication pattern information. In addition, when the glass type wearable device receives a user's moving pattern information or hand gesture pattern information, the display unit 310 displays the recognized pattern information to confirm whether the received pattern information is correctly recognized by the device. To perform the function.
  • the touch unit 112 may provide a direction and a selection interface to allow a user to select a specific user authentication method.
  • the touch unit 112 refers to a configuration capable of inputting a signal to the glass type wearable device 10 by a user's manipulation.
  • the touch unit 112 performs a function of allowing a user to select a user authentication method when at least one user authentication method is stored in the glass type wearable device 10.
  • the touch unit 112 may be combined with the display unit 310 to be implemented in the form of a touch screen.
  • the user may select a portion in which the user authentication method to be input is displayed and input pattern information of the corresponding user authentication method.
  • the touch unit 112 may be implemented in a manner of manipulating a specific portion of the glass type wearable device 10.
  • the glass type wearable device 10 includes the touch unit 112 at one side, and the user may change the touch unit 112 according to the number of times of operating the touch unit 112, a slide method, or a time of operating the touch unit 112. You can choose a user authentication method.
  • the touch unit 112 is not limited to the side portion, but may be provided at various positions of the glass type wearable device.
  • the method of selecting one of the one or more user authentication methods is not limited to the previously presented method, and various methods that can be implemented by the touch unit 112 and the touch unit 112 may be applied and implemented.
  • the voice input unit 140 may be characterized by receiving a voice command of the user so that the user can select a specific user authentication method.
  • the wireless communication unit 250 for transmitting an SMS or e-mail to the registered user may further include.
  • control unit 210 may be characterized by setting the number of user authentication failures for transmitting SMS or e-mail to a registered user. Since even the registered user may not recognize the pattern information properly and fail the user authentication, the controller 210 may set the number of consecutive user authentication failures allowed according to the user designation.
  • controller 210 may limit unlocking of the glass type wearable device 10 for a predetermined time when the user authentication fails a corresponding number of times.
  • the apparatus may further include a GPS signal unit that provides location information of the glass type wearable device to an SMS or an e-mail transmitted to a registered user.
  • the GPS signal unit performs a function of transmitting the location information of the device to a registered user according to the failure of unlocking the other person when the glass type wearable device is lost, and thus the user can identify the location of the device so that the device is lost. It helps to find.
  • the unlocking method using the glass-type wearable device according to the embodiment of the present invention described above is implemented as a program (or an application) to be executed in combination with the glass-type wearable device 10 which is hardware to be stored in a medium. Can be.
  • the processor CPU of the glassy wearable device 10 may execute the glassy wearable device ( 10) may include code coded in a computer language such as C, C ++, JAVA, or machine language that can be read through the device interface.
  • code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, the execution of which is required for the processor of the glassy wearable device 10 to execute according to a predetermined procedure. Procedure-related control codes.
  • such code requires that additional information or media required to execute the functions by the processor of the glassy wearable device 10 is referred to at any position (address address) of the internal or external memory of the glassy wearable device 10. It may further include a memory reference code for whether or not.
  • the code may be configured to communicate with the communication module of the glass type wearable device 10. It may further include communication-related code, such as how to communicate with any other computer or server in the remote, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like.
  • the program may be stored in various recording media on various servers accessible by the glass type wearable device 10 or various recording media on the glass type wearable device 10 of the user.
  • the media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.
  • the present invention it is possible to prevent others from using the glass-type wearable device without the user's consent.
  • the user can easily unlock the glass type wearable device.
  • the security level can be set differently for each user authentication method.
  • the user may be given different usage rights according to the user, thereby providing convenience for a plurality of users to use a single glass type wearable device.
  • the registered user can be notified of the failure to unlock by SMS or e-mail, and the location information of the glass wearable device can also be provided, thereby preventing the loss of the glass wearable device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 글라스형 웨어러볼 디바이스의 잠금 해제 방법 및 프로그램에 관한 것이다. 본 발명으 I 잠금 해제 방법은 글라스형 웨어러볼 디바이스가 입력패턴정보를 수신하는 단계 및 입력패턴정보를 설정패 턴정보와 비교하여 디바이스 잠금상태를 해제하는 단계를 포함하며, 이를 통해 글라스형 웨어러볼 디 바이스를 타인이 사용자의 동의없이 사용하는 것을 방지하기 위한 효과를 제공할 수 있다.

Description

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법에 관한 것으로, 보다 자세하게는 웨어러블 디바이스를 보유한 사용자의 활동 중에 획득된 데이터를 정보처리하는 시스템 및 방법에 관한 것이다.
특히, 본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 중에서 글라스형 웨어러블 디바이스의 잠금해제 시스템, 방법 및 프로그램에 관한 것으로, 더욱 상세하게는 글라스형 웨어러블 디바이스의 사용을 위해 사용자인증을 하여 잠금해제가 되도록 하는 잠금해제 시스템 및 그 방법에 관한 것이다.
정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 두부 장착형 디스플레이 장치(head mounted display, HMD)가 있다. 두부 장착형 디스플레이 장치는 주로 보안경이나 헬멧형 기기로 눈앞에 있는 스크린을 보도록 이루어지며, 가상 현실감을 실현하기 위해 개발되었다.
글라스형 웨어러블 디바이스는 양안(양쪽 눈)에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식이 일반적이며, 현재는 우주 개발, 원자로, 군사 기관 및 의료 기관에서 사용하기 위한 것과 업무용이나 게임용 등에 대한 각종 개발이 진행되고 있다. 종래 기술에 따른 글라스형 웨어러블 디바이스는 미국 특허 등록 번호 US8,427,396에도 개시되어 있다.
다양한 형태의 글라스형 웨어러블 디바이스가 연구되고 등장하고 있으나, 착용자들이 일상생활에서 편리하게 활용할 수 있는 방법 또는 서비스는 매우 한정되어 있으며, 글라스형 웨어러블 디바이스에 적합한 UI(User Interface) 또는 UX(User Experience)도 개발되고 있지 않은 실정이다. 또한, 최근에는 스마트폰과 같은 이동단말기와 연동하여 사용하는 글라스형 웨어러블 디바이스뿐만 아니라 단독으로 대부분의 기능을 수행할 수 있는 글라스형 웨어러블 디바이스도 개발되고 있으므로, 글라스형 웨어러블 디바이스 시장의 활성화를 위해 기존의 이동단말기와 차이나는 글라스형 웨어러블 디바이스의 특성에 적합한 서비스가 필요하다.
특히, 디스플레이부를 구비한 이동단말기(예를 들어, 스마트폰, 태블릿PC 등)의 경우, 디스플레이부에 잠금패턴을 그리는 방식 또는 지문인식 방식으로 사용자인증을 하여 잠금해제를 하고 있으나, 글라스형 웨어러블 디바이스의 특성에 적합한 잠금해제 방식이 있지 않은 실정이다.
본 발명의 목적은, 다양한 형태의 사용자인증 방식에 따라 기 저장된 사용자인증 패턴 정보와 입력된 사용자 인증 패턴 정보를 비교하여 일치하는 경우 잠금해제가 되도록 하는 글라스형 웨어러블 디바이스의 잠금해제 시스템, 방법 및 프로그램을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 잠금해제 방법은, 상기 글라스형 웨어러블 디바이스가 입력패턴정보를 수신하는 단계; 및 상기 입력패턴정보를 설정패턴정보와 비교하여 디바이스 잠금상태를 해제하는 단계;를 포함하며, 상기 입력패턴정보는 상기 글라스형 웨어러블 디바이스가 사용자로부터 획득하거나 외부 디바이스에 의해 획득되어 상기 글라스형 웨어러블 디바이스로 전송되는 패턴정보이며, 상기 설정패턴정보는 상기 글라스형 웨어러블 디바이스 내에 기 저장된 패턴정보이다.
또한, 상기 패턴정보는, 음성패턴, 홍채 패턴, 눈 깜박임 패턴, 심장박동 패턴, 맥박 패턴, 손금 패턴, 손 제스처 패턴 또는 고개 움직임 패턴 중 적어도 하나 이상의 조합인 것을 특징으로 할 수 있다.
또한, 설정된 하나 이상의 사용자인증 방식을 화면상에 나열하는 단계; 및
사용자로부터 특정한 사용자인증 방식을 선택받는 단계;를 더 포함할 수 있다.
또한, 상기 사용자인증 방식에 따라 글라스형 웨어러블 디바이스에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 단계;를 더 포함할 수 있다.
또한, 상기 설정패턴정보를 저장한 사용자가 둘 이상인 경우, 특정한 상기 설정패턴정보에 대응하는 사용자가 글라스형 웨어러블 디바이스의 사용 권한이 제한되는 사용자에 해당하면, 글라스형 웨어러블 디바이스에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 단계;를 더 포함할 수 있다.
또한, 상기 설정패턴정보를 저장한 사용자가 둘 이상이며, 사용자에 따라 설정 상태가 상이한 경우, 상기 글라스형 웨어러블 디바이스가 상기 인증된 사용자에 상응하는 설정 상태를 적용하는 단계;를 더 포함하며, 상기 설정 상태는, 사용 어플리케이션, 유저 인터페이스 형태, 로그인 된 계정 정보, 저장된 데이터 중 적어도 하나 이상을 포함할 수 있다.
또한, 특정횟수 이상 사용자인증 승인을 실패하는 경우, 등록 사용자에게 무선통신을 통해 알림을 수행하는 단계;를 더 포함할 수 있다.
또한, 상기 알림수행단계는, 상기 글라스형 웨어러블 디바이스의 현재 위치정보를 포함하여 전송하는 것을 특징으로 할 수 있다.
또한, 상기 패턴정보가 손 제스처 패턴인 경우, 상기 입력패턴정보 내 특정한 입력제스처로부터 제1윤곽선을 획득하는 단계; 상기 제1윤곽선을 상기 설정패턴정보 내 설정제스처의 제2윤곽선과 비교하여, 유사도를 산출하는 단계; 및 상기 유사도가 특정값 이상에 해당하면, 상기 입력제스처를 상기 설정제스처로 판단하는 단계;를 더 포함할 수 있다.
또한, 특정시점에 획득된 제1 입력제스처와 상기 특정시점으로부터 특정시간 이전에 획득된 제2 입력제스처의 차이를 파악하여, 사용자로부터 입력되는 상기 손 제스처의 변경을 인식하는 것을 특징으로 할 수 있다.
본 발명의 또 다른 일실시예에 따른 글라스형 웨어러블 디바이스용 잠금해제프로그램은, 하드웨어와 결합되어 상기 언급된 잠금해제방법을 실행하며, 매체에 저장된다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 글라스형 웨어러블 디바이스를 타인이 사용자의 동의없이 사용하는 것을 방지할 수 있다.
또한, 사용자는 간편하게 글라스형 웨어러블 디바이스의 잠금해제를 할 수 있다. 즉, 사용자는 글라스형 웨어러블 디바이스의 특성에 부합하는 고개 움직임, 홍채 인식 등의 방식으로 착용 시에 간편하게 잠금 상태를 해제할 수 있다.
또한, 사용자인증 방식에 따라 사용권한을 달리 부여할 수 있어, 사용자인증 방식별로 보안수준을 달리 설정할 수 있다.
또한, 사용자에 따라 사용권한을 달리 부여할 수 있어서, 다수의 사용자가 하나의 글라스형 웨어러블 디바이스를 사용하기에 간편함을 제공할 수 있다.
또한, 잠금해제 실패 시에 등록사용자에게 SMS 또는 전자우편으로 잠금해제 실패 사실을 통지하고 글라스형 웨어러블 디바이스의 위치정보도 함께 제공할 수 있어, 글라스형 웨어러블 디바이스의 분실 방지의 효과가 있다.
도 1은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
도 3는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스의 잠금해제 방법에 대한 순서도이다.
도 4은 본 발명의 일실시예에 따라 음성인식을 이용한 잠금해제 방식이 적용된 글라스형 웨어러블 디바이스 예시화면이다.
도 5는 본 발명의 일실시예에 따라 사용자의 손동작 패턴정보 인식 방식을 이용한 잠금해제 방식이 적용된 글라스형 웨어러블 디바이스 예시화면이다.
도 6은 본 발명의 일실시예에 따른 사용자의 고개움직임 패턴정보 인식을 이용한 잠금해제 방식이 적용된 글라스형 웨어러블 디바이스 예시화면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템의 블록 구성도(block diagram)이다. 도 2는 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다. 도 3는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스의 잠금해제 방법에 대한 순서도이다. 도 4은 본 발명의 일실시예에 따라 음성인식을 이용한 잠금해제 방식이 적용된 글라스형 웨어러블 디바이스 예시화면이다. 도 5는 본 발명의 일실시예에 따라 사용자의 손동작 패턴정보 인식 방식을 이용한 잠금해제 방식이 적용된 글라스형 웨어러블 디바이스 예시화면이다. 도 6은 본 발명의 일실시예에 따른 사용자의 고개움직임 패턴정보 인식을 이용한 잠금해제 방식이 적용된 글라스형 웨어러블 디바이스 예시화면이다.
도 1 내지 도 6에는 글라스형 웨어러블 디바이스(10), 입력부(100), 사용자입력부(110), 키보드(111), 터치패드(112), 카메라부(120), 제1카메라(121), 제2카메라(122), 제3카메라(123), 센싱부(130), 자이로센서(131), 가속도센서(132), 압력센서(133), 홍채인식센서(134), 심박검출센서(135), 근전도센서(136), 음성입력부(140), 제어부(210), 음성인식부(220), 상황평가모듈(230), 음성-텍스트변환모듈(240), 무선통신부(250), 메모리(260), 인터페이스부(270), 출력부(300), 디스플레이부(310), 음향출력부(320), 알람부(330), 햅틱모듈(340)가 도시된다.
도 1은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템(10)의 블록 구성도(block diagram)이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스 시스템(10)은 입력부(100), 사용자입력부(110), 키보드(111), 터치패드(112), 카메라부(120), 제1카메라(121), 제2카메라(122), 제3카메라(123), 센싱부(130), 자이로센서(131), 가속도센서(132), 압력센서(133), 홍채인식센서(134), 심박검출센서(135), 근전도센서(136), 음성입력부(140), 정보처리부(210), 음성인식부(220), 상황평가모듈(230), 음성-텍스트변환모듈(240), 무선통신부(250), 메모리(260), 인터페이스부(270), 출력부(300), 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱모듈(340)의 전부 또는 일부를 포함한다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 글라스형 웨어러블 디바이스가 구현될 수도 있다.
도 2는 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
상기 구성요소들은 도 2에서와 같은 글라스형 웨어러블 디바이스의 내부 또는 일측에 구비될 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
입력부(100)는 오디오 신호, 비디오 신호, 사용자의 조작신호, 생체신호 등의 입력을 위한 것이다. 입력부(100)는 사용자입력부(110), 카메라부(120), 센싱부(130), 음성입력부(140)를 포함한다.
사용자입력부(110)는 사용자가 디바이스의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자입력부(110)는 키패드(key pad), 키보드(111), 돔 스위치(dome switch), 터치패드(정압/정전)(112)(이하, 터치부로 표현될 수도 있다.), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(310)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
카메라(120)는 비디오 신호 또는 이미지 신호 입력을 위한 것으로, 디바이스의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 카메라(120)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 디스플레이부(310)에 표시될 수 있다. 또한, 카메라(120)에서 처리된 화상 프레임은 메모리(260)에 저장되거나 무선통신부(250)를 통하여 외부로 전송될 수 있다. 또한, 이미지 신호 또는 비디오 신호가 정보처리를 위한 입력으로 쓰이는 경우, 제어부(210)로 이미지 신호 및 비디오 신호를 전달한다.
카메라부(120)는 촬영하는 영상의 방향 또는 목적에 따라 하나 이상의 카메라를 포함할 수 있다. 제1카메라(121)는 글라스형 웨어러블 디바이스의 일측에 구비되어 전방의 영상을 촬영할 수 있다. 제2카메라(122)는 글라스형 웨어러블 디바이스의 일측에 구비되어 안구 방향의 영상 또는 이미지를 획득할 수 있다. 제3카메라(123)는 상기 글라스형 웨어러블 디바이스(10)의 후방 또는 측방에 구비되어, 후방 또는 측방의 영상 또는 이미지를 획득할 수 있다.
센싱부(130)는 사용자의 글라스형 웨어러블 디바이스(10)의 착용여부, 디바이스의 위치 등과 같이 디바이스의 현 상태를 감지하여 디바이스의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 센싱부(130)는 디바이스의 정보처리를 위한 입력신호를 받는 입력부의 기능을 담당할 수 있으며, 외부 기기 연결 여부 인식 등의 다양한 센싱 기능을 담당할 수 있다.
센싱부(130)는 근접센서(Proximity Sensor), 압력센서(133), 모션 센서, 지문인식센서, 홍채인식센서(134), 심박검출센서(135), 피부온도센서, 피부저항센서 및 심전도센서 등의 다양한 센서를 포함할 수 있다.
근접센서는 접근하는 물체나, 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서는 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서는 구성 태양에 따라 2개 이상이 구비될 수 있다.
압력센서(133)는 글라스형 웨어러블 디바이스(10)에 대한 가압 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(133)는 사용환경에 따라 글라스형 웨어러블 디바이스(10)에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(133)가 디스플레이부(310)에 설치되는 경우, 압력센서(133)에서 출력되는 신호에 따라, 디스플레이부(310)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(133)에서 출력되는 신호에 따라, 압력터치 입력 시에 디스플레이부(310)에 가해지는 압력의 크기도 알 수 있다.
모션 센서는 자이로센서(131), 가속도센서(132), 지자기센서 등의 센서 중에서 하나 이상을 포함하며, 이를 이용하여 글라스형 웨어러블 디바이스(10)의 위치나 움직임 등을 감지한다. 모션 센서에 사용될 수 있는 가속도센서(132)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 또한, 자이로센서(131)는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
심박검출센서(135)는 심장 박동에 의한 혈관 굵기의 변화에 따른 광혈류량의 변화를 측정한다. 피부 온도 센서는 온도 변화에 반응하여 저항값이 변화하는 것에 따라 피부 온도를 측정한다. 피부 저항 센서는 피부의 전기 저항을 측정한다.
홍채인식센서(134)는 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인식하는 기능을 수행한다. 사람의 홍채는 생후 18개월 이후 완성된 뒤, 홍채의 내측연 가까이에 융기되어 있는 원형의 홍채 패턴은 한번 정해지면 거의 변하지 않고, 또 사람마다 모양이 모두 다르다. 따라서 홍채인식은 사람마다 각기 다른 홍채의 특성을 정보화해 이를 보안용 인증기술로 응용한 것이다. 즉, 홍채의 모양과 색깔, 망막 모세혈관의 형태소 등을 분석해 사람을 식별하기 위한 수단으로 개발한 인증방식이다.
홍채인식센서(134)는 홍채의 패턴을 코드화해 이를 영상신호로 바꾸어 비교판단하는데, 일반적인 작동 원리는 다음과 같다. 먼저 일정한 거리에서 홍채인식기 중앙에 있는 거울에 사용자의 눈이 맞춰지면, 적외선을 이용한 카메라가 줌렌즈를 통해 초점을 조절한다. 이어 홍채 카메라가 사용자의 홍채를 사진으로 이미지화한 뒤, 홍채 인식 알고리즘이 홍채의 명암 패턴을 영역별로 분석해 개인 고유의 홍채 코드를 생성한다. 마지막으로 홍채 코드가 데이터베이스에 등록되는 것과 동시에 비교 검색이 이루어진다. 상기 홍채인식센서(134)는 안구방향으로 배치된 제2카메라(122)에 내부에 구비될 수 있으며, 이러한 경우 홍채인식센서의 기능을 상기 제2카메라(122)가 수행할 수 있다.
거리센서는 2점간 거리 측정방식, 3각 측량방식(적외선 이용식, 자연광 이용식), 초음파 방식 등이 있다. 종래의 3각 측량의 원리와 같이, 2개의 경로에서 온 피측정물을 직각 프리즘으로 반사시켜 2개의 이미지 센서에 입사시켜 상대적 위치가 합치했을 때, 2점간의 거리가 표시된다. 이 경우, 자연광으로 하는 방법(수동식)과 적외선을 발사하여 행하는 방법이 있다. 초음파방식은 피측정물에 지향성이 날카로운 초음파를 송신하여 피측정물로부터 반송되는 반사파를 수신하기까지의 시간을 측정하여 거리를 아는 방식인데, 수신센서는 압전소자가 사용된다.
상기 도플러레이더는 레이더의 한 방식으로, 반사파의 위상변화 즉, 파의 도플러 효과를 이용한 레이더이다. 상기 도플러레이더는 펄스 변조되지 않는 사인파를 송ㆍ수신하는 연속파 레이더와 전자파 신호파형으로서 방형파에 펄스 변조된 전파를 사용하는 펄스 레이더가 있다.
연속파 레이더에서는 도플러 주파수 필터의 성능을 얻기 쉽게 하기 위해서 변조주파수를 비교적 높게 취하기 때문에 원거리를 대상으로 한 레이더에는 부적당하나, 도플러 주파수를 가청주파수대로 택함으로써 인체나 차량 등의 움직임을 안정감 있는 소리로서 재생할 수 있는 특징이 있다. 펄스 레이더는 펄스 송신에서 반사 에코 수신까지의 시간에 의해 목표까지의 거리를 계측한다. 송신 펄스폭 내에서 주파수 변조나 위상 변조를 가하는 펄스 압축 레이더라 일컬어지는 방식이 있다.
음성입력부(140)는 음성신호의 입력을 위한 것으로 마이크 등이 포함될 수 있다. 마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고 처리된 음성 데이터는 통화 모드인 경우 무선통신부(250)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
출력부(300)는 오디오 신호, 이미지신호, 비디오 신호 또는 알람(alarm) 신호 등의 출력을 위한 것이다. 출력부(300)에는 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱 모듈(340) 등이 포함될 수 있다.
디스플레이부(310)는 디바이스에서 처리되는 정보를 표시 출력한다. 예를 들어 디바이스가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 디바이스가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(310)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(310)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(310)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다.
이외에도 디스플레이부(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 디바이스의 구현 형태에 따라 디스플레이부(310)가 2개 이상 존재할 수도 있다. 예를 들어, 디바이스에 외부 디스플레이부(310)와 내부 디스플레이부(310)가 동시에 구비될 수 있다.
디스플레이부(310)는 HUD(Head up Display), HMD(Head mounted Display) 등으로 구현될 수 있다. HMD(Head mounted Display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치다. HUD(Head up Display)는 사용자의 가시영역 내의 유리에 가상 화상(virtual image)을 투영시키는 영상표시장치이다.
음향출력부(320)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(320)은 디바이스에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(320)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(330)는 디바이스의 이벤트 발생을 알리기 위한 신호를 출력한다. 디바이스에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(330)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 알람부(330)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(330)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(330)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 디바이스에서 이벤트 발생 알림을 위한 신호는 디스플레이부(310)나 음향출력부를 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(340)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(340)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(340)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(340)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
무선통신부(250)는 방송수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 및 위치정보모듈 등을 포함할 수 있다.
방송수신 모듈은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.
방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다.
방송수신 모듈은, 각종 방송 시스템을 이용하여 방송 신호를 수신하며, 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈을 통해 수신된 방송신호 및/또는 방송 관련 정보는 메모리(260)에 저장될 수 있다.
이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 비콘(Beacon), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
위치정보모듈은 측위신호를 수신하여 글라스형 웨어러블 디바이스의 위치를 측정하는 모듈을 말한다. 예를 들어, 상기 위치정보모듈은 GPS(Global Position System) 모듈이 해당될 수 있으며, 측위신호는 GPS 신호가 해당될 수 있다. GPS(Global Position System) 모듈은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
메모리(260)는 제어부(210)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스는 인터넷(internet) 상에서 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다. 메모리(260)는 이하 저장부(260)로 표현될 수 있다.
인터페이스부(270)는 디바이스에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 디바이스에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(270)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디바이스 내부의 각 구성 요소에 전달할 수 있고, 디바이스 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(210)는 통상적으로 상기 각부의 동작을 제어하여 디바이스의 전반적인 동작을 제어하는 기능을 수행한다. 예를 들어 음성 통화, 데이터 통신 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(210)는 멀티미디어 재생을 위해 데이터를 처리하는 기능을 수행한다. 또한, 입력부(100) 또는 센싱부(130)로부터 입력받은 데이터를 처리하는 기능을 수행한다.
또한, 제어부(210)는 얼굴인식을 위한 얼굴 검출 및 얼굴 인식을 수행한다. 즉, 제어부(210)는 얼굴인식을 위한 얼굴검출모듈 및 얼굴인식모듈을 포함할 수 있다. 얼굴검출모듈은 카메라부(120)에 의해 획득된 카메라 영상에서 얼굴영역만을 추출할 수 있다. 예를 들어, 얼굴검출모듈은 눈, 코, 입 등의 얼굴 내 특징요소를 인식하여 얼굴영역을 추출할 수 있다. 얼굴인식모듈은 추출된 얼굴영역에서 특징정보를 추출하여 템플릿을 생성하고, 얼굴데이터베이스 내의 얼굴정보 데이터와 탬플릿 비교를 수행하여 얼굴을 인식할 수 있다.
또한, 제어부(210)는 카메라부(120)에 의해 획득된 영상 또는 이미지 내에서 문자를 추출하여 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 문자인식을 위한 문자인식모듈을 포함할 수 있다. 상기 문자인식모듈의 문자 인식 방법으로 광학문자인식(Optical Character Recognition; OCR)방식을 적용할 수 있다. 상기 OCR방식은 이미지 스캔으로 얻을 수 있는 사람이 쓰거나 기계로 인쇄한 문서의 활자 영상을 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환하는 것으로, 소프트웨어로 구현이 가능한 방식이다. 예를 들어, 상기 OCR방식은 미리 준비된 몇 개의 표준 패턴문자와 입력문자를 비교하여 표준 패턴문자와 가장 유사한 것을 해당 문자로 선정할 수 있다. 상기 문자인식모듈이 다양한 언어의 표준 패턴문자를 구비하면, 다양한 언어의 인쇄된 활자를 판독할 수 있다. 이러한 방식을 OCR방식 중 Pattern matching기법이라고 하며, 상기 OCR방식은 이에 한정되지 아니하고 다양한 방법이 적용될 수 있다. 또한, 문자인식모듈의 문자인식 방식은 OCR방식에 한정되지 아니하고, 이미 인쇄되어 있는 오프라인상의 문자를 인식할 수 있는 다양한 방식이 적용될 수 있다.
또한, 제어부(210)는 제2카메라(122)가 획득한 안구방향 영상 또는 이미지를 바탕으로 시선 방향을 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 시선 방향 인식을 수행하는 시선분석모듈을 포함할 수 있다. 사용자의 주시 방향과 시선 방향을 측정한 후 합성에 의해 계산하여 사용자가 바라보는 방향을 파악할 수 있다. 상기 주시 방향은, 사용자의 얼굴 방향을 의미하여, 센싱부(130)의 자이로센서(131) 또는 가속도센서(132)에 의해 측정될 수 있다. 상기 시선 방향은, 사용자의 동공이 바라보는 방향으로, 시선분석모듈에 의해 파악될 수 있다. 시선분석모듈은, 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산하는 방식 등을 적용할 수 있다. 예를 들어, 영상처리 방법을 통해 동공의 중심 및 조명에 의한 각막 반사광의 위치를 추출하여 이들의 위치 관계를 통해 시선 위치를 계산할 수 있다.
제어부(210)는 이하 정보처리부(210)로 표현될 수 있다.
전원 공급부는 제어부(210)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
음성인식부(220)는 자동적 수단에 의하여 음성으로부터 언어적 의미 내용을 식별하는 기능을 수행한다. 구체적으로 음성파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정이며, 크게 음성 분석, 음소 인식, 단어 인식, 문장 해석, 의미 추출의 5가지로 분류된다. 음성인식부(220)는 저장된 음성과 입력된 음성이 동일한지 비교하는 음성평가모듈을 더 포함할 수 있다. 또한, 음성인식부(220)는 입력된 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 음성-텍스트변환모듈(240)도 더 포함할 수 있다.
뇌파동조신호발생부는 인간의 뇌파를 동조시키기 위한 주파수와 파형을 갖는 뇌파동조신호를 발생시킨다. 즉, 뇌파동조신호발생부는 뇌파 주파수의 진동을 두개골에 전달하여 뇌파를 동조하는 기능을 수행한다. 뇌파란 뇌신경 신호가 전달될 때 생기는 전기의 흐름을 말한다. 이러한 뇌파는 잠잘 때 아주 느린 뇌파인 델타파가, 활동할 때는 빠른 뇌파인 베타파가, 명상을 할 때는 중간 정도 속도의 알파파 등이 증가된다. 따라서 뇌파동조신호발생부는 알파파와 세타파를 유도함으로써 학습보조 및 정신집중의 효과를 발휘하도록 할 수 있다.
이하, 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리방법을 살펴본다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 잠금해제 시스템, 방법 및 프로그램에 대해 설명하기로 한다.
도 3은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스의 잠금해제 방법에 대한 순서도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 잠금해제 방법은, 상기 글라스형 웨어러블 디바이스가 입력패턴정보를 수신하는 단계(S100); 및 상기 입력패턴정보를 설정패턴정보와 비교하여 디바이스 잠금상태를 해제하는 단계(S200);를 포함한다. 본 발명의 일 실시예에 따른 잠금해제 방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)가 입력패턴정보를 수신한다(S100). 상기 패턴정보는, 도 4에서와 같은 음성패턴, 홍채 패턴, 눈 깜박임 패턴, 심장박동 패턴, 맥박 패턴, 손금 패턴, 도 5에서와 같은 제스처 패턴 또는 도 6에서와 같은 고개 움직임 패턴 중 적어도 하나 이상의 조합이다. 상기 패턴정보는 기제시된 사용자인증 방식에 한정되지 않고, 글라스형 웨어러블 디바이스(10)의 센싱부(130)와 사용자입력부(110)를 통한 다양한 입력정보들에 의해 구현될 수 있는 모든 사용자인증 방식을 포함할 수 있다. 상기 입력패턴정보는 글라스형 웨어러블 디바이스(10)가 사용자로부터 획득하거나 외부디바이스에 의해 획득되어 상기 글라스형 웨어러블 디바이스로 전송되는 패턴정보이다.
글라스형 웨어러블 디바이스(10)는 상기 입력패턴정보를 설정패턴정보와 비교하여 디바이스 잠금상태를 해제한다(S200). 상기 설정패턴정보는 글라스형 웨어러블 디바이스(10) 내에 기저장된 패턴정보이다. 글라스형 웨어러블 디바이스(10)는 입력패턴정보가 기저장된 설정패턴정보와 일치하면, 사용자가 글라스형 웨어러블 디바이스(10)를 사용할 수 있도록 잠금(lock) 상태를 해제하고, 일치하지 않으면 잠금 상태를 유지할 수 있다.
일실시예로, 도 6에서와 같이, 글라스형 웨어러블 디바이스(10)는 사용자로부터 고개움직임을 수신하고, 인식된 고개움직임 방향을 디스플레이부(310) 상에 표시할 수 있다. 사용자는 디스플레이부(310)를 통해 본인이 입력한 고개움직임 방향이 제대로 입력되었는지 여부를 확인할 수 있다.
다른 일실시예로, 도 4에서와 같이, 글라스형 웨어러블 디바이스(10)는 특정한 입력문장을 디스플레이부(310) 상에 표시하여 사용자에게 음성으로 상기 입력문장을 읽을 것을 요청할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)의 제어부(210)는 기저장된 음성패턴과 입력된 음성패턴을 비교할 수 있고, 양자가 일치하면 잠금 상태를 해제할 수 있다.
또한, 다른 일실시예로, 도 5에서와 같이, 글라스형 웨어러블 디바이스(10)는 제1카메라(121)를 통해 하나 이상의 손동작의 조합으로 형성된 손동작 패턴을 차례대로 수신할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는 입력된 손동작 패턴정보와 기저장된 손동작 패턴정보를 비교하여 잠금 상태를 해제할 지 여부를 판단할 수 있다. 입력된 손동작 패턴정보와 기저장된 손동작 패턴정보가 일치하면, 글라스형 웨어러블 디바이스(10)는 사용자가 다양한 기능을 활용할 수 있도록 잠금 상태를 해제할 수 있다.
또한, 설정된 하나 이상의 사용자인증 방식을 화면상에 나열하는 단계; 및 사용자로부터 특정한 사용자인증 방식을 선택받는 단계;를 더 포함할 수 있다. 하나 이상의 사용자인증 방식이 글라스형 웨어러블 디바이스(10)에 저장된 경우, 사용자는 글라스형 웨어러블 디바이스(10)를 사용하기 위한 사용자인증 방식을 디스플레이부(310)를 통해 확인하고 선택할 수 있다.
또한, 상기 사용자인증 방식에 따라 글라스형 웨어러블 디바이스(10)에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 단계;를 더 포함할 수 있다. 일부 사용자인증 방식은 타인이 쉽게 인지할 수 있으므로, 이러한 사용자인증 방식에 의한 잠금해제 시에는 제한적인 사용 권한만 허여하여 일부 기능의 사용을 제한할 필요가 있다. 예를 들어, 눈 깜박임 패턴정보는 홍채인식정보에 비해서 등록사용자 외의 타인이 쉽게 인식하여 도용할 수 있으므로, 눈 깜박임 패턴정보에 의한 사용자인증 시에는 개인정보가 포함된 기능의 사용은 제한되도록 할 수 있다.
또한, 상기 설정패턴정보를 저장한 사용자가 둘 이상인 경우, 특정한 상기 설정패턴정보에 대응하는 사용자가 글라스형 웨어러블 디바이스(10)의 사용 권한이 제한되는 사용자에 해당하면, 글라스형 웨어러블 디바이스(10)에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 단계;를 더 포함할 수 있다. 즉, 등록사용자 중 특정한 사용자의 사용자인증을 위한 설정패턴정보에 의해 잠금 상태가 해제될 경우, 글라스형 웨어러블 디바이스의 사용 가능한 기능을 제한할 수 있다.
또한, 설정패턴정보를 저장한 사용자가 둘 이상이며, 사용자에 따라 설정 상태가 상이한 경우, 상기 글라스형 웨어러블 디바이스(10)가 상기 인증된 사용자에 상응하는 설정 상태를 적용하는 단계;를 더 포함하며, 상기 설정 상태는, 사용 어플리케이션, 유저 인터페이스(User Interface; UI) 형태, 로그인된 계정 정보, 저장된 데이터 중 적어도 하나 이상을 포함할 수 있다. 즉, 사용자인증을 위한 설정패턴정보를 저장한 사용자가 둘 이상인 경우, 사용자별로 글라스형 웨어러블 디바이스(10)에 저장한 데이터가 상이하며, 사용하는 글라스형 웨어러블 디바이스(10)의 기능이 상이할 수 있다. 또한, 사용자별 개인정보와 같은 저장데이터는 다른 사용자에게 공개되지 않아야 한다. 따라서 글라스형 웨어러블 디바이스(10)는 설정패턴정보를 저장한 사용자에 따라 저장부(260)에서 데이터를 불러오며, 해당 사용자가 사용 기능 및 사용자가 설정한 UI를 적용할 수 있다.
또한, 특정횟수 이상 사용자인증 승인을 실패하는 경우, 등록 사용자에게 무선통신을 통해 알림을 수행하는 단계;를 더 포함할 수 있다. 무선통신을 통한 알림방식은, 알림 SMS 또는 전자우편 등을 포함할 수 있다. 이를 통해, 등록사용자가 타인의 잠금해제 시도 사실을 인지할 수 있어 글라스형 웨어러블 디바이스(10)의 분실을 방지할 수 있다.
또한, 상기 알림수행단계는, 상기 글라스형 웨어러블 디바이스의 현재 위치정보를 포함하여 전송하는 것을 특징으로 할 수 있다. 글라스형 웨어러블 디바이스를 분실한 경우, 사용자인증 실패에 따라 상기 디바이스의 위치정보를 등록사용자에게 전송하면 분실한 상기 디바이스를 찾는데 도움이 될 수 있다.
또한, 도 5에서와 같이, 상기 패턴정보가 손 제스처 패턴인 경우, 상기 입력패턴정보 내 특정한 입력제스처로부터 제1윤곽선을 획득하는 단계; 상기 제1윤곽선을 상기 설정패턴정보 내 설정제스처의 제2윤곽선과 비교하여, 유사도를 산출하는 단계; 및 상기 유사도가 특정값 이상에 해당하면, 상기 입력제스처를 상기 설정제스처로 판단하는 단계;를 더 포함할 수 있다. 즉, 글라스형 웨어러블 디바이스(10)는 입력제스처와 설정제스처의 윤곽선인 제1윤곽선 및 제2윤곽선을 추출하고, 제1윤곽선과 제2윤곽선의 유사도를 산출하여 입력제스처와 설정제스처의 일치 여부를 판단할 수 있다.
또한, 특정시점에 획득된 제1 입력제스처와 상기 특정시점으로부터 특정시간 이전에 획득된 제2 입력제스처의 차이를 계산하여 상기 입력제스처의 변경을 인식하는 것을 특징으로 할 수 있다. 즉, 복수의 입력제스처로 잠금패턴이 구성된 경우, 손 제스처의 변화를 인식할 수 있어야 패턴정보를 차례대로 입력받을 수 있다. 따라서, 글라스형 웨어러블 디바이스(10)가 실시간 획득된 제1 입력제스처와 특정시간 이전에 획득된 제2 입력제스처를 비교하여 차이를 파악하고, 차이값이 특정값 이상에 해당하면 제2 입력제스처에서 제1 입력제스처로 변경된 것으로 인식할 수 있다. 이를 통해, 글라스형 웨어러블 디바이스(10)는 입력제스처를 차례대로 입력받아 제스처 패턴을 통해 잠금상태를 해제할 수 있다.
또한, 본 발명의 일실시예는 사용자인증 승인 여부를 디스플레이부(310)에 표시하는 단계;를 더 포함할 수 있다. 즉, 사용자는 입력된 패턴정보에 의해 사용자인증이 승인되었는지 여부를 디스플레이부(310)를 통해서 확인할 수 있다. 또한, 디스플레이부(310)에 표시된 사용자인증 실패 메시지를 통해 사용자가 다시 사용자인증을 시도할 수 있도록 한다.
본 발명의 다른 일실시예에 따른 글라스형 웨어러블 디바이스의 잠금해제 시스템은, 인증정보입력부(100) 및 제어부(210)를 포함한다.
인증정보입력부는 사용자인증 방식에 따라 사용자인증 패턴정보를 입력받는 기능을 수행한다. 상기 인증정보입력부는 센싱부(130), 사용자입력부(110), 음성입력부(140) 및 상기 카메라부(120)를 포함한다. 즉, 상기 인증정보입력부는 상기 사용자입력부(110), 상기 카메라부(120)의 제1카메라(121) 및 제2카메라(122), 상기 센싱부(130)의 모션센서 및 심박검출센서(135), 음성입력부(140) 중 적어도 하나 이상을 포함할 수 있다.
상기 음성입력부(140)는 기 설정된 사용자의 음성정보와 동일여부를 비교할 사용자의 음성정보를 입력받는다. 가속도센서(132) 또는 자이로센서(131)와 같은 모션센서는 사용자의 고개움직임 패턴을 입력받는다. 심박검출센서(135)는 사용자의 심장박동 패턴정보를 입력받는다.
상기 제1카메라(121)는 도 5에서와 같이, 글라스형 웨어러블 디바이스의 전면부 일측에 결합되어 사용자의 손동작 패턴을 입력받는다. 상기 제2카메라(122)는 사용자의 눈 방향으로 글라스형 웨어러블 디바이스에 결합되고 홍채인식센서(134)를 포함하여, 사용자의 홍채패턴정보 및 눈깜박임 패턴정보를 입력받는다.
상기 제어부(210)는 입력된 사용자인증 패턴정보와 저장된 사용자인증 패턴정보의 일치 여부를 판단하는 기능을 수행한다. 예를 들어, 제어부(210)는, 도 6에서와 같이, 상기 모션센서에 의해 고개움직임 패턴정보가 입력되면 저장된 고개움직임 패턴정보와 비교하여 일치여부를 판단하고, 상기 제1카메라(121)에 의해 손동작 패턴정보가 입력되면 저장된 손동작 패턴정보와 비교하여 일치 여부를 판단한다.
제어부(210)는, 도 4에서와 같이, 입력된 음성패턴정보와 저장된 음성패턴정보를 비교하기 위해서 음성인식부(220)를 포함할 수 있다.
제어부(210)는 입력된 사용자인증 패턴정보와 저장된 사용자인증 패턴정보가 일치하면 글라스형 웨어러블 디바이스(10)가 정상 작동하도록 명령하는 기능을 수행한다.
또한, 제어부(210)는 사용자인증 방식에 따라 글라스형 웨어러블 디바이스(10)에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 기능을 수행할 수 있다. 상기 제어부(210)는 사용자의 설정에 따라 사용자인증 방식을 분류하여, 특정한 사용자인증방식에 따른 사용자인증 시에는 글라스형 웨어러블 디바이스(10)의 사용권한을 제한하여 일부 기능사용을 제한할 수 있다.
예를 들어, 눈 깜박임 패턴정보는 홍채인식정보에 비해서 등록사용자 외의 타인이 쉽게 인식하여 도용할 수 있으므로, 상기 제어부(210)는 눈깜박임 패턴정보에 의한 사용자인증 시에 사용자의 설정에 따라 개인정보가 포함된 기능의 사용을 제한할 수 있다.
또한, 상기 제어부(210)는, 사용자인증 패턴정보를 저장한 사용자가 둘 이상인 경우, 사용자인증 결과 글라스형 웨어러블 디바이스의 사용 권한이 제한되는 사용자에 해당하면, 글라스형 웨어러블 디바이스에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 기능을 수행할 수 있다. 등록사용자 중 특정한 사용자의 사용자인증 패턴정보에 의해 잠금해제가 될 경우, 상기 제어부(210)는 글라스형 웨어러블 디바이스(10)의 사용 가능한 기능을 제한할 수 있다.
또한, 본 발명의 일실시예는 입력되어야 하는 사용자인증 방식, 사용자인증 과정 및 사용자인증 결과를 사용자에게 표시하는 디스플레이부(310);를 더 포함할 수 있다. 상기 디스플레이부(310)는 화면을 표시하는 기능을 한다. 도 4 내지 도 6에서와 같이, 상기 디스플레이부(310)는 입력받아야 할 사용자인증 방식을 표시하고, 사용자인증 패턴정보가 입력되면 기 저장된 사용자인증 패턴정보와 비교하여 일치하는지 여부를 표시한다. 또한, 상기 디스플레이부(310)는, 상기 글라스형 웨어러블 디바이스가 사용자의 고개움직임 패턴정보나 손동작 패턴정보를 입력받는 경우, 입력받은 패턴정보가 상기 디바이스에서 정확히 인식되었는지 확인하기 위해 인식된 패턴정보을 표시하는 기능을 수행할 수 있다.
또한, 사용자가 특정한 사용자인증 방식을 선택할 수 있도록 방향 및 선택 인터페이스를 제공하는 터치부(112);를 더 포함할 수 있다. 상기 터치부(112)는 사용자의 조작에 의해 글라스형 웨어러블 디바이스(10)에 신호를 입력할 수 있는 구성을 의미한다.
상기 터치부(112)는, 하나 이상의 사용자인증 방식이 글라스형 웨어러블 디바이스(10)에 저장되어 있는 경우, 사용자가 사용자인증 방식을 선택할 수 있도록 하는 기능을 수행한다. 상기 터치부(112)는 디스플레이부(310)와 결합되어 터치스크린의 형태로 구현될 수 있다. 상기 글라스형 웨어러블 디바이스의 상기 디스플레이부(310)에 하나 이상의 사용자인증 방식이 표시되면, 사용자는 입력하고자 하는 사용자인증방식이 표시된 부분을 선택하여 해당 사용자인증 방식의 패턴정보를 입력할 수 있다.
또한, 터치부(112)는 글라스형 웨어러블 디바이스(10)의 특정 부분을 조작하는 방식으로 구현될 수 있다. 글라스형 웨어러블 디바이스(10)는 일측에 상기 터치부(112)를 구비하고, 상기 터치부(112)를 조작하는 횟수, 슬라이드 방식 또는 상기 터치부(112)를 조작하는 시간의 차이에 따라 사용자가 사용자인증 방식을 선택하도록 할 수 있다. 상기 터치부(112)는 측면부에 구비되는 것에 한정되지 아니하고, 글라스형 웨어러블 디바이스의 다양한 위치에 구비될 수 있다. 또한, 하나 이상의 사용자인증 방식 중에서 하나를 선택하는 방법도 기 제시된 방법에 한정되지 않고, 상기 터치부(112)터치부(112)현될 수 있는 다양한 방법이 적용되어 구현될 수 있다.
또한, 본 발명의 일실시예에서 음성입력부(140)는, 사용자가 특정한 사용자인증 방식을 선택할 수 있도록 상기 사용자의 음성명령을 입력받는 것을 특징으로 할 수 있다.
또한, 입력된 사용자인증 패턴정보와 저장된 사용자인증 패턴정보가 일치하지 않아 사용자인증이 승인되지 않는 경우 등록된 사용자에게 SMS 또는 전자우편을 전송하는 무선통신부(250);를 더 포함할 수 있다.
또한, 본 발명의 일실시예에서 제어부(210)는, 등록된 사용자에게 SMS 또는 전자우편을 전송하는 사용자인증 실패 횟수를 설정하는 것을 특징으로 할 수 있다. 등록된 사용자도 패턴정보인식이 제대로 이루어지지 않아 사용자인증을 실패할 수 있으므로, 사용자 지정에 따라 상기 제어부(210)는 허용되는 연속적인 사용자인증 실패 횟수를 설정할 수 있다.
또한, 상기 제어부(210)는 해당 횟수의 사용자인증 실패 시에 글라스형 웨어러블 디바이스(10)의 잠금해제를 일정시간 동안 제한할 수 있다.
또한, 등록된 사용자에게 전송되는 SMS 또는 전자우편에 글라스형 웨어러블 디바이스의 위치 정보를 제공하는 GPS신호부;를 더 포함할 수 있다. 상기 GPS신호부는 상기 글라스형 웨어러블 디바이스 분실시 타인의 잠금해제 실패에 따라 상기 디바이스의 위치정보를 등록사용자에게 전송하는 기능을 수행하며, 이에 따라 상기 디바이스의 위치를 사용자가 파악할 수 있어 분실한 상기 디바이스를 찾는데 도움이 된다.
이상에서 전술한 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 잠금 해제 방법은, 하드웨어인 글라스형 웨어러블 디바이스(10)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 글라스형 웨어러블 디바이스(10)가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 글라스형 웨어러블 디바이스(10)의 프로세서(CPU)가 상기 글라스형 웨어러블 디바이스(10)의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 글라스형 웨어러블 디바이스(10)의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 글라스형 웨어러블 디바이스(10)의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 글라스형 웨어러블 디바이스(10)가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 글라스형 웨어러블 디바이스(10) 상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명에 따르면, 글라스형 웨어러블 디바이스를 타인이 사용자의 동의없이 사용하는 것을 방지할 수 있다. 또한, 사용자는 간편하게 글라스형 웨어러블 디바이스의 잠금해제를 할 수 있다.
또한, 사용자인증 방식에 따라 사용권한을 달리 부여할 수 있어, 사용자인증 방식별로 보안수준을 달리 설정할 수 있다.
또한, 사용자에 따라 사용권한을 달리 부여할 수 있어서, 다수의 사용자가 하나의 글라스형 웨어러블 디바이스를 사용하기에 간편함을 제공한다.
또한, 잠금해제 실패 시에 등록사용자에게 SMS 또는 전자우편으로 잠금해제 실패 사실을 통지하고 글라스형 웨어러블 디바이스의 위치정보도 함께 제공할 수 있어, 글라스형 웨어러블 디바이스의 분실 방지의 효과가 있다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (11)

  1. 글라스형 웨어러블 디바이스의 사용이 제한된 잠금 상태를 사용자인증을 통해 해제하는 방법에 있어서,
    상기 글라스형 웨어러블 디바이스가 입력패턴정보를 수신하는 단계; 및
    상기 입력패턴정보를 설정패턴정보와 비교하여 디바이스 잠금상태를 해제하는 단계;를 포함하며,
    상기 입력패턴정보는 상기 글라스형 웨어러블 디바이스가 사용자로부터 획득하거나 외부 디바이스에 의해 획득되어 상기 글라스형 웨어러블 디바이스로 전송되는 패턴정보이며,
    상기 설정패턴정보는 상기 글라스형 웨어러블 디바이스 내에 기 저장된 패턴정보인, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  2. 제1항에 있어서,
    상기 패턴정보는,
    음성패턴, 홍채 패턴, 눈 깜박임 패턴, 심장박동 패턴, 맥박 패턴, 손금 패턴, 손 제스처 패턴 또는 고개 움직임 패턴 중 적어도 하나 이상의 조합인 것을 특징으로 하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  3. 제1항에 있어서,
    설정된 하나 이상의 상기 사용자인증 방식을 화면상에 나열하는 단계; 및
    사용자로부터 특정한 상기 사용자인증 방식을 선택받는 단계;를 더 포함하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 사용자인증 방식에 따라 상기 글라스형 웨어러블 디바이스에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 단계;를 더 포함하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 설정패턴정보를 저장한 사용자가 둘 이상인 경우,
    특정한 상기 설정패턴정보에 대응하는 사용자가 상기 글라스형 웨어러블 디바이스의 사용 권한이 제한되는 사용자에 해당하면, 상기 글라스형 웨어러블 디바이스에서 제공되는 기능에 대한 제한적인 사용 권한을 부여하는 단계;를 더 포함하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 설정패턴정보를 저장한 사용자가 둘 이상이며, 사용자에 따라 설정 상태가 상이한 경우,
    상기 글라스형 웨어러블 디바이스가 상기 인증된 사용자에 상응하는 설정 상태를 적용하는 단계;를 더 포함하며,
    상기 설정 상태는, 사용 어플리케이션, 유저 인터페이스 형태, 로그인 된 계정 정보, 저장된 데이터 중 적어도 하나 이상을 포함하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  7. 제1항에 있어서,
    특정횟수 이상 사용자인증 승인을 실패하는 경우, 등록 사용자에게 무선통신을 통해 알림을 수행하는 단계;를 더 포함하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  8. 제7항에 있어서,
    상기 알림수행단계는,
    상기 글라스형 웨어러블 디바이스의 현재 위치정보를 포함하여 전송하는 것을 특징으로 하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  9. 제2항에 있어서,
    상기 패턴정보가 손 제스처 패턴인 경우,
    상기 입력패턴정보 내 특정한 입력제스처로부터 제1윤곽선을 획득하는 단계;
    상기 제1윤곽선을 상기 설정패턴정보 내 설정제스처의 제2윤곽선과 비교하여, 유사도를 산출하는 단계; 및
    상기 유사도가 특정값 이상에 해당하면, 상기 입력제스처를 상기 설정제스처로 판단하는 단계;를 더 포함하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  10. 제9항에 있어서,
    특정시점에 획득된 제1 입력제스처와 상기 특정시점으로부터 특정시간 이전에 획득된 제2 입력제스처의 차이를 파악하여, 사용자로부터 입력되는 상기 손 제스처의 변경을 인식하는 것을 특징으로 하는, 글라스형 웨어러블 디바이스의 잠금해제 방법.
  11. 하드웨어인 글라스형 웨어러블 디바이스와 결합되어, 제1항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 글라스형 웨어러블 디바이스용 잠금해제 프로그램.
PCT/KR2015/007132 2014-07-11 2015-07-09 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 Ceased WO2016006949A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140087201 2014-07-11
KR10-2014-0087201 2014-07-11
KR10-2015-0042548 2015-03-26
KR1020150042548A KR101629758B1 (ko) 2014-07-11 2015-03-26 글라스형 웨어러블 디바이스의 잠금해제 방법 및 프로그램

Publications (1)

Publication Number Publication Date
WO2016006949A1 true WO2016006949A1 (ko) 2016-01-14

Family

ID=55064504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007132 Ceased WO2016006949A1 (ko) 2014-07-11 2015-07-09 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2016006949A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045845A1 (en) * 2017-08-31 2019-03-07 Microsoft Technology Licensing, Llc GRANTING OF MULTIPLE FACTOR PRIVILEGE
US12346500B1 (en) 2023-04-17 2025-07-01 Snap Inc. EMG speech signal detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130069787A1 (en) * 2011-09-21 2013-03-21 Google Inc. Locking Mechanism Based on Unnatural Movement of Head-Mounted Display
KR20130030735A (ko) * 2011-09-19 2013-03-27 오베르뛰르 테크놀로지스 뷰잉 스테이션을 이용하는 사용자를 위한 통신 방법 및 안경 타입의 연관된 시스템
KR101286750B1 (ko) * 2011-12-23 2013-08-23 심광호 제스처를 이용한 패스워드 판단시스템
US20140010417A1 (en) * 2012-07-04 2014-01-09 Korea Advanced Institute Of Science And Technology Command input method of terminal and terminal for inputting command using mouth gesture
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130030735A (ko) * 2011-09-19 2013-03-27 오베르뛰르 테크놀로지스 뷰잉 스테이션을 이용하는 사용자를 위한 통신 방법 및 안경 타입의 연관된 시스템
US20130069787A1 (en) * 2011-09-21 2013-03-21 Google Inc. Locking Mechanism Based on Unnatural Movement of Head-Mounted Display
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
KR101286750B1 (ko) * 2011-12-23 2013-08-23 심광호 제스처를 이용한 패스워드 판단시스템
US20140010417A1 (en) * 2012-07-04 2014-01-09 Korea Advanced Institute Of Science And Technology Command input method of terminal and terminal for inputting command using mouth gesture

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045845A1 (en) * 2017-08-31 2019-03-07 Microsoft Technology Licensing, Llc GRANTING OF MULTIPLE FACTOR PRIVILEGE
US12346500B1 (en) 2023-04-17 2025-07-01 Snap Inc. EMG speech signal detection

Similar Documents

Publication Publication Date Title
CN108664783B (zh) 基于虹膜识别的识别方法和支持该方法的电子设备
KR102173699B1 (ko) 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
WO2020017706A1 (en) Electronic device and method for controlling the same
KR101661555B1 (ko) 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
WO2019125084A1 (en) Systems and methods for biometric user authentication
WO2019013517A1 (en) APPARATUS AND METHOD FOR VOICE CONTROL CONTEXT
WO2016098950A1 (ko) 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치
CN108206892B (zh) 联系人隐私的保护方法、装置、移动终端及存储介质
WO2015199304A1 (ko) 이동 단말기 및 이의 제어 방법
WO2018124633A1 (ko) 전자 장치 및 그의 메시지 전달 방법
KR20160017593A (ko) 글라스형 웨어러블 디바이스를 이용한 탈출경로 제공방법 및 프로그램
WO2018080198A1 (ko) 인증을 수행하기 위한 전자 장치 및 방법
WO2018133282A1 (zh) 一种动态识别的方法及终端设备
KR101684264B1 (ko) 글라스형 웨어러블 디바이스의 버스도착 알림방법 및 이를 이용한 글라스형 웨어러블 디바이스용 프로그램
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
KR20160011302A (ko) 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법
KR102251710B1 (ko) 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 컴퓨터로 독출 가능한 기록매체
KR20160015142A (ko) 글라스형 웨어러블 디바이스를 이용한 긴급시 비상연락방법 및 프로그램
WO2016010328A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
KR101629758B1 (ko) 글라스형 웨어러블 디바이스의 잠금해제 방법 및 프로그램
KR101728707B1 (ko) 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
WO2016006920A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2018021726A1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
WO2018128357A1 (ko) 영상 신호를 처리하는 전자 장치 및 컴퓨터 판독 가능한 기록 매체
WO2016006949A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15818301

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15818301

Country of ref document: EP

Kind code of ref document: A1