[go: up one dir, main page]

WO2022014872A1 - 초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법 - Google Patents

초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법 Download PDF

Info

Publication number
WO2022014872A1
WO2022014872A1 PCT/KR2021/007409 KR2021007409W WO2022014872A1 WO 2022014872 A1 WO2022014872 A1 WO 2022014872A1 KR 2021007409 W KR2021007409 W KR 2021007409W WO 2022014872 A1 WO2022014872 A1 WO 2022014872A1
Authority
WO
WIPO (PCT)
Prior art keywords
ultrasound
electronic device
ultrasonic
ppg signal
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/007409
Other languages
English (en)
French (fr)
Inventor
김진호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2022014872A1 publication Critical patent/WO2022014872A1/ko
Priority to US18/151,882 priority Critical patent/US12285245B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A61B5/0806—Measuring devices for evaluating the respiratory organs by whole-body plethysmography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7455—Details of notification to user or communication with user or patient; User input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02—Measuring pulse or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest

Definitions

  • Embodiments disclosed in this document relate to an electronic device including an ultrasound device and a PPG signal acquisition method thereof.
  • the photoplethysmography (PPG) measurement method is a method of measuring the volume change of the body in an optical way. It is a method of sensing in the form of the intensity of the transmitted light.
  • PPG photoplethysmography
  • HR heart rate
  • BP blood pressure
  • HRV heart rate variability
  • the light receiving unit of the PPG sensor when measuring a PPG signal in a low temperature environment or measuring a PPG signal for an elderly, female, or child with a weak heartbeat, or by the configuration of the device, the light receiving unit of the PPG sensor
  • An object of the present invention is to provide an electronic device and a method capable of acquiring a PPG signal of good quality even when the sensitivity of the PPG is low.
  • An electronic device includes a photoplethysmography (PPG) sensor including a light source and a photodetector, an ultrasound device, the PGG sensor, and at least one processor operatively connected to the ultrasound device, and the a memory operatively coupled to at least one processor, wherein the memory, when executed, causes the at least one processor to obtain a PPG signal based on light sensed by the photo-sensor, and One or more instructions for controlling an operation of the ultrasound apparatus based on an index value indicating quality may be stored.
  • PPG photoplethysmography
  • the ultrasound device in the method for obtaining a PPG signal of an electronic device including an ultrasound device, the ultrasound device emits ultrasound when detecting an object, and when detecting the object, the electronic device an operation in which a light source included in the device irradiates light, an operation in which a photodetector included in the electronic device detects light reflected from the object, an operation of obtaining a PPG signal based on the sensed light, an operation of the PPG signal
  • the method may include calculating an index value indicating quality, and controlling an operation of the ultrasound apparatus based on the index value.
  • PPG photoplethysmography
  • HRV heart rate variability
  • FIG. 1 is a block diagram of an electronic device for acquiring a PPG signal, according to an embodiment.
  • FIG. 2 is a diagram illustrating that an electronic device expands a blood vessel of an object by emitting ultrasound, according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating a configuration of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a configuration of an electronic device according to another exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a method for an electronic device to acquire a PPG signal according to an embodiment.
  • FIG. 6 is a diagram illustrating that an electronic device not including an ultrasound apparatus acquires a PPG signal from an object, according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating that an electronic device not including an ultrasound apparatus acquires a PPG signal from an object, according to another exemplary embodiment.
  • FIG. 8 is a diagram illustrating that an electronic device including an ultrasound apparatus acquires a PPG signal from an object, according to an embodiment.
  • FIG. 9 is a diagram illustrating that an electronic device including an ultrasound apparatus acquires a PPG signal from an object, according to another exemplary embodiment.
  • FIG. 10 is a diagram illustrating that an electronic device including a circular ultrasound apparatus acquires a PPG signal from an object, according to an exemplary embodiment.
  • FIG. 11 is a diagram illustrating that an electronic device including a circular ultrasound apparatus acquires a PPG signal from an object, according to another exemplary embodiment.
  • FIG. 12 is a diagram illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to an exemplary embodiment.
  • FIG. 13 is a diagram illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to another exemplary embodiment.
  • FIG. 14 is a diagram illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to an exemplary embodiment.
  • 15 is a diagram illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to another exemplary embodiment.
  • 16 is a diagram illustrating a user interface provided by an electronic device to acquire a PPG signal, according to an embodiment.
  • 17 is a diagram illustrating a user interface provided by an electronic device to acquire a PPG signal according to another embodiment.
  • FIG. 18 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram 100 of an electronic device for obtaining a PPG signal, according to an embodiment.
  • an electronic device 100 may include an ultrasound device 110 , a processor 120 , a memory 130 , and a PPG sensor 140 .
  • the PPG sensor 140 may include at least one light source 141 and at least one light sensor 143 .
  • the PPG sensor 140 may detect light reflected or transmitted from the object by irradiating light to the object.
  • the light sensed by the PPG sensor 140 is expressed in the form of light intensity, which is referred to as a PPG signal.
  • the PPG sensor 140 may exist independently in the electronic device 100 , but is not limited thereto. According to another embodiment, even if the electronic device 100 does not have a separate light source and photo sensor for measuring the PPG signal, the PPG signal may be measured by using another light source and photo detector included in the electronic device 100 instead.
  • the light source 141 and the photo sensor 143 of the electronic device 100 used to measure the PPG signal may be collectively referred to as the PPG sensor 140 .
  • the light source 141 may be a light source of a display panel (eg, the display panel 230 of FIG. 2 ).
  • the light detector 143 may be at least one image sensor (eg, a light sensor of the camera 440 of FIG. 4 ) included in the electronic device 100 .
  • the PPG sensor 140 may refer to a module including a light source 141 and a light detector 143 used to measure a PPG signal.
  • the PPG signal includes an AC component and a DC component
  • the AC component may be used to monitor heart rate, respiration, stress level, blood pressure, blood flow, and/or the state of the circulatory system.
  • the DC component may correspond to a noise component.
  • the quality of the PPG signal can be expressed as the ratio of the AC component to the DC component (AC/DC), which is referred to as a perfusion index (PI). That is, as the AC component increases, the PI value increases and the quality of the PPG signal improves.
  • the improvement in the quality of the PPG signal means that the PPG signal is acquired based on a given environment (eg, the ambient temperature of the electronic device 100 , the age and gender of the user, and the configuration and structure of the electronic device 100 ). It may mean that it is easy to obtain information (heart rate, heart rate variability, oxygen saturation, stress level, blood pressure, blood flow, or state of the circulatory system).
  • the light source 141 may emit light of at least one wavelength to the outside of the electronic device 100 .
  • the light source 141 may include an additional light source for measuring the PPG signal or a light source (eg, OLED) of a display panel (not shown) of the electronic device 100 .
  • the photodetector 143 may detect light reflected from an object outside the electronic device 100 . In this case, at least a portion of the light detected by the photodetector 143 may be reflected or transmitted after the light emitted from the light source 141 is absorbed by the object.
  • the light detector 143 may be a point detector or a 2D array imaging sensor.
  • the point detector may be, for example, a photo diode.
  • the two-dimensional array image sensor may be, for example, a Camera CIS, a TFT array sensor, or an organic PD array sensor.
  • the ultrasound apparatus 110 may emit ultrasound to the outside of the electronic device 100 .
  • the ultrasound apparatus 110 may be included in a fingerprint recognition sensor (not shown) of the electronic device 100 .
  • a fingerprint recognition sensor detects a touch of an object (eg, a user's finger)
  • the ultrasound apparatus 110 may emit ultrasound toward the touched object.
  • the ultrasound apparatus 110 may be integrated with the PPG sensor 140 .
  • the present invention is not limited thereto, and according to an exemplary embodiment, it is sufficient that the ultrasound apparatus 110 and the PPG sensor 140 are included in one electronic device.
  • the processor 120 may be operatively connected to the PPG sensor 140 and the ultrasound apparatus 110 .
  • the processor 120 for example, executes software (eg, a program) to execute at least one other component (eg, the light source 141 , the light sensor 143 ) of the electronic device 100 connected to the processor 120 .
  • the ultrasound apparatus 110 may be controlled, and various data processing or calculations may be performed.
  • the processor 120 loads a command or data received from another component (eg, the photo sensor 143 ) into a volatile memory, and a command stored in the volatile memory.
  • the data may be processed and the resulting data stored in non-volatile memory.
  • the processor 120 includes a main processor (eg, a central processing unit or an application processor), and a secondary processor (eg, a graphics processing unit, an image signal processor, a sensor hub processor, or communication processor).
  • main processor eg, a central processing unit or an application processor
  • secondary processor eg, a graphics processing unit, an image signal processor, a sensor hub processor, or communication processor.
  • the processor 120 may control the ultrasound apparatus 110 to emit ultrasound. According to an embodiment, the processor 120 may control the light source 141 to emit light. According to an embodiment, the processor 120 may control the light detector 143 to detect the light reflected from the object.
  • the processor 120 may control the ultrasonic wave to be emitted when an object comes into contact with a touch sensor (eg, a touch panel) corresponding to the ultrasonic device 110 .
  • the processor 120 may control to emit light or sense the light when an object comes into contact with the object recognition area of the PPG sensor 140 .
  • the object recognition area of the PPG sensor 140 means an area that detects a touch of an object to operate the PPG sensor 140 , for example, a touch sensor (eg, a touch panel) corresponding to the PPG sensor 140 . ) or an area in which an image sensor (eg, a camera) is disposed.
  • the processor 120 may control the ultrasound apparatus 110 and the PPG sensor 140 to simultaneously operate in response to an object's contact with the object recognition area of the PPG sensor 140 .
  • the processor 120 controls the PPG sensor 140 .
  • the ultrasound apparatus 110 and the PPG sensor 140 may be controlled to operate simultaneously in response to an object's contact with the object recognition region.
  • the processor 120 may control the ultrasound apparatus 110 and the PPG sensor 140 to sequentially operate in response to an object's contact with the object recognition area of the PPG sensor 140 .
  • the processor 120 may control the ultrasound apparatus 110 and the PPG sensor 140 to operate at a specified time interval in response to an object's contact with the object recognition region of the PPG sensor 140 .
  • the processor 120 operates the ultrasound apparatus 110 in response to an object's contact with the object recognition area of the PPG sensor 140, and operates the PPG sensor 140 after a specified time elapses.
  • the processor 120 may obtain a PPG signal from the light sensed by the light detector 143 . According to an embodiment, the processor 120 may acquire the PPG signal in the form of the intensity of the light sensed through the photodetector 143 .
  • the processor 120 may determine the quality of the acquired PPG signal. According to an embodiment, the processor 120 may calculate a PI value of the PPG signal. The PI value may be calculated by the following equation.
  • AC may mean an AC component
  • DC may mean a DC component
  • I H may mean a maximum intensity of reflected light
  • I L may mean a minimum intensity of reflected light.
  • the PPG sensor 140 may irradiate light with the light source 141 to an object to be measured (eg, a user's skin). At least a portion of the light reaches the blood vessel and a variable amount is absorbed by the blood vessel according to a change in blood flow, and the remaining light may reach the light sensor 143 in the form of reflection or transmission.
  • the PPG signal sensed by the photodetector 143 is reflected from the arterial blood that causes a change in the volume of the blood vessel due to the heartbeat, and is reflected from the AC (Alternating Current) component reaching the photodetector 143 and from a place other than the arterial blood. It may include a direct current (DC) component that is reflected and reaches the photodetector 143 .
  • the processor 120 when it is determined that an index value (eg, a PI value) indicating the quality of the PPG signal is greater than or equal to a threshold value, the processor 120 performs heart rate information, respiration information, stress information, At least one of blood pressure information and blood flow information may be extracted.
  • the PI value of the PPG signal may be about 1%, and thus, according to an embodiment, the threshold value of the quality of the PPG signal may be 1% as the PI value.
  • the PI value is exemplified as an index value indicating the quality of the PPG signal, but the present invention is not limited thereto, and other index values indicating the quality of the PPG signal may be used.
  • the processor 120 may control the operation of the ultrasound apparatus 110 based on an index value indicating the quality of the PPG signal. According to an embodiment, when it is determined that the index value is equal to or greater than a threshold value, the ultrasound apparatus 110 may be controlled not to emit ultrasound. According to an embodiment, when it is determined that the index value is less than a threshold value, the ultrasound apparatus 110 may be controlled to emit ultrasound.
  • the processor 120 may adjust at least one of the intensity and the emission time of the ultrasound emitted by the ultrasound apparatus 110 . .
  • Human arterial blood is distributed in the first plexus between the epidermis layer and the dermis layer, and the second plexus distributed between the dermis layer and the hypodermis layer. ) can be distributed.
  • the thickness of the epidermal layer of human skin is usually 0.5 mm, and the thickness of the dermis layer is usually 1-1.5 mm.
  • the light source 141 may emit light having an intensity that can reach the first gun.
  • the processor 120 increases the intensity of the light emitted by the light source 141 to the photodetector 143 . It is possible to compensate for the loss of light, but the increased light intensity may be greater than the safe intensity for irradiating human skin.
  • blood vessels of a person contract or expand to maintain body temperature according to changes in the temperature of the surrounding environment. That is, in a low temperature environment, blood vessels are reduced in order to minimize heat loss through the blood vessels, which reduces the AC component of the PPG signal, making it difficult to distinguish it from a noise component (eg, a DC component).
  • a noise component eg, a DC component
  • the AC component of the PPG signal may decrease even when the intensity of the heartbeat is not strong, such as women, children, and the elderly.
  • the AC component after interacting with the blood vessel may decrease as it penetrates the components of the mobile device.
  • the size of the pixel and the signal sensitivity of each pixel are reduced due to the 2D array characteristics of the camera, and the entire 2D array is used to obtain the PPG signal.
  • the speed of acquiring the PPG signal may be limited to 30 frames per second (FPS) or less.
  • 30 FPS may be, for example, a video shooting speed of a camera.
  • HR heart rate
  • HRV heart rate variability
  • SpO 2 saturation
  • the electronic device 100 may obtain a PPG signal of improved quality by using the ultrasound device 110 that emits ultrasound while using light within a safe intensity that can be irradiated to the skin to expand the user's blood vessels. .
  • the processor 120 determines whether to emit ultrasound through the ultrasound apparatus 110 or the intensity of ultrasound emitted through the ultrasound apparatus 110 and At least one of the release times may be controlled.
  • the PI value of the PPG signal for human skin may be about 1%.
  • the reflective structure may refer to a structure of the PPG sensor 140 designed so that the light emitted from the light source 141 is reflected after reaching the skin of a person to be detected by the photodetector 143 .
  • the processor 120 may control whether to emit ultrasound through the ultrasound apparatus 110 when it is determined that the PI value indicating the quality of the PPG signal is less than 1%.
  • the processor 120 determines that the PI value indicating the quality of the PPG signal is less than 1%, and thus adjusts the intensity of the ultrasonic wave emitted through the ultrasonic device 110, adjusts the ultrasonic emission time, or adjusts the ultrasonic intensity. and release time can both be controlled.
  • the processor 120 adjusts the intensity of the ultrasound emitted from the ultrasound apparatus 110 according to an index value indicating the quality of the PPG signal will be described below.
  • the processor 120 may cause the ultrasound apparatus 110 to emit ultrasound having the first ultrasound intensity when it is determined that the index value indicating the quality of the PPG signal is the first value.
  • the processor 120 may cause the ultrasound apparatus 110 to emit ultrasound having the second ultrasound intensity when it is determined that the quality of the PPG signal is the second value.
  • the first value and the second value may be PI values, and the second value may be set to be lower than the first value. In this case, the second ultrasonic intensity corresponding to the second value may be set stronger than the first ultrasonic intensity corresponding to the first value.
  • the processor 120 adjusts the time at which the ultrasound apparatus 110 emits ultrasound according to an index value indicating the quality of the PPG signal will be described below.
  • the processor 120 may cause the ultrasound apparatus 110 to emit ultrasound for a first time in response to determining that the index value indicating the quality of the PPG signal is the first value.
  • the processor 120 may cause the ultrasound apparatus 110 to emit ultrasound for a second time in response to determining that the quality of the PPG signal is the second value.
  • the first value and the second value may be PI values, and the second value may be set to be lower than the first value. In this case, the second time corresponding to the second value may be set longer than the first time corresponding to the first value.
  • the memory 130 may be operatively connected to at least one processor.
  • the memory 130 may store various data used by at least one component of the electronic device 100 (eg, the processor 120 or the photo sensor 143 ).
  • the data may include, for example, input data or output data for software (eg, a program) and instructions related thereto.
  • the memory 130 may include a volatile memory or a non-volatile memory.
  • FIG. 2 is a diagram 200 illustrating that an electronic device expands a blood vessel of an object by emitting ultrasound, according to an exemplary embodiment.
  • the electronic device 100 shown in FIG. 2 may be the same as the electronic device 100 shown in FIG. 1 . Therefore, even if the configuration is not shown in FIG. 2 (eg, the processor 120 or the memory 130 of FIG. 1 ), the electronic device 100 shown in FIG. 2 is included in the electronic device 100 shown in FIG. 1 . It is assumed to include the configured configuration.
  • the electronic device 100 may be a smartphone, a tablet PC, or a smart watch, but is not limited thereto.
  • the electronic device 100 may further include a display panel 230 and a cover glass 210 .
  • the display panel 230 and the cover glass 210 may be stacked in the Z-axis direction.
  • the cover glass 210 is to protect the components of the electronic device 100 including the display panel 230 from the outside, and may be disposed on the front portion (or upper portion) of the display panel 230 .
  • the cover glass 210 may include a polymer base film (eg, polyimide, polyarylate, poly ethylen terephthalate, polyethersulphone, polyethylene naphthalate). (polyethylene naphthalate), or polyacrylate, polycarbonate), or glass.
  • a polymer base film eg, polyimide, polyarylate, poly ethylen terephthalate, polyethersulphone, polyethylene naphthalate). (polyethylene naphthalate), or polyacrylate, polycarbonate), or glass.
  • the ultrasound apparatus 110 and the PPG sensor 140 may be disposed on the rear surface (or lower portion) of the display panel 230 .
  • the front part (or upper part) of the display panel 230 means the positive direction of the Z-axis
  • the rear part (or the lower part) of the display panel 230 means the negative direction of the Z-axis.
  • an adhesive member eg, double-sided tape, adhesive
  • an elastic member eg, silicone, rubber
  • a liquid material is disposed between the ultrasonic device 110 and the rear portion (or lower portion) of the display panel 230 .
  • a liquid material eg, gel
  • the electronic device 100 may emit ultrasound to the ultrasound apparatus 110 with respect to the object recognition area of the PPG sensor 140 (eg, the first area 1610 of FIG. 16 ).
  • the object recognition area may be displayed on a display as a user interface.
  • the object 220 may be the user's skin. According to an embodiment, the object 220 may be a user's finger, but is not limited thereto.
  • the ultrasound apparatus 110 of the electronic device 100 emits ultrasound to the object 220 that has been in contact with the object recognition region of the PPG sensor 140 , the blood vessels 222 inside the object 220 . ) can be expanded (expanded).
  • the ultrasound emitted by the ultrasound device 110 applies a mechanical shear stress to the endothelial cells of the blood vessel 222 to form a calcium-dependent potassium channel in the wall of the blood vessel 222 (calcium).
  • -activated potassium channel Nitric oxide is introduced through the open passage, and the nitric oxide inhibits the operation of vascular smooth muscle that contributes to the contraction of the blood vessel 222 , so that the blood vessel 222 can be expanded.
  • the strength of the signal component (AC component) of the PPG signal increases, so even if the noise component (DC component) is not reduced, the signal to noise ratio (SNR) (the quality of the PPG signal) is improved. It is possible to increase the PI value corresponding to one of the indicated index values).
  • the state of the expanded (expanded) blood vessel 222 may be continued for a predetermined time.
  • the electronic device 100 considers the minimum exposure time to ultrasound for the expansion of the blood vessel 222 and the duration time for maintaining the expansion state of the blood vessel 222 by the ultrasound, the emission intensity, frequency, and emission target of the ultrasound. At least one of the positions of the objects may be determined.
  • the intensity of the ultrasonic wave emitted by the ultrasonic device 110 of the electronic device 100 changes an ion channel by mechanical stress of the ultrasonic wave transmitted to the wall of the blood vessel 222 . It may correspond to a power level.
  • the intensity of ultrasonic waves emitted by the ultrasonic device 110 of the electronic device 100 is generated by the thermal effect, cavitation effect, or mechanical effect of skin cells, such as in high intensity focused ultrasound (HIFU) treatment.
  • HIFU high intensity focused ultrasound
  • a power level of the ultrasonic wave may be 0.1 to 2 W/cm 2 .
  • the signal component (AC component) while maintaining the informational characteristics of the PPG signal. ) can only be amplified.
  • the intensity of the ultrasonic wave emitted by the ultrasonic device 110 of the electronic device 100 may be the intensity of the ultrasonic wave used in the fingerprint recognition sensor (not shown) of the electronic device 100 , but is limited thereto. it's not going to be
  • the PPG sensor 140 may be included in the electronic device 100 separately from the ultrasound device 110 .
  • the PPG sensor 140 may include a light source (eg, the light source 141 of FIG. 1 ) and a photodetector (eg, the photodetector 143 of FIG. 1 ).
  • the PPG sensor 140 may operate simultaneously or sequentially with the ultrasound apparatus 110 .
  • the PPG sensor 140 may emit light to the object recognition area as a light source.
  • the PPG sensor 140 may detect light reflected from the object 220 in a state in which the blood vessel 222 is expanded by ultrasonic waves with a photodetector.
  • the electronic device 100 acquires the PPG signal based on the light reflected from the object 220 in a state in which the blood vessel 222 is expanded, so that the quality is improved (the noise component remains the same, but the signal component This increased) PPG signal can be obtained.
  • the electronic device 100 shown in FIG. 3 may be the electronic device 100 shown in FIG. 1 . Accordingly, even though the configuration (eg, the processor 120 or the memory 130 of FIG. 1 ) is not shown in FIG. 3 , the electronic device 100 shown in FIG. 3 is included in the electronic device 100 shown in FIG. 1 . It is assumed to include the configured configuration. According to an embodiment, the electronic device 100 may be a smartphone, a tablet PC, or a smart watch, but is not limited thereto.
  • the electronic device 100 may further include a display panel 230 and a cover glass 210 .
  • the display panel 230 and the cover glass 210 may be stacked in the Z-axis direction.
  • the cover glass 210 may be disposed on the front portion (or upper portion) of the display panel 230 .
  • the ultrasound apparatus 110 and the PPG sensor 140 may be disposed on the rear surface (or lower portion) of the display panel 230 .
  • the front part (or upper part) of the display panel 230 means the positive direction of the Z-axis
  • the rear part (or the lower part) of the display panel 230 means the negative direction of the Z-axis.
  • the PPG sensor 340 may include a photodetector (eg, the photodetector 143 of FIG. 1 ).
  • the PPG sensor 340 may use a light source included in the display panel 230 as a light source for obtaining a PPG signal.
  • the light source included in the display panel 230 is, for example, a backlight unit (BLU) of a light crystal display (LCD), a light emitting diode (LED), a Micro LED, or an organic light emitting device (OLED). diode), but is not limited thereto.
  • the photodetector is a point detector mode such as a photo diode (PD), an ambient light sensor (ALS), a proximity sensor, or an optical fingerprint sensor ( It is an optical sensor operating in point detector mode, or a 2D array detector mode such as a complementary metal-oxide semiconductor (CMOS) image sensor (CIS), or a charge coupled device (CCD) image sensor.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge coupled device
  • the electronic device 100 may be an optical sensor that operates as According to an embodiment, when the PPG sensor 340 operates in the point detector mode, since a readout speed may operate at 100 Hz or higher, the electronic device 100 provides a heart rate monitoring (HRM) function and an HRV ( heart rate variability) function can be implemented, but when the PPG sensor 340 operates in the 2D array detector mode, the read rate may operate at less than 100 Hz, so, for example, the HRV function cannot be implemented. According to various embodiments disclosed in this document, the electronic device may increase the intensity of a signal component of the PPG signal by emitting ultrasonic waves using the ultrasound apparatus 110 , and the PPG sensor 340 enters the 2D array detector mode. In the case of operation, that is, even when the CIS and CCD image sensors are used as the PPG sensor 340, both the HRM and HRV functions can be implemented.
  • HRM heart rate monitoring
  • HRV heart rate variability
  • the PPG sensor 340 measures the PPG signal using the light source of the display panel 230 , but according to another embodiment, the PPG sensor may include its own light source. have.
  • FIG. 4 is a diagram 400 illustrating a configuration of an electronic device according to another exemplary embodiment.
  • the electronic device 100 shown in FIG. 4 may be the electronic device 100 shown in FIG. 1 . Accordingly, even if the configuration (eg, the processor 120 or the memory 130 of FIG. 1 ) is not shown in FIG. 4 , the electronic device 100 shown in FIG. 4 is included in the electronic device 100 shown in FIG. 1 . It is assumed to include the configured configuration.
  • the electronic device 100 may be a smartphone, a tablet PC, or a smart watch, but is not limited thereto.
  • the electronic device 100 may further include a display panel 230 , a cover glass 210 , and a camera 440 .
  • the display panel 230 and the cover glass 210 may be stacked in the Z-axis direction.
  • the cover glass 210 may be disposed on the front portion (or upper portion) of the display panel 230 .
  • the ultrasound apparatus 110 may be disposed on the rear portion (or lower portion) of the display panel 230 .
  • the front part (or upper part) of the display panel 230 means the positive direction of the Z-axis
  • the rear part (or the lower part) of the display panel 230 means the negative direction of the Z-axis.
  • the camera 440 is disposed on the rear portion (or lower portion) of the display panel 230 , and a position corresponding to a hole 410 penetrating the front and rear surfaces of the display panel 230 . can be placed in Therefore, according to an embodiment, the hole 410 may be a hole for exposing a camera lens.
  • the electronic device 100 may use the light source (eg, OLED) of the display panel 230 as the light source of the PPG sensor (eg, the PPG sensor 140 of FIG. 1 ).
  • the electronic device 100 may emit light using a light source of the display panel 230 to obtain a PPG signal.
  • the electronic device 100 may use an optical sensor (eg, a CMOS image sensor) included in the camera 440 as a photodetector of the PPG sensor.
  • the electronic device 100 may detect light reflected from the object 220 using the camera 440 to obtain a PPG signal.
  • the PPG signal is acquired using the optical sensor of the camera 440 , but the present invention is not limited thereto.
  • An Array Imaging Sensor may be used to detect light reflected or transmitted from the object 220 .
  • a heart rate monitoring (HRM) function may be implemented at a data readout speed based on a two-dimensional array pixel, but at a high speed.
  • HRM heart rate monitoring
  • a heart rate variability (HRV) function that requires measurement may not be implemented.
  • the electronic device 100 may amplify the signal component of the PPG signal by causing the ultrasound apparatus 110 to emit ultrasound to expand the blood vessel 222 of the object 220 . Accordingly, the electronic device 100 may acquire the PPG signal by summing pixel values of at least one row without summing all pixel values of the two-dimensional array. That is, the electronic device 100 shown in FIG.
  • a two-dimensional array image sensor included in the electronic device 100 may acquire a PPG signal, and based on the acquired PPG signal, not only the HRM function but also the HRV function may be implemented have.
  • the display panel 230 does not exist between the blood vessel 222 of the object 220 and the camera 440 , attenuation of light transmittance due to the display panel 230 may not occur.
  • the camera 440 is the front camera of the electronic device 100 , and the electronic device measures the PPG signal using the front camera 440 and the light source of the display panel 230 as an example.
  • the present invention is not limited thereto.
  • the electronic device 100 may measure the PPG signal using a rear camera of the electronic device and a flash light source of the rear camera.
  • FIG. 5 is a flowchart 500 illustrating a method for an electronic device to acquire a PPG signal according to an embodiment.
  • an operation of the electronic device described with reference to FIG. 5 may be an operation of the electronic device 100 of FIG. 1 , and may be performed by a processor of the electronic device (eg, the processor 120 of FIG. 1 ).
  • the electronic device may detect an object in contact with the object recognition area of the PPG sensor (eg, the PPG sensor 140 of FIG. 1 ).
  • the object recognition area (eg, the first area 1610 of FIG. 16 ) of the PPG sensor is a touch sensor (eg, a touch panel) corresponding to the ultrasound apparatus (eg, the ultrasound apparatus 110 of FIG. 1 ).
  • the object recognition region (eg, the second region 1720 of FIG. 17 ) of the PPG sensor is a region (eg, the second region 1720 of FIG. 17 ) in which an object is detected by a touch sensor (eg, a touch panel) corresponding to the ultrasound apparatus. 1 area 1710) and may be a different area.
  • the electronic device may operate the light source of the PPG sensor (eg, the light source 141 of FIG. 1 ) to irradiate (radiate) light as an object is detected.
  • the light source of the PPG sensor irradiates light, so that light may be irradiated to an object in contact with the object recognition area of the PPG sensor. In this case, at least a portion of the light reaching the object may be absorbed, and the remainder may be reflected or transmitted.
  • the electronic device may operate the ultrasound apparatus and the PPG sensor in response to one-time detection of an object.
  • the electronic device may simultaneously operate the ultrasound apparatus and the PPG sensor in response to one detection of an object, or sequentially operate at a specified time interval.
  • the electronic device when the ultrasound device and the PPG sensor are spaced apart by a predetermined distance or more, the electronic device performs an object detection operation using a touch sensor (eg, a touch panel) corresponding to the ultrasound device before operating the PPG sensor,
  • a touch sensor eg, a touch panel
  • an ultrasonic wave may be emitted using an ultrasonic device.
  • the area where the object is sensed by the touch sensor may be a different area from the object recognition area of the PPG sensor.
  • the predetermined distance when the ultrasound apparatus and the PPG sensor are spaced apart from each other by a predetermined distance or more, the predetermined distance may be within 3 cm.
  • the electronic device may operate a photodetector (eg, the photodetector 143 of FIG. 1 ) of the PPG sensor to detect light reflected from the object. Operation 520 may be performed simultaneously with operation 510 .
  • a photodetector eg, the photodetector 143 of FIG. 1
  • the electronic device may acquire a PPG signal based on the sensed light.
  • the PPG signal may appear in the form of intensity of light detected by the photodetector.
  • the PPG signal may include an AC component that is a signal component capable of extracting various types of information reflecting characteristics of the circulatory system, and a DC component corresponding to a noise component in relation to the signal component.
  • the electronic device may calculate an index value indicating the quality of the PPG signal.
  • the electronic device may calculate a PI value corresponding to a ratio of an AC component and a DC component of the PPG signal.
  • the electronic device may determine the quality of the PPG signal by determining whether the PI value of the PPG signal is equal to or greater than a threshold value (operation 550).
  • the threshold value may be 'PI value 1%'.
  • an operation of extracting information based on the PPG signal may be performed.
  • operation 560 may be that the electronic device extracts information about at least one of heartbeat, respiration, stress level, blood pressure, and blood flow based on the AC component of the PPG signal.
  • the extracted information may be information for monitoring the state of the circulatory system.
  • the electronic device when the electronic device according to an embodiment determines that an index value (eg, PI value) indicating the quality of the PPG signal is less than the threshold value, the electronic device transmits the ultrasound apparatus (eg, the ultrasound apparatus 110 of FIG. 1 ) ) by emitting an ultrasonic wave (operation 570) may be performed.
  • an index value eg, PI value
  • the electronic device transmits the ultrasound apparatus (eg, the ultrasound apparatus 110 of FIG. 1 ) ) by emitting an ultrasonic wave (operation 570) may be performed.
  • the electronic device may detect an object in contact with the object recognition area (eg, the first area 1610 of FIG. 16 ) of the ultrasound apparatus using a touch sensor (eg, a touch panel).
  • a touch sensor eg, a touch panel
  • the object recognition area of the ultrasound apparatus may be a fingerprint recognition area.
  • the electronic device when the electronic device includes a display panel (eg, the display panel 230 of FIG. 2 ) and the ultrasound device is disposed under the display panel, the electronic device is positioned on the display corresponding to the ultrasound device can detect when an object is touched. According to an embodiment, the electronic device may detect the contact of the object through a touch sensor or a pressure sensor.
  • a display panel eg, the display panel 230 of FIG. 2
  • the electronic device is positioned on the display corresponding to the ultrasound device can detect when an object is touched.
  • the electronic device may detect the contact of the object through a touch sensor or a pressure sensor.
  • the electronic device may operate the ultrasound apparatus to emit ultrasound according to detecting an object.
  • the ultrasound apparatus of the electronic device emits ultrasound
  • an object that has been in contact with the object recognition area of the ultrasound apparatus may be exposed to ultrasound.
  • the electronic device may emit ultrasound with a preset intensity for a preset time.
  • the ultrasound emitted by the electronic device may dilate a blood vessel inside the object (eg, the blood vessel 222 of FIG. 4 ).
  • the electronic device may perform an operation (not shown) of increasing the intensity of ultrasound emitted by the ultrasound apparatus. For example, if it is assumed that the intensity of the ultrasonic wave emitted before increasing the intensity of the ultrasonic wave is the first intensity, as the index value is determined to be less than the threshold value, the electronic device according to an embodiment of the present invention provides an ultrasonic wave emitted by the ultrasonic device. It can be adjusted to change the intensity of , to the second intensity. In this case, the second intensity may mean a relatively higher (stronger) intensity than the first intensity.
  • the electronic device according to an embodiment may perform operations 510 to 560 again after increasing the intensity of ultrasound emitted by the ultrasound apparatus.
  • the electronic device when the electronic device determines that the index value (eg, PI value) indicating the quality of the PPG signal is the first value, the electronic device sets the intensity of the ultrasonic wave emitted by the ultrasonic device as the first ultrasonic intensity. control, and when it is determined that the index value is the second value, the intensity of the ultrasonic wave emitted by the ultrasonic device may be adjusted to the second ultrasonic intensity.
  • the second value eg, 0.5%) may be lower than the first value (eg, 1%), and the second ultrasonic intensity may be stronger than the first ultrasonic intensity.
  • the electronic device may perform an operation (not shown) of increasing the time for which the ultrasound is emitted. For example, if it is assumed that the time at which the ultrasound is emitted before increasing the ultrasound emission time is the first time, in operation 550 , it is determined that the index value is less than the threshold value.
  • the time for emitting the ultrasound may be adjusted to be changed to the second time. In this case, the second time may mean a relatively longer time than the first time.
  • the electronic device may perform operations 510 to 560 again after increasing the time for the ultrasound apparatus to emit ultrasound.
  • the electronic device when it is determined that the index value (eg, PI value) indicating the quality of the PPG signal is the first value, the electronic device adjusts the ultrasound apparatus to emit ultrasound for a first time, When it is determined that the index value is the second value, the ultrasound apparatus may be adjusted to emit ultrasound for a second time period.
  • the second level eg, 0.5%) may be lower than the first level (eg, 1%), and the second time period may be longer than the first time period.
  • FIG. 6 is a diagram 600 and 650 illustrating that an electronic device not including an ultrasound apparatus acquires a PPG signal from an object, according to an exemplary embodiment. That is, FIG. 6 may be a diagram illustrating that a conventional electronic device for obtaining a PPG signal obtains a PPG signal from an object. 6 includes a side cross-sectional view 600 and a perspective plan view 650 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • a light source 141 and a photodetector 143 may be disposed side by side under the display panel 230 .
  • the distance between the light source 141 and the light sensor 143 may be adjusted and disposed according to the depth at which the light is to be transmitted inside the object (eg, the skin of the user).
  • the light source 141 may be an independent light source for obtaining a PPG signal. Since the electronic device 100 of FIG. 6 does not include an ultrasound device (eg, the ultrasound device 110 of FIG. 1 ), vasodilation by ultrasound does not occur.
  • FIG. 7 is a diagram 700 and 750 illustrating that an electronic device not including an ultrasound apparatus acquires a PPG signal from an object, according to another exemplary embodiment. That is, FIG. 7 may be a diagram illustrating that the conventional electronic device for obtaining a PPG signal obtains a PPG signal from an object. 7 includes a side cross-sectional view 700 and a perspective plan view 750 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • the photodetector 143 may be disposed under the display panel 230 , and the light source 141 may be disposed on the display panel 230 .
  • the light source 141 may be an organic light emitting diode (OLED), but is not limited thereto. That is, FIG. 7 is a diagram illustrating an embodiment of an electronic device using a display light source as a light source of a PPG sensor.
  • FIG. 8 is a diagram 800 or 850 illustrating that an electronic device including an ultrasound apparatus acquires a PPG signal from an object, according to an embodiment.
  • the electronic device 100 of FIG. 8 may be the electronic device 100 of FIG. 1 .
  • 8 includes a side cross-sectional view 800 and a perspective plan view 850 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • a light source 141 and a photodetector 143 may be disposed side by side under the display panel 230 .
  • the ultrasound device 110 is disposed under the display panel 230 , and when viewed from one surface (XY plane in FIG. 8 ) of the display panel 230 , the light source 141 and It may be arranged to be placed between the photodetectors 143 .
  • the ultrasound device 110 is disposed on the same plane as the light source 141 and the photodetector 143 (the XY plane in FIG. 8 ), and at least When viewed from one side (in the Y-axis direction in FIG. 8 ), the ultrasound apparatus 110 may be disposed between the light source 141 and the photo sensor 143 .
  • the ultrasound apparatus 110 , the light source 141 , and/or the photo sensor 143 may be spaced apart from each other in the Z-axis direction instead of on the same plane (in FIG. 8 , the XY plane).
  • the separation distance between the ultrasound device 110 and the photodetector 143 is determined by the light source 141 to transmit the light to the object 220 or the blood vessel 222 inside the object.
  • the light source 141 and the light sensor 143 so that the difference between the irradiated position and the position where the ultrasound is irradiated to the object 220 or the blood vessel 222 inside the object by the ultrasound apparatus 110 is within a preset error range. , and the mutual separation distance of the ultrasound apparatus 110 may be adjusted to be disposed.
  • the ultrasound emitted by the ultrasound apparatus 110 may expand the blood vessel 222 inside the object 220 .
  • the photodetector 143 detects the light reflected from the object 220 in a state in which the blood vessel 222 is dilated, so that the signal component (AC component) compared to the case of acquiring the PPG signal without ultrasound action It is possible to obtain a PPG signal having an increased intensity of .
  • the electronic device 100 according to an embodiment is disposed to be placed between the light source 141 and the photodetector 143 when the ultrasound apparatus 110 is viewed from one surface of the display panel 230 , so that the electronic device 100 ), when the PPG signal is obtained, the vasodilation effect of ultrasound can be obtained to the maximum.
  • FIG. 9 is a diagram 900 and 950 illustrating that an electronic device including an ultrasound apparatus acquires a PPG signal from an object, according to another exemplary embodiment.
  • the electronic device 100 of FIG. 9 may be the electronic device 100 of FIG. 1 .
  • 9 includes a side cross-sectional view 900 and a perspective plan view 950 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • the photodetector 143 may be disposed under the display panel 230 , and the light source 141 may be disposed on the display panel 230 .
  • the light source 141 may be an organic light emitting diode (OLED), but is not limited thereto. That is, FIG. 9 is a diagram illustrating an embodiment of an electronic device using a display light source as a light source of a PPG sensor.
  • the ultrasound device 110 is disposed under the display panel 230 , and when viewed from one surface (XY plane in FIG. 9 ) of the display panel 230 , the light source 141 and It may be arranged to be placed between the photodetectors 143 .
  • the ultrasound device 110 is disposed on the same plane (XY plane in FIG. 9) as the photo sensor 143, and at least one side surface (FIG. 9) In , when viewed from the Z-axis direction), the ultrasound apparatus 110 may be disposed to be placed between the light source 141 and the photodetector 143 .
  • FIG. 9 is different from FIG. 8 only in the Z-axis position of the light source 141, so the effect of the electronic device 100 shown in FIG. 9 on the blood vessel 222 of the object 220 and the resulting PPG signal As the quality improvement effect, the description with reference to FIG. 8 may be equally applied.
  • FIG. 10 is a diagram 1000 and 1050 illustrating that an electronic device including a circular ultrasound apparatus acquires a PPG signal from an object, according to an exemplary embodiment.
  • the electronic device 100 of FIG. 10 may be the electronic device 100 of FIG. 1 .
  • 10 includes a side cross-sectional view 1000 and a perspective plan view 1050 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • a light source 141 and a photo sensor 143 may be disposed side by side under the display panel 230 .
  • the electronic device 100 may include a circular ultrasound apparatus 110 , which is disposed below the display panel 230 , and The center may be disposed to lie between the light source 141 and the light sensor 143 when viewed from one surface (in FIG. 10 , the XY plane) of the display panel 230 .
  • the ultrasonic device 110 having a ring structure including a hollow part therein is disposed to surround the light source 141 and the photo sensor 143 .
  • the center of the ultrasound apparatus 110 may be placed at the center of the light source 141 and the photodetector 143 .
  • the electronic device 100 may be arranged such that the center of the ultrasound apparatus 110 is placed at the center of the light source 141 and the photo sensor 143 .
  • FIG. 10 exemplifies a case in which the ultrasound apparatus 110 has a circular shape
  • the present invention is not limited thereto, and may include a polygonal case.
  • the circular or polygonal ultrasound apparatus 110 may include a plurality of ultrasound generators sequentially arranged in a pixel structure.
  • the electronic device 100 may operatively control the plurality of ultrasound generators as if they were one ultrasound device 110 .
  • the center of the ultrasound device 110 is viewed from one surface (XY plane in FIG.
  • the center of the ultrasound apparatus 110 including the plurality of ultrasound generators may be a focal point of beam forming of ultrasound emitted from the plurality of ultrasound generators.
  • the light source 141 when the focus of the beamforming of the ultrasound emitted by the plurality of ultrasound generators included in the ultrasound apparatus 110 is looked down on one surface (the XY plane in FIG. 10 ) of the display panel 230 . ) and the photodetector 143 , the plurality of ultrasonic generators may be disposed.
  • FIG. 11 is a diagram illustrating that an electronic device including a circular ultrasound apparatus acquires a PPG signal from an object, according to another exemplary embodiment.
  • the electronic device 100 of FIG. 11 may be the electronic device 100 of FIG. 1 .
  • 11 includes a side cross-sectional view 1100 and a perspective plan view 1150 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • the photodetector 143 may be disposed under the display panel 230 , and the light source 141 may be disposed on the display panel 230 .
  • the light source 141 may be an organic light emitting diode (OLED), but is not limited thereto. That is, FIG. 11 is a diagram illustrating an embodiment of an electronic device using a display light source as a light source of a PPG sensor.
  • the electronic device 100 may include a circular ultrasound apparatus 110 , which is disposed below the display panel 230 , and The center may be disposed so as to be placed between the light source 141 and the light sensor 143 when viewed from one surface (in FIG. 11 , the XY plane) of the display panel 230 .
  • the ultrasonic device 110 having a ring structure including a hollow part therein is disposed to surround the light source 141 and the photo sensor 143 .
  • the center of the ultrasound apparatus 110 may be placed at the center of the light source 141 and the light sensor 143 when viewed from one surface (XY plane in FIG. 11 ) of the display panel 230 . .
  • FIG. 11 is different from FIG. 10 only in the Z-axis position of the light source 141, so the effect of the electronic device 100 shown in FIG. 11 on the blood vessel 222 of the object 220 and the resulting PPG signal As the quality improvement effect, the description with reference to FIG. 10 may be equally applied.
  • FIG. 12 is a diagram illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to an exemplary embodiment.
  • the electronic device 100 of FIG. 12 may be the electronic device 100 of FIG. 1 .
  • 12 includes a side cross-sectional view 1200 and a perspective plan view 1250 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • a light source 141 and a photo sensor 143 may be disposed side by side under the display panel 230 .
  • the electronic device 100 may include a plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F, and the plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E. , 110F) is disposed under the display panel 230, the center of the plurality of ultrasonic generators (110A, 110B, 110C, 110D, 110E, 110F) is one surface of the display panel 230 (in FIG. 12, XY plane) When viewed from above, it may be disposed to be placed between the light source 141 and the light sensor 143 .
  • a plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F are arranged to surround a light source 141 and a photodetector 143 .
  • the center of the plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F may be placed at the center of the light source 141 and the photodetector 143 .
  • FIG. 12 exemplifies a case in which six ultrasonic generators are disposed in a hexagonal shape, the present invention is not limited thereto, and various numbers of ultrasonic generators may be disposed in various shapes.
  • the centers of the plurality of ultrasound generators 110A, 110B, 110C, 110D, 110E, and 110F are viewed from one surface (in FIG. 12 , the XY plane) of the display panel 230 .
  • the light source 141 and the photodetector 143 are disposed so as to be placed between, the vasodilation effect by ultrasound can be maximized when measuring the PPG signal.
  • the center of the plurality of ultrasonic generators (110A, 110B, 110C, 110D, 110E, 110F) is viewed from one surface (in FIG. 12, XY plane) of the display panel 230, the light source 141 and When it is disposed so as to be placed between the photodetectors 143, the phase of the first ultrasonic waves emitted by the first ultrasonic generator 110A, the phase of the second ultrasonic waves emitted by the second ultrasonic generator 110B, and the third The phase of the third ultrasonic waves emitted by the ultrasonic generator 110C, the phase of the fourth ultrasonic waves emitted by the fourth ultrasonic generator 110D, and the phase of the fifth ultrasonic waves emitted by the fifth ultrasonic generator 110E, The phases of the sixth ultrasonic waves emitted by the six ultrasonic generators 110F may be all set to be the same.
  • the phase of the ultrasonic waves generated from each of the plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F may be set to be in-phase.
  • FIG. 13 is a diagram ( 1300 , 1350 ) illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to another exemplary embodiment.
  • the electronic device 100 of FIG. 13 may be the electronic device 100 of FIG. 1 .
  • 13 includes a side cross-sectional view 1300 and a perspective plan view 1350 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • the photodetector 143 may be disposed under the display panel 230 , and the light source 141 may be disposed on the display panel 230 .
  • the light source 141 may be an organic light emitting diode (OLED), but is not limited thereto. That is, FIG. 13 is a diagram illustrating an embodiment of an electronic device using a display light source as a light source of a PPG sensor.
  • the ultrasound apparatus of the electronic device 100 may include a plurality of ultrasound generators 110A, 110B, 110C, 110D, 110E, and 110F.
  • the plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F is disposed under the display panel 230, and the center of the plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F is displayed.
  • it may be disposed so as to be placed between the light source 141 and the light sensor 143 .
  • a plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F are disposed to surround a light source 141 and a photodetector 143 .
  • the center of the plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, and 110F may be placed at the center of the light source 141 and the photodetector 143 .
  • the center of the plurality of ultrasonic generators (110A, 110B, 110C, 110D, 110E, 110F) is looked down on one surface (in FIG. 13, XY plane) of the display panel 230, the light source 141 and When it is arranged to be placed between the photodetectors 143, the phase of the ultrasonic waves generated from each of the plurality of ultrasonic generators 110A, 110B, 110C, 110D, 110E, 110F may be set to be in-phase. .
  • FIG. 13 is structurally different from FIG. 12 only in the Z-axis position of the light source 141, so the effect of the electronic device 100 shown in FIG. 12 on the blood vessel of the object 220 and thereby improving the quality of the PPG signal As such, the description with reference to FIG. 12 may be equally applied.
  • FIG. 14 is a diagram ( 1400 , 1450 ) illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to an exemplary embodiment.
  • the electronic device 100 of FIG. 14 may be the electronic device 100 of FIG. 1 .
  • FIG. 14 includes a side cross-sectional view 1400 and a perspective plan view 1450 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • a light source 141 and a photo sensor 143 may be disposed side by side under the display panel 230 .
  • the electronic device 100 may include a plurality of ultrasonic generators 110A, 110B, and 110C, and the plurality of ultrasonic generators 110A, 110B, and 110C are located below the display panel 230 . can be placed.
  • the electronic device 100 includes beamforming of ultrasound waves emitted by an ultrasound device (eg, the ultrasound device 110 of FIG. 1 ) including a plurality of ultrasound generators 110A, 110B, and 110C. forming) may be arranged to be placed between the light source 141 and the photodetector 143 when viewed from one side (in FIG. 14 , the XY plane) of the display panel 230 of the electronic device 100 .
  • an ultrasound device eg, the ultrasound device 110 of FIG. 1
  • the electronic device 100 includes beamforming of ultrasound waves emitted by an ultrasound device (eg, the ultrasound device 110 of FIG. 1 ) including a plurality of ultrasound generators 110A, 110B, and 110C. forming) may be arranged to be placed between the light source 141 and the photodetector 143 when viewed from one side (in FIG. 14 , the XY plane) of the display panel 230 of the electronic device 100 .
  • the electronic device 100 may control the phases of ultrasonic waves emitted by the plurality of ultrasonic generators 110A, 110B, and 110C, respectively.
  • the first ultrasonic generator 110A emits a first ultrasonic wave
  • the second ultrasonic generator 110B emits a second ultrasonic wave
  • the third ultrasonic generator 110C emits a second ultrasonic wave. It can be controlled to emit a third ultrasonic wave.
  • the electronic device 100 emits the first ultrasonic wave, the second ultrasonic wave, and the third ultrasonic wave toward a focal point positioned between the light source 141 and the photodetector 143 to emit the first ultrasonic wave, the second ultrasonic wave, and the second ultrasonic wave.
  • the phase of the second ultrasound and the phase of the third ultrasound may be controlled.
  • a beam forming technology may be applied to the plurality of ultrasound generators 110A, 110B, and 110C.
  • the electronic device 100 may form a beam based on the first ultrasound, the second ultrasound, and the third ultrasound.
  • the focus of beamforming based on the first ultrasound, the second ultrasound, and the third ultrasound is placed between the light source 141 and the photodetector 143 , The phase of the first ultrasound, the phase of the second ultrasound, and the phase of the third ultrasound may be controlled.
  • the electronic device 100 transmits the first ultrasonic wave.
  • the phase, the phase of the second ultrasound, and the phase of the third ultrasound may be controlled in-phase.
  • the electronic device 100 when the centers of the plurality of ultrasonic generators 110A, 110B, and 110C are not arranged to lie between the light source 141 and the photodetector 143, the phase of the first ultrasonic waves; At least a portion of the phase of the second ultrasound and the phase of the third ultrasound may be controlled differently.
  • the electronic device 100 applies a phase delay to at least a portion of a phase of a first ultrasound, a phase of a second ultrasound, and a phase of a third ultrasound, thereby providing a phase of the first ultrasound.
  • a phase of the second ultrasound, and at least a portion of a phase of the third ultrasound may be controlled differently.
  • FIG. 15 is a diagram ( 1500 , 1550 ) illustrating that an electronic device including an ultrasound apparatus including a plurality of ultrasound generators acquires a PPG signal from an object, according to another exemplary embodiment.
  • the electronic device 100 of FIG. 15 may be the electronic device 100 of FIG. 1 .
  • 15 includes a side cross-sectional view 1500 and a perspective plan view 1550 illustrating that the electronic device 100 obtains a PPG signal from the object 220 .
  • the photodetector 143 may be disposed under the display panel 230 , and the light source 141 may be disposed on the display panel 230 .
  • the light source 141 may be an organic light emitting diode (OLED), but is not limited thereto. That is, FIG. 15 is a diagram illustrating an embodiment of an electronic device using a display light source as a light source of a PPG sensor.
  • the ultrasound apparatus of the electronic device 100 may include a plurality of ultrasound generators 110A, 110B, 110C, and 110D.
  • the plurality of ultrasound generators 110A, 110B, 110C, and 110D may be disposed under the display panel 230 .
  • the electronic device 100 may control the phases of ultrasonic waves emitted by the plurality of ultrasonic generators 110A, 110B, 110C, and 110D, respectively.
  • the first ultrasonic generator 110A emits a first ultrasonic wave
  • the second ultrasonic generator 110B emits a second ultrasonic wave
  • the third ultrasonic generator 110C emits a second ultrasonic wave.
  • the third ultrasonic wave may be emitted
  • the third ultrasonic generator 110D may be controlled to emit the fourth ultrasonic wave.
  • the electronic device 100 emits the first ultrasonic wave, the second ultrasonic wave, the third ultrasonic wave, and the fourth ultrasonic wave toward a focal point positioned between the light source 141 and the photo sensor 143 .
  • the phase of the ultrasonic wave, the phase of the second ultrasonic wave, the phase of the third ultrasonic wave, and the phase of the fourth ultrasonic wave may be controlled.
  • a beam forming technology may be applied to the plurality of ultrasound generators 110A, 110B, 110C, and 110D.
  • the electronic device 100 may form a beam based on the first ultrasound, the second ultrasound, the third ultrasound, and the fourth ultrasound.
  • the focus of beamforming based on the first ultrasound, the second ultrasound, the third ultrasound, and the fourth ultrasound is between the light source 141 and the photodetector 143 .
  • the phase of the first ultrasonic wave, the phase of the second ultrasonic wave, and the phase of the third ultrasonic wave may be controlled so as to be placed in .
  • the centers of the plurality of ultrasonic generators 110A, 110B, 110C, and 110D are disposed between the light source 141 and the photodetector 143 . It may be an unstructured structure.
  • the electronic device 100 may differently control at least some of the phase of the first ultrasound, the phase of the second ultrasound, the phase of the third ultrasound, and the phase of the fourth ultrasound.
  • the electronic device 100 applies a phase delay to at least a portion of the phase of the first ultrasound, the phase of the second ultrasound, the phase of the third ultrasound, and the phase of the fourth ultrasound. , at least some of the phase of the first ultrasound, the phase of the second ultrasound, the phase of the third ultrasound, and the phase of the fourth ultrasound may be controlled differently.
  • the focal point of beamforming formed based on ultrasonic waves emitted by a plurality of ultrasonic generators is between the light source 141 and the photodetector 143 .
  • the electronic device 100 adjusts the focus of beamforming formed based on ultrasonic waves emitted by three ultrasonic generators 110A, 110B, and 110C as an example, and FIG. 15 .
  • the electronic device 100 adjusts the focus of the beamforming formed based on the ultrasonic waves emitted by the four ultrasonic generators 110A, 110B, 110C, and 110D as an example, but the present invention is not limited thereto. It is not, and various numbers of ultrasonic generators may be arranged in various forms.
  • FIG. 16 is a diagram 1600 illustrating a user interface provided by an electronic device to acquire a PPG signal, according to an embodiment.
  • the electronic device 100 of FIG. 16 may be the electronic device 100 of FIG. 1 .
  • the electronic device 100 may display a first area 1610 for measuring a PPG signal on a display.
  • the first area 1610 may be displayed so that the user may recognize it as being distinguished from other areas on the display.
  • the first area 1610 may be displayed on the display when the electronic device 100 receives a user input that executes an application for measuring a PPG signal.
  • the first area 1610 may correspond to, for example, an area in which a touch sensor (eg, a touch panel) corresponding to the ultrasound apparatus (eg, the ultrasound apparatus 110 of FIG. 1 ) of the electronic device 100 is disposed.
  • the electronic device 100 may detect an object in contact with the first area 1610 , and may emit ultrasound to the object using the ultrasound apparatus as the object is detected.
  • the first area 1610 may be a fingerprint recognition area.
  • the electronic device 100 displays the first area 1610 on the display while displaying a guide message of “Please contact the measurement part with the displayed area.” can be displayed
  • the electronic device 100 may detect the object 220 (eg, a user's finger) that has come into contact with at least a part of the first area 1610 . . According to an embodiment, the electronic device 100 may enter the second state 1602 by detecting the object 220 .
  • the object 220 eg, a user's finger
  • the electronic device 100 may emit an ultrasonic wave to the ultrasonic device in response to the detection of the object 220 .
  • the electronic device 100 may emit an ultrasonic wave to the ultrasonic device in response to the detection of the object 220 .
  • blood vessels inside the object 220 may be expanded.
  • the electronic device 100 may emit light using a light source (eg, the light source 141 of FIG. 1 ) in response to detection of the object 220 .
  • the electronic device 100 may emit light while emitting ultrasonic waves, or may emit light after emitting ultrasonic waves.
  • the light source may be an independent light source disposed under the display panel corresponding to the first area 1610 .
  • the light source may be a light source (eg, OLED) on the display panel corresponding to the first region 1610 .
  • the electronic device 100 may detect light reflected from the object 220 using a photodetector (eg, the photodetector 143 of FIG. 1 ). .
  • the electronic device 100 operates at least some of the ultrasound device, the light source, and the photodetector in response to the detection of the object 220 , while “measuring the PPG signal” no see. Please remain in contact until the end is announced.” can be displayed on the display.
  • the electronic device 100 disclosed in this document acquires a PPG signal based on light detected from an object 220 in which a blood vessel is dilated by ultrasound, thereby obtaining a PPG of good quality with enhanced signal component. signal can be obtained.
  • FIG. 17 is a diagram 1700 illustrating a user interface provided by an electronic device to acquire a PPG signal according to another exemplary embodiment.
  • the electronic device 100 of FIG. 16 may be the electronic device 100 of FIG. 1 .
  • the electronic device 100 may display a first area 1710 on the display.
  • the first area 1710 may be displayed so that the user can recognize it as being distinguished from other areas on the display.
  • the first area 1710 may be displayed on the display when the electronic device 100 receives a user input that executes an application for measuring a PPG signal.
  • the first region 1710 may mean a region displayed on a display by the electronic device 100 to emit ultrasound to an object, and is transmitted to the ultrasound device of the electronic device (eg, the ultrasound device 110 of FIG. 1 ). It may correspond to an area in which a corresponding touch sensor (eg, a touch panel) is disposed. According to an embodiment, the electronic device may detect an object in contact with the first area 1710 , and may emit ultrasound to the object by using the ultrasound apparatus as the object is detected. According to an embodiment, when the ultrasound apparatus is included in the fingerprint recognition sensor, the first area 1710 may be a fingerprint recognition area.
  • the electronic device 100 displays the first region 1710 on the display while displaying a guide message of “Please contact the measurement portion with the displayed region.” can be displayed
  • the electronic device 100 may detect the object 220 (eg, a user's finger) that has come into contact with at least a part of the first region 1710 . . According to an embodiment, the electronic device 100 may enter the second state 1702 by detecting the object 220 .
  • the object 220 eg, a user's finger
  • the electronic device 100 may emit an ultrasonic wave using the ultrasonic device in response to the detection of the object 220 .
  • the electronic device 100 may display a guidance message of “Please maintain a contact state” on the display while emitting ultrasonic waves.
  • the electronic device 100 may enter the third state 1703 when the emission of ultrasonic waves for a preset time is completed.
  • the electronic device 100 may display the second region 1720 on the display.
  • the second area 1720 may be displayed so that the user can recognize it as being distinguished from other areas on the display.
  • the second region 1720 may be an object recognition region of a photodetector (eg, the photodetector 143 of FIG. 1 ) of the PPG sensor (eg, the PPG sensor 140 of FIG. 1 ).
  • the electronic device 100 may use an image sensor (eg, a CMOS image sensor of the camera 1750) as a photodetector of the PPG sensor.
  • the second area 1720 may include an area corresponding to the camera 1750 of the electronic device 100 .
  • the electronic device 100 displays the second region 1720 on the display while displaying a guide message of “Please contact the measurement portion with the displayed region.” can be displayed
  • the electronic device 100 may detect the object 220 (eg, a user's finger) that has come into contact with at least a portion of the second region 1720 . . According to an embodiment, the electronic device 100 may enter the fourth state 1704 by detecting the object 220 .
  • the object 220 eg, a user's finger
  • the electronic device 100 may emit light using a light source (eg, the light source 141 of FIG. 1 ) in response to detection of the object 220 .
  • a light source eg, the light source 141 of FIG. 1
  • the light source may be a light source (eg, OLED) on the display panel corresponding to the second region 1720 .
  • the electronic device 100 may detect light reflected from the object 220 using a light sensor of the camera 1750 .
  • the light sensor of the camera 1750 may be a CMOS image sensor.
  • the electronic device 100 responds to the detection of the object 220 , a light source (OLED around camera 1750 ), and a light sensor (CMOS of camera 1750 ). image sensor) while operating, “The PPG signal is being measured. Please remain in contact until the end is announced.” can be displayed on the display.
  • a light source OLED around camera 1750
  • CMOS of camera 1750 CMOS of camera 1750
  • the electronic device 100 disclosed in this document uses a display light source (eg, OLED) and an image sensor (eg, a CMOS image sensor of the camera 1750) even when the PPG sensor is not separately included. can be used to measure the PPG signal.
  • a display light source eg, OLED
  • an image sensor eg, a CMOS image sensor of the camera 1750
  • the electronic device 100 disclosed in this document may acquire the PPG signal by summing the information of the 2D array pixels acquired through the image sensor (eg, the camera 1750).
  • a PPG signal having an increased signal component may be obtained from each pixel of the two-dimensional array by detecting light reflected from the object 220 in a state in which the blood vessel is dilated by ultrasound.
  • the PPG signal may be obtained by summing pixel values for each row of the two-dimensional array. have.
  • a signal processing rate may be increased compared to a case of summing all pixel values of a two-dimensional array.
  • the electronic device 100 may display a relatively high PPG signal obtained using a display light source (eg, OLED) and an image sensor (eg, CMOS image sensor of the camera 1750)
  • Information requiring readout speed eg, heart rate variability (HRV), SpO 2 (transcutaneous oxygen saturation), blood pressure, or blood sugar
  • HRV heart rate variability
  • SpO 2 transcutaneous oxygen saturation
  • blood pressure or blood sugar
  • the electronic device 1801 communicates with the electronic device 1802 through a first network 1898 (eg, a short-range wireless communication network) or a second network 1899 . It may communicate with the electronic device 1804 or the server 1808 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 1801 may communicate with the electronic device 1804 through the server 1808 .
  • a first network 1898 eg, a short-range wireless communication network
  • a second network 1899 e.g., a second network 1899
  • the electronic device 1804 or the server 1808 eg, a long-distance wireless communication network
  • the electronic device 1801 may communicate with the electronic device 1804 through the server 1808 .
  • the electronic device 1801 includes a processor 1820 , a memory 1830 , an input device 1850 , a sound output device 1855 , a display device 1860 , an audio module 1870 , and a sensor module ( 1876 , interface 1877 , haptic module 1879 , camera module 1880 , power management module 1888 , battery 1889 , communication module 1890 , subscriber identification module 1896 , or antenna module 1897 . ) may be included. In some embodiments, at least one of these components (eg, the display device 1860 or the camera module 1880) may be omitted or one or more other components may be added to the electronic device 1801 . In some embodiments, some of these components may be implemented as one integrated circuit. For example, the sensor module 1876 (eg, a fingerprint sensor, an iris sensor, or an illuminance sensor) may be implemented while being embedded in the display device 1860 (eg, a display).
  • the sensor module 1876 eg, a fingerprint sensor, an iris
  • the processor 1820 executes software (eg, a program 1840) to execute at least one other component (eg, a hardware or software component) of the electronic device 1801 connected to the processor 1820. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 1820 converts commands or data received from other components (eg, the sensor module 1876 or the communication module 1890 ) to the volatile memory 1832 . may be loaded into , process commands or data stored in volatile memory 1832 , and store the resulting data in non-volatile memory 1834 .
  • software eg, a program 1840
  • the processor 1820 converts commands or data received from other components (eg, the sensor module 1876 or the communication module 1890 ) to the volatile memory 1832 .
  • the volatile memory 1832 may be loaded into , process commands or data stored in volatile memory 1832 , and store the resulting data in non-volatile memory 1834 .
  • the processor 1820 includes a main processor 1821 (eg, a central processing unit or an application processor), and a coprocessor 1823 (eg, a graphics processing unit, an image signal processor) that can be operated independently or in conjunction with the main processor 1821 (eg, a graphics processing unit or an image signal processor). , a sensor hub processor, or a communication processor). Additionally or alternatively, the auxiliary processor 1823 may be configured to use less power than the main processor 1821 or to specialize in a designated function. The coprocessor 1823 may be implemented separately from or as part of the main processor 1821 .
  • a main processor 1821 eg, a central processing unit or an application processor
  • a coprocessor 1823 eg, a graphics processing unit, an image signal processor
  • the auxiliary processor 1823 may be configured to use less power than the main processor 1821 or to specialize in a designated function.
  • the coprocessor 1823 may be implemented separately from or as part of the main processor 1821 .
  • the coprocessor 1823 may be, for example, on behalf of the main processor 1821 while the main processor 1821 is in an inactive (eg, sleep) state, or when the main processor 1821 is active (eg, executing an application). ), together with the main processor 1821, at least one of the components of the electronic device 1801 (eg, the display device 1860, the sensor module 1876, or the communication module 1890) It is possible to control at least some of the related functions or states.
  • the coprocessor 1823 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 1880 or communication module 1890. have.
  • the memory 1830 may store various data used by at least one component of the electronic device 1801 (eg, the processor 1820 or the sensor module 1876 ).
  • the data may include, for example, input data or output data for software (eg, a program 1840) and commands related thereto.
  • the memory 1830 may include a volatile memory 1832 or a non-volatile memory 1834 .
  • the program 1840 may be stored as software in the memory 1830 , and may include, for example, an operating system 1842 , middleware 1844 , or an application 1846 .
  • the input device 1850 may receive a command or data to be used in a component (eg, the processor 1820 ) of the electronic device 1801 from the outside (eg, a user) of the electronic device 1801 .
  • the input device 1850 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 1855 may output a sound signal to the outside of the electronic device 1801 .
  • the sound output device 1855 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display device 1860 may visually provide information to the outside (eg, a user) of the electronic device 1801 .
  • the display device 1860 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 1860 may include a touch circuitry configured to sense a touch or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of a force generated by the touch. have.
  • the audio module 1870 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1870 acquires a sound through the input device 1850 or an external electronic device (eg, a sound output device 1855 ) directly or wirelessly connected to the electronic device 1801 . A sound may be output through the electronic device 1802 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output device 1855
  • a sound may be output through the electronic device 1802 (eg, a speaker or headphones).
  • the sensor module 1876 detects an operating state (eg, power or temperature) of the electronic device 1801 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1876 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1877 may support one or more specified protocols that may be used for the electronic device 1801 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1802).
  • the interface 1877 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1878 may include a connector through which the electronic device 1801 can be physically connected to an external electronic device (eg, the electronic device 1802 ).
  • the connection terminal 1878 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1879 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1879 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1880 may capture still images and moving images. According to one embodiment, the camera module 1880 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1888 may manage power supplied to the electronic device 1801 .
  • the power management module 1888 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1889 may supply power to at least one component of the electronic device 1801 .
  • battery 1889 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1890 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1801 and an external electronic device (eg, the electronic device 1802, the electronic device 1804, or the server 1808). It can support establishment and communication performance through the established communication channel.
  • the communication module 1890 may include one or more communication processors that operate independently of the processor 1820 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1890 may include a wireless communication module 1892 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1894 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • a wireless communication module 1892 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 1894 eg, : It may include a LAN (local area network) communication module, or a power line communication module.
  • a corresponding communication module among these communication modules is a first network 1898 (eg, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 1899 (eg, a cellular network, the Internet, Alternatively, it may communicate with the external electronic device 1804 through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a first network 1898 eg, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)
  • a second network 1899 eg, a cellular network, the Internet, Alternatively, it may communicate with the external electronic device 1804 through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a computer network eg, a telecommunication network such as a LAN or WAN.
  • the wireless communication module 1892 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1896 within a communication network, such as the first network 1898 or the second network 1899 .
  • the electronic device 1801 may be identified and authenticated.
  • the antenna module 1897 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1897 may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1897 may include a plurality of antennas. In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1898 or the second network 1899 is connected from the plurality of antennas by, for example, the communication module 1890 . can be selected. A signal or power may be transmitted or received between the communication module 1890 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 1897 .
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1801 and the external electronic device 1804 through the server 1808 connected to the second network 1899 .
  • Each of the external electronic devices 1802 and 1804 may be the same as or different from the electronic device 1801 .
  • all or a part of operations executed by the electronic device 1801 may be executed by one or more of the external electronic devices 1802 , 1804 , or 1808 .
  • the electronic device 1801 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1801 .
  • the electronic device 1801 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • an electronic device eg, the electronic device 100 of FIG. 1 or the electronic device 1801 of FIG. 18
  • a light source eg, the light source 141 of FIG. 1
  • a photo sensor A photoplethysmography (PPG) sensor eg, the PPG sensor 140 of FIG. 1 , or the PPG sensor 340 of FIG. 3
  • PPG photoplethysmography
  • an ultrasound device eg, FIG. 1
  • the PGG sensor eg, processor 120 of FIG.
  • the instructions may cause the processor to sequentially or simultaneously perform an operation of emitting ultrasound using the ultrasound apparatus and an operation of sensing light using the PPG sensor. .
  • the instructions control the ultrasound apparatus not to emit ultrasound when the processor determines that the index value is greater than or equal to a threshold value, and determines that the index value is less than the threshold value
  • the ultrasonic device may be controlled to emit ultrasonic waves.
  • the instructions are selected from among heart rate information, respiration information, stress information, blood pressure information, or blood flow information based on the PPG signal. At least one is extracted, and when it is determined that the index value is less than the threshold value, the intensity of the ultrasonic wave emitted through the ultrasonic device may be adjusted.
  • the instructions may cause the processor to further adjust the emission time of the ultrasound emitted through the ultrasound apparatus when determining that the index value is less than the threshold value.
  • the instructions cause the ultrasound apparatus to emit ultrasound having a first ultrasound intensity when the processor determines that the index value is a first value, and the index value is a second value.
  • the ultrasound apparatus may emit ultrasound having a second ultrasound intensity, the second value may be lower than the first value, and the second ultrasound strength may be stronger than the first ultrasound strength.
  • the instructions cause the ultrasound apparatus to emit ultrasound for a first time when the processor determines that the index value is a first value, and that the index value is a second value. According to the determination, the ultrasound apparatus may emit ultrasound for a second time period, the second value may be lower than the first value, and the second time period may be longer than the first time period.
  • the ultrasound device includes the light source and It may be arranged to be placed between the photodetectors.
  • the center of the ultrasound apparatus may be arranged to be placed at the center of the light source and the photodetector.
  • the ultrasound apparatus includes a first ultrasound generator and a second ultrasound generator, and the instructions are configured such that the processor, the first ultrasound generator emit a first ultrasound, and the second ultrasound generator.
  • the ultrasonic generator may emit a second ultrasonic wave, and a phase of the first ultrasonic wave may be the same as a phase of the second ultrasonic wave.
  • the ultrasound apparatus includes a first ultrasound generator and a second ultrasound generator, and the instructions determine that the processor, the first ultrasound generator are located between the light source and the light sensor A first ultrasonic wave may be emitted toward a focus, and the second ultrasonic wave generator may emit a second ultrasonic wave toward the focus.
  • the ultrasound apparatus includes a first ultrasound generator and a second ultrasound generator, and a first ultrasound generated by the first ultrasound generator and a second ultrasound generated by the second ultrasound generator
  • the first ultrasonic generator and the second ultrasonic generator may be disposed so that the focus of the beam forming is between the light source and the photodetector.
  • an electronic device eg, the electronic device 100 of FIG. 1 or the electronic device 1801 of FIG. 18 including an ultrasound device (eg, the ultrasound device 110 of FIG. 1 ) ) of the PPG signal acquisition method includes an operation in which the ultrasound apparatus emits ultrasound when an object (eg, the object 220 of FIG. 2 ) is detected, and a light source included in the electronic device (eg: An operation of irradiating light by the light source 141 of FIG. 1), an operation of detecting light reflected from the object by a photodetector (eg, the photodetector 143 of FIG. 1) included in the electronic device, and the detected
  • the method may include obtaining a PPG signal based on light, calculating an index value indicating the quality of the PPG signal, and controlling an operation of the ultrasound apparatus based on the index value.
  • the operation of controlling the operation of the ultrasound apparatus includes the operation of emitting ultrasound by using the ultrasound apparatus, and the method for obtaining the PPG signal includes the operation of emitting the ultrasound and the The light sensing operation may be performed sequentially or simultaneously.
  • the operation of controlling the operation of the ultrasound apparatus includes controlling the ultrasound apparatus not to emit ultrasound when it is determined that the index value is equal to or greater than a threshold value, and when the index value is the threshold value
  • the method may include controlling the ultrasound apparatus to emit ultrasound in response to determining that the value is less than the value.
  • the method for acquiring the PPG signal when it is determined that the index value is equal to or greater than a threshold value, heart rate information, respiration information, stress information, blood pressure information, or blood flow information based on the PPG signal
  • An operation of extracting at least one of the selected values is performed, and when it is determined that the index value is less than a threshold value, an operation of adjusting the intensity of ultrasound emitted by the ultrasound apparatus may be performed.
  • the PPG signal acquisition method may further perform an operation of adjusting the emission time of the ultrasound emitted by the ultrasound apparatus when it is determined that the index value is less than a threshold value.
  • the adjusting the intensity of the ultrasonic wave causes the ultrasonic device to emit ultrasonic waves having a first ultrasonic intensity when it is determined that the indicator value is a first value, and the indicator upon determining that the value is the second value, cause the ultrasound apparatus to emit ultrasound having a second ultrasound intensity, the second value being lower than the first value, and the second ultrasound strength being the first ultrasound strength could be stronger
  • the display of the electronic device eg, the display panel 230 of FIG. 2 ) ) or displaying the first area on the display device 1860 of FIG. 18
  • performing an operation of emitting the ultrasound in response to detection of an object in contact with at least a part of the first area can be performed by the display of the electronic device (eg, the display panel 230 of FIG. 2 ) ) or displaying the first area on the display device 1860 of FIG. 18), and performing an operation of emitting the ultrasound in response to detection of an object in contact with at least a part of the first area.
  • the method for obtaining a PPG signal further includes displaying a second area on the display before the operation of irradiating the light, and contacting at least a part of the second area It is possible to perform an operation of irradiating the light in response to the detection of the object.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A;
  • Each of the phrases such as “at least one of B, or C” may include any one of, or all possible combinations of, items listed together in the corresponding one of the phrases.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited.
  • one (eg first) component is “coupled” or “connected” to another (eg, second) component with or without the terms “functionally” or “communicatively”
  • one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 1836 or external memory 1838) readable by a machine (eg, electronic device 1801). may be implemented as software (eg, a program 1840) including For example, a processor (eg, processor 1820 ) of a device (eg, electronic device 1801 ) may call at least one command among one or more commands stored from a storage medium and execute it. This makes it possible for the device to be operated to perform at least one function according to the called at least one command.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included in a computer program product (computer program product) and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Hematology (AREA)
  • Vascular Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

광원 및 광 감지기를 포함하는 PPG(Photoplethysmography) 센서, 초음파 장치, 상기 PGG 센서, 및 상기 초음파 장치와 작동적으로 연결된 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리를 포함하는 전자 장치가 개시된다. 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 광 감지기에 의해 감지된 광을 기반으로 PPG 신호를 획득하고, 상기 PPG 신호의 품질을 나타내는 지표 값에 기반하여 상기 초음파 장치의 동작을 제어하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

초음파 장치를 포함하는 전자 장치 및 그의 PPG 신호 획득 방법
본 문서에서 개시되는 실시 예들은, 초음파 장치를 포함하는 전자 장치 및 그의 PPG 신호 획득 방법에 관한 것이다.
광용적맥파(photoplethysmography, PPG) 측정법은 광학적인 방식으로 신체의 부피 변화를 측정하는 방법으로, 광원에서 나온 빛을 피부에 조사하여 피부 속 혈관의 부피 변화에 따른 빛의 흡수 정도의 차이를 반사 혹은 투과되어 나온 빛의 세기 형태로 감지하는 방법이다. PPG(photoplethysmography) 신호는 주로 심박(heart rate, HR), 호흡, 스트레스 수치, 혈압(blood pressure, BP), 혈류량, 및 순환계의 상태를 모니터링하는데 사용되고 있다. 현재, PPG 신호 측정 장비 중 산소포화도 측정기(pulse oximetry)가 가장 많이 사용되고 있으나, 손목형 웨어러블(wearable) 장치뿐만 아니라, 스마트폰과 같은 모바일 장치를 이용하여서도 PPG 신호의 측정이 가능하다. 기존의 PPG 센서는 하나 이상의 발광부와 하나 이상의 수광부를 포함할 수 있다. PPG 신호의 피크(peak)와 밸리(valley) 성분을 감지하여 심박(heart rate, HR) 정보나, 스트레스(heart rate variability, HRV) 정보를 추출할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 온도가 낮은 환경에서 PPG 신호를 측정하거나 심장 박동이 약한 노인, 여성, 어린이를 대상으로 PPG 신호를 측정할 때, 또는 장치의 구성에 의해 PPG 센서의 수광부의 감도가 약한 경우에도 양호한 품질의 PPG 신호를 획득할 수 있는 전자 장치 및 방법을 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 광원 및 광 감지기를 포함하는 PPG(Photoplethysmography) 센서, 초음파 장치, 상기 PGG 센서, 및 상기 초음파 장치와 작동적으로 연결된 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 광 감지기에 의해 감지된 광을 기반으로 PPG 신호를 획득하고, 상기 PPG 신호의 품질을 나타내는 지표 값에 기반하여 상기 초음파 장치의 동작을 제어하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른, 초음파 장치를 포함하는 전자 장치의 PPG 신호 획득 방법은, 객체를 감지함에 따라 상기 초음파 장치가 초음파를 방출하는 동작, 상기 객체를 감지함에 따라 상기 전자 장치에 포함된 광원이 광을 조사하는 동작, 상기 전자 장치에 포함된 광 감지기가 상기 객체로부터 반사된 광을 감지하는 동작, 상기 감지된 광을 기반으로 PPG 신호를 획득하는 동작, 상기 PPG 신호의 품질을 나타내는 지표 값을 계산하는 동작, 및 상기 지표 값에 기반하여 상기 초음파 장치의 동작을 제어하는 동작을 포함할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 초음파 장치를 이용하여 초음파를 방출함과 동시에, 또는 그 이후에 PPG(photoplethysmography) 신호를 측정함으로써, 신호 성분의 세기(크기)가 감소하는 환경에서도 양호한 품질의 PPG 신호를 획득할 수 있다.
또한, 본 문서에 개시되는 다양한 실시 예들에 따르면, 2차원 어레이 영상 센서(2D array imaging sensor)를 PPG 센서로 이용하는 경우에도 획득한 PPG 신호로부터 HRV(heart rate variability)와 같은 고속 데이터 처리를 요하는 정보를 추가적으로 획득할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른, PPG 신호를 획득하는 전자 장치의 블록도이다.
도 2는 일 실시 예에 따른 전자 장치가 초음파를 방출하여 객체의 혈관을 확장시키는 것을 나타낸 도면이다.
도 3은 일 실시 예에 따른 전자 장치의 구성을 나타낸 도면이다.
도 4는 다른 실시 예에 따른 전자 장치의 구성을 나타낸 도면이다.
도 5는 일 실시 예에 따른 전자 장치가 PPG 신호를 획득하는 방법을 나타낸 흐름도이다.
도 6은 일 실시 예에 따른, 초음파 장치를 포함하지 않는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 7은 다른 실시 예에 따른, 초음파 장치를 포함하지 않는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 8은 일 실시 예에 따른, 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 9는 다른 실시 예에 따른, 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 10은 일 실시 예에 따른, 원형 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 11은 다른 실시 예에 따른, 원형 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 12는 일 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 13은 다른 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 14는 일 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 15는 다른 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다.
도 16은 일 실시 예에 따른 전자 장치가 PPG 신호를 획득하기 위해 제공하는 사용자 인터페이스를 나타낸 도면이다.
도 17은 다른 실시 예에 따른 전자 장치가 PPG 신호를 획득하기 위해 제공하는 사용자 인터페이스를 나타낸 도면이다.
도 18은 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른, PPG 신호를 획득하는 전자 장치의 블록도(100)이다.
도 1을 참조하면, 일 실시 예에 따른 전자 장치(100)는 초음파 장치(110), 프로세서(120), 메모리(130), 및 PPG 센서(140)를 포함할 수 있다.
일 실시 예에 따르면, PPG 센서(140)는 적어도 하나의 광원(141), 및 적어도 하나의 광 감지기(143)를 포함할 수 있다. PPG 센서(140)는 객체에 광을 조사하여 객체로부터 반사 또는 투과된 광을 감지할 수 있다. PPG 센서(140)에 의해 감지된 광은 빛의 세기 형태로 표현되며, 이를 PPG 신호라 한다.
일 실시 예에 따르면, PPG 센서(140)는 전자 장치(100)에 독립적으로 존재할 수 있으나, 이에 한정되는 것은 아니다. 다른 실시 예에 따르면, 전자 장치(100)에 PPG 신호를 측정하기 위한 별도의 광원 및 광 감지기가 없더라도 전자 장치(100)에 포함된 다른 광원 및 광 감지기를 대신 이용하여 PPG 신호를 측정할 수 있으며, PPG 신호를 측정하기 위해 사용되는 전자 장치(100)의 광원(141) 및 광 감지기(143)를 PPG 센서(140)로 통칭할 수 있다. 일 실시 예에 따라, 광원(141)은 디스플레이 패널(예: 도 2의 디스플레이 패널(230))의 광원일 수 있다. 일 실시 예에 따라, 광 감지기(143)는 전자 장치(100)에 포함된 적어도 하나의 영상 센서(예: 도 4의 카메라(440)의 광 센서)일 수 있다. PPG 센서(140)는 PPG 신호를 측정하는데 사용되는 광원(141) 및 광 감지기(143)를 포함하는 모듈을 의미할 수 있다.
또한 PPG 신호는 AC 성분 및 DC 성분을 포함하고, AC 성분은 심박, 호흡, 스트레스 수치, 혈압, 혈류량, 및/또는 순환계의 상태를 모니터링하는 데에 사용될 수 있다. 반면, DC 성분은 노이즈 성분에 해당할 수 있다. PPG 신호의 품질은 AC 성분과 DC 성분의 비율(AC/DC)로 나타낼 수 있으며, 이는 관류 지표(Perfusion Index, PI)라 지칭된다. 즉, AC 성분이 커질수록, PI 값이 커지고, PPG 신호의 품질이 향상된다. 이때, PPG 신호의 품질이 향상된다는 것은 주어진 환경(예를 들어, 전자 장치(100)의 주변 온도, 사용자의 연령 및 성별, 전자 장치(100)의 구성 및 구조)에서 PPG 신호를 기반으로 획득하고자 하는 정보(심박, 심박변이도, 산소포화도, 스트레스 수치, 혈압, 혈류량, 또는 순환계의 상태)의 획득이 용이한 것을 의미할 수 있다.
일 실시 예에 따라, 광원(141)은 적어도 하나의 파장의 광을 전자 장치(100) 외부로 방출할 수 있다. 광원(141)은 PPG 신호를 측정하기 위한 추가적인 광원, 또는 전자 장치(100)의 디스플레이 패널(미도시)의 광원(예: OLED)을 포함할 수 있다.
일 실시 예에 따라, 광 감지기(143)는 전자 장치(100) 외부의 객체로부터 반사된 광을 감지할 수 있다. 이때 광 감지기(143)가 감지하는 광의 적어도 일부는 광원(141)에서 방출된 광이 객체에 흡수되고 난 나머지가 반사 또는 투과된 것일 수 있다. 일 실시 예에 따라, 광 감지기(143)는 포인트 디텍터(point detector), 또는 2차원 어레이 영상 센서(2D Array Imaging Sensor)일 수 있다. 포인트 디텍터(point detector)는, 예를 들어, 광전 다이오드(photo diode)일 수 있다. 2차원 어레이 영상 센서는, 예를 들어, Camera CIS, TFT array sensor, 또는 organic PD array sensor 일 수 있다.
일 실시 예에 따르면, 초음파 장치(110)는 전자 장치(100)의 외부로 초음파를 방출할 수 있다. 일 실시 예에 따라, 초음파 장치(110)는 전자 장치(100)의 지문 인식 센서(미도시)에 포함되어 있을 수 있다. 예를 들어, 초음파 장치(110)는 지문 인식 센서(미도시)가 객체(예를 들어, 사용자의 손가락)의 접촉을 감지함에 따라 접촉된 객체를 향하여 초음파를 방출할 수 있다. 다른 실시 예의 경우 초음파 장치(110)는 PPG 센서(140)와 일체화될 수 있다. 그러나 이에 한정되지 않으며, 일 실시 예에 따라, 초음파 장치(110) 및 PPG 센서(140)는 일 전자 장치에 포함되어 있으면 족하다.
일 실시 예에 따르면, 프로세서(120)는 PPG 센서(140), 및 초음파 장치(110)와 작동적으로 연결될 수 있다. 프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 전자 장치(100)의 적어도 하나의 다른 구성요소(예: 광원(141), 광 감지기(143), 초음파 장치(110))를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 광 감지기(143))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다.
일 실시 예에 따라, 프로세서(120)는 초음파 장치(110)가 초음파를 방출하도록 제어할 수 있다. 일 실시 예에 따라, 프로세서(120)는 광원(141)이 광을 방출하도록 제어할 수 있다. 일 실시 예에 따라, 프로세서(120)는 광 감지기(143)가 객체로부터 반사된 광을 감지하도록 제어할 수 있다.
일 실시 예에 따라, 프로세서(120)는 초음파 장치(110)에 대응되는 터치 센서(예: 터치 패널)에 객체가 접촉하였을 때 초음파가 방출되도록 제어할 수 있다. 일 실시 예에 따라, 프로세서(120)는 PPG 센서(140)의 객체 인식 영역에 객체가 접촉하였을 때 광을 방출하거나 광을 감지하도록 제어할 수 있다. PPG 센서(140)의 객체 인식 영역은, PPG 센서(140)를 작동시키기 위해 객체의 접촉을 감지하는 영역을 의미하며, 예를 들어, PPG 센서(140)에 대응되는 터치 센서(예: 터치 패널) 또는 영상 센서(예: 카메라)가 배치된 영역을 의미할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 PPG 센서(140)의 객체 인식 영역에 대한 객체의 접촉에 대응하여 초음파 장치(110) 및 PPG 센서(140)가 동시에 동작하도록 제어할 수 있다. 예를 들어, 초음파 장치(110) 및 PPG 센서(140)가 일체화된 경우, 또는 초음파 장치(110) 및 PPG 센서(140)가 서로 일정 거리 이내로 배치된 경우, 프로세서(120)는 PPG 센서(140)의 객체 인식 영역에 대한 객체의 접촉에 대응하여 초음파 장치(110) 및 PPG 센서(140)가 동시에 동작하도록 제어할 수 있다.
다른 실시 예에 따르면, 프로세서(120)는 PPG 센서(140)의 객체 인식 영역에 대한 객체의 접촉에 대응하여 초음파 장치(110) 및 PPG 센서(140)가 순차적으로 동작하도록 제어할 수 있다. 프로세서(120)는 PPG 센서(140)의 객체 인식 영역에 대한 객체의 접촉에 대응하여 초음파 장치(110) 및 PPG 센서(140)가 지정된 시간 간격을 두고 동작하도록 제어할 수 있다. 예를 들어, 프로세서(120)는 PPG 센서(140)의 객체 인식 영역에 대한 객체의 접촉에 대응하여 초음파 장치(110)를 작동시키고, 지정된 시간이 경과된 후, PPG 센서(140)를 작동시킬 수 있다.
일 실시 예에 따라, 프로세서(120)는 광 감지기(143)를 통해 감지된 광으로부터 PPG 신호를 획득할 수 있다. 일 실시 예에 따라, 프로세서(120)는 광 감지기(143)를 통해 감지된 광의 세기 형태로서 PPG 신호를 획득할 수 있다.
일 실시 예에 따라, 프로세서(120)는 획득한 PPG 신호의 품질을 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 PPG 신호의 PI 값을 계산할 수 있다. PI 값은 아래 수학식에 의해 계산될 수 있다.
Figure PCTKR2021007409-appb-M000001
위 수학식에서 AC는 AC 성분을 의미하고, DC는 DC 성분을 의미하며, IH는 반사광의 최대 세기를 의미하고, IL은 반사광의 최소 세기를 의미할 수 있다. 일 실시 예에 따른 PPG 센서(140)는 측정하고자 하는 객체(예: 사용자의 피부)에 대하여 광원(141)으로 광을 조사할 수 있다. 광의 적어도 일부가 혈관에 도달하여 혈류의 변화에 따라 가변적인 양이 혈관에 흡수되며, 흡수되고 남은 광이 반사 혹은 투과의 형태로 광 감지기(143)에 도달할 수 있다. 이때 광 감지기(143)에 의해 감지된 PPG 신호는, 심장 박동에 의해 혈관의 부피 변화를 일으키는 동맥혈에 대하여 반사되어 광 감지기(143)에 도달하는 AC(Alternating current) 성분과 동맥혈이 아닌 다른 곳으로부터 반사되어 광 감지기(143)에 도달하는 DC(Direct current) 성분을 포함할 수 있다. PPG 센서의 신호 품질을 나타내는 지표 값 중 하나인 PI(Perfusion Index) 값은 PPG 신호에 포함된 AC 성과 DC 성분의 비율일 수 있다(PI = AC/DC).
일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질을 나타내는 지표 값(예: PI 값)이 임계 값 이상이라고 판단되는 경우, 획득한 PPG 신호를 기반으로 심박 정보, 호흡 정보, 스트레스 정보, 혈압 정보, 또는 혈류량 정보 중 적어도 하나를 추출할 수 있다. 일반적으로 사람의 피부에 대하여, PPG 신호의 PI 값은 1% 내외일 수 있으며, 따라서 일 실시 예에 따라 상기 PPG 신호의 품질의 임계 값은 PI 값으로서 1%일 수 있다. 도 1을 참조하여 설명한 실시 예에서는 PPG 신호의 품질을 나타내는 지표 값으로 PI값을 예로 들어 설명하였으나, 이에 한정되지 않으며 PPG 신호의 품질을 나타내는 다른 지표 값이 사용될 수도 있다.
일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질을 나타내는 지표 값에 기반하여 초음파 장치(110)의 동작을 제어할 수 있다. 일 실시 예에 따라, 상기 지표 값이 임계 값 이상이라고 판단함에 따라 초음파 장치(110)가 초음파를 방출하지 않도록 제어할 수 있다. 일 실시 예에 따라, 상기 지표 값이 임계 값 미만이라고 판단함에 따라 초음파 장치(110)가 초음파를 방출하도록 제어할 수 있다.
일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질을 나타내는 지표 값이 임계 값 미만이라고 판단되는 경우, 초음파 장치(110)에 의해 방출되는 초음파의 세기 및 방출 시간 중 적어도 하나를 조절할 수 있다.
사람의 동맥혈은 표피 층(epidermis layer)과 진피 층(dermis layer) 사이에 분포하는 첫 번째 총(plexus) 및 진피 층(dermis layer)과 하피 층(hypodermis layer) 사이에 분포하는 두 번째 총(plexus)에 분포할 수 있다. 사람의 피부의 표피 층의 두께는 보통 0.5mm이고, 진피 층의 두께는 보통 1~1.5mm이다. 일 실시 예에 따르면, 광원(141)은 첫 번째 총까지 도달할 수 있는 세기의 광을 방출할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 광 감지기(143)에 의해 감지되는 광에 기초한 PPG 신호의 세기가 크게 감쇄하는 경우, 광원(141)이 방출하는 광의 세기를 증가시켜서 광 감지기(143)에서의 손실을 보상할 수 있으나, 증가시킨 광의 세기는 사람의 피부에 조사하기에 안전한 세기보다 클 수 있다.
또한, 사람의 혈관은 주변 환경의 온도 변화에 따라 체온 유지를 위해 수축 또는 팽창을 한다. 즉, 온도가 낮은 환경에서는 혈관을 통한 열 손실을 최소화하기 위해 혈관이 축소하게 되고, 이는 PPG 신호의 AC 성분을 감소시켜 노이즈 성분(예를 들어, DC 성분)과의 구별을 어렵게 할 수 있다. 또한, 여성, 어린이, 노약자와 같이 심장 박동의 세기가 세지 않은 경우에도 PPG 신호의 AC 성분은 감소할 수 있다.
또한, PPG 센서가 모바일 장치에 내장되는 경우, 혈관과 상호 작용한 후의 AC 성분이 모바일 장치의 부품을 투과하면서 감소하게 될 수 있다. 다른 예로, 모바일 장치의 카메라의 광 감지 센서가 PPG 센서로 이용되는 경우, 카메라의 2차원 어레이 특성에 의해 픽셀의 크기 및 각 픽셀의 신호 감도가 감소하고, PPG 신호 획득을 위해 전체 2차원 어레이의 픽셀 정보의 합산이 요구됨에 따라 신속한 신호 획득이 어려울 수 있다. 일 실시 예에 따라, PPG 신호를 획득하는 속도는 30FPS(frame per second) 이하로 제한될 수 있다. 30FPS는, 예를 들어, 카메라의 비디오 촬영 속도일 수 있다.
상술한 이유로 인해, 피부에 조사 가능한 안전한 세기 내의 광을 사용하여 PPG 신호로부터 100Hz 이상의 신호 획득을 필요로 하는 정보(예를 들어, HR(heart rate), HRV(heart rate variability), SpO2(saturation of percutaneous oxygen, 경피적산소포화도), 스트레스 수치, 혈압, 혈류량, 또는 순환계의 상태)를 추출하는 것이 어려울 수 있다.
본 개시에 따른 전자 장치(100)는, 피부에 조사 가능한 안전한 세기 내의 광을 사용하면서도 초음파를 방출하는 초음파 장치(110)를 사용하여 사용자의 혈관을 확장시킴으로써 향상된 품질의 PPG 신호를 획득할 수 있다.
일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질이 임계 값 미만이라고 판단되는 경우, 초음파 장치(110)를 통해 초음파를 방출할지 여부 또는 초음파 장치(110)를 통해 방출되는 초음파의 세기 및 방출 시간 중 적어도 하나를 조절할 수 있다. 반사형 구조를 갖는 PPG 센서(140)에서, 사람의 피부에 대한 PPG 신호의 PI 값은 1% 내외일 수 있다. 반사형 구조란, 광원(141)으로부터 방출된 광이 사람의 피부에 도달한 후 반사되어 광 감지기(143)에 의해 감지될 수 있도록 설계된 PPG 센서(140)의 구조를 의미할 수 있다. 일 실시 예에 따라 프로세서(120)는 PPG 신호의 품질을 나타내는 PI 값이 1% 미만이라고 판단됨에 따라 초음파 장치(110)를 통해 초음파를 방출할지 여부를 제어할 수 있다. 또는, 프로세서(120)는 PPG 신호의 품질을 나타내는 PI 값이 1% 미만이라고 판단됨에 따라 초음파 장치(110)를 통해 방출되는 초음파의 세기를 조절하거나, 초음파의 방출 시간을 조절하거나, 초음파의 세기 및 방출 시간을 모두 조절할 수 있다.
이하에서는, 프로세서(120)가 PPG 신호의 품질을 나타내는 지표 값에 따라 초음파 장치(110)가 방출하는 초음파의 세기를 조절하는 경우에 대하여 후술한다.
일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질을 나타내는 지표 값이 제1 값이라고 판단함에 따라 초음파 장치(110)가 제1 초음파 세기를 갖는 초음파를 방출하도록 할 수 있다. 일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질이 제2 값이라고 판단함에 따라 초음파 장치(110)가 제2 초음파 세기를 갖는 초음파를 방출하도록 할 수 있다. 일 실시 예에 따라 제1 값 및 제2 값은 PI 값일 수 있으며, 제2 값은 제1 값보다 낮게 설정될 수 있다. 이때, 제2 값에 대응되는 제2 초음파 세기는 제1 값에 대응되는 제1 초음파 세기보다 강하게 설정될 수 있다.
이하에서는, 프로세서(120)가 PPG 신호의 품질을 나타내는 지표 값에 따라 초음파 장치(110)가 초음파를 방출하는 시간을 조절하는 경우에 대하여 후술한다.
일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질을 나타내는 지표 값이 제1 값이라고 판단함에 따라 초음파 장치(110)가 제1 시간 동안 초음파를 방출하도록 할 수 있다. 일 실시 예에 따라, 프로세서(120)는 PPG 신호의 품질이 제2 값이라고 판단함에 따라 초음파 장치(110)가 제2 시간 동안 초음파를 방출하도록 할 수 있다. 일 실시 예에 따라, 제1 값 및 제2 값은 PI 값일 수 있으며, 제2 값은 제1 값보다 낮게 설정될 수 있다. 이때, 제2 값에 대응되는 제2 시간은 제1 값에 대응되는 제1 시간보다 길게 설정될 수 있다.
일 실시 예에 따라, 메모리(130)는 적어도 하나의 프로세서와 작동적으로 연결될 수 있다. 메모리(130)는 전자 장치(100)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 광 감지기(143))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
이하 도 2를 참조하여, 본 개시의 일 실시 예에 따른 전자 장치의 구성 및 동작에 대하여 설명한다.
도 2는 일 실시 예에 따른 전자 장치가 초음파를 방출하여 객체의 혈관을 확장시키는 것을 나타낸 도면(200)이다. 일 실시 예에 따라 도 2에 도시된 전자 장치(100)는 도 1에 도시된 전자 장치(100)와 동일한 것일 수 있다. 따라서, 도 2에 도시되지 않은 구성(예: 도 1의 프로세서(120) 또는 메모리(130))이더라도, 도 2에 도시된 전자 장치(100)는 도 1에 도시된 전자 장치(100)에 포함된 구성을 포함하는 것으로 가정한다. 일 실시 예에 따라 전자 장치(100)는 스마트폰, 태블릿 PC, 또는 스마트워치일 수 있으나, 이에 한정되는 것은 아니다.
도 2를 참조하면, 일 실시 예에 따른 전자 장치(100)는 디스플레이 패널(230), 및 커버 글라스(210)를 더 포함할 수 있다. 일 실시 예에 따라, 디스플레이 패널(230)과 커버 글라스(210)는 Z축 방향으로 적층되어 배치될 수 있다. 커버 글라스(210)는 디스플레이 패널(230)을 포함하는 전자 장치(100)의 구성들을 외부로부터 보호하기 위한 것으로서, 디스플레이 패널(230)의 전면부(또는, 상부)에 배치될 수 있다.
일 실시 예에 따라, 커버 글라스(210)는 고분자 기재 필름(예: 폴리이미드(polyimide), 폴리아릴레이트(polyarylate), 폴리에틸렌테레프탈레이트(poly ethylen terephthalate), 폴리에테르설폰(polyethersulphone), 폴리에틸렌나프탈레이트(polyethylene naphthalate), 또는 폴리아크릴레이트(polyacrylate), 폴리카보네이트(polycarbonate)), 또는 유리일 수 있다.
도 2를 참조하면, 일 실시 예에 따라, 초음파 장치(110) 및 PPG 센서(140)는 디스플레이 패널(230)의 후면부(또는, 하부)에 배치될 수 있다. 도 2에서 디스플레이 패널(230)의 전면부(또는, 상부)는 Z축의 양의 방향을 의미하고, 디스플레이 패널(230)의 후면부(또는, 하부)는 Z축의 음의 방향을 의미한다.
일 실시 예에 따라 초음파 장치(110)와 디스플레이 패널(230)의 후면부(또는, 하부) 사이에는 접착 부재(예: 양면 테이프, 접착제), 탄성 부재(예: 실리콘, 러버) 및/또는 액상 물질(예: 젤)을 포함할 수 있다.
도 2를 참조하면, 전자 장치(100)는 PPG 센서(140)의 객체 인식 영역(예: 도 16의 제1 영역(1610))에 대하여 초음파 장치(110)로 초음파를 방출할 수 있다. 일 실시 예에 따라 상기 객체 인식 영역은 사용자 인터페이스로 디스플레이 상에 표시될 수 있다.
일 실시 예에 따라, 객체(220)는 사용자의 피부일 수 있다. 일 실시 예에 따라, 객체(220)는 사용자의 손가락일 수 있으나, 이에 한정되는 것은 아니다.
도 2를 참조하면, 전자 장치(100)의 초음파 장치(110)가 PPG 센서(140)의 객체 인식 영역에 접촉된 객체(220)에 대하여 초음파를 방출함에 따라 객체(220) 내부의 혈관(222)이 확장(팽창)될 수 있다. 일 실시 예에 따라 초음파 장치(110)에 의해 방출된 초음파는 혈관(222)의 내피세포(endothelial cell)에 기계적 전단 응력(mechanical shear stress)을 가하여 혈관(222) 벽의 칼슘 의존성 칼륨 통로(calcium-activated potassium channel)를 개방시킬 수 있다. 개방된 통로를 통해 산화질소(Nitric Oxide)가 유입되고, 산화질소는 혈관(222)의 수축에 기여하는 혈관평활근(vascular smooth muscle)의 동작을 억제하게 되어 혈관(222)이 확장될 수 있다. 이러한 과정을 통하여 혈관(222)이 확장되면, PPG 신호의 신호 성분(AC 성분)의 세기가 증가하므로, 노이즈 성분(DC 성분)을 감소시키지 않더라도 SNR(signal to noise ratio)(PPG 신호의 품질을 나타내는 지표 값 중 하나)에 해당하는 PI 값을 증가시킬 수 있다.
일 실시 예에 따라 혈관(222)이 초음파에 노출된 이후 초음파의 방출이 중단된 경우, 확장(팽창)된 혈관(222)의 상태는 일정 시간 지속될 수 있다. 일 실시 예에 따라, 전자 장치(100)는 혈관(222) 확장을 위한 초음파에의 최소 노출 시간 및 초음파에 의한 혈관(222) 확장 상태 유지 시간을 고려하여 초음파의 방출 세기, 주파수, 및 방출 대상 객체의 위치 중 적어도 하나를 결정할 수 있다.
일 실시 예에 따라 전자 장치(100)의 초음파 장치(110)가 방출하는 초음파의 세기는, 혈관(222) 벽에 전달되는 초음파의 기계적 응력(mechanical stress)에 의해 이온 통로(ion channel)를 변화시키는 세기(power level)에 해당할 수 있다.
일 실시 예에 따라, 전자 장치(100)의 초음파 장치(110)가 방출하는 초음파의 세기는, HIFU(high intensity focused ultrasound) 치료와 같이 피부 세포의 열 효과, 공동화 효과, 또는 기계적 효과에 의해 조직의 변형을 일으키는 세기(power level)보다 낮을 수 있다. 일 실시 예에 따라, 상기 초음파의 세기(power level)는 0.1 ~ 2 W/cm2 일 수 있다.
즉, 본 문서에 개시되는 일 실시예에 따른 전자 장치(100)에 의하면, 사용자의 피부의 급격한 온도 상승이나 피부 조직의 변화가 수반되지 않으므로 PPG 신호의 정보적 특성을 유지하면서 신호 성분(AC 성분)의 크기만을 증폭시킬 수 있다. 일 실시 예에 따라, 전자 장치(100)의 초음파 장치(110)가 방출하는 초음파의 세기는, 전자 장치(100)의 지문 인식 센서(미도시)에 사용되는 초음파의 세기일 수 있으나, 이에 한정되는 것은 아니다.
도 2를 참조하면, PPG 센서(140)는 초음파 장치(110)와는 별도로 전자 장치(100)에 포함될 수 있다. 이때, PPG 센서(140)는 광원(예: 도 1의 광원(141)) 및 광 감지기(예: 도 1의 광 감지기(143))를 포함할 수 있다.
일 실시 예에 따라 PPG 센서(140)는 초음파 장치(110)와 동시에 또는 순차적으로 동작할 수 있다. 일 실시 예에 따라 PPG 센서(140)는 광원으로 객체 인식 영역에 대하여 광을 방출할 수 있다. 일 실시 예에 따라 PPG 센서(140)는 광 감지기로 초음파에 의해 혈관(222)이 확장된 상태의 객체(220)로부터 반사된 광을 감지할 수 있다.
따라서 일 실시 예에 따른 전자 장치(100)는 혈관(222)이 확장된 상태의 객체(220)로부터 반사된 광을 기반으로 PPG 신호를 획득함으로써, 품질이 향상된(노이즈 성분은 그대로이나, 신호 성분이 증가한) PPG 신호를 획득할 수 있다.
이하 도 3을 참조하여, 본 개시의 일 실시 예에 따른 전자 장치의 구성 및 동작에 대하여 설명한다.
도 3은 일 실시 예에 따른 전자 장치의 구성을 나타낸 도면(300)이다. 일 실시 예에 따라 도 3에 도시된 전자 장치(100)는 도 1에 도시된 전자 장치(100)일 수 있다. 따라서, 도 3에 도시되지 않은 구성(예: 도 1의 프로세서(120) 또는 메모리(130))이더라도, 도 3에 도시된 전자 장치(100)는 도 1에 도시된 전자 장치(100)에 포함된 구성을 포함하는 것으로 가정한다. 일 실시 예에 따라 전자 장치(100)는 스마트폰, 태블릿 PC, 또는 스마트워치일 수 있으나, 이에 한정되는 것은 아니다.
도 3을 참조하면, 일 실시 예에 따른 전자 장치(100)는 디스플레이 패널(230), 및 커버 글라스(210)를 더 포함할 수 있다. 일 실시 예에 따라, 디스플레이 패널(230)과 커버 글라스(210)는 Z축 방향으로 적층되어 배치될 수 있다. 커버 글라스(210)는 디스플레이 패널(230)의 전면부(또는, 상부)에 배치될 수 있다. 일 실시 예에 따라, 초음파 장치(110) 및 PPG 센서(140)는 디스플레이 패널(230)의 후면부(또는, 하부)에 배치될 수 있다. 도 3에서 디스플레이 패널(230)의 전면부(또는, 상부)는 Z축의 양의 방향을 의미하고, 디스플레이 패널(230)의 후면부(또는, 하부)는 Z축의 음의 방향을 의미한다.
일 실시 예에 따르면, PPG 센서(340)는 광 감지기(예: 도 1의 광 감지기(143))를 포함할 수 있다. 일 실시 예에 따라, PPG 센서(340)는 디스플레이 패널(230)에 포함된 광원을 PPG 신호 획득을 위한 광원으로 사용할 수 있다. 상기 디스플레이 패널(230)에 포함된 광원은, 예를 들어, LCD(light crystal display)의 백 라이트 유닛(back light unit, BLU), LED(light emitting diode), Micro LED, 또는 OLED(organic light emitting diode)일 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따라 광 감지기는 광전 다이오드(photo diode, PD), 주변 광 센서(ambient light sensor, ALS), 근접 센서(proximity sensor), 또는 광학식 지문 센서(optical fingerprint sensor)와 같은 포인트 디텍터 모드(point detector mode)로 동작하는 광 센서이거나, CMOS(complementary metal-oxide semiconductor) 이미지 센서(CMOS image sensor, CIS), 또는 CCD(charge coupled device) 이미지 센서와 같은 2D 어레이 디텍터 모드(2D array detector mode)로 동작하는 광 센서일 수 있다. 일 실시 예에 따라 PPG 센서(340)가 포인트 디텍터 모드로 동작하는 경우, 판독 속도(readout speed)가 100Hz 이상으로 동작할 수 있으므로, 전자 장치(100)는 HRM(heart rate monitoring) 기능 및 HRV(heart rate variability) 기능을 모두 구현할 수 있으나, PPG 센서(340)가 2D 어레이 디텍터 모드로 동작하는 경우, 판독 속도가 100Hz 미만으로 동작할 수 있으므로, 예를 들어 HRV 기능은 구현할 수 없다. 본 문서에 개시되는 다양한 실시 예에 따르면, 전자 장치는 초음파 장치(110)를 이용하여 초음파를 방출시킴으로써 PPG 신호의 신호 성분의 세기를 증가시킬 수 있고, PPG 센서(340)가 2D 어레이 디텍터 모드로 동작하는 경우 즉, CIS, CCD 이미지 센서를 PPG 센서(340)로 이용하는 경우에도 HRM 및 HRV 기능을 모두 구현할 수 있다.
도 3을 참조하여 상술한 실시 예에서는 디스플레이 패널(230)의 광원을 사용하여 PPG 센서(340)가 PPG 신호를 측정하는 것으로 설명하였으나, 또다른 실시 예에 의하면 PPG 센서는 자체 광원을 포함할 수 있다.
이하 도 4를 참조하여, 본 개시의 다른 실시 예에 따른 전자 장치의 구성 및 동작에 대하여 설명한다. 도 4는 다른 실시 예에 따른 전자 장치의 구성을 나타낸 도면(400)이다. 일 실시 예에 따라 도 4에 도시된 전자 장치(100)는 도 1에 도시된 전자 장치(100)일 수 있다. 따라서, 도 4에 도시되지 않은 구성(예: 도 1의 프로세서(120) 또는 메모리(130))이더라도, 도 4에 도시된 전자 장치(100)는 도 1에 도시된 전자 장치(100)에 포함된 구성을 포함하는 것으로 가정한다. 일 실시 예에 따라, 전자 장치(100)는 스마트폰, 태블릿 PC, 또는 스마트워치일 수 있으나, 이에 한정되는 것은 아니다.
도 4를 참조하면, 일 실시 예에 따른 전자 장치(100)는 디스플레이 패널(230), 커버 글라스(210), 및 카메라(440)를 더 포함할 수 있다. 일 실시 예에 따라, 디스플레이 패널(230)과 커버 글라스(210)는 Z축 방향으로 적층되어 배치될 수 있다. 커버 글라스(210)는 디스플레이 패널(230)의 전면부(또는, 상부)에 배치될 수 있다.
도 4를 참조하면, 초음파 장치(110)는 디스플레이 패널(230)의 후면부(또는, 하부)에 배치될 수 있다. 도 4에서 디스플레이 패널(230)의 전면부(또는, 상부)는 Z축의 양의 방향을 의미하고, 디스플레이 패널(230)의 후면부(또는, 하부)는 Z축의 음의 방향을 의미한다.
도 4를 참조하면, 카메라(440)는 디스플레이 패널(230)의 후면부(또는, 하부)에 배치되며, 디스플레이 패널(230)의 전면 및 후면을 관통하는 홀(hole)(410)에 대응되는 위치에 배치될 수 있다. 따라서 일 실시 예에 따라 홀(410)은 카메라 렌즈 노출용 홀일 수 있다.
일 실시 예에 따라 전자 장치(100)는 디스플레이 패널(230)의 광원(예: OLED)을 PPG 센서(예: 도 1의 PPG 센서(140))의 광원으로 사용할 수 있다. 일 실시 예에 따른 전자 장치(100)는 PPG 신호를 획득하기 위해 디스플레이 패널(230)의 광원을 사용하여 광을 방출할 수 있다.
일 실시 예에 따라 전자 장치(100)는 카메라(440)에 포함된 광 센서(예: CMOS 이미지 센서)를 PPG 센서의 광 감지기로 사용할 수 있다. 일 실시 예에 따른 전자 장치(100)는 PPG 신호를 획득하기 위해 카메라(440)를 사용하여 객체(220)로부터 반사된 광을 감지할 수 있다.
도 4를 참조하여 상술한 실시 예에서는 카메라(440)의 광 센서를 사용하여 PPG 신호를 획득하는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 전자 장치(100)에 포함된 2차원 어레이 영상 센서(2D Array Imaging Sensor)를 객체(220)로부터 반사 또는 투과된 광을 감지하는 데 사용할 수 있다.
일 실시 예에 따라 전자 장치(100)가 2차원 어레이 영상 센서를 사용하는 경우, 2차원 어레이 픽셀을 기반으로 한 데이터 판독 속도(readout speed)가 HRM(heart rate monitoring) 기능은 구현할 수 있으나, 고속 측정이 요구되는 HRV(heart rate variability) 기능은 구현하지 못할 수 있다.
2차원 어레이의 CIS 픽셀 또는 CCD 픽셀은 크기가 작아서 감도(sensitivity)가 떨어지므로, PPG 신호를 획득하기 위해서는 전체 2차원 어레이 픽셀의 정보를 합하는 방식을 이용하게 되고, 이로 인해, 데이터 판독 속도(readout speed)가 전체 프레임(frame)의 판독 속도(readout speed)로 제한될 수 있다. 예를 들어, 전자 장치(100)는 초음파 장치(110)가 초음파를 방출하도록 하여 객체(220)의 혈관(222)을 확장시킴으로써, PPG 신호의 신호 성분을 증폭시킬 수 있다. 따라서, 전자 장치(100)는 2차원 어레이의 전체 픽셀값을 합하지 않고 적어도 하나의 로우(row)의 픽셀값을 합하여 PPG 신호를 획득할 수 있게 된다. 즉, 도 4에 도시된 전자 장치(100)는, 초음파 장치(110)를 이용하여 객체(220)의 혈관(222)을 확장시킴으로써, 별도로 PPG 센서를 구비하고 있지 않더라도 디스플레이 패널(230)의 광원과 전자 장치(100)에 포함된 2차원 어레이 영상 센서(예: 카메라(440))를 이용하여 PPG 신호를 획득할 수 있고, 획득된 PPG 신호를 기반으로 HRM 기능뿐만 아니라, HRV 기능도 구현할 수 있다.
예를 들어, 객체(220)의 혈관(222)과 카메라(440) 의 사이에는 디스플레이 패널(230)이 존재하지 않으므로, 디스플레이 패널(230)로 인한 광의 투과율 감쇠가 일어나지 않을 수 있다.
도 4를 참조한 실시 예에서는 카메라(440)가 전자 장치(100)의 전면 카메라이고, 전자 장치가 전면 카메라(440)와 디스플레이 패널(230)의 광원을 이용하여 PPG 신호를 측정하는 경우를 예로 들었으나, 이에 한정되는 것은 아니다. 다른 예로, 전자 장치(100)는 전자 장치의 후면 카메라와, 후면 카메라의 플래시 광원을 이용하여 PPG 신호를 측정할 수도 있다.
이하, 도 5를 참조하여 일 실시 예에 따른 전자 장치가 PPG 신호를 획득하기 위해 수행하는 동작에 대해 설명한다.
도 5는 일 실시 예에 따른 전자 장치가 PPG 신호를 획득하는 방법을 나타낸 흐름도(500)이다. 이하, 도 5를 참조하여 설명하는 전자 장치의 동작은 도 1의 전자 장치(100)의 동작일 수 있으며, 전자 장치의 프로세서(예: 도 1의 프로세서(120))에 의해 수행될 수 있다.
동작 510에서, 일 실시 예에 따라 전자 장치는 PPG 센서(예: 도 1의 PPG 센서(140))의 객체 인식 영역에 접촉된 객체를 감지할 수 있다. 일 실시 예에 따라 PPG 센서의 객체 인식 영역(예: 도 16의 제1 영역(1610))은 초음파 장치(예: 도 1의 초음파 장치(110))에 대응되는 터치 센서(예: 터치 패널)에 의해 객체가 감지되는 영역과 일치할 수 있다. 다른 예로, PPG 센서의 객체 인식 영역(예: 도 17의 제2 영역(1720))은 초음파 장치에 대응되는 터치 센서(예: 터치 패널)에 의해 객체가 감지되는 영역(예: 도 17의 제1 영역(1710))과 다른 영역일 수 있다.
동작 520에서, 일 실시 예에 따라 전자 장치는 객체를 감지함에 따라 PPG 센서의 광원(예: 도 1의 광원(141))이 광을 조사(방출)하도록 동작시킬 수 있다. 일 실시 예에 따라 PPG 센서의 광원이 광을 조사함으로써 PPG 센서의 객체 인식 영역에 접촉된 객체에 광이 조사될 수 있다. 이때, 객체에 도달한 광의 적어도 일부는 흡수되고, 나머지는 반사되거나 투과될 수 있다.
일 실시 예에 따라 초음파 장치 및 PPG 센서가 일체화되어 있거나 일정 거리 내에 배치되어 있는 경우, 전자 장치는 한번의 객체의 감지에 대응하여 초음파 장치 및 PPG 센서를 동작시킬 수 있다. 일 실시 예에 따라, 전자 장치는 한번의 객체의 감지에 대응하여 초음파 장치 및 PPG 센서를 동시에 동작시키거나, 지정된 시간 간격을 두고 순차적으로 동작시킬 수 있다.
다른 실시 예로, 초음파 장치 및 PPG 센서가 일정 거리 이상 이격되어 있는 경우, 전자 장치는 PPG 센서를 동작시키기 전에 초음파 장치에 대응되는 터치 센서(예: 터치 패널)를 이용하여 객체 감지 동작을 수행하고, 상기 터치 센서가 객체를 감지함에 따라 초음파 장치를 이용하여 초음파를 방출할 수 있다. 예를 들어, 터치 센서에 의해 객체가 감지된 영역은, PPG 센서의 객체 인식 영역과 다른 영역일 수 있다.
일 실시예에 따라, 초음파 장치 및 PPG 센서가 일정 거리 이상 이격되어 있는 경우, 상기 일정 거리는 3cm 이내일 수 있다.
동작 520에서, 일 실시 예에 따라 전자 장치는 PPG 센서의 광 감지기(예: 도 1의 광 감지기(143))가 객체로부터 반사된 광을 감지하도록 동작시킬 수 있다. 동작 520은 동작 510과 동시에 수행될 수 있다.
동작 530에서, 일 실시 예에 따라 전자 장치는 감지된 광을 기반으로 PPG 신호를 획득할 수 있다. 일 실시 예에 따라, PPG 신호는 광 감지기에 의해 감지된 광의 세기 형태로 나타날 수 있다. PPG 신호는 순환계의 특성이 반영된 각종 정보를 추출할 수 있는 신호 성분인 AC 성분 및 이러한 신호 성분과 관련하여 노이즈 성분에 해당하는 DC 성분을 포함할 수 있다.
동작 540에서, 일 실시 예에 따라 전자 장치는 PPG 신호의 품질을 나타내는 지표 값을 계산할 수 있다. 일 실시 예에 따라, 전자 장치는 PPG 신호의 AC 성분 및 DC 성분의 비율에 해당하는 PI 값을 산출할 수 있다. 일 실시 예에 따라, 전자 장치는 PPG 신호의 PI 값이 임계 값 이상인지 여부를 판단하여 PPG 신호의 품질을 판단할 수 있다(동작 550). 일 실시 예에 따라, 임계 값은, 'PI 값 1%'일 수 있다.
동작 550에서 일 실시 예에 따른 전자 장치가 PPG 신호의 품질을 나타내는 지표 값이 임계 값 이상이라고 판단함에 따라, PPG 신호를 기반으로 정보를 추출하는 동작(동작 560)을 수행할 수 있다. 일 실시 예에 따라, 동작 560은 전자 장치가 PPG 신호의 AC 성분을 기반으로 심박, 호흡, 스트레스 수치, 혈압, 및 혈류량 중 적어도 하나의 정보를 추출하는 것일 수 있다. 일 실시 예에 따라 추출된 정보는, 순환계의 상태를 모니터링하기 위한 정보일 수 있다.
동작 550에서 일 실시 예에 따른 전자 장치가 PPG 신호의 품질을 나타내는 지표 값(예: PI 값)이 임계 값 미만이라고 판단함에 따라, 전자 장치는 초음파 장치(예: 도 1의 초음파 장치(110))에 의해 초음파를 방출하는 동작(동작 570)을 수행할 수 있다.
동작 570에서, 일 실시 예에 따라 전자 장치는 터치 센서(예: 터치 패널)를 이용하여 초음파 장치의 객체 인식 영역(예: 도 16의 제1 영역(1610))에 접촉된 객체를 감지할 수 있다. 일 실시 예에 따라, 상기 초음파 장치의 객체 인식 영역은 지문 인식 영역일 수 있다.
일 실시 예에 따라 전자 장치가 디스플레이 패널(예: 도 2의 디스플레이 패널(230))을 포함하고, 초음파 장치가 디스플레이 패널의 하부에 배치되어 있는 경우, 전자 장치는 초음파 장치에 대응되는 디스플레이 상의 위치에서 객체가 접촉되는 것을 감지할 수 있다. 일 실시 예에 따라, 전자 장치는 터치 센서, 또는 압력 센서를 통해 객체의 접촉을 감지할 수 있다.
동작 570에서, 일 실시 예에 따른 전자 장치는 객체를 감지함에 따라 초음파 장치가 초음파를 방출하도록 동작시킬 수 있다. 일 실시 예에 따라 전자 장치의 초음파 장치가 초음파를 방출함으로써 초음파 장치의 객체 인식 영역에 접촉된 객체는 초음파에 노출될 수 있다. 일 실시 예에 따라 전자 장치는, 미리 설정된 세기로, 미리 설정된 시간 동안 초음파를 방출될 수 있다. 일 실시 예에 따라, 전자 장치에 의해 방출된 초음파는 객체 내부의 혈관(예: 도 4의 혈관(222))을 확장시킬 수 있다.
일 실시 예에 따르면, 전자 장치는 동작 550에서 PPG 신호의 품질을 나타내는 지표 값이 임계 값 미만이라고 판단함에 따라 초음파 장치가 방출하는 초음파의 세기를 증가시키는 동작(미도시)을 수행할 수 있다. 예를 들어, 초음파의 세기를 증가시키기 전에 방출된 초음파의 세기가 제1 세기라고 가정하면, 상기 지표 값이 임계 값 미만으로 판단됨에 따라, 일 실시 예에 따른 전자 장치는 초음파 장치가 방출하는 초음파의 세기를 제2 세기로 변경하도록 조절할 수 있다. 이때, 제2 세기는 제1 세기보다 상대적으로 높은(강한) 세기를 의미할 수 있다. 일 실시 예에 따른 전자 장치는 초음파 장치가 방출하는 초음파의 세기를 증가시킨 이후에 동작 510 내지 동작 560을 다시 수행할 수 있다.
일 실시 예에 따라, 전자 장치는, 동작 550에서 PPG 신호의 품질을 나타내는 지표 값(예: PI 값)이 제1 값이라고 판단함에 따라, 초음파 장치가 방출하는 초음파의 세기를 제1 초음파 세기로 조절하고, 상기 지표 값이 제2 값이라고 판단함에 따라, 초음파 장치가 방출하는 초음파의 세기를 제2 초음파 세기로 조절할 수 있다. 이때, 제2 값(예: 0.5%)이 제1 값(예: 1%)보다 낮고, 제2 초음파 세기는 제1 초음파 세기보다 강할 수 있다.
다른 실시 예에 따르면, 동작 550에서 PPG 신호의 품질을 나타내는 지표 값이 임계 값 미만이라고 판단됨에 따라, 전자 장치는 초음파가 방출되는 시간을 증가시키는 동작(미도시)을 수행할 수 있다. 예를 들어, 초음파 방출 시간을 증가시키기 전에 초음파가 방출된 시간이 제1 시간이라고 가정하면, 동작 550에서 상기 지표 값이 임계 값 미만이라고 판단됨에 따라, 일 실시 예에 따른 전자 장치는 초음파 장치가 초음파를 방출하는 시간을 제2 시간으로 변경하도록 조절할 수 있다. 이때, 제2 시간은 제1 시간보다 상대적으로 긴 시간을 의미할 수 있다. 일 실시 예에 따른 전자 장치는 초음파 장치가 초음파를 방출하는 시간을 증가시킨 이후에 동작 510 내지 동작 560을 다시 수행할 수 있다.
일 실시 예에 따라, 전자 장치는, 동작 550에서 PPG 신호의 품질을 나타내는 지표 값(예: PI 값)이 제1 값이라고 판단함에 따라, 초음파 장치가 제1 시간 동안 초음파를 방출하도록 조절하고, 상기 지표 값이 제2 값이라고 판단함에 따라, 초음파 장치가 제2 시간 동안 초음파를 방출하도록 조절할 수 있다. 이때, 제2 수준(예: 0.5%)이 제1 수준(예: 1%)보다 낮고, 제2 시간은 제1 시간보다 길 수 있다.
이하, 도 6 및 도 7을 참조하여 초음파 장치를 포함하지 않는 전자 장치의 구성들의 배치 구조 및 이러한 전자 장치가 PPG 신호를 획득할 때의 혈관(222)의 상태에 대해 설명한다.
도 6은 일 실시 예에 따른, 초음파 장치를 포함하지 않는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(600, 650)이다. 즉, 도 6은 기존의 PPG 신호 획득 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면일 수 있다. 도 6은 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(600) 및 투시 평면도(650)를 포함한다.
도 6을 참조하면, 전자 장치(100)는 광원(141) 및 광 감지기(143)가 디스플레이 패널(230)의 하부에 나란히 배치될 수 있다. 이때, 객체(예: 사용자의 피부) 내부에 광을 전달하고자 하는 깊이에 따라 광원(141) 및 광 감지기(143)의 거리가 조절되어 배치될 수 있다. 일 실시 예에 따라, 광원(141)은 PPG 신호를 획득하기 위한 독립적인 광원일 수 있다. 도 6의 전자 장치(100)는 초음파 장치(예: 도 1의 초음파 장치(110))를 포함하지 않으므로, 초음파에 의한 혈관 확장이 일어나지 않는다.
도 7은 다른 실시 예에 따른, 초음파 장치를 포함하지 않는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(700, 750)이다. 즉, 도 7은 기존의 PPG 신호 회득 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면일 수 있다. 도 7은 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(700) 및 투시평면도(750)를 포함한다.
도 7을 참조하면, 전자 장치(100)는 광 감지기(143)가 디스플레이 패널(230)의 하부에 배치되고, 광원(141)은 디스플레이 패널(230) 상에 배치될 수 있다. 일 실시 예에 따라 광원(141)은 OLED(Organic Light Emitting Diodes)일 수 있으나, 이에 한정되는 것은 아니다. 즉, 도 7은 디스플레이 광원을 PPG 센서의 광원으로 사용하는 전자 장치의 실시 예를 나타낸 도면이다.
이하, 도 8 및 도 9를 참조하여 초음파 장치를 포함하는 전자 장치의 구성들의 배치 구조 및 이러한 전자 장치가 PPG 신호를 획득할 때의 혈관(222)의 상태에 대해 설명한다.
도 8은 일 실시 예에 따른, 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(800, 850)이다. 일 실시 예에 따라, 도 8의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 8은 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(800) 및 투시평면도(850)를 포함한다.
도 8을 참조하면, 전자 장치(100)는 광원(141) 및 광 감지기(143)가 디스플레이 패널(230)의 하부에 나란히 배치될 수 있다. 또한, 전자 장치(100)는, 초음파 장치(110)가 디스플레이 패널(230)의 하부에 배치되며, 디스플레이 패널(230)의 일면(도 8에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다. 도 8에 도시된 일 실시 예에 따른 전자 장치(100)는, 초음파 장치(110)가 광원(141) 및 광 감지기(143)와 동일한 평면(도 8에서는, XY 평면) 상에 배치되며, 적어도 일 측면(도 8에서는, Y축 방향)에서 바라보았을 때 초음파 장치(110)가 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다.
일 실시 예에 따라, 초음파 장치(110), 광원(141) 및/또는 광 감지기(143)가 동일한 평면(도 8에서는, XY 평면)이 아닌, Z축 방향으로 이격 배치될 수도 있다.
일 실시 예에 따라, 전자 장치(100)는, 초음파 장치(110)와 광 감지기(143)의 이격 거리가, 광원(141)에 의해 광이 객체(220) 또는 객체 내부의 혈관(222)에 조사되는 위치와 초음파 장치(110)에 의해 초음파가 객체(220) 또는 객체 내부의 혈관(222)에 조사되는 위치의 차이가 미리 설정된 오차범위 이내가 되도록, 광원(141), 광 감지기(143), 및 초음파 장치(110)의 상호 이격 거리가 조절되어 배치될 수 있다.
일 실시 예에 따라, 초음파 장치(110)에 의해 방출된 초음파는 객체(220) 내부의 혈관(222)을 확장시킬 수 있다. 일 실시 예에 따라, 광 감지기(143)는 혈관(222)이 확장된 상태의 객체(220)로부터 반사된 광을 감지함으로써, 초음파 작용 없이 PPG 신호를 획득하는 경우에 비해 신호 성분(AC 성분)의 세기가 증가된 PPG 신호를 획득할 수 있다. 일 실시 예에 따른 전자 장치(100)는 초음파 장치(110)가 디스플레이 패널(230)의 일면 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치됨으로써, 전자 장치(100)의 PPG 신호 획득 시 초음파에 의한 혈관 확장 효과를 최대로 얻을 수 있다.
도 9는 다른 실시 예에 따른, 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(900, 950)이다. 일 실시 예에 따라, 도 9의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 9는 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(900) 및 투시평면도(950)를 포함한다.
도 9를 참조하면, 전자 장치(100)는 광 감지기(143)가 디스플레이 패널(230)의 하부에 배치되고, 광원(141)은 디스플레이 패널(230) 상에 배치될 수 있다. 일 실시 예에 따라 광원(141)은 OLED(Organic Light Emitting Diodes)일 수 있으나, 이에 한정되는 것은 아니다. 즉, 도 9는 디스플레이 광원을 PPG 센서의 광원으로 사용하는 전자 장치의 실시 예를 나타낸 도면이다.
또한, 전자 장치(100)는, 초음파 장치(110)가 디스플레이 패널(230)의 하부에 배치되며, 디스플레이 패널(230)의 일면(도 9에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다. 도 9에 도시된 일 실시 예에 따른 전자 장치(100)는, 초음파 장치(110)가 광 감지기(143)와 동일한 평면(도 9에서는, XY 평면) 상에 배치되며, 적어도 일 측면(도 9에서는, Z축 방향)에서 바라보았을 때 초음파 장치(110)가 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다.
도 9는 도 8과 구조상 광원(141)의 Z축 상 위치에서만 차이가 있으므로, 도 9에 도시된 전자 장치(100)가 객체(220)의 혈관(222)에 미치는 영향 및 그로 인한 PPG 신호의 품질 향상 효과로는, 도 8을 참조한 설명이 동일하게 적용될 수 있다.
이하, 도 10 및 도 11을 참조하여 원형 초음파 장치를 포함하는 전자 장치의 구성들의 배치 구조 및 이러한 전자 장치가 PPG 신호를 획득할 때의 혈관(222)의 상태에 대해 설명한다.
도 10은 일 실시 예에 따른, 원형 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(1000, 1050)이다. 일 실시 예에 따라, 도 10의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 10은 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(1000) 및 투시평면도(1050)를 포함한다.
도 10을 참조하면, 전자 장치(100)는 광원(141) 및 광 감지기(143)가 디스플레이 패널(230)의 하부에 나란히 배치될 수 있다. 일 실시 예에 따라, 전자 장치(100)는, 원형 초음파 장치(110)를 포함할 수 있으며, 원형 초음파 장치(110)는 디스플레이 패널(230)의 하부에 배치되며, 원형 초음파 장치(110)의 중심이 디스플레이 패널(230)의 일면(도 10에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다.
도 10을 참조하면, 일 실시 예에 따른 전자 장치(100)는, 내부에 중공부를 포함하는 링(ring) 구조의 초음파 장치(110)가 광원(141) 및 광 감지기(143)를 둘러싸도록 배치될 수 있다. 일 실시 예에 따라, 초음파 장치(110)의 중심은, 광원(141) 및 광 감지기(143)의 중앙에 놓일 수 있다. 일 실시 예에 따라, 전자 장치(100)는 초음파 장치(110)의 중심이 광원(141) 및 광 감지기(143)의 중앙에 놓이도록 배치될 수 있다.
한편, 도 10에서는 초음파 장치(110)가 원형인 경우를 예시하고 있으나 이에 한정되는 것은 아니고, 다각형인 경우를 포함할 수 있다. 원형 또는 다각형의 초음파 장치(110)는 복수의 초음파 발생기가 픽셀(pixel) 구조로 연속 배치된 것일 수 있다. 일 실시 예에 따른 전자 장치(100)는 복수의 초음파 발생기를 작동적으로 하나의 초음파 장치(110)인 것처럼 제어할 수 있다. 일 실시 예에 따른 전자 장치(100)는, 초음파 장치(110)의 중심이 디스플레이 패널(230)의 일면(도 10에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치됨으로써, PPG 신호 획득 시 초음파에 의한 혈관 확장 효과를 최대로 얻을 수 있다. 일 실시 예에 따라, 복수의 초음파 발생기를 포함하는 초음파 장치(110)의 중심은, 복수의 초음파 발생기로부터 방출되는 초음파의 빔 포밍(beam forming)의 초점일 수 있다. 일 실시 예에 따르면, 초음파 장치(110)에 포함된 복수의 초음파 발생기가 방출하는 초음파의 빔 포밍의 초점이 디스플레이 패널(230)의 일면(도 10에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 형성되도록 상기 복수의 초음파 발생기가 배치될 수 있다.
도 11은 다른 실시 예에 따른, 원형 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면이다. 일 실시 예에 따라, 도 11의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 11은 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(1100) 및 투시평면도(1150)를 포함한다.
도 11을 참조하면, 전자 장치(100)는 광 감지기(143)가 디스플레이 패널(230)의 하부에 배치되고, 광원(141)은 디스플레이 패널(230) 상에 배치될 수 있다. 일 실시 예에 따라 광원(141)은 OLED(Organic Light Emitting Diodes)일 수 있으나, 이에 한정되는 것은 아니다. 즉, 도 11은 디스플레이 광원을 PPG 센서의 광원으로 사용하는 전자 장치의 실시 예를 나타낸 도면이다.
일 실시 예에 따라, 전자 장치(100)는, 원형 초음파 장치(110)를 포함할 수 있으며, 원형 초음파 장치(110)는 디스플레이 패널(230)의 하부에 배치되며, 원형 초음파 장치(110)의 중심이 디스플레이 패널(230)의 일면(도 11에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다.
도 11을 참조하면, 일 실시 예에 따른 전자 장치(100)는, 내부에 중공부를 포함하는 링(ring) 구조의 초음파 장치(110)가 광원(141) 및 광 감지기(143)를 둘러싸도록 배치될 수 있다. 일 실시 예에 따라, 초음파 장치(110)의 중심은, 디스플레이 패널(230)의 일면(도 11에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 중앙에 놓일 수 있다.
도 11은 도 10과 구조상 광원(141)의 Z축 상 위치에서만 차이가 있으므로, 도 11에 도시된 전자 장치(100)가 객체(220)의 혈관(222)에 미치는 영향 및 그로 인한 PPG 신호의 품질 향상 효과로는, 도 10을 참조한 설명이 동일하게 적용될 수 있다.
이하, 도 12 및 도 13을 참조하여 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치의 구성들의 배치 구조 및 이러한 전자 장치가 PPG 신호를 획득할 때의 혈관(222)의 상태에 대해 설명한다.
도 12는 일 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(1200, 1250)이다. 일 실시 예에 따라, 도 12의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 12는 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(1200) 및 투시평면도(1250)를 포함한다.
도 12를 참조하면, 전자 장치(100)는 광원(141) 및 광 감지기(143)가 디스플레이 패널(230)의 하부에 나란히 배치될 수 있다. 일 실시 예에 따라, 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)를 포함할 수 있으며, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)는 디스플레이 패널(230)의 하부에 배치되며, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심이 디스플레이 패널(230)의 일면(도 12에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다.
도 12를 참조하면, 일 실시 예에 따른 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)가 광원(141) 및 광 감지기(143)를 둘러싸도록 배치될 수 있다. 일 실시 예에 따라, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심은, 광원(141) 및 광 감지기(143)의 중앙에 놓일 수 있다. 한편, 도 12에서는 6개의 초음파 발생기가 육각 형태로 배치되는 경우를 예시하고 있으나 이에 한정되는 것은 아니고, 다양한 개수의 초음파 발생기가 다양한 형태로 배치될 수 있다.
일 실시 예에 따른 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심이 디스플레이 패널(230)의 일면(도 12에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치됨으로써, PPG 신호 측정 시 초음파에 의한 혈관 확장 효과를 최대로 얻을 수 있다.
일 실시 예에 따르면, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심이 디스플레이 패널(230)의 일면(도 12에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치되는 경우, 제1 초음파 발생기(110A)가 방출하는 제1 초음파의 위상과, 제2 초음파 발생기(110B)가 방출하는 제2 초음파의 위상과, 제3 초음파 발생기(110C)가 방출하는 제3 초음파의 위상과, 제4 초음파 발생기(110D)가 방출하는 제4 초음파의 위상과, 제5 초음파 발생기(110E)가 방출하는 제5 초음파의 위상과, 제6 초음파 발생기(110F)가 방출하는 제6 초음파의 위상은 모두 동일하도록 설정될 수 있다.
다시 말해, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심이 디스플레이 패널(230)의 일면(도 12에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치되는 경우, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F) 각각으로부터 발생되는 초음파의 위상은 동상(in-phase)이도록 설정될 수 있다.
도 13은 다른 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(1300, 1350)이다. 일 실시 예에 따라, 도 13의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 13은 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(1300) 및 투시평면도(1350)를 포함한다.
도 13을 참조하면, 전자 장치(100)는 광 감지기(143)가 디스플레이 패널(230)의 하부에 배치되고, 광원(141)은 디스플레이 패널(230) 상에 배치될 수 있다. 일 실시 예에 따라 광원(141)은 OLED(Organic Light Emitting Diodes)일 수 있으나, 이에 한정되는 것은 아니다. 즉, 도 13은 디스플레이 광원을 PPG 센서의 광원으로 사용하는 전자 장치의 실시 예를 나타낸 도면이다.
일 실시 예에 따라, 전자 장치(100)의 초음파 장치(예: 도 1의 초음파 장치(110))는, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)를 포함할 수 있다. 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)는 디스플레이 패널(230)의 하부에 배치되며, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심이 디스플레이 패널(230)의 일면(도 13에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다.
도 13을 참조하면, 일 실시 예에 따른 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)가 광원(141) 및 광 감지기(143)를 둘러싸도록 배치될 수 있다. 일 실시 예에 따라, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심은, 광원(141) 및 광 감지기(143)의 중앙에 놓일 수 있다.
일 실시 예에 따라, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F)의 중심이 디스플레이 패널(230)의 일면(도 13에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치되는 경우, 복수의 초음파 발생기(110A, 110B, 110C, 110D, 110E, 110F) 각각으로부터 발생되는 초음파의 위상은 동상(in-phase)이도록 설정될 수 있다.
도 13은 도 12와 구조상 광원(141)의 Z축 상 위치에서만 차이가 있으므로, 도 12에 도시된 전자 장치(100)가 객체(220)의 혈관에 미치는 영향 및 그로 인한 PPG 신호의 품질 향상 효과로는, 도 12를 참조한 설명이 동일하게 적용될 수 있다.
이하, 도 14 및 도 15를 참조하여 복수의 초음파 발생기를 포함하고 비대칭 구조인 초음파 장치를 포함하는 전자 장치의 구성들의 배치 구조 및 이러한 전자 장치가 PPG 신호를 획득할 때의 혈관의 상태에 대해 설명한다.
도 14는 일 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(1400, 1450)이다. 일 실시 예에 따라, 도 14의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 14는 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(1400) 및 투시평면도(1450)를 포함한다.
도 14를 참조하면, 전자 장치(100)는 광원(141) 및 광 감지기(143)가 디스플레이 패널(230)의 하부에 나란히 배치될 수 있다. 일 실시 예에 따라, 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C)를 포함할 수 있으며, 복수의 초음파 발생기(110A, 110B, 110C)는 디스플레이 패널(230)의 하부에 배치될 수 있다.
일 실시 예에 따른 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C)를 포함하는 초음파 장치(예: 도 1의 초음파 장치(110))에 의해 방출되는 초음파의 빔 포밍(beam forming)의 초점이 전자 장치(100)의 디스플레이 패널(230)의 일면(도 14에서는, XY 평면) 상에서 내려다보았을 때 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치될 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 복수의 초음파 발생기(110A, 110B, 110C)가 방출하는 초음파의 위상을 각각 제어할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 제1 초음파 발생기(110A)가 제1 초음파를 방출하고, 제2 초음파 발생기(110B)가 제2 초음파를 방출하고, 제3 초음파 발생기(110C)가 제3 초음파를 방출하도록 제어할 수 있다. 일 실시 예에 따라 전자 장치(100)는 제1 초음파, 제2 초음파 및 제3 초음파가 광원(141) 및 광 감지기(143)의 사이에 위치하는 초점을 향하여 방출되도록 제1 초음파의 위상, 제2 초음파의 위상, 및 제3 초음파의 위상을 제어할 수 있다.
한편, 복수의 초음파 발생기(110A, 110B, 110C)에는 빔 포밍(beam forming) 기술이 적용될 수 있다. 일 실시 예에 따라, 전자 장치(100)는 제1 초음파, 제2 초음파, 및 제3 초음파를 기반으로 한 빔(beam)을 형성할 수 있다. 따라서, 일 실시 예에 따른 전자 장치(100)는 제1 초음파, 제2 초음파, 및 제3 초음파를 기반으로 한 빔 포밍의 초점이 광원(141) 및 광 감지기(143)의 사이에 놓이도록, 제1 초음파의 위상, 제2 초음파의 위상, 및 제3 초음파의 위상을 제어할 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C)의 중심이 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치된 경우, 제1 초음파의 위상, 제2 초음파의 위상, 및 제3 초음파의 위상을 동상(in-phase)으로 제어할 수 있다.
다른 예로, 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C)의 중심이 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치되지 않은 경우, 제1 초음파의 위상, 제2 초음파의 위상, 및 제3 초음파의 위상 중 적어도 일부를 상이하게 제어할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 제1 초음파의 위상, 제2 초음파의 위상, 및 제3 초음파의 위상 중 적어도 일부에 위상의 지연(phase delay)을 가함으로써, 제1 초음파의 위상, 제2 초음파의 위상, 및 제3 초음파의 위상 중 적어도 일부를 상이하게 제어할 수 있다.
도 15는 다른 실시 예에 따른, 복수의 초음파 발생기를 포함하는 초음파 장치를 포함하는 전자 장치가 객체로부터 PPG 신호를 획득하는 것을 나타낸 도면(1500, 1550)이다. 일 실시 예에 따라, 도 15의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다. 도 15는 전자 장치(100)가 객체(220)로부터 PPG 신호를 획득하는 것을 나타낸 측단면도(1500) 및 투시평면도(1550)를 포함한다.
도 15를 참조하면, 전자 장치(100)는 광 감지기(143)가 디스플레이 패널(230)의 하부에 배치되고, 광원(141)은 디스플레이 패널(230) 상에 배치될 수 있다. 일 실시 예에 따라 광원(141)은 OLED(Organic Light Emitting Diodes)일 수 있으나, 이에 한정되는 것은 아니다. 즉, 도 15는 디스플레이 광원을 PPG 센서의 광원으로 사용하는 전자 장치의 실시 예를 나타낸 도면이다.
일 실시 예에 따라, 전자 장치(100)의 초음파 장치(예: 도 1의 초음파 장치(110))는, 복수의 초음파 발생기(110A, 110B, 110C, 110D)를 포함할 수 있다. 복수의 초음파 발생기(110A, 110B, 110C, 110D)는 디스플레이 패널(230)의 하부에 배치될 수 있다.
한편, 일 실시 예에 따른 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C, 110D)가 방출하는 초음파의 위상을 각각 제어할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 제1 초음파 발생기(110A)가 제1 초음파를 방출하고, 제2 초음파 발생기(110B)가 제2 초음파를 방출하고, 제3 초음파 발생기(110C)가 제3 초음파를 방출하고, 제3 초음파 발생기(110D)가 제4 초음파를 방출하도록 제어할 수 있다. 일 실시 예에 따라 전자 장치(100)는 제1 초음파, 제2 초음파, 제3 초음파, 및 제4 초음파가 광원(141) 및 광 감지기(143)의 사이에 위치하는 초점을 향하여 방출되도록 제1 초음파의 위상, 제2 초음파의 위상, 제3 초음파의 위상, 및 제4 초음파의 위상을 제어할 수 있다.
상술한 바에 따라, 복수의 초음파 발생기(110A, 110B, 110C, 110D)에는 빔 포밍(beam forming) 기술이 적용될 수 있다. 일 실시 예에 따라, 전자 장치(100)는 제1 초음파, 제2 초음파, 제3 초음파, 및 제4 초음파를 기반으로 한 빔(beam)을 형성할 수 있다. 따라서, 일 실시 예에 따른 전자 장치(100)는 제1 초음파, 제2 초음파, 제3 초음파, 및 제4 초음파를 기반으로 한 빔 포밍의 초점이 광원(141) 및 광 감지기(143)의 사이에 놓이도록, 제1 초음파의 위상, 제2 초음파의 위상, 및 제3 초음파의 위상을 제어할 수 있다.
도 15를 참조하면, 일 실시 예에 따른 전자 장치(100)는, 복수의 초음파 발생기(110A, 110B, 110C, 110D)의 중심이 광원(141) 및 광 감지기(143)의 사이에 놓이도록 배치되지 않은 구조일 수 있다. 이때, 전자 장치(100)는 제1 초음파의 위상, 제2 초음파의 위상, 제3 초음파의 위상, 및 제4 초음파의 위상 중 적어도 일부를 상이하게 제어할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 제1 초음파의 위상, 제2 초음파의 위상, 제3 초음파의 위상, 및 제4 초음파의 위상 중 적어도 일부에 위상의 지연(phase delay)을 가함으로써, 제1 초음파의 위상, 제2 초음파의 위상, 제3 초음파의 위상, 및 제4 초음파의 위상 중 적어도 일부를 상이하게 제어할 수 있다.
도 14 및 도 15에 도시된 실시 예들에 따른 전자 장치(100)는, 복수의 초음파 발생기에 의해 방출되는 초음파들을 기반으로 형성된 빔 포밍의 초점이 광원(141) 및 광 감지기(143)의 사이에 놓이게 함으로써, PPG 신호 획득 시 초음파에 의한 혈관 확장 효과를 최대로 획득할 수 있다. 도 14에 도시된 실시 예에서는 전자 장치(100)가 3개의 초음파 발생기(110A, 110B, 및 110C)에 의해 방출되는 초음파들을 기반으로 형성된 빔 포밍의 초점을 조절하는 경우를 예로 들고 있고, 도 15에 도시된 실시 예에서는 전자 장치(100)가 4개의 초음파 발생기(110A, 110B, 110C, 및 110D)에 의해 방출되는 초음파들을 기반으로 형성된 빔 포밍의 초점을 조절하는 경우를 예로 들고 있으나 이에 한정되는 것은 아니고, 다양한 개수의 초음파 발생기가 다양한 형태로 배치될 수 있다.
이하, 도 16을 참조하여 일 실시 예에 따른 전자 장치가 PPG 신호를 획득하기 위해 디스플레이에 디스플레이하도록 제공하는 사용자 인터페이스에 대해 설명한다.
도 16은 일 실시 예에 따른 전자 장치가 PPG 신호를 획득하기 위해 제공하는 사용자 인터페이스를 나타낸 도면(1600)이다. 일 실시 예에 따라, 도 16의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다.
도 16의 제1 상태(1601)를 참조하면, 일 실시 예에 따라, 전자 장치(100)는 디스플레이 상에 PPG 신호를 측정하기 위한 제1 영역(1610)을 표시할 수 있다. 제1 영역(1610)은 사용자로 하여금 디스플레이 상의 다른 영역과 구분되어 인식되도록 표시될 수 있다. 제1 영역(1610)은 전자 장치(100)가 PPG 신호를 측정하는 어플리케이션(application)을 실행시키는 사용자의 입력을 수신함으로써 디스플레이 상에 표시될 수 있다.
제1 영역(1610)은, 예를 들어, 전자 장치(100)의 초음파 장치(예: 도 1의 초음파 장치(110))에 대응되는 터치 센서(예: 터치 패널)가 배치된 영역과 대응될 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 제1 영역(1610)에 접촉한 객체를 감지할 수 있고, 상기 객체를 감지함에 따라 초음파 장치를 이용하여 객체에 초음파를 방출할 수 있다. 일 실시 예에 따라 초음파 장치가 지문 인식 센서에 포함되어 있는 경우, 제1 영역(1610)은 지문 인식 영역일 수 있다.
일 실시 예에 따라, 제1 상태(1601)에서, 전자 장치(100)는 제1 영역(1610)을 디스플레이 상에 표시하면서, “표시된 영역에 측정부위를 접촉시켜 주세요.”의 안내 메시지를 함께 표시할 수 있다.
일 실시 예에 따라, 제1 상태(1601)에서, 전자 장치(100)는 제1 영역(1610)의 적어도 일부에 접촉된 객체(220)(예를 들면, 사용자의 손가락)를 감지할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 객체(220)를 감지함으로써 제2 상태(1602)가 될 수 있다.
일 실시 예에 따라, 제2 상태(1602)에서, 전자 장치(100)는 객체(220)의 감지에 대응하여 초음파 장치로 초음파를 방출할 수 있다. 이때, 객체(220)가 초음파에 일정 시간 동안 노출됨으로써, 객체(220) 내부의 혈관이 확장될 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 객체(220)의 감지에 대응하여 광원(예: 도 1의 광원(141))을 이용하여 광을 방출할 수 있다. 전자 장치(100)는 초음파를 방출하면서 광을 함께 방출하거나, 초음파를 방출한 이후에 광을 방출할 수 있다. 일 실시 예에 따라 광원은 제1 영역(1610)에 대응되는 디스플레이 패널의 하부에 배치된 독립적인 광원일 수 있다. 다른 예로, 광원은 제1 영역(1610)에 대응되는 디스플레이 패널 상의 광원(예: OLED)일 수 있다.
일 실시 예에 따라, 제2 상태(1602)에서, 전자 장치(100)는 광 감지기(예: 도 1의 광 감지기(143))를 이용하여 객체(220)로부터 반사된 광을 감지할 수 있다.
일 실시 예에 따라, 제2 상태(1602)에서, 전자 장치(100)는 객체(220)의 감지에 대응하여 초음파 장치, 광원, 및 광 감지기 중 적어도 일부를 동작시키면서, “PPG 신호를 측정 중입니다. 종료를 알릴 때까지 접촉 상태를 유지해 주세요.”의 안내 메시지를 디스플레이 상에 표시할 수 있다.
일 실시 예에 따르면, 본 문서에 개시되는 전자 장치(100)는 초음파에 의해 혈관이 확장된 객체(220)로부터 감지된 광을 기반으로 PPG 신호를 획득함으로써, 신호 성분이 강화된 양호한 품질의 PPG 신호를 획득할 수 있다.
이하, 도 17을 참조하여 다른 실시 예에 따른 전자 장치가 PPG 신호를 획득하기 위해 디스플레이에 디스플레이하도록 제공하는 사용자 인터페이스에 대해 설명한다.
도 17은 다른 실시 예에 따른 전자 장치가 PPG 신호를 획득하기 위해 제공하는 사용자 인터페이스를 나타낸 도면(1700)이다. 일 실시 예에 따라, 도 16의 전자 장치(100)는 도 1의 전자 장치(100)일 수 있다.
도 17의 제1 상태(1701)를 참조하면, 일 실시 예에 따라, 전자 장치(100)는 디스플레이 상에 제1 영역(1710)을 표시할 수 있다. 제1 영역(1710)은 사용자로 하여금 디스플레이 상의 다른 영역과 구분되어 인식되도록 표시될 수 있다. 제1 영역(1710)은 전자 장치(100)가 PPG 신호를 측정하는 어플리케이션(application)을 실행시키는 사용자의 입력을 수신함으로써 디스플레이 상에 표시될 수 있다.
제1 영역(1710)은 전자 장치(100)가 객체에 초음파를 방출하기 위하여 디스플레이 상에 표시하는 영역을 의미할 수 있으며, 전자 장치의 초음파 장치(예: 도 1의 초음파 장치(110))에 대응되는 터치 센서(예: 터치 패널)가 배치된 영역과 대응될 수 있다. 일 실시 예에 따르면, 전자 장치는 제1 영역(1710)에 접촉한 객체를 감지할 수 있고, 상기 객체를 감지함에 따라 초음파 장치를 이용하여 객체에 초음파를 방출할 수 있다. 일 실시 예에 따라 초음파 장치가 지문 인식 센서에 포함되어 있는 경우, 제1 영역(1710)은 지문 인식 영역일 수 있다.
일 실시 예에 따라, 제1 상태(1701)에서, 전자 장치(100)는 제1 영역(1710)을 디스플레이 상에 표시하면서, “표시된 영역에 측정부위를 접촉시켜 주세요.”의 안내 메시지를 함께 표시할 수 있다.
일 실시 예에 따라, 제1 상태(1701)에서, 전자 장치(100)는 제1 영역(1710)의 적어도 일부에 접촉된 객체(220)(예를 들면, 사용자의 손가락)를 감지할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 객체(220)를 감지함으로써 제2 상태(1702)가 될 수 있다.
일 실시 예에 따라, 제2 상태(1702)에서, 전자 장치(100)는 객체(220)의 감지에 대응하여 초음파 장치를 이용하여 초음파를 방출할 수 있다. 이때, 객체(220)가 초음파에 일정 시간 동안 노출됨으로써, 객체(220) 내부의 혈관이 확장될 수 있다. 일 실시 예에 따라, 전자 장치(100)는 초음파를 방출하는 동안 “접촉 상태를 유지해 주세요.”의 안내 메시지를 디스플레이 상에 표시할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 미리 설정된 시간 동안의 초음파의 방출이 완료되면, 제3 상태(1703)가 될 수 있다. 일 실시 예에 따라, 제3 상태(1703)에서, 전자 장치(100)는 디스플레이 상에 제2 영역(1720)을 표시할 수 있다. 제2 영역(1720)은 사용자로 하여금 디스플레이 상의 다른 영역과 구분되어 인식되도록 표시될 수 있다. 제2 영역(1720)은 PPG 센서(예: 도 1의 PPG 센서(140))의 광 감지기(예: 도 1의 광 감지기(143))의 객체 인식 영역일 수 있다. 일 실시 예에 따라, 전자 장치(100)는 영상 센서(예: 카메라(1750)의 CMOS 이미지 센서)를 PPG 센서의 광 감지기로 사용할 수 있다. 따라서 일 실시 예에 따라, 제2 영역(1720)은 전자 장치(100)의 카메라(1750)에 대응되는 영역을 포함할 수 있다.
일 실시 예에 따라, 제3 상태(1703)에서, 전자 장치(100)는 제2 영역(1720)을 디스플레이 상에 표시하면서, “표시된 영역에 측정부위를 접촉시켜 주세요.”의 안내 메시지를 함께 표시할 수 있다.
일 실시 예에 따라, 제3 상태(1703)에서, 전자 장치(100)는 제2 영역(1720)의 적어도 일부에 접촉된 객체(220)(예를 들면, 사용자의 손가락)를 감지할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 객체(220)를 감지함으로써 제4 상태(1704)가 될 수 있다.
일 실시 예에 따라, 제4 상태(1704)에서, 전자 장치(100)는, 객체(220)의 감지에 대응하여 광원(예: 도 1의 광원(141))을 이용하여 광을 방출할 수 있다. 일 실시 예에 따라, 광원은, 제2 영역(1720)에 대응되는 디스플레이 패널 상의 광원(예: OLED)일 수 있다.
일 실시 예에 따라, 제4 상태(1704)에서, 전자 장치(100)는 카메라(1750)의 광 감지 센서를 이용하여 객체(220)로부터 반사된 광을 감지할 수 있다. 일 실시 예에 따라 카메라(1750)의 광 감지 센서는 CMOS 이미지 센서일 수 있다.
일 실시 예에 따라, 제4 상태(1704)에서, 전자 장치(100)는 객체(220)의 감지에 대응하여 광원(카메라(1750) 주변의 OLED), 및 광 감지기(카메라(1750)의 CMOS 이미지 센서)를 동작시키면서, “PPG 신호를 측정 중입니다. 종료를 알릴 때까지 접촉 상태를 유지해 주세요.”의 안내 메시지를 디스플레이 상에 표시할 수 있다.
일 실시 예에 따르면, 본 문서에 개시되는 전자 장치(100)는 PPG 센서를 별도로 포함하고 있지 않은 경우에도 디스플레이 광원(예: OLED) 및 영상 센서(예: 카메라(1750)의 CMOS 이미지 센서)를 이용하여 PPG 신호를 측정할 수 있다.
일 실시 예에 따르면, 본 문서에 개시되는 전자 장치(100)는 영상 센서(예: 카메라(1750))를 통해 획득된 2차원 어레이 픽셀의 정보를 합함으로써 PPG 신호를 획득할 수 있다. 일 실시 예에 따르면, 초음파에 의해 혈관이 확장된 상태의 객체(220)로부터 반사된 광을 감지함으로써 2차원 어레이의 각 픽셀로부터 신호 성분이 증가한 PPG 신호를 획득할 수 있다. 따라서, 일 실시 예에 따른 전자 장치(100)의 영상 센서가 롤링 셔터(rolling shutter) 방식으로 영상을 촬영하는 경우, 2차원 어레이의 로우(row) 별로 픽셀 값을 합함으로써 PPG 신호를 획득할 수 있다. 일 실시 예에 따라, 로우(row) 별로 픽셀 값을 합함으로써 2차원 어레이의 전체 픽셀 값을 합하는 경우보다 신호 처리 속도(sampling rate)를 증가시킬 수 있다.
따라서, 일 실시 예에 따른 전자 장치(100)는, 디스플레이 광원(예: OLED) 및 영상 센서(예: 카메라(1750)의 CMOS 이미지 센서)를 이용하여 획득한 PPG 신호를 기반으로, 상대적으로 높은 판독 속도(readout speed)가 요구되는 정보(예: HRV(heart rate variability), SpO2(경피적산소포화도), 혈압, 또는 혈당) 또한 획득할 수 있다.
도 18은, 다양한 실시예들에 따른, 네트워크 환경(1800) 내의 전자 장치(1801)의 블럭도이다. 도 18을 참조하면, 네트워크 환경(1800)에서 전자 장치(1801)는 제 1 네트워크(1898)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1802)와 통신하거나, 또는 제 2 네트워크(1899)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1804) 또는 서버(1808)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1801)는 서버(1808)를 통하여 전자 장치(1804)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1801)는 프로세서(1820), 메모리(1830), 입력 장치(1850), 음향 출력 장치(1855), 표시 장치(1860), 오디오 모듈(1870), 센서 모듈(1876), 인터페이스(1877), 햅틱 모듈(1879), 카메라 모듈(1880), 전력 관리 모듈(1888), 배터리(1889), 통신 모듈(1890), 가입자 식별 모듈(1896), 또는 안테나 모듈(1897)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1801)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1860) 또는 카메라 모듈(1880))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1876)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1860)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1820)는, 예를 들면, 소프트웨어(예: 프로그램(1840))를 실행하여 프로세서(1820)에 연결된 전자 장치(1801)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1820)는 다른 구성요소(예: 센서 모듈(1876) 또는 통신 모듈(1890))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1832)에 로드하고, 휘발성 메모리(1832)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1834)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1820)는 메인 프로세서(1821)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1823)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1823)는 메인 프로세서(1821)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1823)는 메인 프로세서(1821)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1823)는, 예를 들면, 메인 프로세서(1821)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1821)를 대신하여, 또는 메인 프로세서(1821)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1821)와 함께, 전자 장치(1801)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1860), 센서 모듈(1876), 또는 통신 모듈(1890))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1823)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1880) 또는 통신 모듈(1890))의 일부로서 구현될 수 있다.
메모리(1830)는, 전자 장치(1801)의 적어도 하나의 구성요소(예: 프로세서(1820) 또는 센서모듈(1876))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1840)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1830)는, 휘발성 메모리(1832) 또는 비휘발성 메모리(1834)를 포함할 수 있다.
프로그램(1840)은 메모리(1830)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1842), 미들 웨어(1844) 또는 어플리케이션(1846)을 포함할 수 있다.
입력 장치(1850)는, 전자 장치(1801)의 구성요소(예: 프로세서(1820))에 사용될 명령 또는 데이터를 전자 장치(1801)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1850)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1855)는 음향 신호를 전자 장치(1801)의 외부로 출력할 수 있다. 음향 출력 장치(1855)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1860)는 전자 장치(1801)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1860)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(1860)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1870)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1870)은, 입력 장치(1850)를 통해 소리를 획득하거나, 음향 출력 장치(1855), 또는 전자 장치(1801)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1802))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1876)은 전자 장치(1801)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1876)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1877)는 전자 장치(1801)가 외부 전자 장치(예: 전자 장치(1802))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1877)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1878)는, 그를 통해서 전자 장치(1801)가 외부 전자 장치(예: 전자 장치(1802))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1878)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1879)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1879)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1880)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1880)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1888)은 전자 장치(1801)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(1888)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1889)는 전자 장치(1801)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1889)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1890)은 전자 장치(1801)와 외부 전자 장치(예: 전자 장치(1802), 전자 장치(1804), 또는 서버(1808))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1890)은 프로세서(1820)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1890)은 무선 통신 모듈(1892)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1894)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1898)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1899)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치(1804)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1892)은 가입자 식별 모듈(1896)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1898) 또는 제 2 네트워크(1899)와 같은 통신 네트워크 내에서 전자 장치(1801)를 확인 및 인증할 수 있다.
안테나 모듈(1897)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(1897)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1897)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1898) 또는 제 2 네트워크(1899)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1890)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1890)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1897)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1899)에 연결된 서버(1808)를 통해서 전자 장치(1801)와 외부의 전자 장치(1804)간에 송신 또는 수신될 수 있다. 외부 전자 장치(1802, 1804) 각각은 전자 장치(1801)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1801)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1802, 1804, 또는 1808) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1801)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1801)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1801)로 전달할 수 있다. 전자 장치(1801)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(100) 또는 도 18의 전자 장치(1801)))는 광원(예: 도 1의 광원(141)) 및 광 감지기(예: 도 1의 광 감지기(143))를 포함하는 PPG(Photoplethysmography) 센서(예: 도 1의 PPG 센서(140), 또는 도 3의 PPG 센서(340)), 초음파 장치(예: 도 1의 초음파 장치(110)), 상기 PGG 센서 및 상기 초음파 장치와 작동적으로 연결된 적어도 하나의 프로세서(예: 도 1의 프로세서(120)), 및 상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리(예: 도 1의 메모리(130))를 포함하고, 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 광 감지기에 의해 감지된 광을 기반으로 PPG 신호를 획득하고, 상기 PPG 신호의 품질을 나타내는 지표 값에 기반하여 상기 초음파 장치의 동작을 제어하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 초음파 장치를 이용하여 초음파를 방출하는 동작 및 상기 PPG 센서를 이용하여 광을 감지하는 동작을 순차적으로 또는 동시에 수행하도록 할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 지표 값이 임계 값 이상이라고 판단함에 따라 상기 초음파 장치가 초음파를 방출하지 않도록 제어하고, 상기 지표 값이 상기 임계 값 미만이라고 판단함에 따라 상기 초음파 장치가 초음파를 방출하도록 제어하도록 할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 지표 값이 임계 값 이상이라고 판단함에 따라 상기 PPG 신호를 기반으로 심박 정보, 호흡 정보, 스트레스 정보, 혈압 정보, 또는 혈류량 정보 중 적어도 하나를 추출하고, 상기 지표 값이 상기 임계 값 미만이라고 판단함에 따라 상기 초음파 장치를 통해 방출되는 초음파의 세기를 조절하도록 할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 지표 값이 상기 임계 값 미만이라고 판단함에 따라 상기 초음파 장치를 통해 방출되는 초음파의 방출 시간을 더 조절하도록 할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 지표 값이 제1 값이라고 판단함에 따라 상기 초음파 장치가 제1 초음파 세기를 갖는 초음파를 방출하도록 하고, 상기 지표 값이 제2 값이라고 판단함에 따라 상기 초음파 장치가 제2 초음파 세기를 갖는 초음파를 방출하도록 하고, 상기 제2 값이 상기 제1 값보다 낮으며, 상기 제2 초음파 세기는 상기 제1 초음파 세기보다 강할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 지표 값이 제1 값이라고 판단함에 따라 상기 초음파 장치가 제1 시간 동안 초음파를 방출하도록 하고, 상기 지표 값이 제2 값이라고 판단함에 따라 상기 초음파 장치가 제2 시간 동안 초음파를 방출하도록 하고, 상기 제2 값이 상기 제1 값보다 낮으며, 상기 제2 시간은 상기 제1 시간보다 길 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파 장치는 상기 전자 장치의 디스플레이 패널(예: 도 2의 디스플레이 패널(230) 또는 도 18의 표시 장치(1860))의 일면 상에서 내려다보았을 때 상기 광원 및 상기 광 감지기의 사이에 놓이도록 배치되어 있을 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파 장치의 중심이 상기 광원 및 상기 광 감지기의 중앙에 놓이도록 배치되어 있을 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파 장치는 제1 초음파 발생기 및 제2 초음파 발생기를 포함하고, 상기 인스트럭션들은 상기 프로세서가, 상기 제1 초음파 발생기가 제1 초음파를 방출하고, 상기 제2 초음파 발생기가 제2 초음파를 방출하도록 하고, 상기 제1 초음파의 위상과 상기 제2 초음파의 위상이 동일할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파 장치는 제1 초음파 발생기 및 제2 초음파 발생기를 포함하고, 상기 인스트럭션들은 상기 프로세서가, 상기 제1 초음파 발생기가 상기 광원 및 상기 광 감지기의 사이에 위치하는 초점을 향하여 제1 초음파를 방출하고, 상기 제2 초음파 발생기가 상기 초점을 향하여 제2 초음파를 방출하도록 할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파 장치는 제1 초음파 발생기 및 제2 초음파 발생기를 포함하고, 상기 제1 초음파 발생기가 방출하는 제1 초음파 및 상기 제2 초음파 발생기가 방출하는 제2 초음파의 빔 포밍(beam forming)의 초점이 상기 광원 및 상기 광 감지기 사이가 되도록 상기 제1 초음파 발생기 및 상기 제2 초음파 발생기가 배치되어 있을 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 초음파 장치(예: 도 1의 초음파 장치(110))를 포함하는 전자 장치(예: 도 1의 전자 장치(100) 또는 도 18의 전자 장치(1801)))의 PPG 신호 획득 방법은, 객체(예: 도 2의 객체(220))를 감지함에 따라 상기 초음파 장치가 초음파를 방출하는 동작, 상기 객체를 감지함에 따라 상기 전자 장치에 포함된 광원(예: 도 1의 광원(141))이 광을 조사하는 동작, 상기 전자 장치에 포함된 광 감지기(예: 도 1의 광 감지기(143))가 상기 객체로부터 반사된 광을 감지하는 동작, 상기 감지된 광을 기반으로 PPG 신호를 획득하는 동작, 상기 PPG 신호의 품질을 나타내는 지표 값을 계산하는 동작, 및 상기 지표 값에 기반하여 상기 초음파 장치의 동작을 제어하는 동작을 포함할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파 장치의 동작을 제어하는 동작은 상기 초음파 장치를 이용하여 초음파를 방출하는 동작을 포함하고, 상기 PPG 신호 획득 방법은, 상기 초음파를 방출하는 동작 및 상기 광을 감지하는 동작을 순차적으로 또는 동시에 수행할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파 장치의 동작을 제어하는 동작은, 상기 지표 값이 임계 값 이상이라고 판단함에 따라 상기 초음파 장치가 초음파를 방출하지 않도록 제어하고, 상기 지표 값이 상기 임계 값 미만이라고 판단함에 따라 상기 초음파 장치가 초음파를 방출하도록 제어하는 동작을 포함할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 PPG 신호 획득 방법은, 상기 지표 값이 임계 값 이상이라고 판단함에 따라, 상기 PPG 신호를 기반으로 심박 정보, 호흡 정보, 스트레스 정보, 혈압 정보, 또는 혈류량 정보 중 적어도 하나를 추출하는 동작을 수행하고, 상기 지표 값이 임계 값 미만이라고 판단함에 따라, 상기 초음파 장치가 방출하는 초음파의 세기를 조절하는 동작을 수행할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 PPG 신호 획득 방법은, 상기 지표 값이 임계 값 미만이라고 판단함에 따라 상기 초음파 장치가 방출하는 초음파의 방출 시간을 조절하는 동작을 더 수행할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 초음파의 세기를 조절하는 동작은, 상기 지표 값이 제1 값이라고 판단함에 따라, 상기 초음파 장치가 제1 초음파 세기를 갖는 초음파를 방출하도록 하고, 상기 지표 값이 제2 값이라고 판단함에 따라, 상기 초음파 장치가 제2 초음파 세기를 갖는 초음파를 방출하도록 하고, 상기 제2 값이 상기 제1 값보다 낮으며, 상기 제2 초음파 세기는 상기 제1 초음파 세기보다 강할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 PPG 신호 획득 방법은, 사용자의 입력에 의해 PPG 신호를 측정하는 어플리케이션(application)이 실행됨에 따라 상기 전자 장치의 디스플레이(예: 도 2의 디스플레이 패널(230) 또는 도 18의 표시 장치(1860)) 상에 제1 영역을 표시하는 동작을 더 포함하고, 상기 제1 영역의 적어도 일부에 접촉된 객체의 감지에 대응하여 상기 초음파를 방출하는 동작을 수행할 수 있다.
본 문서에 개시된 일 실시 예에 따르면, 상기 PPG 신호 획득 방법은, 상기 광을 조사하는 동작 이전에 상기 디스플레이 상에 제2 영역을 표시하는 동작을 더 포함하고, 상기 제2 영역의 적어도 일부에 접촉된 객체의 감지에 대응하여 상기 광을 조사하는 동작을 수행할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1801)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1836) 또는 외장 메모리(1838))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1840))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1801))의 프로세서(예: 프로세서(1820))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    광원 및 광 감지기를 포함하는 PPG(Photoplethysmography) 센서;
    초음파 장치;
    상기 PGG 센서, 및 상기 초음파 장치와 작동적으로 연결된 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가,
    상기 광 감지기에 의해 감지된 광을 기반으로 PPG 신호를 획득하고,
    상기 PPG 신호의 품질을 나타내는 지표 값에 기반하여 상기 초음파 장치의 동작을 제어하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 초음파 장치를 이용하여 초음파를 방출하는 동작 및 상기 PPG 센서를 이용하여 광을 감지하는 동작을 순차적으로 또는 동시에 수행하도록 하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 지표 값이 임계 값 이상이라고 판단함에 따라 상기 초음파 장치가 초음파를 방출하지 않도록 제어하고, 상기 지표 값이 상기 임계 값 미만이라고 판단함에 따라 상기 초음파 장치가 초음파를 방출하도록 제어하도록 하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 지표 값이 임계 값 이상이라고 판단함에 따라 상기 PPG 신호를 기반으로 심박 정보, 호흡 정보, 스트레스 정보, 혈압 정보, 또는 혈류량 정보 중 적어도 하나를 추출하고, 상기 지표 값이 상기 임계 값 미만이라고 판단함에 따라 상기 초음파 장치를 통해 방출되는 초음파의 세기를 조절하도록 하는, 전자 장치.
  5. 청구항 4에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 지표 값이 상기 임계 값 미만이라고 판단함에 따라 상기 초음파 장치를 통해 방출되는 초음파의 방출 시간을 더 조절하도록 하는, 전자 장치.
  6. 청구항 4에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 지표 값이 제1 값이라고 판단함에 따라 상기 초음파 장치가 제1 초음파 세기를 갖는 초음파를 방출하도록 하고, 상기 지표 값이 제2 값이라고 판단함에 따라 상기 초음파 장치가 제2 초음파 세기를 갖는 초음파를 방출하도록 하고,
    상기 제2 값이 상기 제1 값보다 낮으며, 상기 제2 초음파 세기는 상기 제1 초음파 세기보다 강한, 전자 장치.
  7. 청구항 5에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 지표 값이 제1 값이라고 판단함에 따라 상기 초음파 장치가 제1 시간 동안 초음파를 방출하도록 하고, 상기 지표 값이 제2 값이라고 판단함에 따라 상기 초음파 장치가 제2 시간 동안 초음파를 방출하도록 하고,
    상기 제2 값이 상기 제1 값보다 낮으며, 상기 제2 시간은 상기 제1 시간보다 긴, 전자 장치.
  8. 청구항 1에 있어서,
    상기 초음파 장치는 상기 전자 장치의 디스플레이 패널의 일면 상에서 내려다보았을 때 상기 광원 및 상기 광 감지기의 사이에 놓이도록 배치되어 있는, 전자 장치.
  9. 청구항 8에 있어서,
    상기 초음파 장치의 중심이 상기 광원 및 상기 광 감지기의 중앙에 놓이도록 배치되어 있는, 전자 장치.
  10. 청구항 9에 있어서,
    상기 초음파 장치는 제1 초음파 발생기 및 제2 초음파 발생기를 포함하고,
    상기 인스트럭션들은 상기 프로세서가,
    상기 제1 초음파 발생기가 제1 초음파를 방출하고, 상기 제2 초음파 발생기가 제2 초음파를 방출하도록 하고,
    상기 제1 초음파의 위상과 상기 제2 초음파의 위상이 동일한, 전자 장치.
  11. 청구항 1에 있어서,
    상기 초음파 장치는 제1 초음파 발생기 및 제2 초음파 발생기를 포함하고,
    상기 인스트럭션들은 상기 프로세서가,
    상기 제1 초음파 발생기가 상기 광원 및 상기 광 감지기의 사이에 위치하는 초점을 향하여 제1 초음파를 방출하고,
    상기 제2 초음파 발생기가 상기 초점을 향하여 제2 초음파를 방출하도록 하는, 전자 장치.
  12. 청구항 1에 있어서,
    상기 초음파 장치는 제1 초음파 발생기 및 제2 초음파 발생기를 포함하고,
    상기 제1 초음파 발생기가 방출하는 제1 초음파 및 상기 제2 초음파 발생기가 방출하는 제2 초음파의 빔 포밍(beam forming)의 초점이 상기 광원 및 상기 광 감지기 사이가 되도록 상기 제1 초음파 발생기 및 상기 제2 초음파 발생기가 배치되어 있는, 전자 장치.
  13. 초음파 장치를 포함하는 전자 장치의 PPG 신호 획득 방법에 있어서,
    객체를 감지함에 따라 상기 초음파 장치가 초음파를 방출하는 동작;
    상기 객체를 감지함에 따라 상기 전자 장치에 포함된 광원이 광을 조사하는 동작;
    상기 전자 장치에 포함된 광 감지기가 상기 객체로부터 반사된 광을 감지하는 동작;
    상기 감지된 광을 기반으로 PPG 신호를 획득하는 동작;
    상기 PPG 신호의 품질을 나타내는 지표 값을 계산하는 동작; 및
    상기 지표 값에 기반하여 상기 초음파 장치의 동작을 제어하는 동작을 포함하는, 초음파 장치를 포함하는 전자 장치의 PPG 신호 획득 방법.
  14. 청구항 13에 있어서,
    상기 PPG 신호 획득 방법은,
    사용자의 입력에 의해 PPG 신호를 측정하는 어플리케이션(application)이 실행됨에 따라 상기 전자 장치의 디스플레이 상에 제1 영역을 표시하는 동작을 더 포함하고,
    상기 제1 영역의 적어도 일부에 접촉된 객체의 감지에 대응하여 상기 초음파를 방출하는 동작을 수행하는, 초음파 장치를 포함하는 전자 장치의 PPG 신호 획득 방법.
  15. 청구항 14에 있어서,
    상기 PPG 신호 획득 방법은,
    상기 광을 조사하는 동작 이전에 상기 디스플레이 상에 제2 영역을 표시하는 동작을 더 포함하고,
    상기 제2 영역의 적어도 일부에 접촉된 객체의 감지에 대응하여 상기 광을 조사하는 동작을 수행하는, 초음파 장치를 포함하는 전자 장치의 PPG 신호 획득 방법.
PCT/KR2021/007409 2020-07-13 2021-06-14 초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법 Ceased WO2022014872A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/151,882 US12285245B2 (en) 2020-07-13 2023-01-09 Electronic device comprising ultrasonic device and PPG signal acquisition method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200086000A KR20220007999A (ko) 2020-07-13 2020-07-13 초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법
KR10-2020-0086000 2020-07-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/151,882 Continuation US12285245B2 (en) 2020-07-13 2023-01-09 Electronic device comprising ultrasonic device and PPG signal acquisition method thereof

Publications (1)

Publication Number Publication Date
WO2022014872A1 true WO2022014872A1 (ko) 2022-01-20

Family

ID=79554886

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007409 Ceased WO2022014872A1 (ko) 2020-07-13 2021-06-14 초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법

Country Status (3)

Country Link
US (1) US12285245B2 (ko)
KR (1) KR20220007999A (ko)
WO (1) WO2022014872A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024013267A1 (en) * 2022-07-12 2024-01-18 Cortery AB Wearable and automated ultrasound therapy devices and methods

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240082543A (ko) * 2022-12-02 2024-06-11 경북대학교 산학협력단 광전용적맥파 신호를 이용한 사람 식별 장치 및 그 방법
US20240423545A1 (en) * 2023-06-22 2024-12-26 Stmicroelectronics International N.V. Non-invasive vital signs monitoring on a mobile device using an under-display optical sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296254A (ja) * 2004-04-09 2005-10-27 Toshiba Corp 超音波診断装置
KR20100048359A (ko) * 2008-10-31 2010-05-11 주식회사 메디슨 초음파 영상과 함께 부가 정보를 제공하는 초음파 시스템
WO2014181904A1 (ko) * 2013-05-10 2014-11-13 알피니언메디칼시스템 주식회사 혈류량의 변화 정보에 기초한 초음파 트랜스듀서의 출력 조절 방법 및 장치
JP2017158610A (ja) * 2016-03-07 2017-09-14 セイコーエプソン株式会社 血圧測定装置および血圧測定方法
US20190133533A1 (en) * 2017-11-06 2019-05-09 Tata Consultancy Services Limited System and method for photoplethysmogram (ppg) signal quality assessment

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006082966A1 (ja) 2005-02-07 2008-06-26 松下電器産業株式会社 超音波診断装置
US7771418B2 (en) * 2005-03-09 2010-08-10 Sunnybrook Health Sciences Centre Treatment of diseased tissue using controlled ultrasonic heating
PL1863387T3 (pl) * 2005-03-16 2013-11-29 Or Nim Medical Ltd Nieinwazyjne pomiary w ludzkim ciele
WO2010143271A1 (ja) 2009-06-09 2010-12-16 独立行政法人産業技術総合研究所 血管機能検査装置
KR102006035B1 (ko) 2011-04-14 2019-07-31 리전츠 오브 더 유니버스티 오브 미네소타 초음파 촬영을 이용한 관 특성기술
US9554724B2 (en) * 2013-12-11 2017-01-31 Samsung Electronics Co., Ltd. Self-aligning sensor array
KR20150082038A (ko) 2014-01-07 2015-07-15 삼성전자주식회사 전자 장치 및 광혈류 측정 방법
PL3126002T3 (pl) * 2014-04-04 2020-11-16 Photosonix Medical, Inc. Sposoby, urządzenia i systemy do traktowania bakterii energią naprężenia mechanicznego i energią elektromagnetyczną
JP6424507B2 (ja) * 2014-07-28 2018-11-21 コニカミノルタ株式会社 超音波トランスデューサ及び超音波診断装置
US10186014B2 (en) * 2015-01-06 2019-01-22 Samsung Electronics Co., Ltd. Information display method and electronic device for supporting the same
US10842464B2 (en) * 2015-05-28 2020-11-24 Koninklijke Philips N.V. Apparatus and method for determining blood flow velocity
US10181072B2 (en) * 2016-03-22 2019-01-15 Qualcomm Incorporated Rollable biometric measuring device
US10839240B2 (en) * 2017-06-22 2020-11-17 Fingerprint Cards Ab Method of enrolling a fingerprint
EP3417770A1 (en) 2017-06-23 2018-12-26 Koninklijke Philips N.V. Device, system and method for detection of pulse and/or pulse-related information of a patient
KR102724372B1 (ko) 2017-08-09 2024-10-30 더 보드 오브 트러스티즈 오프 더 리랜드 스탠포드 쥬니어 유니버시티 인터랙티브 생체 터치 스캐너
JP7158796B2 (ja) 2017-12-07 2022-10-24 株式会社アドバンテスト 光超音波測定装置、方法、プログラム、記録媒体
KR102145434B1 (ko) 2018-08-22 2020-08-18 주식회사 셀바스헬스케어 심혈관 분석기
KR102631709B1 (ko) 2018-09-18 2024-01-31 삼성전자주식회사 생체신호 획득 장치 및 방법과, 생체정보 추정 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296254A (ja) * 2004-04-09 2005-10-27 Toshiba Corp 超音波診断装置
KR20100048359A (ko) * 2008-10-31 2010-05-11 주식회사 메디슨 초음파 영상과 함께 부가 정보를 제공하는 초음파 시스템
WO2014181904A1 (ko) * 2013-05-10 2014-11-13 알피니언메디칼시스템 주식회사 혈류량의 변화 정보에 기초한 초음파 트랜스듀서의 출력 조절 방법 및 장치
JP2017158610A (ja) * 2016-03-07 2017-09-14 セイコーエプソン株式会社 血圧測定装置および血圧測定方法
US20190133533A1 (en) * 2017-11-06 2019-05-09 Tata Consultancy Services Limited System and method for photoplethysmogram (ppg) signal quality assessment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024013267A1 (en) * 2022-07-12 2024-01-18 Cortery AB Wearable and automated ultrasound therapy devices and methods

Also Published As

Publication number Publication date
US20230157561A1 (en) 2023-05-25
US12285245B2 (en) 2025-04-29
KR20220007999A (ko) 2022-01-20

Similar Documents

Publication Publication Date Title
WO2019190156A1 (en) Electronic device with movable flexible display and operating method thereof
WO2019164280A1 (en) Flexible electronic device including optical sensor and method of operating same
WO2016018108A1 (en) Apparatus and method for enhancing accuracy of a contactless body temperature measurement
WO2019203554A1 (en) Electronic device and method of controlling electronic device
WO2022014872A1 (ko) 초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법
WO2019083304A1 (en) WIRELESS POWER TRANSMISSION COIL DEVICE
WO2016133349A1 (ko) 생체 정보를 측정하는 전자 장치 및 방법
WO2020190060A1 (en) Electronic device for measuring blood pressure and method for measuring blood pressure
WO2020171457A1 (en) Electronic device including meditation application
WO2019164290A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2020171563A1 (en) Electronic device and method for controlling operation of display in same
WO2021071111A1 (en) Electronic device including point detector and biometric information obtaining method using the same
WO2018143696A1 (ko) 복수의 이미지들간의 변화에 기반하여 동영상을 촬영하는 전자 장치 및 그 제어 방법
WO2017171137A1 (ko) 보청장치, 휴대장치 및 그 제어방법
WO2018135671A1 (ko) 피부 케어 기기 및 그의 피부 측정 방법
WO2018190648A1 (ko) 무인 비행 장치를 제어하는 전자 장치, 그에 의해 제어되는 무인 비행 장치 및 시스템
WO2018097683A1 (ko) 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2019231042A1 (ko) 생체 인증 장치
WO2020111575A1 (en) Biometric sensor module and electronic device including the same
WO2022220384A1 (ko) 생체 정보 검출 방법 및 이를 지원하는 전자 장치
WO2022071773A1 (ko) 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램
WO2021177701A1 (ko) 광을 이용하여 생체 신호를 측정하는 전자 장치 및 그의 동작 방법
WO2024072128A1 (ko) 지문 센서를 포함하는 전자 장치 및 이의 동작 방법
WO2023022346A1 (ko) 디스플레이를 포함하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21841369

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21841369

Country of ref document: EP

Kind code of ref document: A1