[go: up one dir, main page]

WO2023038243A1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023038243A1
WO2023038243A1 PCT/KR2022/008763 KR2022008763W WO2023038243A1 WO 2023038243 A1 WO2023038243 A1 WO 2023038243A1 KR 2022008763 W KR2022008763 W KR 2022008763W WO 2023038243 A1 WO2023038243 A1 WO 2023038243A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
sensor
parallelism
waveguide
input area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/008763
Other languages
English (en)
French (fr)
Inventor
정영모
곽규섭
류재열
윤정근
최명조
최종철
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP22867512.0A priority Critical patent/EP4382989A4/en
Priority to US17/877,413 priority patent/US12416803B2/en
Publication of WO2023038243A1 publication Critical patent/WO2023038243A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Definitions

  • the present disclosure relates to an electronic device that automatically adjusts the focus of a projection lens to provide a high-quality virtual image, and an operating method thereof.
  • Augmented reality is a technology that projects a virtual image onto a physical environment space or a real world object in the real world and displays it as a single image.
  • An augmented reality device allows a user to view a real scene and a virtual image together through a see-through type display module placed in front of the user's eyes while being worn on the user's face or head.
  • a method for automatically adjusting the focus of a projection lens providing light of a virtual image in order to provide various augmented reality services using virtual images, such as allowing the augmented reality device to clearly show the virtual image on a real scene. research is required.
  • an electronic device and an operating method for automatically adjusting the focus of a projection lens to provide a high quality virtual image.
  • the technical problem to be solved is not limited to the technical problems described above, and other technical problems may exist.
  • An electronic device includes an optical engine including a projection lens configured to project light of a virtual image, a wave guide including an input area into which light of a virtual image is incident, and a projection lens.
  • An actuator for adjusting the position of the projection lens based on an optical axis, an optical sensor for detecting light transmitted through an input area, a memory for storing one or more instructions, and a processor for executing one or more instructions stored in the memory, wherein the processor , by executing one or more instructions, obtaining a degree of parallelism of the light detected by the light sensor, obtaining a position adjustment value of the projection lens for detecting the parallel light, based on the degree of parallelism of the light, and, based on the position adjustment value, a projection
  • the actuator can be controlled to adjust the distance between the lens and the wave guide.
  • the input gating is provided on the first surface of the wave guide and includes a diffraction grating so that light incident to the wave guide through the input gating changes an optical path within the wave guide.
  • the optical sensor is provided on a second surface of the waveguide opposite to the first surface, and is configured to receive light that is not diffracted in the waveguide among light transmitted through the input area.
  • the optical sensor includes an image sensor, and the processor uses the image sensor to generate the virtual image based on light transmitted through the transmission region without being diffracted in the waveguide among light transmitted through the input region.
  • a contrast value of a predetermined pixel area may be detected, and a degree of parallelism of light passing through the input area may be obtained based on the detected contrast value.
  • the optical sensor may include a photodiode sensor, and the photodiode sensor may be configured to receive light diffracted from a diffraction area facing the input area, among light that passes through the input area and is not diffracted in the waveguide.
  • the processor may detect an intensity of light diffracted from a diffraction region opposite to the input region using the photodiode sensor, and obtain parallelism of light based on the detected intensity of light.
  • an operating method of an electronic device including a projection lens for projecting light of a virtual image includes an input of a wave guide into which light of a virtual image is incident by an optical sensor of the electronic device. Detecting the light transmitted through the area, obtaining the parallelism of the light detected by the optical sensor, obtaining, based on the parallelism of the light, a position adjustment value of the projection lens to detect the parallel light, and determining the position adjustment value Based on the method, controlling an actuator of the electronic device to adjust a distance between the projection lens and the wave guide may be included.
  • the input area is formed on a first surface of the waveguide and includes a diffraction grating so that light incident to the waveguide through the input area changes an optical path within the waveguide, and the optical sensor comprises the It may be formed on a second surface of the waveguide opposite to the first surface, and may be configured to receive light that is not diffracted within the waveguide among light transmitted through the input area.
  • the optical sensor includes a phase difference sensor including two optical sensors disposed spaced apart from each other, and the detecting of the light is the light transmitted through the transmission region without being diffracted in the wave guide among the light transmitted through the input region. based on light, detecting a phase difference through the two optical sensors, and obtaining parallelism of the light includes acquiring a parallelism of light transmitted through the input area based on the detected phase difference can do.
  • the detecting of the light includes detecting an intensity of light diffracted from a diffraction area facing the input area using the photodiode sensor, and the obtaining of the parallelism of the light is based on the intensity of the detected light. It may include the step of obtaining the parallelism of the light by doing.
  • a computer-readable non-transitory record in which a program for performing a method of operating an electronic device including a projection lens configured to project light of a virtual image in a computer is recorded.
  • a medium is provided, and the operating method includes an operation of detecting, by an optical sensor of the electronic device, light transmitted through an input area of a waveguide into which light of the virtual image is incident, and a degree of parallelism of the light detected by the optical sensor. obtaining, based on the parallelism of the light, acquiring a position adjustment value of the projection lens to detect parallel light, and adjusting a distance between the projection lens and the waveguide based on the position adjustment value; It may include operations to control actuators of the device.
  • the input area is formed on a first surface of the waveguide and includes a diffraction grating so that light incident to the waveguide through the input area changes an optical path within the waveguide, and the optical sensor comprises the It may be formed on a second surface of the waveguide opposite to the first surface, and may be configured to receive light that is not diffracted within the waveguide among light transmitted through the input area.
  • the optical sensor includes a phase difference sensor including two optical sensors disposed spaced apart from each other, and the operation of detecting the light is performed by passing through the transmission region without being diffracted in the wave guide among the light transmitted through the input region. and detecting a phase difference based on light through the two light sensors, and obtaining a parallelism of the light includes acquiring a parallelism of the light transmitted through the input area based on the detected phase difference. can do.
  • the optical sensor may include a photodiode sensor, and the photodiode sensor may be configured to receive light diffracted from a diffraction area facing the input area, among light that passes through the input area and is not diffracted in the waveguide.
  • the operation of detecting the light includes an operation of detecting an intensity of light diffracted from a diffraction area opposite to the input area using the photodiode sensor, and the operation of obtaining parallelism of the light is based on the intensity of the detected light. It may include an operation of obtaining the parallelism of the light by doing so.
  • FIG. 1 is a diagram of an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of an electronic device according to an embodiment.
  • FIG. 4 is a diagram for explaining an optical engine and a waveguide according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a method of calculating parallelism of light using an image sensor according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of calculating parallelism of light using a phase difference sensor according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a method of calculating parallelism of light using a photodiode sensor according to an exemplary embodiment.
  • FIG. 12 is a diagram for explaining a method of calculating parallelism of light using a photodiode sensor according to an exemplary embodiment.
  • FIG. 13 is a diagram for explaining an example of parallelism of light according to a position of a projection lens according to an exemplary embodiment.
  • first and second may be used to describe various elements, but elements should not be limited by these terms. These terms are used to distinguish one component from another.
  • Some embodiments of the present disclosure may be represented as functional block structures and various processing steps. Some or all of these functional blocks may be implemented as a varying number of hardware and/or software components that perform specific functions.
  • functional blocks of the present disclosure may be implemented by one or more microprocessors or circuit configurations for a predetermined function.
  • the functional blocks of this disclosure may be implemented in various programming or scripting languages.
  • Functional blocks may be implemented as an algorithm running on one or more processors.
  • the present disclosure may employ prior art for electronic environment setting, signal processing, and/or data processing. Terms such as “mechanism”, “element”, “means” and “composition” may be used broadly and are not limited to mechanical and physical components.
  • connecting lines or connecting members between components shown in the drawings are only examples of functional connections and/or physical or circuit connections. In an actual device, connections between components may be represented by various functional connections, physical connections, or circuit connections that can be replaced or added.
  • a 'real scene' is a scene in the real world that a user sees through an augmented reality device, and may include a real world object.
  • a 'virtual image' is an image generated through an optical engine and may include both static and dynamic images. Such a virtual image is observed together with a real scene, and may be an image representing information about a real object in a real scene, information about an operation of an augmented reality device, or a control menu.
  • a typical augmented reality device uses an optical engine for generating a virtual image composed of light generated from a light source, and a transparent material that guides the virtual image generated by the optical engine to the user's eyes and allows the user to see the scene of the real world as well.
  • a formed light guide plate (Waveguide) is provided.
  • an optical element for changing the path of the basically linear light is required to guide the light generated by the optical engine to the user's eyes through the light guide plate. (Optical element) is required.
  • the light path may be changed using reflection by a mirror or the like, or the light path may be changed through diffraction by a diffraction element such as a diffractive optical element (DOE) or a holographic optical element (HOE), but is not limited thereto.
  • DOE diffractive optical element
  • HOE holographic optical element
  • 1 is a diagram for explaining an embodiment of the present disclosure.
  • the electronic device 100 may be an augmented reality device.
  • the electronic device 100 may be a device implemented in the shape of glasses that can be worn on a user's face.
  • the electronic device 100 may be a device implemented in the shape of goggles, a helmet, a hat, etc. that can be worn on the user's head, but is not limited thereto.
  • the electronic device 100 may output a virtual object of a virtual image through the display 140 (FIG. 2). Accordingly, a user wearing the electronic device 100 can observe a real world scene and a virtual object together.
  • the display 140 (FIG. 2) of the electronic device 100 may include a wave guide 142 and an optical engine 141.
  • the waveguide 142 may receive light of a virtual image projected from the optical engine 141 by facing the output surface of the optical engine 141 .
  • the light of the virtual image is projected from the optical engine 141 toward the input area 148 (input grating) of the waveguide 142, and the diffracted light diffracted within the waveguide 142 is output to the output area 149 (output grating).
  • the electronic device 100 may be output toward the eyes 50 of the user wearing the electronic device 100 . Accordingly, a user wearing the electronic device 100 may observe a virtual image through the wave guide 142 .
  • the optical engine 141 includes a light source for outputting light, an image panel 146 for forming a virtual image using the light output from the light source, and a projection lens 147 for projecting the light of the virtual image formed on the image panel 146. ) may be included.
  • the projection lens 147 may be disposed such that light projected from the projection lens 147 is incident in parallel to the input area 148 of the wave guide 142 .
  • the diffracted light diffracted in the wave guide 142 is output to the output area 149 in the form of parallel light.
  • the virtual image shown to the user's eyes 50 can be clearly recognized.
  • the arrangement position is changed due to physical distortion of the projection lens 147 or the like, or the back focus between the projection lens 147 and the image panel 146 is changed.
  • the back focal length (BFL) As the back focal length (BFL) is changed, light projected from the projection lens 147 to the input area 148 may not be parallel. In this case, when the diffracted light diffracted inside the wave guide 142 is output to the output area 149, it is not parallel, so that a virtual image seen by the user's eyes may be perceived as not clear.
  • the electronic device 100 monitors the parallelism of light projected from the projection lens 147 to the input area 148 using the optical sensor 143, and monitors the projection lens 147 so that the parallelism of the light is maintained. position can be automatically adjusted adaptively. Accordingly, the electronic device 100 may provide a clear virtual image of high quality through the wave guide 142 .
  • the optical sensor 143 disposed on the outer surface of the transmissive area 155 of the wave guide 142 may detect light transmitted through the transmissive area 155 .
  • the electronic device 100 may calculate (acquire) the degree of parallelism of light whether light detected by the light sensor 143 is incident in parallel.
  • the electronic device 100 may provide a high-definition virtual image to a user wearing the electronic device 100 by adaptively and automatically adjusting the position of the projection lens 147 .
  • the electronic device 100 may detect light projected from the projection lens 147 to the waveguide 142 using the optical sensor 143 according to a preset sensing period.
  • the sensing period may be set when manufacturing the electronic device 100 .
  • the sensing period may be changed and set by detecting a temperature change inside and outside the electronic device 100, but is not limited thereto.
  • the input area 148 (input grating) of the waveguide 142 is a predetermined diffraction grating such that light incident through the input area 148 changes an optical path within the waveguide 142.
  • the diffraction rate eg, 20%
  • the light that is not diffracted eg, 80%
  • the rear surface of the wave guide 142 means a surface facing the user's eyes 50 when the user wears the electronic device 100, and the front surface of the wave guide 142 is the rear surface. (i.e., the side of the wave guide farther from the user's eyes).
  • FIG. 1 is shown to explain an embodiment, but is not limited thereto.
  • FIG. 2 is a block diagram of an electronic device according to an embodiment.
  • the electronic device 100 may be an augmented reality device having a communication function and a data processing function and providing an augmented reality image, but is not limited thereto.
  • an electronic device 100 includes a memory 130, a processor 120, a display 140, a variable lens unit 145, a sensing unit 150, a camera 175, A communication interface 180 , a sound output interface 185 , a vibration motor 187 , a microphone 188 , and a user input interface 189 may be included.
  • the electronic device 100 may be implemented with more components than those shown in FIG. 2 , or the electronic device 100 may be implemented with fewer components than those shown in FIG. 2 .
  • the processor 120 of the electronic device 100 executes programs stored in the memory 130, thereby enabling the display 140, the variable lens unit 145, the sensing unit 150, the camera 175, and the communication interface 180. ), the sound output interface 185, the vibration motor 187, the microphone 188, the user input interface 189, and the like can be generally controlled.
  • the memory 130 may store programs to be executed by the processor 120 and may store data input to or output from the electronic device 100 .
  • the memory 130 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , an optical disk, and at least one type of storage medium.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Program Memory
  • magnetic memory magnetic disk , an optical disk, and at least one type of storage medium.
  • Programs stored in the memory 130 may be classified into a plurality of software modules according to their functions, and may include, for example, a light parallelism calculation module 131 and a position adjustment value calculation module 131. It is not limited, and may store some of them or further include other software modules.
  • the processor 120 controls overall operations of the electronic device 100 .
  • the processor 120 may control an operation or function performed by the electronic device 100 by executing instructions or programs stored in the memory 130 .
  • the processor 120 may include one or a plurality of processors.
  • the processor 120 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • the processor 120 may calculate the parallelism of the light detected by the light sensor 143 by executing the light parallelism calculating module 131 stored in the memory 130 .
  • the light sensor 143 may include at least one of an image sensor, a phase difference sensor, and a photodiode sensor.
  • the processor 120 detects a contrast value of a predetermined pixel area of the virtual image using the image sensor 161 (refer to FIG. 8 to be described later), and calculates the parallelism of light based on the detected contrast value.
  • the processor 120 may determine that parallel light is incident when the contrast value is detected to be higher than a preset value using the image sensor 161 .
  • the processor 120 detects a phase difference using two optical sensors constituting the phase difference sensor 162 (refer to FIG. 10 to be described later), and calculates the parallelism of light based on the detected phase difference. can do. For example, when the phase difference detected using the phase difference sensor 162 is detected to be lower than a preset value, the processor 120 may determine that parallel light is incident.
  • the processor 120 may calculate a position adjustment value of the projection lens 147 for detecting parallel light based on the degree of parallelism of light by executing the position adjustment value calculation module 132 stored in the memory 130 .
  • the position adjustment value of the projection lens 147 is such that light projected from the projection lens 147 is incident to the input area 148 of the wave guide 142 in parallel, the projection lens 147
  • it may mean an adjustment value including a direction to be moved based on an optical axis from the current position of the projection lens 147 and a distance to be moved.
  • the processor 120 calculates a position adjustment value including a movement direction and a movement distance of the projection lens 147 when it is determined by the light parallelism calculation module 131 that parallel light is not incident. can do.
  • the position adjustment value may include information on which the projection lens 147 should be moved by a predetermined mm in an up, down, left, or right direction based on an optical axis.
  • the position adjustment value may be calculated based on a position adjustment algorithm of a predetermined projection lens.
  • the position control algorithm may be a method of finding an optimal position while adjusting the movement distance at a narrower interval after roughly moving in the direction in which the projection lens will move, but is not limited thereto.
  • the position control algorithm may be a method of finding an optimal position by relatively elaborately calculating the direction and distance in which the projection lens moves.
  • the processor 120 may control the actuator to adjust the position of the projection lens 147 based on the calculated position adjustment value.
  • the display 140 may output information processed by the processor 120 .
  • the display 140 may display a virtual object.
  • the display 140 may provide augmented reality (AR) images.
  • the display 140 may include a wave guide 142 and an optical engine 141.
  • the waveguide 142 may be made of a transparent material in which a portion of the rear surface is visible.
  • the wave guide 142 may be composed of a single- or multi-layer flat plate made of a transparent material through which light is reflected and propagated therein.
  • the waveguide 142 may receive light of a virtual image projected from the optical engine 141 by facing the output surface of the optical engine 141 .
  • the transparent material means a material through which light can pass, and the transparency may not be 100% and may have a predetermined color.
  • the variable lens unit 145 may be mounted in the electronic device 100 to assist a visual field defect of the user's eyes.
  • the variable lens unit 145 may be arranged to overlap the wave guide 142 so as to face the user's eyes.
  • the variable lens unit 145 may be generally implemented as a liquid lens or a liquid crystal lens.
  • the variable lens unit 145 may be implemented as a liquid lens in a form in which a flexible plastic membrane surrounds a transparent fluid. As the fluid in the variable lens unit 145 moves according to the electric signal applied to the variable lens unit 145, the refractive power of the variable lens unit 145 may be changed.
  • the variable lens unit 145 may be implemented as a liquid crystal lens in which transparent electrodes are installed on both sides of a transparent liquid crystal layer. The arrangement of the liquid crystals in the liquid crystal layer is changed according to the electrical signal applied to the transparent electrode, so that the path of light passing through the liquid crystal lens is changed and the refractive power of the variable lens unit 145 can be changed accordingly.
  • the refractive power of the variable lens unit 1350 is applied to the electrode so that the refractive power corresponds to the diopter value (eg... -3D, -2D, -1D, 0, 1D, 2D, 3D).
  • An electrical signal or voltage value may be set in advance, and when the electrical signal or voltage is applied to the electrode, a corresponding diopter refractive power may be applied to the variable lens unit 145 .
  • the present invention is not limited thereto, and for example, a value of an electric signal or voltage applied to an electrode may be set in advance so that the refractive power of the variable lens unit 145 can be continuously changed.
  • variable lens unit 145 may include a variable lens unit for the left eye and a variable lens unit for the right eye.
  • the sensing unit 150 may include, for example, a motion sensor 151 , a gaze tracking sensor 152 , and a depth sensor 153 .
  • the motion sensor 151 may be an Inertial Measurement Unit (IMU).
  • IMU Inertial Measurement Unit
  • An IMU may be a combination of sensors configured to sense motion, ie position and orientation changes, of an object in three-dimensional space.
  • the combination of sensors may include accelerometers, gyrometers, geomagnetism, and gyroscopes.
  • the motion sensor 155 may include at least one of an acceleration sensor, a magnetic sensor, or a gyroscope sensor.
  • the gaze tracking sensor 152 may detect gaze information of the user's eyes.
  • the gaze information may include at least one of a gaze direction from which the user's eyes look, a location of the pupil of the user's eyes, and coordinates of a central point of the pupil.
  • the gaze tracking sensor 152 may provide light to the user's eye (left eye or right eye) and detect an amount of light reflected from the user's eye.
  • the gaze tracking sensor 152 may detect a gaze direction of the user's eyes, a pupil position of the user's eyes, and coordinates of a central point of the pupil, based on the detected amount of light.
  • the gaze tracking sensor 152 may obtain an image reflected in the user's eyes by photographing the user's eyes.
  • the depth sensor 153 may obtain depth information of an object in various ways.
  • the depth sensor 153 may obtain depth information using at least one of a time of flight (TOF) method, a structured light method, and a stereo image method.
  • TOF time of flight
  • the depth sensor 153 of the stereo image method generally consists of two or more cameras.
  • the depth sensor 153 may sense depth information of a real object included in a real scene viewed through the wave guide 142 by a user wearing the electronic device 100 .
  • the processor 120 may obtain whether or not there is a real object in front of the electronic device 100, a direction of the real object, and a distance based on depth information of the real object sensed through the depth sensor 153.
  • the depth sensor 153 may sense depth information of fingers of a user's hand wearing the electronic device 100 .
  • the processor 120 may obtain a gesture input of the user's hand by recognizing a shape of the user's hand, a movement pattern of the user's hand, etc. based on the depth information of the fingers sensed through the depth sensor 153 .
  • An image captured through the image sensor may be processed through the processor 120 or a separate image processing unit. Also, the captured image may be displayed through the display 140 .
  • Two or more cameras 175 may be provided according to configuration aspects of the electronic device 100 .
  • the camera 175 may acquire an image including a real scene by photographing the periphery of the electronic device 100 .
  • the communication interface 180 may include one or more components enabling communication between the electronic device 100 and the external server 200 or an external device.
  • the short range communication unit includes a Bluetooth communication unit, a short range wireless communication unit (NFC/RFID unit), a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared data association (IrDA) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like. It may include, but is not limited to.
  • the mobile communication unit transmits and receives radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the radio signal may include a voice call signal, a video call signal, or various types of data according to text/multimedia message transmission/reception.
  • the audio output interface 185 outputs audio data received from the communication interface 180 or stored in the memory 130 . Also, the audio output interface 185 outputs audio signals related to functions performed by the electronic device 100 (eg, call signal reception sound, message reception sound, and notification sound).
  • functions performed by the electronic device 100 eg, call signal reception sound, message reception sound, and notification sound.
  • the sound output interface 185 may include a speaker, a buzzer, and the like.
  • the sound output interface 185 according to an embodiment may be implemented in the form of earphones mounted on the electronic device 100 or detachable. Also, the sound output interface 185 according to an embodiment may output sound in a bone conduction manner.
  • the vibration motor 187 may output a vibration signal.
  • the vibration motor 187 may output a vibration signal corresponding to an output of audio data or video data (eg, call signal reception sound, message reception sound, etc.).
  • the vibration motor 187 may output a vibration signal when a user input is received from the user input interface 195 .
  • the vibration motor 187 may provide a notification with vibration when the electronic device 100 operates in a vibration mode.
  • the microphone 188 receives an external sound signal and processes it into electrical voice data.
  • the microphone 188 may receive a sound signal from an external device or a speaker.
  • the microphone 188 may receive a user's voice input for controlling the electronic device 100 .
  • the microphone 188 may use various noise cancellation algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input interface 189 means a means through which a user inputs data for controlling the electronic device 100 .
  • the user input interface 189 may include a key pad, a dome switch, a touch pad (contact capacitive method, pressure resistive film method, infrared sensing method, surface ultrasonic conduction method, It may include, but is not limited to, at least one of a spray tension measuring method, a piezo effect method, etc.), a jog wheel, or a jog switch.
  • FIG. 3 is a diagram illustrating an example of an augmented reality device according to an embodiment.
  • the electronic device 100 of FIG. 2 may be implemented as, for example, a glasses-type display device including a glasses-type body configured to be worn by a user, as shown in FIG. 3 , but is not limited thereto.
  • the spectacle body may include a frame 110 and temples 190 .
  • the temple part 190 includes a left leg part 190L and a right leg part 190R, and may be connected to both end pieces of the frame 110, respectively.
  • variable lens unit 145 and a wave guide 142 may be disposed in the frame 110 .
  • the variable lens unit 145 may include a variable lens unit 145L for the left eye and a variable lens unit 145R for the right eye.
  • the waveguide 142 may be configured to receive projected light from an input area and output at least a portion of the input light from an output area.
  • the wave guide 142 may include a wave guide 142L for the left eye and a wave guide 142R for the right eye.
  • the optical engine 141 including a projector that projects light containing an image may include a left eye optical engine 141L and a right eye optical engine 141R.
  • the optical engine 141L for the left eye and the optical engine 141R for the right eye may be located at both end pieces of the frame 110 .
  • Light emitted from the optical engine 141 may be displayed through the wave guide 142 .
  • an optical sensor 143 for detecting light projected toward the waveguide 142 from the optical engine 141 disposed on the rear side of the waveguide 142 is opposite to the optical engine 141, and the waveguide 142 ) can be placed in front of.
  • the optical sensor 143 may detect light transmitted through the front surface of the waveguide 142 without being diffracted within the waveguide 142 from among light projected from the optical engine 141 .
  • the optical sensor 143 may include an optical sensor 143L for the left eye and an optical sensor 143R for the right eye.
  • the electronic device 100 may include a gaze tracking sensor 152 to track the gaze of the user.
  • the gaze tracking sensor 152 may include a first gaze tracking sensor 152L for tracking the gaze of the user's left eye and a second gaze tracking sensor 152R for tracking the gaze of the right eye of the user.
  • FIG. 4 is a diagram for explaining an optical engine and a waveguide according to an exemplary embodiment.
  • the optical engine 141 is configured to generate light of a virtual image, and may include a projector including an image panel, a projection optical system, and the like.
  • the optical engine 141 acquires image data constituting a virtual image from the processor 120, generates a virtual image based on the acquired image data, and transmits light constituting the virtual image output from a light source to the emission surface 1140. ) to be projected onto the wave guide 142.
  • the processor 120 provides image data including RGB color and luminance values of a plurality of pixels constituting the virtual image to the optical engine 141, and the optical engine 141 provides the RGB color values and luminance values of each of the plurality of pixels.
  • the light constituting the virtual image may be projected onto the waveguide 142 by controlling the light source.
  • the optical engine 141 may project a virtual image using transmissive projection technology in which a light source is modulated by an optically active material illuminated with white light.
  • the waveguide 142 may be made of a transparent material in which a portion of the rear surface is visible.
  • the rear surface of the wave guide 142 refers to the surface facing the user's eyes when the user wears the electronic device 100, and the front surface of the wave guide 142 is the surface opposite to the rear surface (ie, the user's the side of the wave guide farther from the eye).
  • Diffraction gratings may be formed in the first region 1110 , the second region 1120 , and the third region 1130 to change an optical path of light constituting the virtual image VI.
  • the wave guide 142 changes the propagation path of light of the virtual image VI using the diffraction grating formed in the first area 1110, the second area 1120, and the third area 1130, and finally may function as a light guide plate so that the light of the virtual image VI reflected through the third region 1130 is output to the user's eyes.
  • FIG. 5 is a diagram for explaining light projected from a projection lens according to an exemplary embodiment.
  • the projection lens 147 may include one or a plurality of lenses.
  • the projection lens 147 forms parallel light 52 when the light of the virtual image formed on the image panel 146 is refracted while passing through the projection lens 147 composed of a plurality of lenses and reaches the wave guide 142. It can be designed to be incident with .
  • the number of pixels constituting the virtual image A bundle of rays may be incident in parallel.
  • the electronic device 100 may detect light of a plurality of pixels constituting the entire virtual image through the optical sensor 143 . Also, the electronic device 100 may detect light of one or a plurality of pixels constituting a predetermined pixel area of the virtual image (eg, a partial area in the center of the virtual image) through the light sensor 143 .
  • a predetermined pixel area of the virtual image eg, a partial area in the center of the virtual image
  • FIG. 6 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • the electronic device 100 may calculate the parallelism of the light detected by the light sensor 143 (S601).
  • the light sensor 143 may include an image sensor or a phase difference sensor.
  • the electronic device 100 does not diffract within the waveguide 142 among the light transmitted through the input area 148 of the waveguide 142 by using the optical sensor 143, and the waveguide ( 142) It is possible to detect light transmitted through the front surface.
  • the electronic device 100 may detect a contrast value of a predetermined pixel area of a virtual image based on light detected using an image sensor, and calculate a degree of parallelism of the light based on the detected contrast value.
  • the electronic device 100 may calculate the parallelism of light based on the phase difference detected using the phase difference sensor.
  • the optical sensor 143 may include a photodiode sensor.
  • the electronic device 100 uses a photodiode sensor to determine the input area 148 based on light that is not diffracted within the waveguide 142 among light transmitted through the input area 148.
  • the intensity of light diffracted in the diffraction region 164 (see FIG. 12) of the opposite surface may be detected.
  • the electronic device 100 may calculate the parallelism of light based on the intensity of light detected using a photodiode sensor.
  • the electronic device 100 may calculate a position adjustment value of the projection lens for detecting the parallel light based on the parallelism of the light (S602).
  • the electronic device 100 may not change the position of the projection lens 147 when it is determined that the parallel light is incident based on the parallelism of the light.
  • the electronic device 100 adjusts the distance between the projection lens 147 and the waveguide 142 when it is determined that the parallel light is not incident based on the parallelism of the light. ) may calculate a position adjustment value including a moving direction (eg, up, down, left, or right) and a moving distance (eg, 0.1 mm) based on the optical axis.
  • a position adjustment value including a moving direction (eg, up, down, left, or right) and a moving distance (eg, 0.1 mm) based on the optical axis.
  • the electronic device 100 may control the actuator to adjust the distance between the projection lens and the wave guide 142 based on the position adjustment value (S603).
  • the electronic device 100 adjusts the position of the projection lens 147 based on the optical axis of the projection lens 147 based on the movement direction and movement distance included in the calculated position adjustment value, A distance between the projection lens 147 and the wave guide 142 may be adjusted. Accordingly, the electronic device 100 may control parallel light to be incident from the projection lens 147 to the wave guide 142 .
  • FIG. 7 is a flowchart illustrating a method of calculating parallelism of light using an image sensor according to an exemplary embodiment.
  • 8 is a diagram for explaining a method of calculating parallelism of light using an image sensor according to an exemplary embodiment. The flowchart of FIG. 7 will be described with reference to the drawing of FIG. 8 .
  • the optical sensor 143 may include an image sensor 161 .
  • the electronic device 100 uses an image sensor to determine light transmitted through the transmission region 155 without being diffracted within the wave guide 142 among light transmitted through the input region 148. , a contrast value of a predetermined pixel area of the virtual image may be detected (S701).
  • the electronic device 100 may detect light passing through the wave guide 142 using the image sensor 161 .
  • the electronic device 100 uses the image sensor 161 to select the transmission area 155 from among the light transmitted through the input area 148 of the waveguide 142 without changing the light path within the waveguide 142. Based on the transmitted light, a contrast value can be detected.
  • the electronic device 100 may calculate the parallelism of the light transmitted through the input area 148 based on the detected contrast value (S702).
  • the electronic device 100 may determine that parallel light is incident when the contrast value is detected as relatively high as a preset value or more using the image sensor 161 .
  • the electronic device 100 determines that the parallel light is not incident when the contrast value is detected as relatively low, equal to or less than a preset value using the image sensor 161, and uses the projection lens 147 to allow the parallel light to be incident. ) can calculate the position control value to be moved.
  • FIG. 9 is a flowchart illustrating a method of calculating parallelism of light using a phase difference sensor according to an exemplary embodiment.
  • 10 is a diagram for explaining a method of calculating parallelism of light using a phase difference sensor according to an exemplary embodiment. The flowchart of FIG. 9 will be described with reference to the drawing of FIG. 10 .
  • the optical sensor 143 is a phase difference sensor 162 including two optical sensors (eg, a first optical sensor 163a and a second optical sensor 163b) disposed apart from each other by a predetermined distance. ) may be included.
  • the first optical sensor 163a and the second optical sensor 163b may include line sensors that sense the intensity of light, and may be spaced apart from each other by a predetermined distance and arranged in a line.
  • FIG. 11 is a flowchart illustrating a method of calculating parallelism of light using a photodiode sensor according to an exemplary embodiment.
  • 12 is a diagram for explaining a method of calculating parallelism of light using a photodiode sensor according to an exemplary embodiment. The flowchart of FIG. 11 will be described with reference to the drawing of FIG. 12 .
  • the optical sensor 143 may include a photodiode sensor 165 .
  • the photodiode sensor 165 diffracts in a diffraction area 164 opposite to the input area 148 among light that is transmitted through the input area 148 and is not diffracted within the waveguide 142. It may be arranged to receive light.
  • the photodiode sensor 165 may be disposed facing the diffraction region 164 on the front side of the wave guide 142 and spaced apart from the input region 148 on the rear side of the wave guide 142 by a predetermined distance.
  • the electronic device 100 uses the photodiode sensor 165 to determine the input area ( 148), the intensity of diffracted light from the diffraction area 164 facing the diffraction area 164 can be detected (S1101).
  • the path of parallel light projected from the input area 148 to the diffraction area 164 may be changed and projected toward the photodiode sensor 165 .
  • the diffraction region 164 is composed of a diffraction grating that changes the path of light only for parallel light, when non-parallel light is incident, the incident light is not diffracted, so that light is not detected by the photodiode sensor 165.
  • the electronic device 100 may calculate the parallelism of light based on the intensity of the detected light (S1102).
  • the electronic device 100 may determine that parallel light is incident on the input area 148 when the intensity of light detected using the photodiode sensor 165 is greater than or equal to a preset value.
  • the electronic device 100 may determine that the light projected onto the input area 148 is not parallel light. If it is determined that the parallel light is not incident, the electronic device 100 may calculate a position adjustment value to which the projection lens 147 must move in order for the parallel light to be incident.
  • FIG. 13 is a diagram for explaining an example of parallelism of light according to a position of a projection lens according to an exemplary embodiment.
  • the parallelism of light projected from the projection lens 147 to the waveguide 142 may vary according to the position of the projection lens 147 (FIG. 1). According to an embodiment, the parallelism of light projected from the projection lens 147 to the wave guide 142 may vary according to the separation distance between the projection lens 147 and the wave guide 142 (FIG. 1).
  • the parallelism of light may be calculated as 0.3.
  • a clear virtual image may be provided through the wave guide 142 .
  • the projection lens 147 (FIG. 1) is positioned at a distance from which parallel light can be projected from the projection lens 147 to the wave guide 142. can be placed.
  • the separation distance between the projection lens 147 and the waveguide 142 may be changed as the position of the projection lens 147 is changed due to factors such as temperature change in a use environment.
  • the electronic device 100 determines whether the light projected from the projection lens 147 to the wave guide 142 is parallel, and if not, sets the position of the projection lens 147 to a position where the parallel light can be incident. By adjusting, the distance between the projection lens 147 and the wave guide 142 can be adjusted. Accordingly, a high-quality virtual image may be provided to the user.
  • the above-described embodiment can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of data used in the above-described embodiments may be recorded on a computer readable medium through various means.
  • the above-described embodiments may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer.
  • methods implemented as software modules or algorithms may be stored in a computer-readable recording medium as codes or program instructions that can be read and executed by a computer.
  • Computer readable media may be any recording media that can be accessed by a computer, and may include volatile and nonvolatile media, removable and non-removable media.
  • the computer readable medium may include a magnetic storage medium, for example, a ROM, a floppy disk, a hard disk, etc., and) an optical reading medium, for example, a CD-ROM, a DVD, and the like.
  • computer readable media may include computer storage media and communication media.
  • a plurality of computer-readable recording media may be distributed among computer systems connected by a network, and data stored on the distributed recording media, for example, program instructions and codes, may be executed by at least one computer. there is.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store or between two user devices (eg smartphones). It can be distributed (e.g., downloaded or uploaded) directly or online.
  • a computer program product eg, a downloadable app
  • a device-readable storage medium such as a memory of a manufacturer's server, an application store server, or a relay server. It can be temporarily stored or created temporarily.
  • components described in this disclosure may not be essential components for the execution of the present disclosure unless specifically stated, such as “essential” or “important”.
  • Unit and “module” may be implemented by a program stored in an addressable storage medium and executed by a processor.
  • part and module refer to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and programs. It can be implemented by procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • the description “A may include one of a1, a2, and a3” has a broad meaning that example elements that may be included in the element A are a1, a2, or a3.
  • elements that may constitute element A are not necessarily limited to a1, a2, or a3. Therefore, it should be noted that elements that may constitute A are not exclusively interpreted as meaning that other elements other than a1, a2, and a3 are not exemplified.
  • A may include a1, a2, or a3.
  • the above description does not mean that the elements constituting A are necessarily selectively determined within a predetermined set. It should be noted that, for example, the above description is not limitedly construed as saying that a1, a2, or a3 selected from a set necessarily including a1, a2, and a3 constitutes component A.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

가상 이미지의 광을 투사하는 프로젝션 렌즈를 포함하는 광학 엔진, 가상 이미지의 광이 입사되는 입력 영역을 포함하는 웨이브 가이드, 프로젝션 렌즈의 광축을 기준으로 프로젝션 렌즈의 위치를 조절하는 액추에이터, 입력 영역을 투과한 광을 검출하는 광 센서, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 광 센서에 의해 검출된 광의 평행도를 획득하고, 광의 평행도에 기초하여 평행광이 검출되기 위한 프로젝션 렌즈의 위치 조절 값을 획득하고, 위치 조절 값에 기초하여 프로젝션 렌즈와 웨이브 가이드 간의 거리를 조절하도록 액추에이터를 제어하는 프로세서를 포함하는 전자 장치를 제공한다.

Description

전자 장치 및 그 동작 방법
본 개시는, 프로젝션 렌즈의 초점을 자동으로 조절하여 높은 화질의 가상 이미지를 제공하는 전자 장치 및 그 동작 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다. 증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는 시스루(see-through) 형태의 디스플레이 모듈을 통해 현실 장면(real scene)과 가상 이미지를 함께 볼 수 있게 한다.
이러한 증강 현실 장치가 현실 장면 상에 가상 이미지를 선명하게 보여지도록 하는 등 가상 이미지를 활용한 다양한 증강 현실 서비스를 제공하기 위해서, 가상 이미지의 광을 제공하는 프로젝션 렌즈의 초점을 자동으로 조절하는 방법에 대한 연구가 요구되고 있다.
프로젝션 렌즈의 초점을 자동으로 조절하여 높은 화질의 가상 이미지를 제공하는 전자 장치 및 동작 방법을 제공한다.
해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 개시의 일 측면(an aspect)에 따른 전자 장치는, 가상 이미지의 광을 투사하도록 구성되는 프로젝션 렌즈를 포함하는 광학 엔진, 가상 이미지의 광이 입사되는 입력 영역을 포함하는 웨이브 가이드, 프로젝션 렌즈의 광축을 기준으로 프로젝션 렌즈의 위치를 조절하는 액추에이터, 입력 영역을 투과한 광을 검출하는 광 센서, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 광 센서에 의해 검출된 광의 평행도를 획득하고, 광의 평행도에 기초하여, 평행광이 검출되기 위한 프로젝션 렌즈의 위치 조절 값을 획득하고, 위치 조절 값에 기초하여, 프로젝션 렌즈와 웨이브 가이드 간의 거리를 조절하도록 액추에이터를 제어할 수 있다.
상기 입력 영역(input gating)은 상기 웨이브 가이드의 제1 면 상에 형성되고(provided), 상기 입력 영역을 통해 상기 웨이브 가이드로 입사된 광이 상기 웨이브 가이드 내에서 광 경로를 변경하도록 회절 격자를 포함하고, 상기 광 센서는 상기 웨이브 가이드의 상기 제1 면과 반대되는 제2 면 상에 형성되고(provided), 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않은 광을 수광하도록 구성될 수 있다.
상기 광 센서는, 이미지 센서를 포함하고, 상기 프로세서는 상기 이미지 센서를 이용하여, 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 상기 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하고, 상기 검출된 콘트라스트 값에 기초하여 상기 입력 영역을 투과한 광의 평행도를 획득할 수 있다.
상기 광 센서는 소정 거리 이격되어 배치된 두 개의 광 센서를 포함하는 위상차 센서를 포함하고, 상기 프로세서는 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 상기 두 개의 광 센서를 통해 위상차를 검출하고, 상기 검출된 위상차에 기초하여, 상기 입력 영역을 투과한 광의 평행도를 획득할 수 있다.
상기 광 센서는 포토다이오드 센서를 포함하고, 상기 포토다이오드 센서는 상기 입력 영역을 투과하여 상기 웨이브 가이드 내에서 회절되지 않은 광 중에서, 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광을 수광하도록 구성될 수 있다.
상기 프로세서는 상기 포토다이오드 센서를 이용하여 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광의 세기를 검출하고, 상기 검출된 광의 세기에 기초하여 광의 평행도를 획득할 수 있다.
본 개시의 다른 측면(another aspect)에 따른 가상 이미지의 광을 투사하는 프로젝션 렌즈를 포함하는 전자 장치의 동작 방법은, 상기 전자 장치의 광 센서에 의해, 가상 이미지의 광이 입사되는 웨이브 가이드의 입력 영역을 투과한 광을 검출하는 단계, 광 센서에 의해 검출된 광의 평행도를 획득하는 단계, 광의 평행도에 기초하여, 평행광을 검출하도록 프로젝션 렌즈의 위치 조절 값을 획득하는 단계, 및 위치 조절 값에 기초하여, 프로젝션 렌즈와 웨이브 가이드 간의 거리를 조절하도록 상기 전자 장치의 액추에이터를 제어하는 단계를 포함할 수 있다.
상기 입력 영역은 상기 웨이브 가이드의 제1 면 상에 형성되고, 상기 입력 영역을 통해 상기 웨이브 가이드로 입사된 광이 상기 웨이브 가이드 내에서 광 경로를 변경하도록 회절 격자를 포함하고, 상기 광 센서는 상기 웨이브 가이드의 상기 제1 면과 반대되는 제2 면 상에 형성되고, 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않은 광을 수광하도록 구성될 수 있다.
상기 광 센서는 이미지 센서를 포함하고, 상기 광을 검출하는 단계는 상기 이미지 센서를 이용하여 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여 상기 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하는 단계를 포함하고, 상기 광의 평행도를 획득하는 단계는 상기 검출된 콘트라스트 값에 기초하여, 상기 입력 영역을 투과한 광의 평행도를 획득하는 단계를 포함할 수 있다.
상기 광 센서는 서로 이격되어 배치된 두 개의 광 센서를 포함하는 위상차 센서를 포함하고, 상기 광을 검출하는 단계는 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 상기 두 개의 광 센서를 통해 위상차를 검출하는 단계를 포함하고, 상기 광의 평행도를 획득하는 단계는 상기 검출된 위상차에 기초하여 상기 입력 영역을 투과한 광의 평행도를 획득하는 단계를 포함할 수 있다.
상기 광 센서는 포토다이오드 센서를 포함하고, 상기 포토다이오드 센서는 상기 입력 영역을 투과하여 상기 웨이브 가이드 내에서 회절되지 않은 광 중에서, 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광을 수광하도록 구성될 수 있다.
상기 광을 검출하는 단계는 상기 포토다이오드 센서를 이용하여 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광의 세기를 검출하는 단계를 포함하고, 상기 광의 평행도를 획득하는 단계는 상기 검출된 광의 세기에 기초하여 광의 평행도를 획득하는 단계를 포함할 수 있다.
본 개시의 일 측면에 따르면, 가상 이미지의 광을 투사하도록 구성되는 프로젝션 렌즈를 포함하는 전자 장치의 동작 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 비일시적인(non-transitory) 기록매체를 제공하고, 상기 동작 방법은 상기 전자 장치의 광 센서에 의해, 상기 가상 이미지의 광이 입사되는 웨이브 가이드의 입력 영역을 투과한 광을 검출하는 동작, 상기 광 센서에 의해 검출된 광의 평행도를 획득하는 동작, 상기 광의 평행도에 기초하여 평행광을 검출하도록 상기 프로젝션 렌즈의 위치 조절 값을 획득하는 동작, 및 상기 위치 조절 값에 기초하여, 상기 프로젝션 렌즈와 상기 웨이브 가이드 간의 거리를 조절하도록 상기 전자 장치의 액추에이터를 제어하는 동작을 포함할 수 있다.
상기 입력 영역은 상기 웨이브 가이드의 제1 면 상에 형성되고, 상기 입력 영역을 통해 상기 웨이브 가이드로 입사된 광이 상기 웨이브 가이드 내에서 광 경로를 변경하도록 회절 격자를 포함하고, 상기 광 센서는 상기 웨이브 가이드의 상기 제1 면과 반대되는 제2 면 상에 형성되고, 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않은 광을 수광하도록 구성될 수 있다.
상기 광 센서는 이미지 센서를 포함하고, 상기 광을 검출하는 동작은 상기 이미지 센서를 이용하여 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여 상기 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하는 동작을 포함하고, 상기 광의 평행도를 획득하는 동작은 상기 검출된 콘트라스트 값에 기초하여, 상기 입력 영역을 투과한 광의 평행도를 획득하는 동작을 포함할 수 있다.
상기 광 센서는 서로 이격되어 배치된 두 개의 광 센서를 포함하는 위상차 센서를 포함하고, 상기 광을 검출하는 동작은 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 상기 두 개의 광 센서를 통해 위상차를 검출하는 동작을 포함하고, 상기 광의 평행도를 획득하는 동작은 상기 검출된 위상차에 기초하여 상기 입력 영역을 투과한 광의 평행도를 획득하는 동작을 포함할 수 있다.
상기 광 센서는 포토다이오드 센서를 포함하고, 상기 포토다이오드 센서는 상기 입력 영역을 투과하여 상기 웨이브 가이드 내에서 회절되지 않은 광 중에서, 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광을 수광하도록 구성될 수 있다.
상기 광을 검출하는 동작은 상기 포토다이오드 센서를 이용하여 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광의 세기를 검출하는 동작을 포함하고, 상기 광의 평행도를 획득하는 동작은 상기 검출된 광의 세기에 기초하여 광의 평행도를 획득하는 동작을 포함할 수 있다.
본 개시의 특정 실시예의 상기 및 다른 양태(the above and other aspect), 특징, 및 이점(advantages)은 첨부된 도면과 함께 기재된 하기의 설명으로부터 더 명백해질 것이다.
도 1은 일 실시 예에 따른 전자 장치의 도면이다.
도 2는 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 3은 일 실시 예에 따른 전자 장치의 예시를 나타내는 도면이다.
도 4는 일 실시 예에 따른 광학 엔진 및 웨이브 가이드를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 프로젝션 렌즈로부터 투사되는 광을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 7은 일 실시 예에 따른 이미지 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시 예에 따른 이미지 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 위상차 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시 예에 따른 위상차 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 포토다이오드 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시 예에 따른 포토다이오드 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른 프로젝션 렌즈의 위치에 따른 광의 평행도의 예를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 "상기" 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD: Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(Waveguide)을 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예를 설명하기 위한 도면이다.
일 실시 예에 따른 전자 장치(100)( 도2, 도3)는 증강 현실 장치(Augmented Reality Device)일 수 있다. 예를 들어, 전자 장치(100)는, 사용자의 안면부(顔面部)에 착용 가능한 안경 형상으로 구현된 장치일 수 있다. 또한, 전자 장치(100)는 사용자의 두부(頭部)에 착용 가능한 고글, 헬멧, 모자 등의 형상으로 구현된 장치일 수 있으며, 이에 한정되는 것은 아니다.
일 실시 예에 따라, 전자 장치(100)는 증강 현실 서비스를 제공하는 경우, 가상 이미지의 가상 객체를 디스플레이(140)(도2)를 통해 출력할 수 있다. 이에 따라, 전자 장치(100)를 착용한 사용자는 현실 세계의 장면과 가상 객체를 함께 관측할 수 있다.
일 실시 예에 따른 전자 장치(100)의 디스플레이(140, 도2)는 웨이브 가이드(142)와 광학 엔진(141)을 포함할 수 있다.
도 1을 참조하면, 웨이브 가이드(142)는 광학 엔진(141)의 출사면에 마주하여 광학 엔진(141)으로부터 투사된 가상 이미지의 광을 입력 받을 수 있다. 가상 이미지의 광이 광학 엔진(141)으로부터 웨이브 가이드(142)의 입력 영역(148)(input grating)을 향해 투사되고, 웨이브 가이드(142) 내에서 회절된 회절광은 출력 영역(149)(output grating)을 통해 전자 장치(100)를 착용한 사용자의 눈(50)을 향해 출력될 수 있다. 이에 따라, 전자 장치(100)를 착용한 사용자는 웨이브 가이드(142)를 통해 가상 이미지를 관측할 수 있다.
광학 엔진(141)은 광을 출력하는 광원, 광원으로부터 출력되는 광을 이용하여 가상 이미지를 형성하는 화상 패널(146), 화상 패널(146)에서 형성되는 가상 이미지의 광을 투사하는 프로젝션 렌즈(147)를 포함할 수 있다.
일 실시 예에 따르면, 프로젝션 렌즈(147)는 프로젝션 렌즈(147)로부터 투사된 광이 웨이브 가이드(142)의 입력 영역(148)으로 입사할 때 평행하게 입사될 수 있도록 배치될 수 있다. 프로젝션 렌즈(147)로부터 투사된 광이 웨이브 가이드(142)의 입력 영역(148)으로 평행하게 입사되는 경우, 웨이브 가이드(142) 내에서 회절된 회절광이 출력 영역(149)으로 평행광의 형태로 출력됨으로써, 사용자 눈(50)에 보여지는 가상 이미지는 선명하게 인식 될 수 있다.
전자 장치(100)의 내부, 외부의 온도 변화, 사용 환경 등에 따라, 프로젝션 렌즈(147)의 물리적인 틀어짐 등으로 배치 위치가 변경되거나, 프로젝션 렌즈(147)와 화상 패널(146) 사이의 후초점거리(back focal length, BFL)가 변경됨에 따라, 프로젝션 렌즈(147)로부터 입력 영역(148)으로 투사된 광이 평행하지 않게 될 수 있다. 이러한 경우, 웨이브 가이드(142) 내부에서 회절된 회절광이 출력 영역(149)으로 출력될 때 평행하지 않게 됨으로써, 사용자 눈에 보여지는 가상 이미지가 선명하지 않게 인식될 수 있다.
일 실시 예에 따르면, 전자 장치(100)가 광 센서(143)을 이용하여 프로젝션 렌즈(147)로부터 입력 영역(148)으로 투사되는 광의 평행도를 모니터링하여, 광의 평행도가 유지되도록 프로젝션 렌즈(147)의 위치를 적응적으로 자동 조절할 수 있다. 이에 따라, 전자 장치(100)는 웨이브 가이드(142)를 통해 높은 화질의 선명한 가상 이미지를 제공할 수 있다.
일 실시 예에 따라, 웨이브 가이드(142)의 투과 영역(155)의 외면에 배치된 광 센서(143)은 투과 영역(155)을 투과한 광을 검출할 수 있다. 전자 장치(100)는 광 센서(143)에 의해 검출된 광이 평행하게 입사 되었는지에 관한 광의 평행도를 산출(획득)할 수 있다.
전자 장치(100)는, 광 센서(143)에 의해 검출된 광이 평행하게 입사 되지 않은 경우, 평행광이 검출될 수 있도록 액추에이터(144)를 제어하여 프로젝션 렌즈(147)의 위치를 광축을 기준으로 자동으로 조절함으로써 프로젝션 렌즈(147)와 웨이브 가이드(142) 간의 거리를 조절할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 프로젝션 렌즈(147)의 위치를 적응적으로 자동 조절함으로써, 전자 장치(100)를 착용한 사용자에게 선명도 높은 가상 이미지를 제공할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 미리 설정된 센싱 주기에 따라, 광 센서(143)을 이용하여, 프로젝션 렌즈(147)로부터 웨이브 가이드(142)로 투사되는 광을 검출할 수 있다. 센싱 주기는, 전자 장치(100)의 제조 시 설정될 수 있다. 또한, 센싱 주기는, 전자 장치(100) 내외부의 온도 변화 감지 등을 통해 변경하여 설정될 수 있으며, 이에 제한되지 않는다.
도 1에 도시한 바와 같이, 일 실시 예에 따른 광 센서(143)은 광학 엔진(141)과 반대인 웨이브 가이드(142)의 전면에 배치될 수 있으며, 이에 제한되지 않는다. 후술하는 도 12에서 도시한 바와 같이, 광 센서(143)은 웨이브 가이드(142)의 후면에 배치될 수도 있다.
일 실시 예에 따라, 웨이브 가이드(142)의 입력 영역(148)(input grating)은, 입력 영역(148)을 통해 입사된 광이 웨이브 가이드(142) 내에서 광 경로를 변경하도록 소정의 회절 격자로 구성될 수 있다. 다만, 입력 영역(148)을 구성하는 회절 격자의 광의 회절율(예컨대, 20%)에 따라, 입력 영역(148)을 투과한 광 중에서 회절되지 않은 광(예컨대, 80%)은 광 경로를 변경하지 않고 웨이브 가이드(142)의 투과 영역(155)을 관통하게 된다.
일 실시 예에 따라, 투과 영역(155)은 웨이브 가이드(142) 전면의 입력 영역(148)에 대향하는 면을 의미할 수 있다. 투과 영역(155)은 입력 영역(148)을 투과한 광 중에서 회절되지 않은 광이 웨이브 가이드(142)의 전면을 관통할 때 통과하는 영역을 의미할 수 있다.
일 실시 예에 따라, 웨이브 가이드(142)의 배면은 사용자가 전자 장치(100)를 착용할 때, 사용자의 눈(50)이 마주하는 면을 의미하고, 웨이브 가이드(142)의 전면은 상기 배면에 대향되는 면(즉, 사용자의 눈에서 더 먼 웨이브 가이드의 면)을 의미한다.
도 1은 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
도 2는 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
일 실시 예에 따라, 전자 장치(100)는, 통신 기능 및 데이터 프로세싱 기능을 구비한, 증강 현실(Augmented Reality) 영상을 제공하는 증강 현실 장치일 수 있으며, 이에 제한되지 않는다.
도 2를 참조하면, 일 실시 예에 따른 전자 장치(100)는 메모리(130) 및 프로세서(120), 디스플레이(140), 가변 렌즈부(145), 센싱부(150), 카메라(175), 통신 인터페이스(180), 음향 출력 인터페이스(185), 진동 모터(187), 마이크(188), 사용자 입력 인터페이스(189)를 포함할 수 있다. 그러나, 도 2에 도시된 구성 요소 모두가 전자 장치(100)의 요구되는 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있다.
전자 장치(100)의 프로세서(120)는, 메모리(130)에 저장된 프로그램들을 실행함으로써, 디스플레이(140), 가변 렌즈부(145), 센싱부(150), 카메라(175), 통신 인터페이스(180), 음향 출력 인터페이스(185), 진동 모터(187), 마이크(188), 사용자 입력 인터페이스(189) 등을 전반적으로 제어할 수 있다.
일 실시 예에 따른 메모리(130)는 프로세서(120)에 의해 실행될 프로그램을 저장할 수 있고, 전자 장치(100)로 입력되거나 전자 장치(100)로부터 출력되는 데이터를 저장할 수 있다.
메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(130)에 저장된 프로그램들은 그 기능에 따라 복수 개의 소프트웨어 모듈들로 분류할 수 있는데, 예를 들어, 광의 평행도 산출 모듈(131), 위치 조절 값 산출 모듈(131)을 포함할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(120)는, 메모리(130)에 저장된 명령어들이나 프로그램들을 실행함으로써, 전자 장치(100)가 수행하는 동작이나 기능을 제어할 수 있다.
일 실시 예에 따라, 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 프로세서(120)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(120)는 메모리(130)에 저장된 광의 평행도 산출 모듈(131)을 실행함으로써, 광 센서(143)에 의해 검출된 광의 평행도를 산출할 수 있다.
일 실시 예에 따라, 광의 평행도는, 입사되는 광의 평행한 정도를 의미할 수 있다. 광의 평행도가 높을수록 평행광이 입사된 것을 의미할 수 있다. 광의 평행도는, 미리 설정된 소정의 수학식 또는 알고리즘에 기초하여, 수치화될 수 있다.
일 실시 예에 따라, 광 센서(143)은 이미지 센서, 위상차 센서, 또는 포토다이오드 센서 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따라, 프로세서(120)는 이미지 센서(161, 후술하는 도 8 참조)를 이용하여 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하고, 검출된 콘트라스트 값에 기초하여 광의 평행도를 산출할 수 있다. 예를 들어, 프로세서(120)는 이미지 센서(161)를 이용하여 콘트라스트 값이 미리 설정된 값 이상으로 높게 검출되는 경우, 평행광이 입사된 것으로 판단할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 위상차 센서(162, 후술하는 도 10 참조)를 구성하는 두 개의 광 센서를 이용하여 위상차를 검출하고, 검출된 위상차에 기초하여, 광의 평행도를 산출할 수 있다. 예를 들어, 프로세서(120)는 위상차 센서(162)를 이용하여 검출된 위상차가 미리 설정된 값 이하로 낮게 검출되는 경우, 평행광이 입사된 것으로 판단할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 포토다이오드 센서(165)(후술하는 도 12 참조)를 이용하여, 입력 영역(148)을 투과한 광 중에서 웨이브 가이드(142) 내에서 회절되지 않은 광에 기초하여, 입력 영역(148)에 대향하는 면의 회절 영역(164)(도 12 참조)으로부터 회절된 광의 세기를 검출할 수 있다. 프로세서(120)는 검출된 광의 세기에 기초하여, 입력 영역(148)을 투과한 광의 평행도를 산출할 수 있다. 예를 들어, 프로세서(120)는 포토다이오드 센서를 이용하여 검출된 광의 세기가 미리 설정된 값 이상으로 높게 검출되는 경우, 평행광이 입사된 것으로 판단할 수 있다.
프로세서(120)는 메모리(130)에 저장된 위치 조절 값 산출 모듈(132)을 실행함으로써, 광의 평행도에 기초하여, 평행광이 검출되기 위한 프로젝션 렌즈(147)의 위치 조절 값을 산출할 수 있다.
일 실시 예에 따라, 프로젝션 렌즈(147)의 위치 조절 값은, 프로젝션 렌즈(147)로부터 투사된 광이 평행하게 웨이브 가이드(142)의 입력 영역(148)으로 입사되기 위해, 프로젝션 렌즈(147)와 웨이브 가이드(142) 간의 거리를 조절하기 위해 프로젝션 렌즈(147)의 현재 위치로부터 광축을 기준으로 이동해야 할 방향, 이동해야 할 거리를 포함하는 조절 값을 의미할 수 있다.
일 실시 예에 따라, 프로세서(120)는, 광의 평행도 산출 모듈(131)에 의해 평행광이 입사되지 않은 것으로 판단되면, 프로젝션 렌즈(147)의 이동 방향, 이동 거리를 포함하는 위치 조절 값을 산출할 수 있다. 예를 들어, 위치 조절 값은, 프로젝션 렌즈(147)가 광축을 기준으로 위, 아래, 좌 또는 우 방향으로, 소정 mm 이동해야 하는 정보를 포함할 수 있다.
일 실시 예에 따라, 위치 조절 값은, 소정의 프로젝션 렌즈의 위치 조절 알고리즘에 기초하여 산출될 수 있다. 예를 들어, 위치 조절 알고리즘은, 프로젝션 렌즈가 이동할 방향으로 대략적으로 이동한 후, 보다 좁은 간격으로 이동 거리를 조절하면서 최적의 위치를 찾아가는 방식일 수 있으며, 이에 제한되지 않는다. 또한, 위치 조절 알고리즘은, 프로젝션 렌즈가 이동할 방향과 거리를 비교적 정교하게 산출하여 최적의 위치를 찾는 방식일 수 있다.
일 실시 예에 따라, 프로세서(120)는 산출된 위치 조절 값에 기초하여, 프로젝션 렌즈(147)의 위치가 조절되도록 액추에이터를 제어할 수 있다.
디스플레이(140)는 프로세서(120)에서 처리되는 정보를 출력할 수 있다. 예를 들어, 디스플레이(140)는, 가상 객체를 표시할 수 있다.
일 실시 예에 의하면, 디스플레이(140)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시 예에 따른 디스플레이(140)는 웨이브 가이드(142)와 광학 엔진(141)을 포함할 수 있다.
웨이브 가이드(142)는 사용자가 전자 장치(100)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(142)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(142)는 광학 엔진(141)의 출사면에 마주하여 광학 엔진(141)으로부터 투사된 가상 이미지의 광을 입력 받을 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다.
일 실시 예에서, 웨이브 가이드(142)는 투명 재질로 형성됨에 따라, 사용자는 디스플레이(140)를 통해 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 웨이브 가이드(142)는 시스루 디스플레이(see through display)로 지칭될 수 있다. 디스플레이(140)는 웨이브 가이드(142)를 통해 가상 이미지의 가상 객체를 출력함으로써, 증강 현실(augmented reality) 영상을 제공할 수 있다.
가변 렌즈부(145)는 사용자 눈의 시야 결함을 보조하기 위해 전자 장치(100)에 장착될 수 있다. 가변 렌즈부(145)는 사용자의 눈을 마주보도록 웨이브 가이드(142)와 중첩되게 배열될 수 있다. 가변 렌즈부(145)는 일반적으로 액체 렌즈 또는 액정 렌즈로 구현될 수 있다. 예를 들어, 가변 렌즈부(145)는 플렉시블한 플라스틱 막(flexible plastic membrane)이 투명한 유체(transparent fluid)를 감싸는 형태의 액체 렌즈로 구현될 수 있다. 가변 렌즈부(145)에 가해지는 전기적 신호에 따라 가변 렌즈부(145) 내의 유체가 이동함으로써, 가변 렌즈부(145)의 굴절력이 변경될 수 있다. 다른 예로, 가변 렌즈부(145)는 투명한 액정(Liquid crystal)층 양면에 투명한 전극을 설치하는 형태의 액정 렌즈로 구현될 수 있다. 투명한 전극에 가해지는 전기적 신호에 따라 액정층 내의 액정의 배열이 변경됨으로써, 액정 렌즈를 통과하는 광의 경로가 변경되고 이에 따라 가변 렌즈부(145)의 굴절력이 변경될 수 있다.
예를 들어, 가변 렌즈부(1350)의 굴절력이 디옵터 값(예를 들어,... -3D,-2D,-1D,0,1D,2D,3D...)에 대응되도록, 전극에 인가되는 전기적 신호 또는 전압값이 미리 설정될 수 있으며, 전기적 신호 또는 전압이 전극에 인가되면 대응되는 디옵터의 굴절력이 가변 렌즈부(145)에 적용될 수 있다. 하지만, 이에 제한되지 않으며, 예를 들어, 가변 렌즈부(145)의 굴절력이 연속적인 값으로 변경될 수 있도록 전극에 인가되는 전기적 신호 또는 전압 값이 미리 설정될 수도 있다.
전자 장치(100)가 안경 형태의 장치인 경우에, 가변 렌즈부(145)는 좌안용 가변 렌즈부 및 우안용 가변 렌즈부를 포함할 수 있다.
센싱부(150)는 예를 들어, 움직임 센서(151), 시선 추적 센서(152), 깊이 센서(153)를 포함할 수 있다.
움직임 센서(151)는 IMU(Inertial Measurement Unit)일 수 있다. IMU는, 3차원 공간에서의 물체의 움직임 즉, 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합일 수 있다. 예를 들어, 센서들의 조합은, 가속도계, 각속도계, 지자기계, 및 자이로스코프를 포함할 수 있다.
또한, 움직임 센서(155)는 가속도 센서(Acceleration sensor), 지자기 센서(Magnetic sensor), 또는 자이로스코프 센서 중 적어도 하나를 포함할 수 있다.
시선 추적 센서(152)는 사용자 눈의 시선 정보를 검출할 수 있다. 일 실시 예에 따라, 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
시선 추적 센서(152)는, 사용자의 눈(왼쪽 눈 또는 오른쪽 눈)에 광을 제공하고, 사용자의 눈으로부터 반사된 광량을 감지할 수 있다. 시선 추적 센서(152)는, 감지된 광량에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
다른 실시예에서, 시선 추적 센서(152)는, 사용자의 눈에 광을 제공하고, 사용자의 눈을 촬영할 수 있다. 시선 추적 센서(152)는 촬영된 사용자의 눈 영상에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
일 실시 예에 따라, 시선 추적 센서(152)는 사용자의 눈을 촬영함으로써 사용자 눈에 반사된 이미지를 획득할 수 있다.
깊이 센서(153)는 현실 세계에 포함되는 하나 이상의 객체들에 대한 깊이 정보를 획득할 수 있다. 깊이 정보는, 깊이 센서(153)로부터 특정 객체까지의 거리에 대응할 수 있다. 일 실시 예에 따른 깊이 센서(153)로부터 특정 객체까지의 거리가 멀수록 깊이 값은 커질 수 있다.
일 실시 예에 따른 깊이 센서(153)는 다양한 방식으로 객체의 깊이 정보를 획득할 수 있다. 예를 들어, 깊이 센서(153)는 TOF(Time of flight) 방식, 구조화된 광(Structured Light) 방식, 스테레오 이미지(Stereo Image) 방식 중 적어도 하나의 방식을 이용하여, 깊이 정보를 획득할 수 있다. 스테레오 이미지 방식의 깊이 센서(153)는 일반적으로 2개 이상의 복수의 카메라로 구성된다.
일 실시 예에 따라, 깊이 센서(153)는 전자 장치(100)를 착용한 사용자가 웨이브 가이드(142)를 통해 바라보는 현실 장면에 포함된 현실 객체의 깊이 정보를 센싱할 수 있다. 프로세서(120)는 깊이 센서(153)를 통해 센싱된 현실 객체의 깊이 정보에 기초하여 전자 장치(100) 전방의 현실 객체의 유무, 현실 객체의 방향, 거리 등을 획득할 수 있다.
또한, 깊이 센서(153)는 전자 장치(100)를 착용한 사용자 손의 손가락들의 깊이 정보를 센싱할 수 있다. 프로세서(120)는 깊이 센서(153)를 통해 센싱된 손가락들의 깊이 정보에 기초하여 사용자 손의 모양, 손이 움직이는 패턴 등을 인식함으로써 사용자 손의 제스처 입력을 획득할 수 있다.
카메라(175)은 전자 장치(100)의 주변을 촬영할 수 있다. 카메라(175)은 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다.
이미지 센서를 통해 캡쳐된 이미지는 프로세서(120) 또는 별도의 이미지 처리부를 통해 처리될 수 있다. 또한, 캡쳐된 이미지는 디스플레이(140)를 통해 표시될 수 있다.
또한, 프로세서(120) 또는 별도의 이미지 처리부에서 처리된 화상 프레임은 메모리(130)에 저장되거나 통신 인터페이스(180)를 통하여 외부로 전송될 수 있다.
카메라(175)은 전자 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
일 실시 예에 따라, 카메라(175)은 전자 장치(100)의 주변을 촬영함으로써, 현실 장면을 포함하는 이미지를 획득할 수 있다.
통신 인터페이스(180)는 전자 장치(100)와 외부 서버(200) 또는 외부 장치 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들어, 통신 인터페이스(180)는, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
음향 출력 인터페이스(185)는 통신 인터페이스(180)로부터 수신되거나 메모리(130)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 인터페이스(185)는 전자 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
일 실시 예에 따른 음향 출력 인터페이스(185)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 일 실시 예에 따른 음향 출력 인터페이스(185)는 전자 장치(100)에 장착되어 있거나 탈부착 가능한 이어폰 형태로 구현될 수 있다. 또한, 일 실시 예에 따른 음향 출력 인터페이스(185)는 골전도 방식으로 음향을 출력할 수 있다.
진동 모터(187)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(187)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(187)는 사용자 입력 인터페이스(195)로부터 사용자 입력이 수신되는 경우 진동 신호를 출력할 수도 있다. 또한, 진동 모터(187)는 전자 장치(100)가 진동 모드로 동작할 때 알림을 진동으로 제공할 수 있다.
마이크(188)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(188)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 또한, 마이크(188)는 전자 장치(100)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다. 마이크(188)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
사용자 입력 인터페이스(189)는, 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력 인터페이스(189)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
도 3은 일 실시 예에 따른 전자 장치의 예시를 나타내는 도면이다.
도 3은 일 실시 예에 따른 증강 현실 장치의 예시를 나타내는 도면이다. 도 2의 전자 장치(100)는, 예를 들어, 도 3과 같은, 사용자가 착용할 수 있도록 구성된 안경형 몸체를 포함하는 안경형 디스플레이 장치로 구현될 수 있으나, 이에 제한되지 않는다.
안경형 몸체는, 프레임(110) 및 안경 다리부(190)를 포함할 수 있다. 안경 다리부(190)는 좌측 다리부(190L)와 우측 다리부(190R)를 포함하며, 프레임(110)의 양 단부(end pieces)에 각각 연결될 수 있다.
또한, 프레임(110)에는 가변 렌즈부(145) 및 웨이브 가이드(142)가 배치될 수 있다. 가변 렌즈부(145)는 좌안용 가변 렌즈부(145L) 및 우안용 가변 렌즈부(145R)를 포함할 수 있다. 또한, 웨이브 가이드(142)는 투사된 광을 입력 영역에서 입력 받고 입력된 광의 적어도 일부를 출력 영역에서 출력하도록 구성될 수 있다. 이러한 웨이브 가이드(142)는 좌안용 웨이브 가이드(142L) 및 우안용 웨이브 가이드(142R)를 포함할 수 있다.
좌안용 가변 렌즈부(145L) 및 좌안용 웨이브 가이드(142L)가 사용자의 좌안에 대응되는 위치에 배치될 수 있으며, 우안용 가변 렌즈부(145R) 및 우안용 웨이브 가이드(142R)가 사용자의 우안에 대응되는 위치에 배치될 수 있다. 예를 들어, 좌안용 가변 렌즈부(145L)와 좌안용 웨이브 가이드(142L)가 서로 부착되거나, 우안용 가변 렌즈부(145R) 및 우안용 웨이브 가이드(142R)가 서로 부착될 수 있으나, 이에 제한되지 않는다.
또한, 화상을 담은 광을 투사하는 프로젝터를 포함하는 광학 엔진(141)은 좌안용 광학 엔진(141L) 및 우안용 광학 엔진(141R)을 포함할 수 있다. 좌안용 광학 엔진(141L) 및 우안용 광학 엔진(141R)은 프레임(110)의 양 단부(end pieces)에 위치할 수 있다. 광학 엔진(141)으로부터 출사된 광은 웨이브 가이드(142)을 통해 표시될 수 있다.
또한, 웨이브 가이드(142)의 후면에 배치된 광학 엔진(141)으로부터 웨이브 가이드(142)를 향해 투사된 광을 검출하기 위한 광 센서(143)이 광학 엔진(141)에 대향하여 웨이브 가이드(142)의 전면에 배치될 수 있다. 광 센서(143)은 광학 엔진(141)으로부터 투사된 광 중에서 웨이브 가이드(142) 내에서 회절되지 않고 웨이브 가이드(142)의 전면을 투과한 광을 검출할 수 있다. 광 센서(143)은 좌안용 광 센서(143L) 및 우안용 광 센서(143R)을 포함할 수 있다.
또한, 전자 장치(100)는 사용자의 시선을 추적하기 위하여, 시선 추적 센서(152)를 포함할 수 있다. 일 실시 예에 따른 시선 추적 센서(152)는 사용자의 왼쪽 눈의 시선을 추적하기 위한 제1 시선 추적 센서(152L) 및 오른쪽 눈의 시선을 추적하기 위한 제2 시선 추적 센서(152R)를 포함할 수 있다.
도 4는 일 실시 예에 따른 광학 엔진 및 웨이브 가이드를 설명하기 위한 도면이다.
광학 엔진(141)은 가상 이미지의 광을 생성하도록 구성되고, 화상 패널, 투사 광학계 등을 포함하는 프로젝터(projector)를 포함할 수 있다.
광학 엔진(141)은 광을 출력하는 광원, 광원으로부터 출력되는 광을 이용하여 2차원의 가상 이미지를 형성하는 화상 패널, 및 화상 패널에서 형성되는 가상 이미지의 광을 투사하는 투사 광학계를 포함할 수 있다. 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD(Digital Micromirror Device) 패널 또는 LCoS(Liquid Crystal on Silicon) 패널이나, 그 밖의 공지의 반사형 화상 패널일 수 있다. 투사 광학계는 화상 패널에 의해 반사된 이미지를 담은 광을 웨이브 가이드(142)에 투사하는 구성 요소로서, 하나 또는 복수의 투사 렌즈(프로젝션 렌즈)를 포함할 수 있다.
광학 엔진(141)은 프로세서(120)로부터 가상 이미지를 구성하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상 이미지를 생성하고, 광원으로부터 출력된 가상 이미지를 구성하는 광을 출사면(1140)을 통해 웨이브 가이드(142)에 투사(project)할 수 있다. 프로세서(120)는 가상 이미지를 구성하는 복수의 픽셀의 RGB 컬러 및 휘도 값을 포함하는 이미지 데이터를 광학 엔진(141)에 제공하고, 광학 엔진(141)은 복수의 픽셀 각각의 RGB 컬러 값과 휘도 값에 따라, 광원을 제어함으로써 가상 이미지를 구성하는 광을 웨이브 가이드(142)에 투사할 수 있다. 광학 엔진(141)은 광원이 백색광으로 조명되는 광학적으로 활성인 물질에 의해 변조되는 투과성 투사 기술(transmissive projection technology)을 이용하여 가상 이미지를 투사할 수 있다.
웨이브 가이드(142)는 사용자가 전자 장치(100)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(142)의 배면은 사용자가 전자 장치(100)를 착용할 때, 사용자의 눈이 마주하는 면을 의미하고, 웨이브 가이드(142)의 전면은 상기 배면에 대향되는 면(즉, 사용자의 눈에서 더 먼 웨이브 가이드의 면)을 의미한다.
일 실시 예에 따라, 웨이브 가이드(142)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(142)는 광학 엔진(141)의 출사면(1310)에 마주하여 투사된 가상 이미지(VI)를 구성하는 광을 입력 받는 제1 영역(1110), 제1 영역(1110)에 입사된 가상 이미지(VI)를 구성하는 광이 전파되는 제2 영역(1120), 및 제2 영역(1120)에서 전파되는 가상 이미지(VI)의 광을 사용자의 눈 방향으로 출력하는 제3 영역(1130)을 포함할 수 있다.
제1 영역(1110), 제2 영역(1120), 및 제3 영역(1130)에는 가상 이미지(VI)를 구성하는 광의 광 경로를 변경할 수 있도록 하는 회절 격자가 형성될 수 있다. 웨이브 가이드(142)는 제1 영역(1110), 제2 영역(1120), 및 제3 영역(1130)에 형성된 회절 격자를 이용하여, 가상 이미지(VI)의 광의 전파 경로를 변경하고, 최종적으로는 제3 영역(1130)을 통해 반사된 가상 이미지(VI)의 광이 사용자의 눈으로 출력될 수 있도록 도광판의 기능을 수행할 수 있다.
도 5는 일 실시 예에 따른 프로젝션 렌즈로부터 투사되는 광을 설명하기 위한 도면이다.
일 실시 예에 따르면, 프로젝션 렌즈(147)는 하나 또는 복수의 렌즈로 구성될 수 있다.
프로젝션 렌즈(147)는, 화상 패널(146)에서 형성된 가상 이미지의 광이 복수의 렌즈로 구성된 프로젝션 렌즈(147)를 통과하면서 굴절되어 웨이브 가이드(142)에 도달할 때 평행광(52)의 형태로 입사되도록 설계될 수 있다.
프로젝션 렌즈(147)를 구성하는 복수의 렌즈의 굴절력, 복수의 렌즈의 배치 간격, 프로젝션 렌즈(147)와 화상 패널(146) 사이의 후초점 거리 등의 설계에 따라, 가상 이미지를 구성하는 픽셀의 광선 다발이 평행하게 입사될 수 있다.
일 실시 예에 따라, 전자 장치(100)는 광 센서(143)을 통해 가상 이미지 전체를 구성하는 복수의 픽셀의 광을 검출할 수 있다. 또한, 전자 장치(100)는 광 센서(143)을 통해 가상 이미지의 소정 픽셀 영역(예컨대, 가상 이미지 중앙의 일부 영역)을 구성하는 하나 또는 복수의 픽셀의 광을 검출할 수 있다.
도 5는 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
도 6은 일 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 광 센서(143)에 의해 검출된 광의 평행도를 산출할 수 있다(S601).
일 실시 예에 따라, 광 센서(143)은 이미지 센서 또는 위상차 센서를 포함할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 광 센서(143)을 이용하여, 웨이브 가이드(142)의 입력 영역(148)을 투과한 광 중에서 웨이브 가이드(142) 내에서 회절되지 않고 웨이브 가이드(142) 전면을 투과한 광을 검출할 수 있다.
예를 들어, 전자 장치(100)는 이미지 센서를 이용하여 검출된 광에 기초하여, 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하고, 검출된 콘트라스트 값에 기초하여 광의 평행도를 산출할 수 있다.
또한, 예를 들어, 전자 장치(100)는 위상차 센서를 이용하여 검출된 위상차에 기초하여, 광의 평행도를 산출할 수 있다.
또한, 일 실시 예에 따라, 광 센서(143)은 포토다이오드 센서를 포함할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 포토다이오드 센서를 이용하여, 입력 영역(148)을 투과한 광 중에서 웨이브 가이드(142) 내에서 회절되지 않은 광에 기초하여, 입력 영역(148)에 대향하는 면의 회절 영역(164, 도 12 참조)에서 회절된 광의 세기를 검출할 수 있다.
예를 들어, 전자 장치(100)는 포토다이오드 센서를 이용하여 검출된 광의 세기에 기초하여, 광의 평행도를 산출할 수 있다.
전자 장치(100)는 광의 평행도에 기초하여, 평행광이 검출되기 위한 프로젝션 렌즈의 위치 조절 값을 산출할 수 있다 (S602).
일 실시 예에 따라, 전자 장치(100)는 광의 평행도에 기초하여 평행광이 입사된 것으로 판단되면, 프로젝션 렌즈(147)의 위치를 변경하지 않을 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 광의 평행도에 기초하여 평행광이 입사되지 않은 것으로 판단되면, 프로젝션 렌즈(147)와 웨이브 가이드(142) 간의 거리를 조절하기 위해 프로젝션 렌즈(147)가 광축을 기준으로 이동할 방향(예컨대, 위, 아래, 좌 또는 우), 이동할 거리(예컨대, 0.1mm)를 포함하는 위치 조절 값을 산출할 수 있다.
전자 장치(100)는 위치 조절 값에 기초하여, 프로젝션 렌즈와 웨이브 가이드(142) 간의 거리를 조절하도록 액추에이터를 제어할 수 있다 (S603).
일 실시 예에 따라, 전자 장치(100)는 산출된 위치 조절 값에 포함된 이동 방향, 이동 거리에 기초하여, 프로젝션 렌즈(147)의 광축을 기준으로 프로젝션 렌즈(147)의 위치를 조절함으로써, 프로젝션 렌즈(147)와 웨이브 가이드(142) 간의 거리를 조절할 수 있다. 이에 따라, 전자 장치(100)는 프로젝션 렌즈(147)로부터 웨이브 가이드(142)로 평행광이 입사되도록 제어할 수 있다.
도 7은 일 실시 예에 따른 이미지 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 흐름도이다. 도 8은 일 실시 예에 따른 이미지 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 도면이다. 도 8의 도면을 참조하여 도 7의 흐름도를 설명하기로 한다.
도 8을 참조하면, 광 센서(143)은 이미지 센서(161)를 포함할 수 있다.
도 7을 참조하면, 전자 장치(100)는 이미지 센서를 이용하여, 입력 영역(148)을 투과한 광 중에서 웨이브 가이드(142) 내에서 회절되지 않고 투과 영역(155)을 투과한 광에 기초하여, 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출할 수 있다 (S701).
일 실시 예에 따라, 전자 장치(100)는 이미지 센서(161)를 이용하여 웨이브 가이드(142)를 관통한 광을 검출할 수 있다. 전자 장치(100)는 이미지 센서(161)를 이용하여, 웨이브 가이드(142)의 입력 영역(148)을 투과한 광 중에서 웨이브 가이드(142) 내에서 광 경로를 변경하지 않고 투과 영역(155)을 투과한 광에 기초하여, 콘트라스트 값을 검출할 수 있다.
도 8을 참조하면, 투과 영역(155)을 통해 입사되는 광이 평행하지 않으면, 이미지 센서(161)의 기준면에 도달한 광선 다발이 기준면 상의 한 지점에서 수렴되지 않으므로(81), 콘트라스트 값이 낮게 검출될 수 있다.
투과 영역(155)을 통해 입사되는 광이 평행하면, 이미지 센서(161)의 기준면에 도달한 광선 다발이 기준면 상의 한 지점에서 수렴(82)하게 되므로, 콘트라스트 값이 상대적으로 높게 검출될 수 있다.
도 7을 참조하면, 전자 장치(100)는 검출된 콘트라스트 값에 기초하여, 입력 영역(148)을 투과한 광의 평행도를 산출할 수 있다 (S702).
전자 장치(100)는 이미지 센서(161)를 이용하여 콘트라스트 값이 미리 설정된 값 이상으로 상대적으로 높게 검출되는 경우, 평행광이 입사된 것으로 판단할 수 있다.
또한, 전자 장치(100)는 이미지 센서(161)를 이용하여 콘트라스트 값이 미리 설정된 값 이하로 상대적으로 낮게 검출되는 경우, 평행광이 입사되지 않은 것으로 판단하고 평행광이 입사되기 위해 프로젝션 렌즈(147)가 이동해야 할 위치 조절 값을 산출할 수 있다.
도 8은 일 실시 예를 설명하기 위해 도시한 것으로 실시예들이 이에 제한되지 않는다.
도 9는 일 실시 예에 따른 위상차 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 흐름도이다. 도 10은 일 실시 예에 따른 위상차 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 도면이다. 도 10의 도면을 참조하여 도 9의 흐름도를 설명하기로 한다.
도 10을 참조하면, 광 센서(143)은 소정 거리 이격되어 배치된 두 개의 광 센서(예를 들어, 제1 광 센서(163a) 및 제2 광 센서(163b))를 포함하는 위상차 센서(162)를 포함할 수 있다.
도 9를 참조하면, 전자 장치(100)는 입력 영역을 투과한 광 중에서 웨이브 가이드(142) 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 두 개의 광 센서(163a, 163b)를 통해 위상차를 검출할 수 있다 (S901). 전자 장치(100)는 검출된 위상차에 기초하여, 입력 영역을 투과한 광의 평행도를 산출할 수 있다(S902).
도 10을 참조하면, 예를 들어, 제1 광 센서(163a)와 제2 광 센서(163b)는 광의 세기를 센싱하는 라인 센서를 포함할 수 있으며, 소정 거리 이격되어 일렬로 배치될 수 있다.
예를 들어, 제1 광 센서(163a)와 제2 광 센서(163b)에서 각각 광이 센싱되는 지점이 중앙 지점(95, 96)인 경우, 입력 영역(148)으로 입사된 광이 평행광인 것으로 판단될 수 있다.
또한, 예를 들어, 전자 장치(100)는, 제1 광 센서(163a)와 제2 광 센서(163b)에서 각각 광이 센싱되는 지점이 중앙 지점(91, 93)으로부터 소정 거리 이격된 지점(92, 94)인 경우, 이격된 거리에 기초하여 위상차를 검출하고, 입력 영역(148)으로 입사된 광이 평행하지 않은 것으로 판단할 수 있다. 전자 장치(100)는 평행광이 입사되지 않은 것으로 판단하면, 평행광이 입사되기 위해 프로젝션 렌즈(147)가 이동해야 할 위치 조절 값을 산출할 수 있다.
도 10은 일 실시 예를 설명하기 위해 도시한 것으로 실시예들이 이에 제한되지 않는다.
도 11은 일 실시 예에 따른 포토다이오드 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 흐름도이다. 도 12는 일 실시 예에 따른 포토다이오드 센서를 이용하여 광의 평행도를 산출하는 방법을 설명하기 위한 도면이다. 도 12의 도면을 참조하여 도 11의 흐름도를 설명하기로 한다.
도 12를 참조하면, 광 센서(143)은 포토다이오드 센서(165)를 포함할 수 있다.
일 실시 예에 따라, 포토다이오드 센서(165)는, 입력 영역(148)을 투과하여 웨이브 가이드(142) 내에서 회절되지 않은 광 중에서, 입력 영역(148)에 대향하는 회절 영역(164)에서 회절된 광을 수광하도록 배치될 수 있다.
예를 들어, 포토다이오드 센서(165)는 웨이브 가이드(142) 전면의 회절 영역(164)에 대향하여, 웨이브 가이드(142) 후면의 입력 영역(148)으로부터 소정 간격 이격되어 배치될 수 있다.
일 실시 예에 따라, 회절 영역(164)은 평행하게 입사되는 광의 경로를 변경시키는 회절 격자로 구성될 수 있다. 이에 따라, 입력 영역(148)으로부터 회절 영역(164)으로 평행하게 입사된 광 중 일부가 회절되어 포토다이오드 센서(165)에 의해 검출될 수 있다. 입력 영역(148)으로부터 회절 영역(164)으로 입사된 광이 평행하지 않으면, 회절 영역(164)에서 광의 경로가 변경되지 않는다.
도 11을 참조하면, 전자 장치(100)는 포토다이오드 센서(165)를 이용하여, 입력 영역(148)을 투과한 광 중에서 웨이브 가이드(142) 내에서 회절되지 않은 광에 기초하여, 입력 영역(148)에 대향하는 회절 영역(164)으로부터 회절된 광의 세기를 검출할 수 있다 (S1101).
일 실시 예에 따라, 입력 영역(148)으로부터 회절 영역(164)으로 투사된 평행광은 광의 경로가 변경되어 포토다이오드 센서(165)를 향해 투사될 수 있다.
회절 영역(164)은 평행광에 대해서만 광의 경로를 변경시키는 회절 격자로 구성되기 때문에, 평행하지 않은 광이 입사 될 경우 입사되는 광을 회절시키지 않으므로, 포토다이오드 센서(165)에 의해 광이 검출되지 않는다.
도 11을 참조하면, 전자 장치(100)는 검출된 광의 세기에 기초하여, 광의 평행도를 산출할 수 있다 (S1102).
일 실시 예에 따라, 전자 장치(100)는 포토다이오드 센서(165)를 이용하여 검출된 광의 세기가 미리 설정된 값 이상인 경우, 입력 영역(148)으로 평행광이 입사된 것으로 판단할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 포토다이오드 센서(165)에 의해 광이 검출되지 않으면, 입력 영역(148)으로 투사된 광이 평행광이 아닌 것으로 판단할 수 있다. 전자 장치(100)는 평행광이 입사되지 않은 것으로 판단하면, 평행광이 입사되기 위해 프로젝션 렌즈(147)가 이동해야 할 위치 조절 값을 산출할 수 있다.
도 12는 일 실시 예를 설명하기 위해 도시한 것으로 실시예들이 이에 제한되지 않는다.
도 13은 일 실시 예에 따른 프로젝션 렌즈의 위치에 따른 광의 평행도의 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 프로젝션 렌즈(147)(도1)의 위치에 따라 프로젝션 렌즈(147)로부터 웨이브 가이드(142)(도 1)로 투사되는 광의 평행도가 달라질 수 있다. 일 실시 예에 따라, 프로젝션 렌즈(147)와 웨이브 가이드(142)(도1) 간의 이격 거리에 따라, 프로젝션 렌즈(147)로부터 웨이브 가이드(142)로 투사되는 광의 평행도가 달라질 수 있다.
도 13의 그래프를 참조하면, 예를 들어, 프로젝션 렌즈의 위치가 (0)의 위치일 때, 광의 평행도가 0.3으로 산출될 수 있다. 이 때, 웨이브 가이드(142)를 통해 선명한 가상 이미지가 제공될 수 있다.
또한, 예를 들어, 프로젝션 렌즈의 위치가 (+1)의 위치일 때, 광의 평행도가 0.1으로 산출될 수 있다. 이 때, 웨이브 가이드(142)를 통해 제공되는 가상 이미지는 초점이 맞지 않을 수 있다. 또한, 예를 들어, 프로젝션 렌즈의 위치가 (-3)의 위치일 때, 광의 평행도가 0.07으로 산출될 수 있다. 이 때, 웨이브 가이드(142)를 통해 제공되는 가상 이미지는 초점이 맞지 않는 흐릿한 영상일 수 있다.
일 실시 예에 따르면, 전자 장치(100)의 제조 시, 프로젝션 렌즈(147, 도1)는, 프로젝션 렌즈(147)로부터 웨이브 가이드(142)로 평행광을 투사할 수 있는 이격 거리를 갖는 위치에 배치될 수 있다. 사용 환경 상, 온도 변화 등의 요인으로 프로젝션 렌즈(147)의 위치가 변경됨으로써 프로젝션 렌즈(147)와 웨이브 가이드(142)간의 이격 거리가 변경될 수 있다. 전자 장치(100)는, 프로젝션 렌즈(147)로부터 웨이브 가이드(142)로 투사되는 광이 평행한지 판단하고, 평행하지 않은 경우, 평행광이 입사될 수 있는 위치로 프로젝션 렌즈(147)의 위치를 조절함으로써 프로젝션 렌즈(147)와 웨이브 가이드(142) 간의 이격 거리를 조절할 수 있다. 이에 따라, 사용자에게 고화질의 가상 이미지가 제공될 수 있다.
도 13은 일 실시 예를 설명하기 위해 도시한 것으로 이에 제한되지 않는다.
한편, 상술한 실시 예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시 예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시 예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어, 예를 들어, “등”의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시 예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    가상 이미지의 광을 투사하도록 구성되는 프로젝션 렌즈를 포함하는 광학 엔진;
    상기 가상 이미지의 광이 입사되는 입력 영역을 포함하는 웨이브 가이드;
    상기 프로젝션 렌즈의 광축을 기준으로 상기 프로젝션 렌즈의 위치를 조절하는 액추에이터;
    상기 입력 영역을 투과한 광을 검출하는 광 센서;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 광 센서에 의해 검출된 광의 평행도를 획득하고,
    상기 광의 평행도에 기초하여, 평행광이 검출되기 위한 상기 프로젝션 렌즈의 위치 조절 값을 획득하고,
    상기 위치 조절 값에 기초하여, 상기 프로젝션 렌즈와 상기 웨이브 가이드 간의 거리를 조절하도록 상기 액추에이터를 제어하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 입력 영역(input gating)은 상기 웨이브 가이드의 제1 면 상에 형성되고(provided), 상기 입력 영역을 통해 상기 웨이브 가이드로 입사된 광이 상기 웨이브 가이드 내에서 광 경로를 변경하도록 회절 격자를 포함하고,
    상기 광 센서는 상기 웨이브 가이드의 상기 제1 면과 반대되는 제2 면 상에 형성되고(provided), 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않은 광을 수광하도록 구성되는, 전자 장치.
  3. 제1 항에 있어서,
    상기 광 센서는 이미지 센서를 포함하고,
    상기 프로세서는,
    상기 이미지 센서를 이용하여, 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 상기 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하고,
    상기 검출된 콘트라스트 값에 기초하여 상기 입력 영역을 투과한 광의 평행도를 획득하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 광 센서는,
    소정 거리 이격되어 배치된 두 개의 광 센서를 포함하는 위상차 센서를 포함하고,
    상기 프로세서는,
    상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여 상기 두 개의 광 센서를 통해 위상차를 검출하고,
    상기 검출된 위상차에 기초하여 상기 입력 영역을 투과한 광의 평행도를 획득하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 광 센서는 포토다이오드 센서를 포함하고,
    상기 포토다이오드 센서는,
    상기 입력 영역을 투과하여 상기 웨이브 가이드 내에서 회절되지 않은 광 중에서, 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광을 수광하도록 구성되는, 전자 장치.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 포토다이오드 센서를 이용하여 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광의 세기를 검출하고,
    상기 검출된 광의 세기에 기초하여 광의 평행도를 획득하는, 전자 장치.
  7. 가상 이미지의 광을 투사하도록 구성되는 프로젝션 렌즈를 포함하는 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 광 센서에 의해, 상기 가상 이미지의 광이 입사되는 웨이브 가이드의 입력 영역을 투과한 광을 검출하는 단계;
    상기 광 센서에 의해 검출된 광의 평행도를 획득하는 단계;
    상기 광의 평행도에 기초하여, 평행광을 검출하도록 상기 프로젝션 렌즈의 위치 조절 값을 획득하는 단계; 및
    상기 위치 조절 값에 기초하여, 상기 프로젝션 렌즈와 상기 웨이브 가이드 간의 거리를 조절하도록 상기 전자 장치의 액추에이터를 제어하는 단계;를 포함하는, 동작 방법.
  8. 제7 항에 있어서,
    상기 입력 영역은 상기 웨이브 가이드의 제1 면 상에 형성되고, 상기 입력 영역을 통해 상기 웨이브 가이드로 입사된 광이 상기 웨이브 가이드 내에서 광 경로를 변경하도록 회절 격자를 포함하고,
    상기 광 센서는 상기 웨이브 가이드의 상기 제1 면과 반대되는 제2 면 상에 형성되고, 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않은 광을 수광하도록 구성되는, 동작 방법.
  9. 제7 항에 있어서,
    상기 광 센서는 이미지 센서를 포함하고,
    상기 광을 검출하는 단계는,
    상기 이미지 센서를 이용하여 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여 상기 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하는 단계를 포함하고,
    상기 광의 평행도를 획득하는 단계는,
    상기 검출된 콘트라스트 값에 기초하여, 상기 입력 영역을 투과한 광의 평행도를 획득하는 단계를 포함하는, 동작 방법.
  10. 제7 항에 있어서,
    상기 광 센서는,
    서로 이격되어 배치된 두 개의 광 센서를 포함하는 위상차 센서를 포함하고,
    상기 광을 검출하는 단계는,
    상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 상기 두 개의 광 센서를 통해 위상차를 검출하는 단계를 포함하고,
    상기 광의 평행도를 획득하는 단계는,
    상기 검출된 위상차에 기초하여, 상기 입력 영역을 투과한 광의 평행도를 획득하는 단계를 포함하는, 동작 방법.
  11. 제7 항에 있어서,
    상기 광 센서는 포토다이오드 센서를 포함하고,
    상기 포토다이오드 센서는,
    상기 입력 영역을 투과하여 상기 웨이브 가이드 내에서 회절되지 않은 광 중에서, 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광을 수광하도록 구성되는, 동작 방법.
  12. 제11 항에 있어서,
    상기 광을 검출하는 단계는,
    상기 포토다이오드 센서를 이용하여, 상기 입력 영역에 대향하는 회절 영역으로부터 회절된 광의 세기를 검출하는 단계를 포함하고,
    상기 광의 평행도를 획득하는 단계는,
    상기 검출된 광의 세기에 기초하여, 광의 평행도를 획득하는 단계;
    를 포함하는, 동작 방법.
  13. 가상 이미지의 광을 투사하도록 구성되는 프로젝션 렌즈를 포함하는 전자 장치의 동작 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 비일시적인(non-transitory) 기록매체에 있어서, 상기 동작 방법은
    상기 전자 장치의 광 센서에 의해, 상기 가상 이미지의 광이 입사되는 웨이브 가이드의 입력 영역을 투과한 광을 검출하는 동작;
    상기 광 센서에 의해 검출된 광의 평행도를 획득하는 동작;
    상기 광의 평행도에 기초하여, 평행광을 검출하도록 상기 프로젝션 렌즈의 위치 조절 값을 획득하는 동작; 및
    상기 위치 조절 값에 기초하여, 상기 프로젝션 렌즈와 상기 웨이브 가이드 간의 거리를 조절하도록 상기 전자 장치의 액추에이터를 제어하는 동작;을 포함하는, 기록매체.
  14. 제13 항의 비일시적인 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 광 센서는 이미지 센서를 포함하고,
    상기 광을 검출하는 동작은, 상기 이미지 센서를 이용하여 상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여, 상기 가상 이미지의 소정 픽셀 영역의 콘트라스트 값을 검출하는 동작을 포함하고,
    상기 광의 평행도를 획득하는 동작은, 상기 검출된 콘트라스트 값에 기초하여 상기 입력 영역을 투과한 광의 평행도를 획득하는 동작을 포함하는, 기록매체.
  15. 제13 항의 비일시적인 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 광 센서는 서로 이격되어 배치된 두 개의 광 센서를 포함하는 위상차 센서를 포함하고,
    상기 광을 검출하는 동작은,
    상기 입력 영역을 투과한 광 중에서 상기 웨이브 가이드 내에서 회절되지 않고 투과 영역을 투과한 광에 기초하여 상기 두 개의 광 센서를 통해 위상차를 검출하는 동작을 포함하고,
    상기 광의 평행도를 획득하는 동작은
    상기 검출된 위상차에 기초하여, 상기 입력 영역을 투과한 광의 평행도를 획득하는 동작을 포함하는, 기록 매체.
PCT/KR2022/008763 2021-09-10 2022-06-21 전자 장치 및 그 동작 방법 Ceased WO2023038243A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22867512.0A EP4382989A4 (en) 2021-09-10 2022-06-21 Electronic device and operation method thereof
US17/877,413 US12416803B2 (en) 2021-09-10 2022-07-29 Electronic device and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210121182A KR20230037993A (ko) 2021-09-10 2021-09-10 전자 장치 및 그 동작 방법
KR10-2021-0121182 2021-09-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/877,413 Continuation US12416803B2 (en) 2021-09-10 2022-07-29 Electronic device and operating method thereof

Publications (1)

Publication Number Publication Date
WO2023038243A1 true WO2023038243A1 (ko) 2023-03-16

Family

ID=85506559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008763 Ceased WO2023038243A1 (ko) 2021-09-10 2022-06-21 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230037993A (ko)
WO (1) WO2023038243A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120871446A (zh) * 2025-09-26 2025-10-31 歌尔股份有限公司 折射率调节方法、装置、智能眼镜及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070141A (ja) * 2009-08-31 2011-04-07 Sony Corp 画像表示装置及び頭部装着型ディスプレイ
KR20190009104A (ko) * 2017-07-18 2019-01-28 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
KR20190124172A (ko) * 2019-08-28 2019-11-04 엘지전자 주식회사 전자 디바이스
JP2020506419A (ja) * 2017-01-23 2020-02-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムのための接眼レンズ
KR20200075532A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070141A (ja) * 2009-08-31 2011-04-07 Sony Corp 画像表示装置及び頭部装着型ディスプレイ
JP2020506419A (ja) * 2017-01-23 2020-02-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムのための接眼レンズ
KR20190009104A (ko) * 2017-07-18 2019-01-28 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
KR20200075532A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램
KR20190124172A (ko) * 2019-08-28 2019-11-04 엘지전자 주식회사 전자 디바이스

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120871446A (zh) * 2025-09-26 2025-10-31 歌尔股份有限公司 折射率调节方法、装置、智能眼镜及存储介质

Also Published As

Publication number Publication date
KR20230037993A (ko) 2023-03-17

Similar Documents

Publication Publication Date Title
WO2020209491A1 (en) Head-mounted display device and operating method of the same
WO2016204433A1 (en) Head mounted display apparatus
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2016017966A1 (en) Method of displaying image via head mounted display device and head mounted display device therefor
WO2016143983A1 (en) Method and device for radiating light used to capture iris
WO2016190505A1 (ko) 글래스타입 단말기 및 이의 제어방법
WO2021256651A1 (ko) 증강 현실 글라스 및 그 동작 방법
WO2015053449A1 (ko) 안경형 영상표시장치 및 그것의 제어방법
WO2020040367A1 (ko) 웨어러블 장치 및 그 제어 방법
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
WO2023038243A1 (ko) 전자 장치 및 그 동작 방법
WO2023080564A1 (ko) 전자 장치 및 그 동작 방법
WO2021242008A1 (en) Electronic device and operating method thereof
WO2022164094A1 (ko) Hmd(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 hmd
WO2022075686A1 (ko) 전자 장치 및 그 동작 방법
WO2022211514A1 (ko) 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 헤드 마운티드 디스플레이 장치
WO2019177218A1 (ko) 광학 장치
WO2025014092A1 (ko) 증강 현실 장치 및 그 동작 방법
WO2022010192A1 (ko) 웨어러블 디바이스 및 그 동작 방법
WO2022146018A1 (ko) 전자 장치 및 그의 제어 방법
WO2020004941A1 (ko) 디스플레이에서 출력된 광을 렌즈로 전달할 수 있는 반사 부재 및 반투명 반사 부재를 포함하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22867512

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022867512

Country of ref document: EP

Effective date: 20240308

NENP Non-entry into the national phase

Ref country code: DE