[go: up one dir, main page]

WO2025041979A1 - 사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체 - Google Patents

사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
WO2025041979A1
WO2025041979A1 PCT/KR2024/007299 KR2024007299W WO2025041979A1 WO 2025041979 A1 WO2025041979 A1 WO 2025041979A1 KR 2024007299 W KR2024007299 W KR 2024007299W WO 2025041979 A1 WO2025041979 A1 WO 2025041979A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
user
size
gaze data
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2024/007299
Other languages
English (en)
French (fr)
Inventor
강진모
이건희
정선영
염동현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230133511A external-priority patent/KR20250028162A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US18/742,921 priority Critical patent/US12498787B2/en
Publication of WO2025041979A1 publication Critical patent/WO2025041979A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • the present disclosure relates to a wearable device, a method, and a computer-readable storage medium for identifying a user's gaze.
  • electronic devices are being developed that provide extended reality (XR) services that display computer-generated information in conjunction with external objects in the real world.
  • the electronic devices can provide extended reality services to users by using virtual objects corresponding to the users.
  • a wearable device may include at least one camera configured for eye tracking, at least one display configured to be aligned with an eye of a user wearing the wearable device, and at least one processor including processing circuitry.
  • the at least one processor may be configured, individually and/or collectively, to control the wearable device to display a screen on the at least one display.
  • the at least one processor may be configured, individually and/or collectively, to acquire gaze data related to an object within the screen via the at least one camera.
  • the at least one processor may be configured, individually and/or collectively, to determine whether to recognize the gaze data as an input for the object using an area for the object, the area having a size set based on an overall brightness level of the screen.
  • the at least one processor may be configured, individually and/or collectively, to execute a function provided from the object based on the gaze data recognized as a user input.
  • a wearable device may include at least one camera configured for eye tracking, at least one display configured to be aligned with an eye of a user wearing the wearable device, and at least one processor including a processing circuit.
  • the at least one processor may be configured, individually and/or collectively, to control the wearable device to display a screen on the at least one display.
  • the at least one processor may be configured, individually and/or collectively, to obtain, through the at least one camera, the gaze data positioned adjacent to an object in the screen.
  • the at least one processor may be configured, individually and/or collectively, to obtain, through the at least one camera, information about a size of a pupil of the eye.
  • the at least one processor may be configured, individually and/or collectively, to recognize, in response to the size being a first size, the gaze data as an input to the object, and to activate a function provided by the object based on the gaze data recognized as the user input. At least one processor may be configured, individually and/or collectively, to keep the feature disabled by determining not to recognize the gaze data as the input in response to the size being a second size that is greater than the first size.
  • a method executed in a wearable device having at least one camera configured for eye tracking according to one embodiment and at least one display configured to be aligned with an eye of a user wearing the wearable device may include an operation of displaying a screen on the at least one display.
  • the method may include an operation of acquiring user data related to an object in the screen through the at least one camera.
  • the method may include an operation of determining whether to recognize the gaze data as an input for the object using an area for the object, the area having a size set based on an overall brightness level of the screen.
  • the method may include an operation of executing a function provided from the object based on the gaze data recognized as the input.
  • a non-transitory computer-readable storage medium storing one or more programs according to one embodiment, wherein the one or more programs may include instructions that, when individually and/or collectively executed by at least one processor of a wearable device having at least one camera configured for eye tracking and at least one display configured to be aligned with an eye of a user wearing the wearable device, cause the wearable device to display a screen on the at least one display.
  • the one or more programs may include instructions that, when executed by the wearable device, cause the wearable device to acquire gaze data associated with an object within the screen via the at least one camera.
  • the one or more programs may include instructions that, when executed by the wearable device, cause the wearable device to determine whether to recognize the gaze data as input for the object using an area for the object, the area having a size set based on an overall brightness level of the screen.
  • the one or more programs may include instructions that, when executed by the wearable device, cause the wearable device to execute a function provided from the object based on the gaze data recognized as the input.
  • a wearable device may include at least one camera configured for eye tracking, at least one display configured to be aligned with an eye of a user wearing the wearable device, and at least one processor including a processing circuit.
  • the at least one processor may be configured, individually and/or collectively, to control the wearable device to display a screen on the at least one display.
  • the at least one processor may be configured, individually and/or collectively, to acquire state information of the user related to the eye and gaze data related to an object within the screen through the at least one camera.
  • the at least one processor may be configured, individually and/or collectively, to determine, based on the object displayed at a first location within the screen, whether to recognize the gaze data as an input for the object by using a first region for the object, the first region having a size set based on the state information.
  • At least one processor may be configured, individually and/or collectively, to determine whether to recognize the gaze data as input for the object using a second region for the object, the second region having a different size set based on the state information, based on the object displayed at a second location distinct from the first location within the screen and adjacent to at least one of the edges of the screen.
  • the size of the second region may be set to be larger than the size of the first region.
  • FIG. 1 is a diagram illustrating an example of an operation of a wearable device according to various embodiments to obtain a user's gaze data
  • FIG. 2A is a perspective view of a wearable device according to various embodiments
  • FIG. 2b is a perspective view illustrating an example of one or more hardware elements positioned within a wearable device according to various embodiments
  • FIGS. 3A and 3B are perspective views illustrating examples of the appearance of a wearable device according to various embodiments
  • FIG. 4 is a block diagram illustrating an exemplary configuration of a wearable device according to various embodiments
  • Figure 5 is a flowchart showing the operation of a wearable device according to one embodiment.
  • FIG. 6 is a flowchart illustrating an operation of utilizing the brightness level of a wearable device according to various embodiments
  • FIG. 7 is a flowchart illustrating an exemplary operation of utilizing status information of a user of a wearable device according to various embodiments
  • FIG. 8 is a flowchart illustrating an exemplary operation utilizing the light level of a wearable device according to various embodiments
  • FIG. 9 is a flowchart illustrating an exemplary operation of a wearable device identifying user input based on state information according to various embodiments.
  • FIG. 10 is a diagram illustrating an example of an area set based on state information according to various embodiments.
  • FIG. 11 is a diagram illustrating an example of an operation of a wearable device selecting an object using an area according to various embodiments
  • FIG. 12 is a flowchart illustrating exemplary operations of a wearable device according to various embodiments.
  • FIG. 13 is a flowchart illustrating an exemplary operation of a wearable device identifying user input based on pupil size according to various embodiments
  • FIG. 14 is a flowchart illustrating exemplary operations of a wearable device according to various embodiments.
  • FIG. 15 is a diagram illustrating an exemplary network environment in which metaverse services are provided through a server according to various embodiments.
  • Electronic devices may be devices of various forms.
  • the electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, electronic devices, home appliance devices, or the like.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used merely to distinguish one component from another, and do not limit the components in any other respect (e.g., importance or order).
  • a component e.g., a first
  • another component e.g., a second
  • functionally e.g., a third component
  • module used in various embodiments of this document may include a unit implemented by hardware, software or firmware, or any combination thereof, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrally configured component or a minimum unit of the component that performs one or more functions, or a portion thereof.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may be implemented as software (e.g., a program) including one or more instructions stored in a storage medium (e.g., an internal memory or an external memory) readable by a machine (e.g., a wearable device (101)).
  • a processor e.g., a processor (420) (e.g., see FIG. 4)
  • the wearable device (101) e.g., see FIGS. 2A, 2B, 3A, and 3B
  • the machine may call at least one instruction among the one or more instructions stored from the storage medium and execute it. This enables the machine to operate to perform at least one function according to the at least one instruction called.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the machine-readable storage medium may be provided in the form of a non-transitory storage medium.
  • a 'non-transitory' storage medium is a tangible device that may or may not contain signals (e.g. electromagnetic waves), but the term does not distinguish between cases where data is stored semi-permanently or temporarily on a storage medium.
  • the method according to various embodiments disclosed in the present document may be provided as included in a computer program product.
  • the computer program product may be traded between a seller and a buyer as a commodity.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., a compact disc read only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) via an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • at least a part of the computer program product may be at least temporarily stored or temporarily generated in a machine-readable storage medium, such as a memory of a manufacturer's server, a server of an application store, or an intermediary server.
  • each component e.g., a module or a program of the above-described components may include a single or multiple entities, and some of the multiple entities may be separately arranged in other components.
  • one or more components or operations of the above-described components may be omitted, or one or more other components or operations may be added.
  • the multiple components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the multiple components identically or similarly to those performed by the corresponding component of the multiple components before the integration.
  • the operations performed by the module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, omitted, or one or more other operations may be added.
  • FIG. 1 is a diagram illustrating an exemplary operation of a wearable device according to various embodiments to acquire a user's gaze data.
  • the wearable device (101) may be referred to as a terminal (or user terminal).
  • the terminal may include, for example, a personal computer (PC), such as a laptop or desktop.
  • the terminal may include, for example, a smartphone, a smartpad, and/or a tablet PC.
  • the terminal may include a smart accessory, such as a smartwatch and/or a head-mounted device (HMD). It will be appreciated that the terminal is not limited to the examples described above.
  • the wearable device (101) may include a head-mounted display (HMD) that is wearable on the head of the user (105).
  • the wearable device (101) may be one or more (or multiple).
  • the wearable device (101) may include a camera (e.g., the camera (440) of FIG. 4, which will be described in more detail below) positioned toward the front of the user (105) when the device is worn by the user (105).
  • the front of the user (105) may include the head of the user (105) and/or the direction in which the gaze of the user (105) is directed.
  • the wearable device (101) according to one embodiment may include a sensor for identifying the motion of the head of the user (105) and/or the wearable device (101) when the device is worn by the user (105).
  • the wearable device (101) can identify the angle of the wearable device (101) based on the data of the sensor.
  • the wearable device (101) can control a camera and/or a sensor.
  • the UI can be related to a metaverse service provided by the wearable device (101), and/or a server connected to the wearable device (101), and/or a notification service.
  • the wearable device (101) may perform functions related to augmented reality (AR) and/or mixed reality (MR). While the user (105) wears the wearable device (101), the wearable device (101) may include at least one lens positioned adjacent to the eyes of the user (105). Ambient light passing through the lens may be combined (or mixed) with light emitted from a display of the wearable device (101) (e.g., display (450) of FIG. 4 ). A display area of the display may be formed within the lens through which the ambient light passes. Since the wearable device (101) combines the ambient light and the light emitted from the display, the user (105) can see an image that is a mixture of a real object recognized by the ambient light and a virtual object formed by the light emitted from the display.
  • AR augmented reality
  • MR mixed reality
  • a wearable device (101) may perform functions related to video see-through (VST) and/or virtual reality (VR).
  • the wearable device (101) may include a housing that covers an eye of the user (105).
  • the wearable device (101) may include a display disposed on a first side facing the eye (e.g., the first side (310) of FIG. 3A).
  • the wearable device (101) may include a camera (e.g., cameras 260-7, 260-8, 260-9, 260-10, 260-11, 260-12 of FIG. 3B) disposed on a second side (e.g., the second side (320) of FIG. 3A) opposite to the first side.
  • the wearable device (101) may obtain frame images including ambient light.
  • the wearable device (101) may output the frame images to a display disposed on the first side, thereby allowing a user (105) to recognize the ambient light through the display.
  • a display area of the display disposed on the first side may be formed by one or more pixels included in the display.
  • the wearable device (101) can synthesize a virtual object within frame images output through the display to allow the user (105) to recognize the virtual object together with a real object recognized by ambient light.
  • the wearable device (101) can provide a user experience based on mixed reality (MR) by using a virtual space.
  • the wearable device (101) can recognize an external space (e.g., a real space) in which the wearable device (101) is included, and generate a virtual space mapped to the external space.
  • the spatial recognition performed by the wearable device (101) can include SLAM and/or spatial mapping (e.g., scene understanding).
  • the wearable device (101) may obtain one or more screens using one or more sets of rendering data to display the screen (110) on the at least one display.
  • the wearable device (101) may display one or more screens on each of the one or more displays, thereby providing the user (105) with a screen (110) that is at least partially overlapping the one or more screens.
  • a wearable device (101) may display a screen (110) including a visual object (120) for obtaining user's gaze data on at least one display.
  • the wearable device (101) may obtain user's (105) gaze data related to the visual object (120) in the screen (110) through a camera.
  • the camera may be referred to as a gaze tracking camera (e.g., gaze tracking camera (260-1) of FIGS. 2A to 3B) from the perspective that it is positioned toward the user's eye and includes a camera for performing eye tracking.
  • the wearable device (101) may obtain gaze data by using parameters related to the user's gaze through the camera.
  • the wearable device (101) can infer the eye direction of the user (105) based on identifying the location of each of the pupil, sclera, iris, and/or glint (e.g., gaze detection light reflected from the pupil) included in the eye of the user (105).
  • the gaze-related parameters can include parameters that can change the image related to the eye acquired through the camera.
  • the parameters can include parameters representing the overall brightness level of the display, the illuminance of external light, and/or the user's state information related to the eyes.
  • the wearable device (101) can identify a portion within the screen (110) that matches the inferred eye direction.
  • the wearable device (101) can identify information about the portion that the user (105) is looking at within the screen (110) by using the gaze data (125) indicating the inferred eye direction.
  • a wearable device (101) may obtain gaze data (125) for a visual object (120) included in a screen (110) by using a camera.
  • the gaze data (125) may include one or more data sets (125-1, 125-2, 125-3).
  • the wearable device (101) may perform user calibration to identify the gaze data (125) as a user input.
  • the wearable device (101) may obtain an average value for one or more data sets (125-1, 125-2, 125-3) obtained based on performing the user calibration as the gaze data (125).
  • the present disclosure is not limited thereto.
  • the wearable device (101) may obtain gaze data (125) based on one data set.
  • User calibration may include an operation of correcting a position corresponding to gaze data (125) inferred by the wearable device (101) using a position corresponding to the gaze (150) of the user (105).
  • the gaze data (125) can be acquired using an image related to the eyes of the user (105) acquired through a camera.
  • the gaze data (125) can represent a gaze corresponding to a direction of the eyes of the user (105) inferred by the wearable device (101).
  • the gaze data (125) can be identified based on an optical axis corresponding to the eyes.
  • the optical axis can include a line connecting the center of the pupil and the center of the corneal curvature.
  • the wearable device (101) can identify a location where a visual object (120) is displayed within the screen (110).
  • the location where the visual object (120) is displayed can be a location where the user's (105) line of sight (150) based on a visual axis matches the screen (110).
  • the visual axis can include a line connecting the center of the retina (fovea) and the center of corneal curvature.
  • the line of sight (150) can indicate a location of the screen (110) that the user (105) actually looks at (or perceives).
  • the wearable device (101) can identify the accuracy and/or precision of the gaze data (125) acquired through the camera by using the location of the visual object (120) and the gaze data (125).
  • the accuracy may include information indicating a difference (127) between the location of the visual object (120) (or the location to which the gaze (150) matches) and the location of the gaze data (125).
  • the location of the gaze data (125) may represent an average value of the locations of one or more data sets (125-1, 125-2, 125-3).
  • the precision may represent information acquired based on the locations of one or more data sets (125-1, 125-2, 125-3).
  • the wearable device (101) can identify the extent to which the locations of one or more data sets (125-1, 125-2, 125-3) are spread out based on a root mean square deviation.
  • the precision can represent the extent to which the one or more data sets (125-1, 125-2, 125-3) are spread out.
  • the wearable device (101) may determine whether to recognize the gaze data (125) as a user input for a visual object (120) based on accuracy and/or precision associated with the gaze data (125) of the user (105).
  • the wearable device (101) may set an area for selecting the visual object (120) using the gaze data (125).
  • the wearable device (101) may obtain an area (130) having a size set based on the gaze data (125).
  • the wearable device (101) may obtain an area (130) having a size that may include all of the positions of one or more data sets (125-1, 125-2, 125-3) for the visual object (120).
  • the area (130) may be referred to as a selection area or a valid area from the perspective of being an area for selecting a visual object (120).
  • the size of the area (130) set by the wearable device (101) may change depending on the accuracy and/or precision of the gaze data (125).
  • the size of the area (130) may become smaller as the accuracy and/or precision of the gaze data (125) increases.
  • the wearable device (101) acquires gaze data (125) for a visual object (120) in the state (128-1)
  • the wearable device (101) may acquire an area (130-1) having a size smaller than the size of the area (130).
  • the difference (e.g., accuracy) between the position of the visual object (120) acquired in the state (128-1) and the position of the gaze data (125) may be smaller than the difference (127) acquired in the state (128).
  • the locations of one or more data sets acquired in the state (128-1) may be spread within a smaller range than the locations of one or more data sets acquired in the state (128). That is, the precision of the gaze data (125) acquired in the state (128-1) may be higher than the precision of the gaze data (125) acquired in the state (128).
  • the wearable device (101) may set the area (130-1) having a smaller size than the area (130) as the area for selecting the visual object (120) based on the accuracy and/or precision having a relatively high value in the state (128-1). For example, the wearable device (101) may set the area (130) having a first size based on a first difference between the location of the visual object (120) and the location of the gaze data (125).
  • the wearable device (101) can set an area (130-1) having a second size based on a second difference between the position of the visual object (120) and the position of the gaze data (125) in the state (128-1).
  • the second difference can be shorter than the first difference.
  • the second size can be smaller than the first size.
  • the wearable device (101) may set an area (130) for a visual object (120) having a size set based on a parameter (e.g., a display brightness level) corresponding to the gaze data (125) based on gaze data (125) acquired through a camera in a state (128-2).
  • the wearable device (101) may set an area (130-2) for the visual object (120) using gaze data (125) acquired through a camera in another state (128-3) that is distinct from the state (128-2).
  • the wearable device (101) may determine the size of the area for selecting the visual object (120) based on the accuracy and/or precision of the gaze data (125) for the visual object (120).
  • the wearable device (101) may determine whether to identify the gaze data (125) as a user input for the visual object (120) based on the determined size. For example, the wearable device (101) may recognize the gaze data (125) as a user input for the visual object (120) based on identifying the gaze data (125) included in the area (130) for a specified time in the state (128). The wearable device (101) may execute a function provided from the visual object (120) based on the gaze data (125) recognized as the user input. The wearable device (101) may identify an object (e.g., a real object and/or a visual object) focused on by the user using the gaze data acquired through the camera. Based on identifying the focused object, the wearable device (101) may execute a function for interaction (e.g., gaze interaction) between the user and the focused object.
  • a function for interaction e.g., gaze interaction
  • the accuracy and/or precision of the gaze data (125) acquired by the wearable device (101) through the camera may vary depending on the location of the visual object (120) displayed on the display.
  • the accuracy and/or precision of the gaze data for the visual object (120-1) may be relatively smaller than the accuracy and/or precision of the gaze data for the visual object (120).
  • the visual object (120-1) may be displayed adjacent to the edge area (110-1) of the display (or screen).
  • the wearable device (101) may adjust the size of the area for selecting the visual object (120) depending on the location where the visual object (120) is displayed.
  • a wearable device (101) can display a screen (110) on a display. While the electronic device (101) displays the screen (110) on the display, the electronic device (101) can obtain user gaze data (125) related to a visual object (120) within the screen (110). The wearable device (101) can obtain user status information related to the eyes by using a camera positioned toward the user's eyes. The operation of obtaining the status information will be described in more detail later with reference to FIG. 4.
  • a wearable device (101) may determine whether to recognize gaze data as user input for a visual object (120) by using a first region for the visual object (120) having a size set based on the state information when a visual object (e.g., a visual object (120)) is displayed at a first location (e.g., a center region) within a screen (110).
  • a visual object e.g., a visual object (120)
  • a first location e.g., a center region
  • the wearable device (101) may determine whether to recognize the gaze data as a user input for the visual object (120-1) by using a second area for the object that has a different size set based on the state information. For example, the accuracy and/or precision of the gaze data for the first location may be different from the accuracy and/or precision of the gaze data for the second location. The accuracy and/or precision of the gaze data for the first location may be relatively higher than the accuracy and/or precision of the gaze data for the second location.
  • the different size of the second area may be set to be larger than the size of the first area.
  • the wearable device (101) can adjust the size of the area for selecting a visual object depending on the location where the visual object is displayed on the screen (110).
  • the wearable device (101) can determine whether to identify the gaze data (125) of the user (105) acquired through the camera as a user input for a visual object (120) included in the screen (110).
  • the wearable device (101) can adjust the sizes of the areas (130, 130-1, 130-2) for determining whether to identify the gaze data (125) as a user input for the visual object (120) based on the location of the gaze data (125) for the visual object (120).
  • the wearable device (101) can change the number and/or size of the visual objects to be included in the screen (110) to suit the user (105) according to the adjusted size.
  • the wearable device (101) can provide an optimized metaverse environment to the user (105) by changing the number and/or size of visual objects to be included in the screen (110) to suit the user (105).
  • FIG. 2A is a perspective view illustrating an example of a wearable device according to various embodiments.
  • FIG. 2B is a perspective view illustrating one or more components arranged in the wearable device according to various embodiments.
  • the wearable device (101) may have a form of glasses that are wearable on a body part (e.g., head) of a user.
  • the wearable device (101) of FIGS. 2A and 2B may be an example of the wearable device (101) of FIG. 1.
  • the wearable device (101) may include a head-mounted display (HMD).
  • HMD head-mounted display
  • the housing of the wearable device (101) may include a flexible material, such as rubber and/or silicone, that is configured to adhere to a portion of the user's head (e.g., a portion of the face surrounding both eyes).
  • the housing of the wearable device (101) may include one or more straps capable of being twined around the user's head, and/or one or more temples attachable to an ear of the head.
  • a wearable device (101) may include at least one display (250) and a frame (200) supporting at least one display (250).
  • the wearable device (101) may be worn on a part of a user's body.
  • the wearable device (101) may provide augmented reality (AR), virtual reality (VR), or mixed reality (MR) that combines augmented reality and virtual reality to a user wearing the wearable device (101).
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • the wearable device (101) may display a virtual reality image provided from at least one optical device (282, 284) of FIG. 2B on at least one display (250) in response to a designated gesture of the user obtained through a motion recognition camera (or motion tracking camera) (260-2, 260-3) of FIG. 2B.
  • a motion recognition camera or motion tracking camera
  • At least one display (250) can provide visual information to a user.
  • at least one display (250) can include a transparent or translucent lens.
  • At least one display (250) can include a first display (250-1) and/or a second display (250-2) spaced apart from the first display (250-1).
  • the first display (250-1) and the second display (250-2) can be positioned at positions corresponding to the left and right eyes of the user, respectively.
  • At least one display (250) can provide a user with visual information transmitted from external light and other visual information that is distinct from the visual information through a lens included in the at least one display (250).
  • the lens can be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • at least one display (250) can include a first surface (231) and a second surface (232) opposite to the first surface (231).
  • a display area can be formed on the second surface (232) of the at least one display (250).
  • external light can be transmitted to the user by being incident on the first surface (231) and transmitted through the second surface (232).
  • at least one display (250) can display an augmented reality image combined with a virtual reality image provided from at least one optical device (282, 284) on a real screen transmitted through external light, on a display area formed on the second surface (232).
  • At least one display (250) can include at least one waveguide (233, 234) that diffracts light emitted from at least one optical device (282, 284) and transmits the diffracted light to a user.
  • the at least one waveguide (233, 234) can be formed based on at least one of glass, plastic, or polymer.
  • a nano-pattern can be formed on at least a portion of an exterior or interior of the at least one waveguide (233, 234).
  • the nano-pattern can be formed based on a grating structure having a polygonal and/or curved shape. Light incident on one end of the at least one waveguide (233, 234) can be propagated to the other end of the at least one waveguide (233, 234) by the nano-pattern.
  • At least one waveguide (233, 234) may include at least one diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)), a reflective element (e.g., a reflective mirror).
  • at least one waveguide (233, 234) may be arranged within the wearable device (101) to guide a screen displayed by at least one display (250) to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) occurring within the at least one waveguide (233, 234).
  • TIR total internal reflection
  • the wearable device (101) can analyze an object included in a real image collected through a shooting camera (260-4), combine a virtual object corresponding to an object to be provided with augmented reality among the analyzed objects, and display the virtual object on at least one display (250).
  • the virtual object can include at least one of text and image for various information related to the object included in the real image.
  • the wearable device (101) can analyze the object based on a multi-camera such as a stereo camera.
  • the wearable device (101) can execute spatial recognition (e.g., simultaneous localization and mapping (SLAM)) using a multi-camera and/or ToF (time-of-flight).
  • SLAM simultaneous localization and mapping
  • ToF time-of-flight
  • the frame (200) may be formed as a physical structure that allows the wearable device (101) to be worn on the user's body.
  • the frame (200) may be configured so that, when the user wears the wearable device (101), the first display (250-1) and the second display (250-2) may be positioned at positions corresponding to the user's left and right eyes.
  • the frame (200) may support at least one display (250).
  • the frame (200) may support the first display (250-1) and the second display (250-2) to be positioned at positions corresponding to the user's left and right eyes.
  • the frame (200) may include a region (220) that at least partially contacts a part of the user's body when the user wears the wearable device (101).
  • the region (220) of the frame (200) that contacts a part of the user's body may include a region that contacts a part of the user's nose, a part of the user's ear, and a part of the side of the user's face that the wearable device (101) makes contact with.
  • the frame (200) may include a nose pad (210) that contacts a part of the user's body. When the wearable device (101) is worn by the user, the nose pad (210) may contact a part of the user's nose.
  • the frame (200) may include a first temple (204) and a second temple (205) that contact another part of the user's body that is distinct from the part of the user's body.
  • the frame (200) may include a first rim (201) that surrounds at least a portion of the first display (250-1), a second rim (202) that surrounds at least a portion of the second display (250-2), a bridge (203) that is arranged between the first rim (201) and the second rim (202), a first pad (211) that is arranged along a portion of an edge of the first rim (201) from one end of the bridge (203), a second pad (212) that is arranged along a portion of an edge of the second rim (202) from the other end of the bridge (203), a first temple (204) that extends from the first rim (201) and is fixed to a portion of an ear of the wearer, and a second temple (205) that extends from the second rim (202) and is fixed to a portion of an ear opposite the ear.
  • a first rim (201) that surrounds at least a portion of the first display (250-1)
  • a second rim (202) that surrounds at least a portion of
  • the first pad (211) and the second pad (212) can be in contact with a part of the user's nose, and the first temple (204) and the second temple (205) can be in contact with a part of the user's face and a part of the user's ear.
  • the temples (204, 205) can be rotatably connected to the rim through the hinge units (206, 207) of FIG. 2B.
  • the first temple (204) can be rotatably connected to the first rim (201) through the first hinge unit (206) disposed between the first rim (201) and the first temple (204).
  • the second temple (205) can be rotatably connected to the second rim (202) through the second hinge unit (207) disposed between the second rim (202) and the second temple (205).
  • the wearable device (101) can identify an external object (e.g., a user's fingertip) touching the frame (200) and/or a gesture performed by the external object by using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of a surface of the frame (200).
  • an external object e.g., a user's fingertip
  • a grip sensor e.g., a grip sensor
  • a proximity sensor formed on at least a portion of a surface of the frame (200).
  • the wearable device (101) may include hardwares that perform various functions (e.g., hardwares that will be described in more detail later based on the block diagram of FIG. 4).
  • the hardwares may include a battery module (270) (e.g., including a battery), an antenna module (275) (e.g., including an antenna), at least one optical device (282, 284), speakers (e.g., speakers (255-1, 255-2)), microphones (e.g., microphones (265-1, 265-2, 265-3)), a light-emitting module (not shown), and/or a printed circuit board (PCB) (290) (e.g., a printed circuit board).
  • the various hardwares may be arranged within the frame (200).
  • microphones e.g., microphones 265-1, 265-2, 265-3) of the wearable device (101) may be disposed on at least a portion of the frame (200) to acquire sound signals.
  • a first microphone (265-1) disposed on the bridge (203), a second microphone (265-2) disposed on the second rim (202), and a third microphone (265-3) disposed on the first rim (201) are illustrated in FIG. 2B, but the number and arrangement of the microphones (265) are not limited to the embodiment of FIG. 2B.
  • the wearable device (101) may identify the direction of the sound signal by using a plurality of microphones disposed on different portions of the frame (200).
  • At least one optical device (282, 284) can project a virtual object onto at least one display (250) to provide various image information to a user.
  • at least one optical device (282, 284) can be a projector.
  • At least one optical device (282, 284) can be positioned adjacent to at least one display (250) or can be included within at least one display (250) as a part of at least one display (250).
  • the wearable device (101) can include a first optical device (282) corresponding to a first display (250-1) and a second optical device (284) corresponding to a second display (250-2).
  • At least one optical device (282, 284) may include a first optical device (282) disposed at an edge of the first display (250-1) and a second optical device (284) disposed at an edge of the second display (250-2).
  • the first optical device (282) may transmit light to a first waveguide (233) disposed on the first display (250-1), and the second optical device (284) may transmit light to a second waveguide (234) disposed on the second display (250-2).
  • the camera (260) may include a recording camera (260-4), an eye tracking camera (ET CAM) (260-1), and/or a motion recognition camera (260-2, 260-3).
  • the recording camera (260-4), the eye tracking camera (260-1), and the motion recognition camera (260-2, 260-3) may be positioned at different positions on the frame (200) and may perform different functions.
  • the eye tracking camera (260-1) may output data indicating a position or gaze of an eye of a user wearing the wearable device (101). For example, the wearable device (101) may detect the gaze from an image including the user's pupil obtained through the eye tracking camera (260-1).
  • the wearable device (101) can identify an object (e.g., a real object and/or a virtual object) focused on by the user by using the user's gaze acquired through the gaze tracking camera (260-1).
  • the wearable device (101) that has identified the focused object can execute a function (e.g., gaze interaction) for interaction between the user and the focused object.
  • the wearable device (101) can express a part corresponding to the eye of an avatar representing the user in a virtual space by using the user's gaze acquired through the gaze tracking camera (260-1).
  • the wearable device (101) can render an image (or screen) displayed on at least one display (250) based on the position of the user's eyes.
  • the visual quality of a first area related to the gaze (e.g., the gaze (150) of FIG. 1) in the image and the visual quality (e.g., resolution, brightness, saturation, grayscale, or PPI (pixels per inch)) of a second area distinguished from the first area can be different from each other.
  • the wearable device (101) can obtain an image (or screen) having visual quality of a first area matching the user's gaze and visual quality of a second area by using foveated rendering.
  • the wearable device (101) supports an iris recognition function
  • user authentication can be performed based on iris information obtained by using a gaze tracking camera (260-1).
  • An example in which the gaze tracking camera (260-1) is positioned toward both eyes of the user is illustrated in FIG. 2B, but the present disclosure is not limited thereto, and the gaze tracking camera (260-1) can be positioned solely toward the user's left eye or right eye.
  • the capturing camera (260-4) can capture an actual image or background to be aligned with a virtual image in order to implement augmented reality or mixed reality content.
  • the capturing camera (260-4) can be used to obtain an image having a high resolution based on HR (high resolution) or PV (photo video).
  • the capturing camera (260-4) can capture an image of a specific object existing at a location where a user is looking and provide the image to at least one display (250).
  • the at least one display (250) can display one image in which information about an actual image or background including an image of the specific object obtained using the capturing camera (260-4) and a virtual image provided through at least one optical device (282, 284) are superimposed.
  • the wearable device (101) can compensate for depth information (e.g., the distance between the wearable device (101) and an external object obtained through a depth sensor) by using the image obtained through the capturing camera (260-4).
  • the wearable device (101) can perform object recognition through an image acquired using a shooting camera (260-4).
  • the wearable device (101) can perform a function (e.g., auto focus) for focusing on an object (or subject) in an image and/or an optical image stabilization (OIS) function (e.g., anti-shake function) using the shooting camera (260-4).
  • the wearable device (101) can perform a pass-through function for displaying an image acquired through the shooting camera (260-4) by overlapping at least a part of a screen representing a virtual space on at least one display (250).
  • the shooting camera (260-4) can be referred to as an HR (high resolution) camera or a PV (photo video) camera.
  • the shooting camera (260-4) can provide an AF (auto focus) function and an optical image stabilization (OIS) function.
  • the capturing camera (260-4) may include a GS (global shutter) camera and/or an RS (rolling shutter) camera.
  • the capturing camera (260-4) may be positioned on a bridge (203) positioned between the first rim (201) and the second rim (202).
  • the gaze tracking camera (260-1) can implement more realistic augmented reality by tracking the gaze of a user wearing the wearable device (101) and thereby matching the user's gaze with visual information provided to at least one display (250). For example, when the wearable device (101) looks straight ahead, the wearable device (101) can naturally display environmental information related to the user's front at a location where the user is located on at least one display (250).
  • the gaze tracking camera (260-1) can be configured to capture an image of the user's pupil in order to determine the user's gaze. For example, the gaze tracking camera (260-1) can receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the gaze tracking camera (260-1) can be placed at positions corresponding to the user's left and right eyes.
  • the gaze tracking camera (260-1) may be positioned within the first rim (201) and/or the second rim (202) to face the direction in which the user wearing the wearable device (101) is positioned.
  • the gesture recognition camera (260-2, 260-3) can recognize the movement of the user's entire body, such as the user's torso, hand, or face, or a part of the body, and thereby provide a specific event on a screen provided on at least one display (250).
  • the gesture recognition camera (260-2, 260-3) can recognize the user's gesture (gesture recognition), obtain a signal corresponding to the gesture, and provide a display corresponding to the signal on at least one display (250).
  • the processor can identify the signal corresponding to the gesture, and perform a designated function based on the identification.
  • the gesture recognition camera (260-2, 260-3) can be used to perform a spatial recognition function using SLAM and/or a depth map for 6 degrees of freedom pose (6 DOF pose).
  • the processor can perform a gesture recognition function and/or an object tracking function using the gesture recognition camera (260-2, 260-3).
  • the gesture recognition cameras (260-2, 260-3) may be positioned on the first limb (201) and/or the second limb (202).
  • the gesture recognition cameras (260-2, 260-3) may include a global shutter (GS) camera (e.g., a global shutter (GS) camera) used for head tracking, hand tracking, and/or spatial recognition based on one of a three-degree-of-freedom pose or a six-degree-of-freedom pose.
  • the GS camera may include two or more stereo cameras to track fine movements.
  • the GS camera may be included in a gaze tracking camera (260-1) for tracking a user's gaze.
  • the camera (260) included in the wearable device (101) is not limited to the above-described gaze tracking camera (260-1) and motion recognition cameras (260-2, 260-3).
  • the wearable device (101) can identify an external object included in the FoV by using a camera positioned toward the user's FoV.
  • the wearable device (101) identifying the external object can be performed based on a sensor for identifying the distance between the wearable device (101) and the external object, such as a depth sensor and/or a ToF (time of flight) sensor.
  • the camera (260) positioned toward the FoV can support an autofocus function and/or an OIS (optical image stabilization) function.
  • the wearable device (101) may include a camera (260) (e.g., a face tracking (FT) camera) positioned toward the face to obtain an image including the face of a user wearing the wearable device (101).
  • FT face tracking
  • the wearable device (101) may further include a light source (e.g., an LED) that emits light toward a subject (e.g., a user's eye, face, and/or an external object within the FoV) being captured using the camera (260).
  • the light source may include an LED having an infrared wavelength.
  • the light source may be disposed on at least one of the frame (200) and the hinge units (206, 207).
  • the battery module (270) may supply power to electronic components of the wearable device (101).
  • the battery module (270) may be disposed within the first temple (204) and/or the second temple (205).
  • the battery module (270) may be a plurality of battery modules (270).
  • the plurality of battery modules (270) may be disposed within each of the first temple (204) and the second temple (205).
  • the battery module (270) may be disposed at an end of the first temple (204) and/or the second temple (205).
  • the antenna module (275) can transmit signals or power to the outside of the wearable device (101), or receive signals or power from the outside.
  • the antenna module (275) can be positioned within the first temple (204) and/or the second temple (205).
  • the antenna module (275) can be positioned close to one surface of the first temple (204) and/or the second temple (205).
  • the speaker (255) can output an acoustic signal to the outside of the wearable device (101).
  • the acoustic output module can include or be referred to as a speaker.
  • the speaker (255) can be positioned within the first temple (204) and/or the second temple (205) so as to be positioned adjacent to an ear of a user wearing the wearable device (101).
  • the speaker (255) can include a second speaker (255-2) positioned within the first temple (204) and thus positioned adjacent to the user's left ear, and a first speaker (255-1) positioned within the second temple (205) and thus positioned adjacent to the user's right ear.
  • the light-emitting module may include at least one light-emitting element.
  • the light-emitting module may emit light of a color corresponding to a specific state or emit light with an action corresponding to a specific state in order to visually provide information about a specific state of the wearable device (101) to a user. For example, when the wearable device (101) requires charging, it may emit red light at a regular cycle.
  • the light-emitting module may be disposed on the first rim (201) and/or the second rim (202).
  • the wearable device (101) may include a printed circuit board (PCB) (290).
  • the PCB (290) may be included in at least one of the first temple (204) or the second temple (205).
  • the PCB (290) may include an interposer positioned between at least two sub-PCBs.
  • One or more hardwares included in the wearable device (101) e.g., hardwares illustrated by different blocks in FIG. 4a
  • the wearable device (101) may include a flexible PCB (FPCB) for interconnecting the hardwares.
  • FPCB flexible PCB
  • the wearable device (101) may include at least one of a gyro sensor, a gravity sensor, and/or an acceleration sensor for detecting a posture of the wearable device (101) and/or a posture of a body part (e.g., a head) of a user wearing the wearable device (101).
  • a gyro sensor for detecting a posture of the wearable device (101) and/or a posture of a body part (e.g., a head) of a user wearing the wearable device (101).
  • Each of the gravity sensor and the acceleration sensor may measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • the gyro sensor may measure an angular velocity about each of the designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis). At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • the wearable device (101) may identify a user's motion and/or gesture performed to execute or terminate a specific function of the wearable device (101) based on the IMU.
  • a first surface (310) of a wearable device (101) may have a form attachable on a body part of a user (e.g., the face of the user).
  • the wearable device (101) may further include a strap for being fixed on a body part of a user, and/or one or more temples (e.g., the first temple (204) and/or the second temple (205) of FIGS. 2A and 2B).
  • a first display (250-1) for outputting an image to a left eye among the user's two eyes, and a second display (250-2) for outputting an image to a right eye among the user's two eyes may be disposed on the first surface (310).
  • the wearable device (101) may further include a rubber or silicone packing formed on the first surface (310) to prevent and/or reduce interference by light (e.g., ambient light) different from light radiated from the first display (250-1) and the second display (250-2).
  • the wearable device (101) may include cameras (260-1) for photographing and/or tracking both eyes of the user adjacent to each of the first display (250-1) and the second display (250-2).
  • the cameras (260-1) may be referred to as the gaze tracking camera (260-1) of FIG. 2B.
  • the wearable device (101) may include cameras (260-5, 260-6) for photographing and/or recognizing the face of the user.
  • the cameras (260-5, 260-6) may be referred to as FT cameras.
  • the wearable device (101) may control an avatar representing the user in a virtual space based on the motion of the user's face identified using the cameras (260-5, 260-6).
  • the wearable device (101) may change the texture and/or shape of a portion of an avatar (e.g., a portion of an avatar expressing a human face) using information obtained by cameras (260-5, 260-6) (e.g., FT cameras) and representing facial expressions of a user wearing the wearable device (101).
  • a portion of an avatar e.g., a portion of an avatar expressing a human face
  • cameras 260-5, 260-6) (e.g., FT cameras) and representing facial expressions of a user wearing the wearable device (101).
  • cameras e.g., cameras 260-7, 260-8, 260-9, 260-10, 260-11, 260-12
  • sensors e.g., depth sensor (330)
  • the cameras (260-7, 260-8, 260-9, 260-10) may be disposed on the second surface (320) to recognize external objects.
  • Cameras (260-7, 260-8, 260-9, 260-10) may be referenced to the motion recognition cameras (260-2, 260-3) of Fig. 2b.
  • the wearable device (101) can obtain images and/or videos to be transmitted to each of the user's two eyes.
  • the camera (260-11) can be placed on the second face (320) of the wearable device (101) to obtain an image to be displayed through the second display (250-2) corresponding to the right eye among the two eyes.
  • the camera (260-12) can be placed on the second face (320) of the wearable device (101) to obtain an image to be displayed through the first display (250-1) corresponding to the left eye among the two eyes.
  • the wearable device (101) can obtain one screen by using a plurality of images obtained through the cameras (260-11, 260-12).
  • the cameras (260-11, 260-12) may be referenced to the shooting camera (260-4) of Fig. 2b.
  • the wearable device (101) may include a depth sensor (330) disposed on the second face (320) to identify a distance between the wearable device (101) and an external object. Using the depth sensor (330), the wearable device (101) may obtain spatial information (e.g., a depth map) for at least a portion of a FoV of a user wearing the wearable device (101).
  • a microphone may be disposed on the second face (320) of the wearable device (101) to obtain a sound output from an external object. The number of microphones may be one or more depending on the embodiment.
  • gaze data e.g., gaze data (125) of FIG. 1
  • FIG. 4 is a block diagram illustrating an exemplary configuration of a wearable device according to various embodiments.
  • the wearable device (101) of FIG. 4 may include the wearable device (101) of FIGS. 1 to 3B.
  • the wearable device (101) may include at least one of a processor (420) (e.g., including a processing circuit), a memory (430), a camera (440) (e.g., the camera (260) of FIGS. 2A to 3B), a display (450), a sensor (460), and/or a communication circuit (470).
  • a processor 420
  • a camera 440
  • a display 450
  • a sensor 460
  • a communication circuit 470
  • the processor (420), the memory (430), the camera (440), the display (450), the sensor (460), and the communication circuit (470) may be electronically and/or operably coupled with each other by an electronic component, such as a communication bus.
  • an electronic component such as a communication bus.
  • the hardware components being operatively coupled may refer to, for example, a direct connection or an indirect connection established between the hardware components, either wired or wireless, such that a second hardware component is controlled by a first hardware component among the hardware components.
  • the wearable device (101) may be included in a single integrated circuit such as a SoC (system on a chip).
  • SoC system on a chip
  • the type and/or number of hardware components included in the wearable device (101) are not limited to those illustrated in FIG. 4.
  • the wearable device (101) may include only some of the hardware components illustrated in FIG. 4.
  • the elements (e.g., layers and/or modules) in the memory described below may be logically separated.
  • the elements in the memory may be included in a hardware component that is separated from the memory.
  • the operation performed by the processor (420) using each element in the memory is one embodiment, and the processor (420) may perform a different operation from the above operation using at least one element among the elements in the memory.
  • the processor (420) of the wearable device (101) may include a hardware component for processing data based on one or more instructions.
  • the hardware component for processing data may include, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), and/or a central processing unit (CPU).
  • the number of processors (420) may be one or more.
  • the processor (420) may have a multi-core processor structure such as a dual core, a quad core, a hexa core, and/or an octa core.
  • the processor (420) according to one embodiment of the present disclosure may include various processing circuits and/or multiple processors.
  • processor may include various processing circuits, including at least one processor, one or more of which may be configured, individually and/or collectively, in a distributed manner to perform the various functions described herein.
  • processor when “processor,” “at least one processor,” and “one or more processors” are described as being configured to perform several functions, these expressions also cover, for example, but not limited to, situations where a processor performs some of the described functions and other processor(s) perform other of the described functions, and situations where a single processor performs all of the described functions.
  • the at least one processor may include a combination of processors that perform the various functions described/described, for example, in a distributed manner.
  • the at least one processor may execute program instructions to achieve or perform the various functions.
  • the memory (430) of the wearable device (101) may include a hardware component for storing data and/or instructions input to and/or output from the processor (420).
  • the memory (430) may include, for example, a volatile memory such as a random-access memory (RAM), and/or a non-volatile memory such as a read-only memory (ROM).
  • the volatile memory may include, for example, at least one of a dynamic RAM (DRAM), a static RAM (SRAM), a Cache RAM, and a pseudo SRAM (PSRAM).
  • DRAM dynamic RAM
  • SRAM static RAM
  • PSRAM pseudo SRAM
  • the non-volatile memory may include, for example, at least one of a programmable ROM (PROM), an erasable PROM (EPROM), an electrically erasable PROM (EEPROM), a flash memory, a hard disk, a compact disc, and an embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory a hard disk, a compact disc, and an embedded multi media card (eMMC).
  • eMMC embedded multi media card
  • the camera (440) of the wearable device (101) may include one or more optical sensors (e.g., a charged coupled device (CCD) sensor, a complementary metal oxide semiconductor (CMOS) sensor) that generate electrical signals representing the color and/or brightness of light.
  • the camera (440) may be referred to as an image sensor.
  • the camera (440) may be included in the sensor (460) from the perspective of being referred to as an image sensor.
  • the plurality of optical sensors included in the camera (440) may be arranged in the form of a two-dimensional array.
  • the camera (440) may acquire electrical signals of each of the plurality of optical sensors substantially simultaneously, and generate an image corresponding to light reaching the optical sensors of the two-dimensional array and including a plurality of pixels arranged two-dimensionally.
  • photographic data captured using the camera (440) may refer to, for example, one image acquired from the camera (440).
  • video data captured using the camera (440) may refer to, for example, a sequence of multiple images acquired from the camera (440) at a specified frame rate.
  • the camera (440) may be one or more, as described above with reference to FIGS. 2A to 3B.
  • the camera (440) may be positioned toward the eyes of a user wearing the wearable device (101) for data indicating the position of the eyes, the direction of the eyes, and/or the gaze.
  • the camera (440) may include the gaze tracking camera (260-1) of FIG. 2B.
  • the camera (440) may be positioned toward the direction in which the camera (440) receives light, and may further include a flash light for outputting light toward the direction.
  • the display (450) of the wearable device (101) can output visualized information (e.g., the screen (110) of FIG. 1) to the user.
  • the number of displays (450) included in the wearable device (101) may be one or more.
  • the display (450) may be controlled by the processor (420) and/or a graphic processing unit (GPU) to output visualized information to the user.
  • the display (450) may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), a digital mirror device (DMD), one or more light emitting diodes (LEDs), and/or micro LEDs.
  • the LEDs may include organic LEDs (OLEDs).
  • the display (450) may include a projector (or projection assembly) for projecting light onto the lens.
  • the display (450) may be referred to as a display panel and/or a display module.
  • light transmission may occur through at least a portion of the display (450).
  • the wearable device (101) may provide a user experience related to augmented reality by providing a combination of light output through the display (450) and light transmitting through the display (450) to the user.
  • the display (450) of the wearable device (101) may have a structure for covering the entire field-of-view (FoV) of the user, or radiating light toward the FoV, when worn on a body part of the user, such as the head.
  • FoV field-of-view
  • a sensor (460) of a wearable device (101) may generate electrical information that may be processed by a processor (420) and/or a memory (430) from non-electronic information related to the wearable device (101). The information may be referred to as sensor data.
  • the electrical information generated by the sensor (460) may be stored in the memory (430), processed by the processor (420), and/or transmitted to another electronic device distinct from the wearable device (101).
  • the senor (460) may include a grip sensor capable of identifying contact between the wearable device (101) and an external object (e.g., a user), a gyro sensor or acceleration sensor capable of identifying movement of the wearable device (101), a global positioning system (GPS) sensor for detecting the geographic location of the wearable device (101), and/or an illuminance sensor capable of identifying external light of the wearable device (101).
  • a grip sensor capable of identifying contact between the wearable device (101) and an external object (e.g., a user)
  • a gyro sensor or acceleration sensor capable of identifying movement of the wearable device (101)
  • GPS global positioning system
  • an illuminance sensor capable of identifying external light of the wearable device (101).
  • the senor (460) may include an image sensor, an audio sensor (e.g., a microphone and/or a microphone array including multiple microphones), and/or a time-of-flight (ToF) sensor (or ToF camera).
  • an audio sensor e.g., a microphone and/or a microphone array including multiple microphones
  • ToF time-of-flight
  • the sensor (460) may include an inertial measurement unit (IMU) for detecting physical motion of the wearable device (101).
  • IMU inertial measurement unit
  • An acceleration sensor, a magnetometer sensor, a gravity sensor, or any combination thereof may be referred to as an IMU.
  • the acceleration sensor may output electrical signals indicative of gravitational acceleration and/or acceleration along each of a plurality of axes (e.g., the x-axis, the y-axis, and the z-axis) that are perpendicular to each other and relative to a designated origin of the wearable device (101).
  • the gyro sensor may output electrical signals indicative of angular velocities (e.g., roll, pitch, and/or yaw) of the plurality of axes.
  • the gyro sensor may be referred to as an angular velocity sensor.
  • the geomagnetic sensor may output an electrical signal representing the magnitude of a magnetic field formed in the wearable device (101) along each of a plurality of axes (e.g., the x-axis, the y-axis, and/or the z-axis).
  • the acceleration sensor, the gyro sensor, and/or the geomagnetic sensor may repeatedly output sensor data including accelerations, angular velocities, and/or magnitudes of magnetic fields of the plurality of axes based on a specified period (e.g., 1 millisecond).
  • the light sensor can output an electrical signal representing the intensity (or amount) of light reaching at least a portion of the light sensor exposed to the outside.
  • the light sensor can output sensor data representing the brightness of ambient light of the wearable device (101).
  • the light sensor can include a device having a photoelectric effect in which electrons are generated and conductivity changes when exposed to ambient light.
  • the light sensor can be an example of a CdS sensor that uses cadmium sulfide as a device.
  • the wearable device (101) can adjust the overall brightness level of the display based on the intensity of light by using the light sensor.
  • the wearable device (101) can identify a change in the size of the pupil based on the illumination level representing the intensity of the ambient light acquired through the light sensor.
  • the wearable device (101) can acquire the user's gaze data through an image representing the pupil having a changed size.
  • the wearable device (101) can determine whether to identify the acquired gaze data as a user input for an object displayed on the display (450) (e.g., a visual object (120) of FIG. 1). The operation of determining whether to identify the gaze data as a user input is described in more detail below with reference to FIGS. 5 to 9.
  • the communication circuit (470) of the wearable device (101) may include circuitry for supporting transmission and/or reception of electrical signals between the wearable device (101) and an external electronic device.
  • the communication circuit (470) may include, for example, at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
  • the communication circuit (470) may support transmission and/or reception of electrical signals based on various types of protocols, such as Ethernet, a local area network (LAN), a wide area network (WAN), wireless fidelity (WiFi), Bluetooth, Bluetooth low energy (BLE), ZigBee, long term evolution (LTE), and 5G new radio (NR).
  • the communication circuit (470) may be referred to as a communication processor and/or a communication module.
  • one or more instructions representing data to be processed, operations to be performed, and/or actions to be performed by the processor (420) may be stored in the memory (430) of the wearable device (101).
  • a set of one or more instructions may be referred to as firmware, an operating system, a process, a routine, a sub-routine, and/or an application.
  • the wearable device (101) and/or the processor (420) may perform at least one of the operations described in more detail in FIGS. 5 to 9 or FIGS. 12 to 14 when a set of a plurality of instructions distributed in the form of an operating system, firmware, a driver, and/or an application is executed.
  • an application is installed in a wearable device (101) may refer to, for example, that one or more instructions provided in the form of an application are stored in the memory (430) of the wearable device (101), and that the one or more applications are stored in a format executable by the processor (420) of the wearable device (101) (e.g., a file having an extension specified by the operating system of the wearable device (101)).
  • an application may include a program related to a service provided to a user, and/or a library.
  • programs installed in the wearable device (101) may be classified into one of different layers, including an application layer (431), a framework layer (432), and/or a hardware abstraction layer (HAL) (436), based on a target.
  • programs e.g., modules or drivers
  • the framework layer (432) may be referred to as an XR framework layer in that it includes one or more programs for providing an XR (extended reality) service.
  • the layers illustrated in FIG. 4 may not mean that the address space of the memory (430) is divided by the layers, as they are logically (or for convenience of explanation).
  • programs designed to target at least one of the hardware abstraction layer (436) and/or the application layer (431) e.g., an eye tracker (433), an eye predictor (434), and/or a state information identifier (435), each of which includes various executable program instructions
  • the programs classified within the framework layer (432) may provide an application programming interface (API) that is executable (or callable) based on other programs.
  • API application programming interface
  • the framework layer (432) may include one or more programs for processing data acquired from a sensor (460) and/or a camera (440).
  • the one or more programs may include at least one of a gaze tracker (433), a gaze predictor (434), and/or a state information identifier (435).
  • the type and/or number of the one or more programs included in the framework layer (432) are not limited to those illustrated in FIG. 4.
  • a program designed to target a user controlling a wearable device (101) may be classified.
  • Programs (e.g., software applications) classified into the application layer (431) may call an API (application programming interface) to cause execution of functions supported by programs classified into the framework layer (432).
  • API application programming interface
  • the wearable device (101) can identify gaze data representing the gaze by using an image related to the user's eyes acquired through the camera (440) while the gaze tracker (433) is running.
  • the wearable device (101) can track the gaze based on identifying the location of the pupil and/or glint represented by the image. Since the gaze data is identified through the image, it can be acquired based on parameters that can change the state of the user's eyes (e.g., the size of the pupil).
  • the parameters can include an overall brightness level of the display (450) positioned toward the user's eyes, an illuminance level representing the intensity of external light identified through an illuminance sensor, and/or eye-related state information.
  • the wearable device (101) can identify user status information related to the eyes of the user wearing the wearable device (101) based on the execution of the status information identifier (435).
  • the wearable device (101) can identify the status information using an image acquired through the camera (440).
  • the status information can include data indicating whether the user wears glasses, data indicating whether the user wears contact lenses, data indicating the size of the eyes, data indicating the thickness of the eyelids of the user, or a combination thereof.
  • the wearable device (101) can identify the distance between the wearable device (101) and the user's eyes (e.g., eye relief) through the status information identifier (435).
  • the wearable device (101) can identify a wearing state in which the wearable device (101) is worn by the user.
  • the wearing state may include a state in which the wearable device (101) is slipped from a part of the user (e.g., eyes or nose) and/or worn slantingly.
  • the present disclosure is not limited to the embodiments described above
  • the wearable device (101) can predict (or infer) the user's gaze through the gaze predictor (434) by using the user's state information obtained based on the state information identifier (435) (or the environment classification module).
  • the wearable device (101) can set the size of an area (e.g., areas (130, 130-1, 130-2) of FIG. 1) for selecting an object matching the gaze data based on the gaze data representing the gaze predicted through the gaze predictor (434).
  • the wearable device (101) can use the area to determine whether to recognize the gaze data as a user input for selecting an object.
  • the wearable device (101) can obtain a user input for determining whether to infer the gaze data through the gaze predictor (434) or identify the gaze data through the gaze tracker (433).
  • the wearable device (101) can obtain gaze data based on user input, using a gaze predictor (434) and/or a gaze tracker (433).
  • a gaze predictor 434
  • a gaze tracker 433
  • the present disclosure is not limited to the above-described embodiment.
  • the wearable device (101) can bypass the operation of identifying gaze data through the gaze tracker (433) and infer gaze data according to state information using the gaze predictor (434).
  • the wearable device (101) can directly obtain gaze data by analyzing an image related to an eye obtained through a camera (440).
  • the wearable device (101) can indirectly infer gaze data by using user status information related to the eyes.
  • the wearable device (101) can determine whether the gaze data is a user input for selecting an object by using the obtained gaze data and/or the inferred gaze data.
  • FIG. 5 is a flowchart illustrating exemplary operations of a wearable device according to various embodiments.
  • the wearable device of FIG. 5 may include the wearable device (101) of FIGS. 1 to 4. At least one of the operations of FIG. 5 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 5 may be controlled by the processor (420) of FIG. 4.
  • Each of the operations of FIG. 5 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel.
  • a processor may control a wearable device to display a screen on a display.
  • the screen may include the screen (110) of FIG. 1.
  • the display may be one or more from a viewpoint corresponding to both eyes of the user.
  • the screen may include one or more objects.
  • a processor may obtain a parameter related to a user's gaze through a camera. Using the parameter related to the gaze (or eyes), the processor may obtain the user's gaze data.
  • the parameter may indicate the overall screen brightness of the display, the illuminance indicating the intensity of external light, the wearing state of the wearable device, and/or the state related to the user's eyes.
  • the processor may obtain gaze data for at least one object included in the screen using the parameter.
  • the processor may infer information indicating the accuracy and/or precision of the gaze data for the object using the parameter.
  • the processor may obtain gaze data (or the accuracy and/or precision of the gaze data) corresponding to the parameter through a neural network trained to infer gaze data using the parameter.
  • the neural network may include a neural network trained to obtain user status information in various environments and to predict the accuracy and/or precision of the gaze data based on the obtained status information.
  • the above various environments may include environments with different brightness levels and/or illuminance levels of the display.
  • a processor may determine whether to recognize gaze data as user input (e.g., user input) based on parameters.
  • the processor may identify whether the gaze data represents user input for selecting at least one object based on information indicating accuracy and/or precision of the gaze data.
  • the processor can set a region for selecting at least one object based on information indicating accuracy and/or precision of the gaze data.
  • the processor can determine a size of the region (e.g., region (130, 130-1, 130-2) of FIG. 1) based on the information indicating accuracy and/or precision of the gaze data.
  • the processor can identify the gaze data as a user input for selecting at least one object using the region having the determined size.
  • the processor can execute a function provided from at least one object based on the gaze data recognized as the user input. If the processor does not recognize the gaze data as the user input, the processor may not execute the function provided from the at least one object.
  • FIG. 6 is a flowchart illustrating an exemplary operation using a brightness level of a wearable device according to various embodiments.
  • the wearable device of FIG. 6 may include the wearable device (101) of FIGS. 1 to 4. At least one of the operations of FIG. 6 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 6 may be controlled by the processor (420) of FIG. 4. Each of the operations of FIG. 6 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel. At least one of the operations of FIG. 6 may be related to at least one of the operations of FIG. 5.
  • a processor may obtain user gaze data related to an object within a screen through a camera.
  • the processor may obtain parameters related to gaze based on the execution of the state information identifier (435) of FIG. 4.
  • the processor may predict (or infer) gaze data (e.g., gaze data (125) of FIG. 1) of a user (e.g., user (105) of FIG. 1) with respect to an object (e.g., visual object (120) of FIG. 1) within a screen (e.g., screen (110) of FIG. 1) using an image obtained through the camera.
  • a processor may determine whether to recognize gaze data as user input for an object by using an area for an object having a size set based on an overall brightness level of the screen.
  • the processor may determine whether to identify gaze data as user input based on the overall brightness level of the screen.
  • the processor may infer accuracy and/or precision of the gaze data acquired through the camera using the overall brightness level of the screen (e.g., a parameter representing the brightness level).
  • the processor may determine whether to recognize the gaze data as user input based on the inferred accuracy and/or precision of the gaze data. For example, based on the overall brightness level of the screen within a reference range of the processor, gaze data located outside an object may be recognized as user input.
  • the processor may determine not to recognize the gaze data located outside an object as user input based on the overall brightness level of the screen outside the reference range.
  • the processor can determine the size of the region using a parameter representing the overall brightness level of the screen.
  • the processor can determine the size of the region representing the range within which a user input for selecting an object included in the screen is to be obtained.
  • the processor can identify, through a camera, the size of a pupil that changes according to the brightness level of a screen displayed on a display positioned toward the eye.
  • the processor can infer the accuracy and/or precision of the gaze data according to the changing size of the pupil.
  • the processor may set the size of the region to a first size based on the overall brightness level of the screen within the reference range.
  • the processor may set the size of the region to a second size greater than the first size based on the overall brightness level of the screen outside the reference range.
  • the accuracy and/or precision of the gaze data used to set the size of the region to the second size may be lower than the accuracy and/or precision of the gaze data used to set the size of the region to the first size. For example, when displaying a screen based on the overall brightness level of the display outside the reference range, the size of the user's pupil may be reduced.
  • the accuracy and/or precision of the gaze data acquired using the pupil having the reduced size may be lower than the accuracy and/or precision of the gaze data acquired using the pupil having a different size (the size acquired based on the overall brightness level of the screen within the reference range).
  • the processor may infer gaze data related to the eye more accurately using the image through the camera.
  • an area having a second size may be referred to as area (130-1) of FIG. 1
  • an area having a first size may be referred to as area (130) of FIG. 1.
  • the present disclosure is not limited thereto.
  • the processor may set a designated length of time for selecting an object independently of determining the size of the area.
  • the processor can determine whether to recognize the gaze data as the user input by determining whether the location indicated by the gaze data is located within an area (e.g., area (130, 130-1, 130-2) of FIG. 1). For example, the processor can recognize the gaze data as the user input in response to the location within the area for a specified period of time. For example, the processor can determine not to recognize the gaze data as the user input in response to the location outside the area.
  • an area e.g., area (130, 130-1, 130-2) of FIG. 1).
  • the processor can recognize the gaze data as the user input in response to the location within the area for a specified period of time.
  • the processor can determine not to recognize the gaze data as the user input in response to the location outside the area.
  • the processor can display an object having a second size corresponding to a first size of the region within the screen.
  • the processor can display an object having a second size mapped from the first size within the screen.
  • the processor can identify the second size of the object using the first size of the region indicated by the gaze data.
  • the processor can adjust the number of one or more objects to be displayed on the display based on the identification of the second size. An example of an operation in which the processor adjusts the number of one or more objects according to the second size is described in more detail below with reference to FIG. 10.
  • a processor may execute a function provided from an object based on gaze data recognized as a user input.
  • the processor may execute the function provided from the object if a location indicated by the gaze data within an area is included for a specified time period.
  • the processor may display a visual effect on the display to indicate the specified time period. For example, the processor may maintain deactivating the function provided from the object based on the location outside the area. The operation of the processor displaying the visual effect on the display is described in more detail below with reference to FIG. 11.
  • FIG. 7 is a flowchart illustrating an exemplary operation of using status information of a user of a wearable device according to various embodiments.
  • the wearable device of FIG. 7 may include the wearable device (101) of FIGS. 1 to 4. At least one of the operations of FIG. 7 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 7 may be controlled by the processor (420) of FIG. 4. Each of the operations of FIG. 7 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel. At least one of the operations of FIG. 7 may be related to at least one of the operations of FIG. 6.
  • a processor may obtain user's gaze data related to an object within a screen through a camera.
  • the processor may identify user's state information related to the eyes using an image, and infer gaze data using the identified state information. Operation 710 may be referenced in operation 610.
  • a processor may obtain user status information related to eyes through a camera.
  • the processor may infer gaze data for an object within the screen by using the brightness level of the screen and/or the user status information through the camera. For example, despite the size of an area (e.g., area (130) of FIG. 1) having a first size corresponding to the overall brightness level of the screen, the processor may further use the status information to set an area (e.g., area (130-1) of FIG. 1) having a second size (e.g., the size of area (130-1) of FIG. 1).
  • the present disclosure is not limited thereto.
  • the processor may infer gaze data for an object using the overall brightness level of the screen and/or data indicating whether the user is wearing glasses. Since accuracy may vary depending on whether the user is wearing glasses, the processor may determine whether to identify the gaze data as user input for the object using the overall brightness level of the screen and/or data indicating whether the user is wearing glasses.
  • the present disclosure is not limited thereto.
  • the processor may determine whether to identify the acquired gaze data as user input for the object based on the overall brightness level of the screen, data indicating whether the user is wearing contact lenses, data indicating the size of the user's eyes, data indicating the thickness of the user's eyelids, or a combination thereof.
  • the processor may set the size of the region for the object to determine whether to identify the gaze data as user input for the object.
  • the processor may set the size of the region for the object using the accuracy and/or precision of the gaze data inferred based on the overall brightness level of the screen and/or the user's state information.
  • a processor may determine whether to recognize gaze data as user input for an object by using an area for an object having a set size based on user state information related to the eyes.
  • the processor may identify the user's status information using the camera while identifying the overall brightness level of the screen.
  • the processor may infer the accuracy and/or precision of the gaze data identified through the camera based on the user's status information.
  • the processor may infer the accuracy and/or precision indicating whether the gaze data representing the user's gaze within the screen is accurate using the user's status information, thereby setting the size of the region using the inferred accuracy and/or precision.
  • the processor can determine whether to recognize the gaze data as user input for interacting with an object by checking whether the location indicated by the gaze data is located within the region. For example, the processor can recognize the gaze data as user input if the location of the gaze data is within the region for a specified period of time. For example, the processor can determine not to recognize the gaze data as user input if the location of the gaze data is not within the region.
  • a processor may execute a function provided from an object based on gaze data recognized as a user input. Operation 740 may be related to operation 630.
  • FIG. 8 is a flowchart illustrating exemplary operations utilizing the illumination level of a wearable device according to various embodiments.
  • the wearable device of FIG. 8 may include the wearable device (101) of FIGS. 1 to 4. At least one of the operations of FIG. 8 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 8 may be controlled by the processor (420) of FIG. 4. Each of the operations of FIG. 8 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel. At least one of the operations of FIG. 8 may be related to at least one of the operations of FIG. 6.
  • a processor may obtain user gaze data related to an object within a screen through a camera.
  • the processor may obtain (or infer) gaze data further based on the illuminance level by using an illuminance sensor configured to obtain an illuminance level around the wearable device.
  • Operation 810 may be related to operation 610 of FIG. 6.
  • a processor may determine whether to recognize gaze data as user input for an object by using an area for the object having a size set based on a light level.
  • the processor may determine whether to identify gaze data as user input based on a light level.
  • the processor may infer accuracy and/or precision of gaze data acquired through the camera using the light level (e.g., a parameter representing the light level).
  • the processor may determine whether to recognize the gaze data as user input based on the inferred accuracy and/or precision of the gaze data. For example, based on a light level within a processor reference range, gaze data located outside an object may be recognized as user input.
  • the processor may determine not to recognize the gaze data located outside an object as user input based on a light level outside the reference range.
  • the processor can determine the size of an area (e.g., an area for selecting an object) using a parameter representing a level of illumination.
  • the processor can determine the size of the area representing a range for obtaining user input for selecting an object included in the screen.
  • the processor can identify, through a camera, a state of the eye (e.g., size of the pupil) that changes depending on the intensity of external light (e.g., level of illumination) directed at the eye through the display.
  • the processor can infer the accuracy and/or precision of the gaze data depending on the changing state of the eye.
  • the processor may set the size of the region to a first size based on an illuminance level within a reference range.
  • the processor may set the size of the region to a second size greater than the first size based on an illuminance level outside the reference range.
  • the accuracy and/or precision of the gaze data used to set the size of the region to the second size may be relatively lower than the accuracy and/or precision of the gaze data used to set the size of the region to the first size.
  • the size of the user's pupil may be reduced by external light having an illuminance level outside the reference range.
  • the accuracy and/or precision of the gaze data acquired using the pupil having the reduced size may be lower than the accuracy and/or precision of the gaze data acquired using the pupil having a different size (the size of the pupil changed by the external light within the reference range).
  • the region having the first size may be referred to as region (130-1) of FIG. 1
  • the region having the second size may be referred to as region (130) of FIG. 1.
  • the processor may determine whether to recognize the inferred gaze data as user input based on the overall brightness level of the screen as well as the light level identified by the light sensor. In other words, the processor may determine whether to recognize the gaze data as user input by using an area for an object having a size set based on the overall brightness level of the screen and the light level.
  • the processor can determine whether to recognize the gaze data as the user input by determining whether the location indicated by the gaze data is located within the region. For example, the processor can recognize the gaze data as the user input in response to the location within the region for a specified period of time. For example, the processor can identify not to recognize the gaze data as the user input in response to the location outside the region.
  • a processor may execute a function provided from an object based on gaze data recognized as a user input.
  • the processor may identify selection of an object based on gaze data recognized as a user input.
  • the processor may execute a function provided from an object using gaze data recognized as a user input for selecting an object.
  • FIG. 9 is a flowchart illustrating an exemplary operation of a wearable device identifying a user input based on state information according to various embodiments.
  • the wearable device of FIG. 9 may include the wearable device (101) of FIGS. 1 to 4. At least one of the operations of FIG. 9 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 9 may be controlled by the processor (420) of FIG. 4. Each of the operations of FIG. 9 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel. At least one of the operations of FIG. 9 may be related to at least one of the operations of FIG. 8.
  • a processor may obtain user's gaze data related to an object within a screen through a camera.
  • the processor may identify user's state information related to the eyes using the image, and infer the gaze data using the identified state information. Operation 910 may be referred to operation 810 of FIG. 8.
  • a processor can obtain user status information related to eyes through a camera.
  • the operation performed by the processor in operation 920 can be referenced to the operation performed in operation 720 of FIG. 7.
  • a processor may determine whether to recognize gaze data as user input for an object by using an area for an object having a size set based on user state information related to eyes.
  • the processor may set the size of the area for the object by using accuracy and/or precision of the gaze data inferred based on a light level and/or user state information.
  • the processor may identify the user's status information using the camera, while identifying the illumination level identified through the illumination sensor. In the state, the processor may infer the accuracy and/or precision of the gaze data identified through the camera based on the user's status information. In the state, the processor may infer the accuracy and/or precision indicating whether the gaze data representing the user's gaze within the screen is accurate by using the user's status information, thereby determining the size of the region using the inferred accuracy and/or precision. The processor may determine a designated time for selecting the region independently of determining the size.
  • the processor can determine whether to recognize the gaze data as a user input for selecting an object by checking whether the location indicated by the gaze data is located within the region. For example, the processor can recognize the gaze data as a user input if the location of the gaze data is contained within the region for a specified period of time. For example, the processor can determine not to recognize the gaze data as the user input if the location of the gaze data is not contained within the region.
  • the length of the specified period of time may vary depending on the size of the region, but may be set independently of the size.
  • a processor may execute a function provided from an object based on gaze data recognized as a user input. Operation 940 may be related to operation 530 of FIG. 5, operation 630 of FIG. 6, operation 740 of FIG. 7, or operation 830 of FIG. 8.
  • Fig. 10 is a diagram illustrating an example of an area set based on state information according to various embodiments.
  • the wearable device (101) of Fig. 10 may include the wearable device (101) of Figs. 1 to 9.
  • a wearable device (101) can display a plurality of visual objects (1011) within a screen (1010).
  • the size of each of the plurality of visual objects (1011) can be set based on the size of the area (130-1) of FIG. 1.
  • the wearable device can display a plurality of visual objects (1011) having a size corresponding to the size of the area (130-1) of FIG. 1 within the screen (1010).
  • the number of multiple visual objects to be displayed on the display can be set based on the size of the region (e.g., region (130), region (130-1), region (130-2) of FIG. 1).
  • the wearable device (101) can determine the number of multiple visual objects (1010) based on the size of the region set based on the overall brightness level of the screen displayed on the display, the illuminance level acquired through the illuminance sensor, status information related to the user's eyes, or a combination thereof.
  • the wearable device (101) may determine a distance (1017) between a first visual object (1015) and a second visual object (1016) among a plurality of visual objects (1010).
  • the wearable device (101) may determine the distance (1017) between the first visual object (1015) and the second visual object (1016) based on the size of an area for selecting each of the plurality of visual objects (1010).
  • the wearable device (1011) may determine the distance (1017) such that an area corresponding to the first visual object (1015) and another area corresponding to the second visual object (1016) do not overlap.
  • the wearable device (101) can display a screen (1010) (e.g., a screen including a plurality of visual objects (1011)) including a first visual object (1015) and a second visual object (1016) arranged based on a determined distance (1017) on the display.
  • a screen (1010) e.g., a screen including a plurality of visual objects (1011)
  • a first visual object (1015) and a second visual object (1016) arranged based on a determined distance (1017) on the display.
  • a wearable device (101) may set the number of a plurality of visual objects (1021) based on an area (e.g., area (130) of FIG. 1) having a size different from the size of an area set to display a screen (1010) (e.g., area (130-1) of FIG. 1).
  • the wearable device (101) may determine the size of each of the plurality of visual objects (1021) based on an area (e.g., area (130) of FIG. 1) having the different size.
  • the wearable device (101) may display a screen (1020) including a plurality of visual objects (1021) having a size larger than each size of the plurality of visual objects (1011) included in the screen (1010).
  • the wearable device (101) may determine the number and/or size of the plurality of visual objects (1021) based on a size of an area set based on an overall brightness level of the screen (1020), a light level acquired through a light sensor, status information related to the user's eyes, or a combination thereof.
  • First gaze data used to set the number and/or size of the plurality of visual objects (1011) included in the screen (1010) and second gaze data used to set the number and/or size of the plurality of visual objects (1021) included in the screen (1020) may be different.
  • the wearable device (101) may determine the number of multiple visual objects (1011) based on the distance (1017) between the visual objects (1015, 1016) included in the screen (1010). Since the distance (1017) between the visual objects (1015, 1016) in the screen (1010) is shorter than the distance (1027) between the visual objects (1025, 1026) in the screen (1020), the number of the multiple visual objects (1011) may be greater than the number of the multiple visual objects (1021).
  • the wearable device (101) may set a larger number of the plurality of visual objects (1011).
  • the present disclosure is not limited thereto.
  • the overall brightness level, illuminance level, and/or state information used to infer the first gaze data may be different from the overall brightness level, illuminance level, and/or state information used to infer the second gaze data.
  • the user's state related to the eyes corresponding to the first gaze data identified to display the screen (1010) may be a state in which the user is not wearing glasses
  • the user's state related to the eyes corresponding to the second gaze data identified to display the screen (1020) may be a state in which the user is wearing glasses.
  • the accuracy and/or precision of the gaze data identified when the user is wearing glasses may be less than the accuracy and/or precision of the gaze data identified when the user is not wearing glasses.
  • a second difference (e.g., about 7 degrees) between a location of a visual object identified by the wearable device (101) and a location of the gaze data (e.g., the gaze data (125) of FIG. 1) when the user is not wearing glasses may be greater than a first difference (e.g., about 2 degrees) between a location of a visual object identified by the wearable device (101) and a location of the gaze data when the user is wearing glasses.
  • the wearable device (101) may adjust the number and/or size of a plurality of visual objects (1021) to be displayed based on an area having a size set based on the second difference.
  • the size (1025-1) of the first visual object (1025) may be larger than the size (1015-1) of the first visual object (1015) included in the screen (1010). Since the first visual object (1015) has a size larger than the size (1015-1) of the first visual object (1015) (e.g., a size approximately 11 times larger), the number of the plurality of visual objects (1021) included in the screen (1020) displayed on the same display may be smaller than the number of the plurality of visual objects (1011) included in the screen (1010).
  • the wearable device (101) can determine the size of a visual object based on the size of an area for selecting a visual object included in a screen.
  • the wearable device (101) can determine the number of a plurality of visual objects to display a plurality of visual objects including a visual object having the determined size on the display.
  • the wearable device (101) can arrange (or align) the plurality of visual objects by a specified distance so that areas capable of identifying inputs for each of the plurality of visual objects do not overlap.
  • the wearable device (101) can provide a metaverse service that can be changed according to the user by adjusting the size and/or number of visual objects to be displayed on the display based on gaze data.
  • FIG. 11 is a diagram illustrating an exemplary operation of a wearable device selecting an object using an area according to various embodiments.
  • the wearable device (101) of FIG. 11 may include the wearable device (101) of FIGS. 1 to 10.
  • a wearable device (101) may display a screen (110) including a visual object (120) on a display.
  • the wearable device (101) may obtain gaze data (125) of a user (105) positioned adjacent to the visual object (120) in the screen (110) through a camera.
  • the wearable device (101) may obtain the gaze data (125) based on the size of the pupil of the user's eye.
  • the wearable device (101) may identify a change in the size of the pupil based on the overall brightness level of the screen (110).
  • the wearable device (101) may identify a change in the size of the pupil based on an illuminance level representing the brightness of the surroundings of the wearable device (101) identified through a sensor.
  • the wearable device (101) can identify a change in the size of the pupil by using status information related to the eyes of the user (105).
  • the status information can include data indicating whether the user (105) wears glasses, data indicating whether the user (105) wears contact lenses, data indicating the size of the eyes, data indicating the thickness of the eyelids of the user (105), or a combination thereof.
  • the wearable device (101) can identify the accuracy and/or precision of the identified gaze data (125) by using the brightness level, the illuminance level, and/or the status information.
  • the wearable device (101) can set the size of the area (1101) for selecting the visual object (120) based on the accuracy and/or precision of the gaze data (125).
  • the wearable device (101) may recognize the gaze data (125) as a user input for a visual object (120) based on a determination that the location indicated by the gaze data (125) is located within an area (1101) having a set size. For example, the wearable device (101) may not recognize the gaze data (125) as a user input for a visual object (120) based on a determination that the location indicated by the gaze data (125) is located outside an area (1101) having the set size.
  • the wearable device (101) when the wearable device (101) recognizes the gaze data (125) as a user input for the visual object (120), it can identify that a location indicated by the gaze data (125) is included within the area (1101) for a specified period of time. When the wearable device (101) recognizes the gaze data (125) as a user input for the visual object (120), it can express a visual effect indicating the specified period of time. When the wearable device (101) recognizes the gaze data (125) as a user input for the visual object (120), it can express a visual effect of the area (1101) shrinking on the display.
  • the wearable device (101) when the wearable device (101) recognizes gaze data (125) as a user input for a visual object (120), the wearable device (101) may display the region (1101-1) based on a visual effect in which the size of the region (1101) decreases.
  • the wearable device (101) may guide the user (105) to select the visual object (120) by displaying the visual effect on the display.
  • the operation of displaying the visual effect while the wearable device (101) identifies the selection is not limited to the above-described embodiment.
  • the wearable device (101) may express the specified time based on a visual object indicating time.
  • the wearable device (101) may display a pointer superimposed on the visual object (120). The pointer may visually display gaze data (125) pointing to the visual object (120).
  • the wearable device (101) may display a text object (1105) indicating a selection for a visual object (120) on the display. For example, the wearable device (101) may bypass displaying the text object (1105).
  • the wearable device (101) may execute a function provided from the visual object (120) based on the gaze data (125) recognized as a user input maintained during a specified period of time (or a reference period).
  • FIG. 12 is a flowchart illustrating exemplary operations of a wearable device according to various embodiments.
  • the wearable device of FIG. 12 may include the wearable device (101) of FIGS. 1 to 11. At least one of the operations of FIG. 12 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 12 may be controlled by the processor (420) of FIG. 4. Each of the operations of FIG. 12 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel.
  • a wearable device may display a screen on a display in operation 1210. Operation 1210 may be related to operation 510 of FIG. 5.
  • a wearable device may acquire gaze data of a user positioned adjacent to an object on a screen through a camera.
  • the wearable device may acquire gaze data of a user positioned adjacent to an object on a screen (e.g., a visual object (120) of FIG. 1) through a camera.
  • the wearable device may acquire an image representing the user's eyes through a camera positioned toward the user's eyes for gaze tracking.
  • the wearable device may acquire gaze data matching at least a portion of the screen using the image. For example, the wearable device may determine whether gaze data on the screen is a user input for an object.
  • the wearable device may set an area for determining whether gaze data is a user input for an object based on a brightness level of the screen.
  • the wearable device may set the size of the area for determining whether gaze data is a user input for an object based on identifying an illuminance level representing the external brightness of the wearable device through a sensor.
  • the wearable device may set the size of the area using status information related to the user's eyes.
  • the wearable device can determine the number of objects to be included in the screen and the sizes of the objects based on the set size of the area.
  • a wearable device may obtain information about a pupil size through a camera in operation 1230.
  • the wearable device may identify the pupil size by analyzing an image representing an eye through the camera.
  • the wearable device may identify the pupil size that changes based on a light level and/or an overall brightness level of a screen.
  • the accuracy and/or precision of gaze data identified by the wearable device may change. Since the accuracy and/or precision of gaze data changes depending on the pupil size, the size of an area for selecting an object may be set using the pupil size.
  • a wearable device can identify whether a size of a pupil having a first size has been acquired in operation 1240.
  • a wearable device may, in operation 1250, recognize gaze data as a user input for an object in response to the size being the first size (e.g., the size of the pupil), and activate a function provided from the object based on the gaze data recognized as the user input.
  • the wearable device may identify the gaze data as a user input for selecting the object if a location indicated by the gaze data is located within an area.
  • the wearable device may execute the function provided from the object based on the user input being maintained for a specified period of time.
  • the electronic device in response to a second size (e.g., pupil size) that is larger than the first size (operation 1240-No), the electronic device may keep the function disabled by determining not to recognize the gaze data as a user input at operation 1260.
  • a brightness level and/or an illuminance level corresponding to the pupil size of the first size may be higher than a brightness level and/or an illuminance level corresponding to the pupil size of the second size.
  • an accuracy and/or precision of first gaze data identified using a pupil having the first size may be lower than an accuracy and/or precision of second gaze data identified using a pupil having the second size.
  • the wearable device may obtain a first region for selecting the object based on a first difference between a location of the object within the screen and a location indicated by the gaze data corresponding to the first size.
  • the wearable device can obtain the second area that is smaller than the first area based on the second difference between the position of the object and the position indicated by the gaze data.
  • the first difference can be larger than the second difference.
  • the first difference can be referred to as difference (127) of FIG. 1.
  • the present disclosure is not limited thereto.
  • the size of the region for selecting an object determined based on the first gaze data may be larger than the size determined based on the second gaze data. Since the size of the region for selecting an object determined based on the first gaze data is relatively larger, even if a location indicated by the gaze data is included in the size of the region determined based on the first gaze data, it may not be included in the size of the region determined based on the second gaze data. That is, the wearable device may determine not to recognize the gaze data as a user input based on the size of the pupil, which is the second size larger than the first size.
  • a wearable device can determine the number of objects included in a screen based on the size of a pupil.
  • the wearable device can arrange other objects based on a specified distance from the object so that areas for selecting each object do not overlap.
  • the wearable device can display the screen including an object and another object spaced apart from the object by a first distance.
  • the wearable device can space the distance between the object and the other object by the first distance based on the size of the pupil, which is the first size.
  • the wearable device can display the screen including the object and another object spaced apart from the object by a second distance that is shorter than the first distance. Since the size of the region is set larger when the size of the pupil is the first size, the distance between the objects can be set longer. For example, when the size of the pupil is the first size, the number of objects that can be displayed on the display can be less than the number of objects that can be displayed on the display when the size of the pupil is the second size.
  • the wearable device may recognize the gaze data as another user input for another object, instead of a user input for an object.
  • the wearable device may identify the gaze data as another user input for another object based on a location of the gaze data that is located outside an area corresponding to the object and within another area corresponding to the other object.
  • the wearable device may activate another function provided from the other object based on the gaze data recognized as another user input for a specified period of time.
  • the present disclosure is not limited thereto.
  • the wearable device can set an area having a first size for selecting an object using gaze data identified based on an overall brightness level and/or illuminance level of the screen. After setting the area having the first size, the wearable device can obtain status information of the user related to the user's eyes through a camera. The wearable device can change the first size to a second size using the status information.
  • the wearable device can determine the size of the area for selecting an object displayed on the screen based on overall brightness information of the screen, the intensity of external light, whether the user is wearing glasses, whether the user is wearing content lenses, the thickness of the eyelids, or a combination thereof.
  • FIG. 13 is a flowchart illustrating an exemplary operation of a wearable device according to various embodiments to identify a user input based on a pupil size.
  • the wearable device of FIG. 13 may include the wearable device (101) of FIGS. 1 to 11. At least one of the operations of FIG. 13 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 13 may be controlled by the processor (420) of FIG. 4. Each of the operations of FIG. 13 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel.
  • a wearable device may acquire gaze data of a user positioned adjacent to an object within a screen through a camera in operation 1310. Operation 1310 may be referenced in operation 1220 of FIG. 12.
  • a wearable device may acquire user status information related to eyes through a camera in operation 1320.
  • the wearable device may identify whether the user is wearing glasses using an image acquired through the camera.
  • the wearable device may acquire different gaze data based on the identification of whether the user is wearing glasses.
  • the wearable device may infer different gaze data based on whether the user is wearing contact lenses.
  • the wearable device may identify the size of the pupil of the eye using status information including data representing the size of the eye, data representing the thickness of the user's eyelid, or a combination thereof.
  • a wearable device may obtain information on the size of a pupil of an eye through at least one camera in operation 1330.
  • the wearable device may identify the size of the pupil of the eye using an image obtained through the camera.
  • a wearable device may determine, in operation 1340, whether to recognize gaze data as user input for an object based on user status information related to eyes and the size of a pupil.
  • the wearable device may obtain gaze data based on the status information and the size of the pupil.
  • the wearable device may set the size of an area for selecting an object based on the status information and the size of the pupil.
  • the wearable device may determine whether to recognize gaze data as user input for an object based on whether a location indicated by the gaze data is included within the area for selecting an object.
  • FIG. 14 is a flowchart illustrating exemplary operations of a wearable device according to various embodiments.
  • the wearable device of FIG. 14 may include the wearable device (101) of FIGS. 1 to 11. At least one of the operations of FIG. 14 may be performed by the wearable device (101) of FIG. 1. At least one of the operations of FIG. 14 may be controlled by the processor (420) of FIG. 4.
  • Each of the operations of FIG. 14 may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each of the operations may be changed, and at least two operations may be performed in parallel.
  • a wearable device may display a screen on at least one display.
  • the wearable device may display a screen (e.g., screen (110) of FIG. 1) including at least one object (e.g., visual object (120) of FIG. 1) on the display.
  • Operation 1410 may be referenced to operation 1210 of FIG. 12.
  • a wearable device may obtain a user's gaze data using a camera.
  • the wearable device may obtain the gaze data using an image obtained through the camera.
  • the wearable device may perform user calibration to map the gaze data to at least one location within a screen. After performing the user calibration, the wearable device may further perform an operation to correct the location of the gaze data.
  • a wearable device may identify an input for obtaining status information of a user.
  • the status information may include information related to the user's eyes.
  • the wearable device can set an area for an object using the user's gaze data.
  • the wearable device can set the size of the area for selecting an object using the gaze data identified using the gaze tracker (433) of FIG. 4.
  • a wearable device may acquire user status information related to eyes through at least one camera.
  • the wearable device may acquire status information including data indicating whether the user wears glasses, data indicating whether the user wears contact lenses, data indicating the thickness of the user's eyelids, and/or data indicating the size of the eyes, through the camera, based on the execution of the status information identifier (435) of FIG. 4.
  • a wearable device may determine whether to recognize gaze data as user input for an object by using an area for an object having a size set based on at least one of the overall brightness level, the illuminance level, and the status information of the screen.
  • the wearable device may infer (or predict) accuracy and/or precision of the gaze data based on the execution of the gaze predictor (434) of FIG. 4 by using the overall brightness level, the illuminance level, and/or the status information of the screen.
  • the wearable device may determine the size of the area for selecting the object based on the inferred accuracy and/or precision.
  • the wearable device may determine whether to recognize the gaze data as user input based on whether the location of the gaze data matching the screen is located within the area. If the location of the gaze data is located within the area for a specified time, the wearable device may initiate execution of a function provided from the object.
  • Metaverse is a compound word of the English word 'meta' meaning 'virtual' or 'transcendence' and 'universe' meaning universe, and refers to a three-dimensional virtual world where social, economic, and cultural activities like the real world take place.
  • the metaverse is a concept that is one step more advanced than virtual reality (VR, a cutting-edge technology that allows people to have real-life experiences in a computer-created virtual world), and has the characteristic of allowing people to engage in social and cultural activities like real reality, rather than simply enjoying games or virtual reality by utilizing avatars.
  • the metaverse service can provide media content to enhance immersion in the virtual world based on augmented reality (AR), virtual reality environment (VR), mixed reality (MR), and/or extended reality (XR).
  • AR augmented reality
  • VR virtual reality environment
  • MR mixed reality
  • XR extended reality
  • media content provided by the metaverse service may include social interaction content including avatar-based games, concerts, parties, and/or conferences.
  • the media content may include advertisements, user created content, and/or information for economic activities such as selling and/or shopping of products. Ownership of the user created content may be proven by a blockchain-based non-fungible token (NFT).
  • NFT non-fungible token
  • the metaverse service may support economic activities based on real currency and/or cryptocurrency.
  • Virtual content linked to the real world, such as a digital twin or life logging, may be provided by the metaverse service.
  • FIG. 15 is a diagram illustrating an exemplary network environment (1501) that provides metaverse services through a server (1510) according to various embodiments.
  • a network environment (1501) may include a server (1510), a user terminal (1520) (e.g., a first terminal (1520-1) and a second terminal (1520-2)), and a network connecting the server (1510) and the user terminal (1520).
  • the server (1510) may provide a metaverse service to the user terminal (1520).
  • the network may be formed by at least one intermediate node (1530) including an access point (AP) and/or a base station.
  • the user terminal (1520) may connect to the server (1510) through the network and output a user interface (UI) related to the metaverse service to the user of the user terminal (1520). Based on the above UI, the user terminal (1520) can obtain information to be input from the user to the metaverse service, or output information related to the metaverse service (e.g., multimedia content) to the user.
  • UI user interface
  • the server (1510) provides a virtual space so that the user terminal (1520) can be active in the virtual space.
  • the user terminal (1520) installs a S/W agent for accessing the virtual space provided by the server (1510) to express information that the server (1510) provides to the user, or transmits information that the user wishes to express in the virtual space to the server.
  • the S/W agent may be provided directly through the server (1510), downloaded from a public server, or embedded and provided when purchasing the terminal.
  • the metaverse service may be provided to a user terminal (1520) and/or a user by using a server (1510).
  • the present disclosure is not limited thereto, and the metaverse service may be provided through individual contact between users.
  • the metaverse service may be provided independently from the server (1510) by a direct connection between a first terminal (1520-1) and a second terminal (1520-2).
  • the first terminal (1520-1) and the second terminal (1520-2) may be connected to each other through a network formed by at least one intermediate node (1530).
  • either of the user terminals of the first terminal (1520-1) and the second terminal (1520-2) can perform the role of the server (1510).
  • a metaverse environment can be configured only by connecting devices (e.g., peer-to-peer (P2P) connections).
  • P2P peer-to-peer
  • the user terminal (1520) may be made of various form factors and may include an output device for providing images and/or sounds to the user and an input device for inputting information to the metaverse service.
  • various form factors of the user terminal (1520) include a smartphone (e.g., the second terminal (1520-2)), an AR device (e.g., the first terminal (1520-1)), a VR device, an MR device, a VST (Video See Through) device, an OST (Optical See Through) device, a smart lens, a smart mirror, an input/output capable TV or projector.
  • the network of the present disclosure (e.g., a network formed by at least one intermediate node (1530)) includes various broadband networks including 3G, 4G, and 5G, as well as short-range networks including Wifi, BT, etc. (e.g., a wired network or a wireless network directly connecting the first terminal (1520-1) and the second terminal (1520-2)).
  • a wearable device may determine whether gaze data of a user is a user input for selecting an object displayed on a display based on a state related to an eye of a user wearing the wearable device and an environment surrounding the wearable device.
  • a method for determining a size of an area for an object may be required so that the wearable device recognizes the gaze data as a user input for selecting the object.
  • a wearable device (e.g., the wearable device (101) of FIG. 1 ) as described above may include at least one camera configured for eye tracking (e.g., the camera (440) of FIG. 4 ), at least one display (e.g., the display (450) of FIG. 4 ) configured to be aligned with an eye of a user (e.g., the user (105) of FIG. 1 ) wearing the wearable device, and at least one processor (e.g., the processor (420) of FIG. 4 ) including processing circuitry.
  • the at least one processor may be configured, individually and/or collectively, to control the wearable device to display a screen (e.g., the screen (110) of FIG.
  • At least one processor may be configured, individually and/or collectively, to acquire gaze data (e.g., gaze data (125) of FIG. 1) associated with an object within the screen (e.g., a visual object (120) of FIG. 1) via the at least one camera.
  • the at least one processor may be configured, individually and/or collectively, to determine whether to recognize the gaze data as an input for the object using a region (e.g., region (130) of FIG. 1) for the object, the region having a size set based on an overall brightness level of the screen.
  • the at least one processor may be configured, individually and/or collectively, to execute a function provided from the object based on the gaze data recognized as the input.
  • At least one processor may be configured to, individually and/or collectively, determine whether to recognize the gaze data as an input based on whether a location represented by the gaze data is located within the region.
  • At least one processor may be configured, individually and/or collectively, to recognize the gaze data as the input in response to the location within the area. At least one processor may be configured, individually and/or collectively, to determine not to recognize the gaze data as the input in response to the location outside the area.
  • At least one processor may be configured, individually and/or collectively, to set the size to a first size based on the overall brightness level being within a reference range. At least one processor may be configured, individually and/or collectively, to set the size to a second size greater than the first size based on the overall brightness level being outside the reference range.
  • At least one processor may be configured, individually and/or collectively, to recognize as input the gaze data located outside the object based on the overall brightness level that is within the reference range.
  • the at least one processor may be configured, individually and/or collectively, to determine not to recognize as input the gaze data located outside the object based on the overall brightness level that is outside the reference range.
  • At least one processor may be further configured to, individually and/or collectively, control the wearable device to display within the screen an object having a size corresponding to the set size of the area.
  • At least one processor may be configured, individually and/or collectively, to determine a distance between the object and another object within the screen based on the size.
  • the at least one processor may be configured, individually and/or collectively, to control the wearable device to display, on the at least one display, the screen including the object and the other object arranged based on the distance.
  • the wearable device may further include an illuminance sensor (e.g., illuminance sensor (460) of FIG. 4) configured to obtain an illuminance level around the wearable device.
  • At least one processor may be configured, individually and/or collectively, to set the size of the area further based on the illuminance level.
  • At least one processor may be configured, individually and/or collectively, to obtain state information of the user related to the eye via the at least one camera.
  • the at least one processor may be further configured, individually and/or collectively, to set the size of the area further based on the state information.
  • the status information may include data indicating whether the user wears glasses, data indicating whether the user wears contact lenses, data indicating the size of the eyes, data indicating the thickness of the user's eyelids, or a combination thereof.
  • a wearable device may include at least one camera configured for eye tracking, at least one display configured to be aligned with an eye of a user wearing the wearable device, and at least one processor including a processing circuit.
  • the at least one processor may be configured, individually and/or collectively, to control the wearable device to display a screen on the at least one display.
  • the at least one processor may be configured, individually and/or collectively, to acquire gaze data positioned adjacent to an object within the screen through the at least one camera.
  • the at least one processor may be configured, individually and/or collectively, to acquire information about a size of a pupil of the eye through the at least one camera.
  • the at least one processor may be configured, individually and/or collectively, to recognize the gaze data as an input to the object in response to a first size, and to activate a function provided by the object based on the gaze data recognized as the input. At least one processor may be configured, individually and/or collectively, to keep the feature disabled by determining not to recognize the gaze data as input in response to a second size being greater than the first size.
  • At least one processor may be configured, individually and/or collectively, to obtain a first region for the object based on the size of the first size, and to recognize the gaze data as the input based on a determination that the location indicated by the gaze data is located within the first region.
  • the at least one processor may be configured, individually and/or collectively, to obtain a second region for the object based on the size of the second size, the second region being narrower than the first region, and to determine not to recognize the gaze data as the user input based on a determination that the location is located outside the second region.
  • At least one processor may be configured, individually and/or collectively, to control the wearable device to display the screen including the object and another object spaced a first distance from the object, based on the size of the first size.
  • the at least one processor may be further configured, individually and/or collectively, to control the wearable device to display the screen including the object and another object spaced a second distance from the object, the second distance being less than the first distance, based on the size of the second size.
  • At least one processor may be configured, individually and/or collectively, to control the wearable device to display a pointer superimposed on the object prior to activating the function, in response to the first size.
  • the screen may further include another object displayed together with the object.
  • At least one processor may be configured, individually and/or collectively, to, in response to the second size, recognize the gaze data as another input for the other object instead of the input for the object, and to activate another function provided from the other object based on the gaze data recognized as the other input.
  • At least one processor may be configured, individually and/or collectively, to obtain state information of the user related to the eye via the at least one camera.
  • the at least one processor may be further configured, individually and/or collectively, to keep the function disabled by determining, based on the state information, not to recognize the gaze data as the input, despite the first size.
  • the status information may include data indicating whether the user wears glasses, data indicating whether the user wears contact lenses, data indicating the size of the eyes, data indicating the thickness of the user's eyelids, or a combination thereof.
  • At least one processor can be configured, individually and/or collectively, to obtain the first area based on a first difference between the location of the object within the screen and the location indicated by the gaze data, based on the size being the first size.
  • At least one processor can be configured, individually and/or collectively, to obtain the second area, smaller than the first area, based on a second difference between the location of the object and the location indicated by the gaze data, based on the size being the second size.
  • At least one processor may be further configured, individually and/or collectively, to set a size of an area for the object based on a location of the object within the screen.
  • a method executed in a wearable device having at least one camera for eye tracking and at least one display configured to be aligned with an eye of a user wearing the wearable device may include an operation of displaying a screen on the at least one display.
  • the method may include an operation of acquiring gaze data related to an object in the screen through the at least one camera.
  • the method may include an operation of determining whether to recognize the gaze data as an input for the object using an area for the object, the area having a size set based on an overall brightness level of the screen.
  • the method may include an operation of executing a function provided from the object based on the gaze data recognized as the input.
  • a non-transitory computer-readable storage medium storing one or more programs according to one embodiment of the present invention, wherein the one or more programs may include instructions that, when individually and/or collectively executed by at least one processor of a wearable device having at least one camera for eye tracking and at least one display configured to be aligned with an eye of a user wearing the wearable device, cause the wearable device to display a screen on the at least one display.
  • the one or more programs may include instructions that, when executed by the wearable device, cause the wearable device to acquire gaze data related to an object within the screen via the at least one camera.
  • the one or more programs may include instructions that, when executed by the wearable device, cause the wearable device to determine whether to recognize the gaze data as input for the object using an area for the object, the area having a size set based on an overall brightness level of the screen.
  • the one or more programs may include instructions that, when executed by the wearable device, cause the wearable device to execute a function provided from the object based on the gaze data recognized as the input.
  • a wearable device as described above may include at least one camera configured for eye tracking, at least one display configured to be aligned with an eye of a user wearing the wearable device, and at least one processor including a processing circuit.
  • the at least one processor may be configured, individually and/or collectively, to control the wearable device to display a screen on the at least one display.
  • the at least one processor may be configured, individually and/or collectively, to acquire, through the at least one camera, state information of the user related to the eye and gaze data of the user related to an object within the screen.
  • the at least one processor may be configured, individually and/or collectively, to determine, based on the object displayed at a first location within the screen, whether to recognize the gaze data as an input for the object by using a first region for the object, the first region having a size set based on the state information.
  • At least one processor may be configured, individually and/or collectively, to determine whether to recognize the gaze data as input for the object using a second region for the object, the second region having a different size set based on the state information, based on the object displayed at a second location distinct from the first location within the screen and adjacent to at least one of the edges of the screen.
  • the different size of the second region may be larger than the size of the first region.
  • the devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in various embodiments may be implemented using one or more general-purpose computers or special-purpose computers, such as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device is sometimes described as being used alone, but those skilled in the art will appreciate that the processing device may include multiple processing elements and/or multiple types of processing elements.
  • the processing device may include multiple processors, or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are also possible.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to perform a desired operation or may independently or collectively command the processing device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium, or device for interpretation by the processing device or for providing instructions or data to the processing device.
  • the software may be distributed over network-connected computer systems and stored or executed in a distributed manner.
  • the software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may be one that continuously stores a program executable by a computer, or one that temporarily stores it for execution or downloading.
  • the medium may be various recording means or storage means in the form of a single or multiple hardware combinations, and is not limited to a medium directly connected to a computer system, and may also be distributed on a network. Examples of the medium may include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs, RAMs, flash memories, etc., configured to store program commands.
  • examples of other media may include recording media or storage media managed by app stores that distribute applications, sites that supply or distribute various software, servers, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 웨어러블 장치는 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라, 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이, 처리 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하고; 상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하고; 상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정하고; 및 상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하도록, 구성될 수 있다.

Description

사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체
본 개시는, 사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 확장 현실(extended reality, XR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 대응하는 가상 객체를 이용하여, 사용자에게, 확장 현실 서비스를 제공할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
일 실시예에 따른 웨어러블 장치는 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라, 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이, 처리 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 사용자 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하도록, 구성될 수 있다.
일 실시예에 따른 웨어러블 장치는 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라, 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이, 및 처리 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내의 객체에 인접하여 위치된 상기 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 눈의 동공의 사이즈에 대한 정보를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 제1 사이즈인 상기 사이즈에 응답하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식하고, 상기 사용자 입력으로 인식된 상기 시선 데이터에 기반하여 상기 객체로부터 제공되는 기능을 활성화하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 사이즈보다 큰 제2 사이즈인 상기 사이즈에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정함으로써 상기 기능을 비활성화하는 것을 유지하도록, 구성될 수 있다.
일 실시예에 따른 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라와 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬되도록 구성된 적어도 하나의 디스플레이를 가지는 웨어러블 장치 내에서 실행되는 방법에 있어서, 상기 방법은, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 화면 내의 객체와 관련된 사용자의 데이터를 상기 적어도 하나의 카메라를 통해 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하는 동작을 포함할 수 있다. 상기 방법은 상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하는 동작을 포함할 수 있다.
일 실시예에 따른 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 하나 이상의 프로그램들은, 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라와 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬되도록 구성된 적어도 하나의 디스플레이를 가지는 웨어러블 장치의 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은 상기 웨어러블 장치에 의해 실행될 시, 상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로 그램들은 상기 웨어러블 장치에 의해 실행될 시, 상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은 상기 웨어러블 장치에 의해 실행될 시, 상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하도록, 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다.
일 실시예에 따른 웨어러블 장치는, 아이 트래킹을 위하여 구성된 적어도 하나의 카메라, 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이, 및 처리 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 눈과 관련된 상기 사용자의 상태 정보 및 상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내 제1 위치에 표시되는 상기 객체에 기반하여, 상기 상태 정보에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한 제1 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내 상기 제1 위치와 구분되고 상기 화면의 가장 자리들 중 적어도 하나에 인접한 제2 위치에 표시된 상기 객체에 기반하여, 상기 상태 정보에 기반하여 설정된 다른 사이즈를 가지는, 상기 객체를 위한 제2 영역을 이용하여 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 구성될 수 있다. 상기 제2 영역의 상기 사이즈는 상기 제1 영역의 상기 사이즈보다 크게 설정될 수 있다.
본 개시의 몇몇 실시예들의 상술된 그리고 다른 측면들, 특징들, 및 이점들이, 첨부된 도면들과 함께 다루어지는, 뒤따르는 상세한 설명으로부터 보다 명백해질 것이다:
도 1은, 다양한 실시예들에 따른 웨어러블 장치가 사용자의 시선 데이터를 획득하는 동작의 일 예를 도시한 다이어그램이다;
도 2a는, 다양한 실시예들에 따른, 웨어러블 장치의 사시도(perspective view)이다;
도 2b는, 다양한 실시예들에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한 사시도이다;
도 3a 및 도 3b는, 다양한 실시예들에 따른, 웨어러블 장치의 외관의 일 예를 도시한 사시도들이다;
도 4는, 다양한 실시예들에 따른 웨어러블 장치의 예시적인 구성을 도시한 블록도이다;
도 5는, 일 실시예에 따른 웨어러블 장치의 동작을 나타내는 흐름도이다.
도 6은, 다양한 실시예들에 따른 웨어러블 장치의 밝기 레벨을 이용하는 동작을 도시한 흐름도이다;
도 7은, 다양한 실시예들에 따른 웨어러블 장치의 사용자의 상태 정보를 이용하는 예시적인 동작을 도시 흐름도이다;
도 8은, 다양한 실시예들에 따른 웨어러블 장치의 조도 레벨을 이용하는 예시적인 동작을 도시한 흐름도이다;
도 9는 다양한 실시예들에 따른 웨어러블 장치가 상태 정보에 기반하여 사용자 입력을 식별하는 예시적인 동작을 도시한 흐름도이다;
도 10은, 다양한 실시예들에 따른 상태 정보에 기반하여 설정된 영역의 일 예를 도시한 다이어그램이다;
도 11은, 다양한 실시예들에 따른 웨어러블 장치가 영역을 이용하여 객체를 선택하는 동작의 일 예를 도시한 다이어그램이다;
도 12는, 다양한 실시예들에 따른 웨어러블 장치의 예시적인 동작을 도시한 흐름도이다;
도 13은, 다양한 실시예들에 따른 웨어러블 장치가 동공 사이즈에 기반하여 사용자 입력을 식별하는 예시적인 동작을 도시한 흐름도이다;
도 14는, 다양한 실시예들에 따른 웨어러블 장치의 예시적인 동작을 도시한 흐름도이다; 및
도 15는, 다양한 실시예들에 따른 서버를 통해 메타버스 서비스를 제공받는 예시적인 네트워크 환경을 도시한 다이어그램이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들어, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 전자 장치, 가전 장치, 또는 그 밖에 유사한 것(or the like)을 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어, 또는 이들의 어느 조합(or any combination thereof)으로 구현된 유닛을 포함할 수 있으며, 예를 들어, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들어, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 웨어러블 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들어, 기기(예: 웨어러블 장치(101)(예를 들어, 도 2a, 도 2b, 도 3a, 및 도 3b를 보라))의 프로세서(예: 프로세서(420)(예를 들어, 도 4를 보라))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적' 저장 매체는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않을 수 있으나, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 1은, 다양한 실시예들에 따른 웨어러블 장치가 사용자의 시선 데이터를 획득하는 예시적인 동작을 도시한 다이어그램이다. 일 실시예에서, 사용자에 의해 소유되는 관점에서(in terms of), 웨어러블 장치(101)는 단말(또는 사용자 단말)로 지칭될(referred as) 수 있다. 단말은, 예를 들어, 랩톱 및 데스크톱과 같은 개인용 컴퓨터(personal computer, PC)를 포함할 수 있다. 단말은, 예를 들어, 스마트폰(smartphone), 스마트패드(smartpad), 및/또는 태블릿 PC를 포함할 수 있다. 단말은, 스마트워치(smartwatch) 및/또는 HMD(head-mounted device)와 같은 스마트액세서리를 포함할 수 있다. 단말이 상술된 예시들에 제한되지 않는 것으로 이해될 것이다.
웨어러블 장치(101)는 사용자(105)의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다. 웨어러블 장치(101)는 하나 이상(또는 복수)일 수 있다. 일 실시예에 따른 웨어러블 장치(101)는, 사용자(105)에 의해 착용된 상태 내에서, 사용자(105)의 전방을 향하여 배치된 카메라(예: 이하 보다 상세히 설명될 도 4의 카메라(440))를 포함할 수 있다. 사용자(105)의 전방은, 사용자(105)의 머리, 및/또는 사용자(105)의 시선이 향하는 방향을 포함할 수 있다. 일 실시예에 따른 웨어러블 장치(101)는, 사용자(105)에 의해 착용된 상태 내에서, 사용자(105)의 머리, 및/또는 웨어러블 장치(101)의 모션을 식별하기 위한 센서를 포함할 수 있다. 웨어러블 장치(101)는, 상기 센서의 데이터에 기반하여, 웨어러블 장치(101)의 각도를 식별할 수 있다. 웨어러블 장치(101)를 착용한 사용자(105)에게 VR(virtual reality), AR(augmented reality), 및/또는 MR(mixed reality)에 기반하는 UI(user interface)를 제공하기 위하여, 웨어러블 장치(101)는 카메라, 및/또는 센서를 제어할 수 있다. UI는, 웨어러블 장치(101), 및/또는 웨어러블 장치(101)에 연결된 서버에 의해 제공되는 메타버스 서비스, 및/또는 알림 서비스와 관련될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 증강 현실(augmented reality, AR), 및/또는 혼합 현실(mixed reality, MR)과 관련된 기능을 실행할 수 있다. 사용자(105)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(105)의 눈에 인접하게 배치된 적어도 하나의 렌즈를 포함할 수 있다. 렌즈를 통과하는 주변 광(ambient light)은, 웨어러블 장치(101)의 디스플레이(예, 도 4의 디스플레이(450))로부터 방사된 광과 결합(또는, 혼합)될 수 있다. 상기 디스플레이의 표시 영역은, 주변 광이 통과되는 렌즈 내에서 형성될 수 있다. 웨어러블 장치(101)가 상기 주변 광 및 상기 디스플레이로부터 방사된 상기 광을 결합하기 때문에, 사용자(105)는 상기 주변 광에 의해 인식되는 실제 객체(real object) 및 상기 디스플레이로부터 방사된 상기 광에 의해 형성된 가상 객체(virtual object)가 혼합된 상(image)을 볼 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 VST(video see-through) 및/또는 가상 현실(virtual reality, VR)과 관련된 기능을 실행할 수 있다. 사용자(105)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(105)의 눈을 덮는 하우징을 포함할 수 있다. 웨어러블 장치(101)는, 상기 상태 내에서, 상기 눈을 향하는 제1 면(예, 도 3a의 제1 면(310))에 배치된 디스플레이를 포함할 수 있다. 웨어러블 장치(101)는 상기 제1 면과 반대인 제2 면(예, 도 3a의 제2 면(320)) 상에 배치된 카메라(예, 도 3b의 카메라들(260-7, 260-8, 260-9, 260-10, 260-11, 260-12))를 포함할 수 있다. 상기 카메라를 이용하여, 웨어러블 장치(101)는 주변 광이 포함된 프레임 이미지들을 획득할 수 있다. 웨어러블 장치(101)는 상기 제1 면에 배치된 디스플레이에, 상기 프레임 이미지들을 출력하여, 사용자(105)가 상기 디스플레이를 통해 상기 주변 광을 인식하게 할 수 있다. 상기 제1 면에 배치된 디스플레이의 표시 영역은, 상기 디스플레이에 포함된 하나 이상의 픽셀들에 의해 형성될 수 있다. 웨어러블 장치(101)는 사용자(105)가 주변 광에 의해 인식되는 실제 객체와 함께 상기 가상 객체를 인식하게 하기 위해, 상기 디스플레이를 통해 출력되는 프레임 이미지들 내에 가상 객체를 합성할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 공간을 이용하여, 혼합 현실(mixed reality, MR)에 기반하는 사용자 경험을 제공할 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)가 포함된 외부 공간(예, 실제 공간(real space))을 인식하여, 상기 외부 공간에 매핑된 가상 공간을 생성할 수 있다. 웨어러블 장치(101)가 수행하는 공간 인식은, SLAM 및/또는 공간 매핑(예, scene understanding)을 포함할 수 있다.
도 1을 참고하면, 웨어러블 장치(101)가 적어도 하나의 디스플레이 상에 하나의 화면(110)을 표시하도록 도시되었지만, 웨어러블 장치(101)는 적어도 하나의 디스플레이 상에 화면(110)을 표시하기 위해, 하나 이상의 렌더링 데이터 세트들을 이용하여, 하나 이상의 화면들을 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는 사용자(105)의 양쪽 눈에 대응하는 하나 이상의 디스플레이들을 포함하기 때문에, 웨어러블 장치(101)는 하나 이상의 디스플레이들 각각에 하나 이상의 화면들을 표시함으로써, 사용자(105)에게 하나 이상의 화면들이 적어도 일부 중첩된 화면(110)을 제공할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 사용자의 시선 데이터를 획득하기 위한 시각적 객체(120)를 포함하는 화면(110)을 적어도 하나의 디스플레이 상에 표시할 수 있다. 웨어러블 장치(101)는, 화면(110) 내의 시각적 객체(120)와 관련된 사용자(105)의 시선 데이터를 카메라를 통해 획득할 수 있다. 카메라는, 사용자의 눈을 향하여 배치되고, 아이 트래킹을 수행하기 위한 카메라를 포함하는 관점에서, 시선 추적 카메라(예: 도 2a 내지 도 3b의 시선 추적 카메라(260-1))로 지칭될 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라를 통해 사용자의 시선과 관련된 파라미터를 이용하여, 시선 데이터를 획득할 수 있다. 웨어러블 장치(101)는, 사용자(105)의 눈에 포함된 동공(pupil), 공막(sclera), 홍채(iris), 및/또는 글린트(glint)(예, 동공에서 반사된 시선 검출 광) 각각의 위치를 식별하는 것에 기반하여, 사용자(105)의 눈의 방향(eye direction)을 추론(infer)할 수 있다. 시선과 관련된 파라미터는, 카메라를 통해 획득한 눈과 관련된 이미지를 변경할 수 있는 파라미터들을 포함할 수 있다. 예를 들어, 파라미터들은 디스플레이의 전체적인 밝기 레벨, 외부 광의 조도, 및/또는 눈과 관련된 사용자의 상태 정보를 나타내는 파라미터를 포함할 수 있다.
예를 들어, 웨어러블 장치(101)는 추론된 눈의 방향에 매칭되는 화면(110) 내 일부분을 식별할 수 있다. 웨어러블 장치(101)는 추론된 눈의 방향을 나타내는 시선 데이터(125)를 이용하여, 사용자(105)가 화면(110) 내에서 바라보는 상기 일부분에 대한 정보를 식별할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는 카메라를 이용하여, 화면(110) 내 포함된 시각적 객체(120)에 대한 시선 데이터(125)를 획득할 수 있다. 시선 데이터(125)는 하나 이상의 데이터 세트들(125-1, 125-2, 125-3)을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 시선 데이터(125)를 사용자 입력으로 식별하기 위해, 사용자 캘리브레이션(user calibration)을 수행할 수 있다. 웨어러블 장치(101)는 사용자 캘리브레이션을 수행한 것에 기반하여 획득된 하나 이상의 데이터 세트들(125-1, 125-2, 125-3)에 대한 평균 값을 시선 데이터(125)로 획득할 수 있다. 다만, 본 개시가 이에 제한되지 않는다. 웨어러블 장치(101)는 사용자 캘리브레이션을 수행한 이후, 하나의 데이터 세트에 기반한 시선 데이터(125)를 획득할 수 있다. 사용자 캘리브레이션은, 웨어러블 장치(101)가 추론한 시선 데이터(125)에 대응하는 위치를 사용자(105)의 시선(150)에 대응하는 위치를 이용하여, 보정하는 동작을 포함할 수 있다.
예를 들어, 시선 데이터(125)는 카메라를 통해 획득된 사용자(105)의 눈과 관련된 이미지를 이용하여 획득될 수 있다. 시선 데이터(125)는, 웨어러블 장치(101)에 의해 추론한 사용자(105)의 눈의 방향에 대응하는 시선(gaze)을 나타낼 수 있다. 시선 데이터(125)는 눈에 대응하는 광축(optical axis)에 기반하여, 식별될 수 있다. 광축은, 동공의 중심과 각막 곡률의 중심을 연결하는 선을 포함할 수 있다.
예를 들어, 웨어러블 장치(101)는 화면(110) 내 시각적 객체(120)가 표시된 위치를 식별할 수 있다. 시각적 객체(120)가 표시된 위치는, 시축(visual axis))에 기반하는 사용자(105)의 시선(150)이 화면(110)과 매칭되는 위치일 수 있다. 시축은 망막(fovea)의 중심과 각막 곡률 중심을 연결하는 선을 포함할 수 있다. 시선(150)은, 사용자(105)가 실질적으로 바라보는(또는 인식하는) 화면(110)의 위치를 나타낼 수 있다.
예를 들어, 웨어러블 장치(101)는 시각적 객체(120)의 위치 및 시선 데이터(125)를 이용하여, 카메라를 통해 획득된 시선 데이터(125)의 정확도(accuracy) 및/또는 정밀도(precision)를 식별할 수 있다. 정확도는, 시각적 객체(120)의 위치(또는 시선(150)이 매칭되는 위치)와 시선 데이터(125)의 위치 사이의 차이(127)를 나타내는 정보를 포함할 수 있다. 시선 데이터(125)의 위치는 하나 이상의 데이터 세트들(125-1, 125-2, 125-3)의 위치들의 평균 값을 나타낼 수 있다. 정밀도는, 하나 이상의 데이터 세트들(125-1, 125-2, 125-3)의 위치들에 기반하여 획득된 정보를 나타낼 수 있다. 웨어러블 장치(101)는 평균 제곱근 편차(root mean square deviation)에 기반하여 하나 이상의 데이터 세트들(125-1, 125-2, 125-3)의 위치들이 퍼져 있는 정도를 식별할 수 있다. 정밀도는, 하나 이상의 데이터 세트들(125-1, 125-2, 125-3)이 퍼져 있는 정도를 나타낼 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 사용자(105)의 시선 데이터(125)와 관련된 정확도 및/또는 정밀도에 기반하여, 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 웨어러블 장치(101)는 시선 데이터(125)를 이용하여, 시각적 객체(120)를 선택하기 위한 영역을 설정할 수 있다. 웨어러블 장치(101)는 시선 데이터(125)에 기반하여 설정된 사이즈를 가지는 영역(130)을 획득할 수 있다. 웨어러블 장치(101)는 시각적 객체(120)에 대하여, 하나 이상의 데이터 세트들(125-1, 125-2, 125-3)의 위치들 전체를 포함할 수 있는 사이즈를 가지는 영역(130)을 획득할 수 있다. 영역(130)은 시각적 객체(120)를 선택하기 위한 영역인 관점에서, 선택 영역, 또는 유효 영역으로 지칭될 수 있다.
예를 들어, 웨어러블 장치(101)가 설정한 영역(130)의 사이즈는 시선 데이터(125)에 대한 정확도 및/또는 정밀도에 따라 변경될 수 있다. 영역(130)의 사이즈는 시선 데이터(125)에 대한 정확도 및/또는 정밀도가 높을수록 작아질 수 있다. 예를 들어, 웨어러블 장치(101)는 상태(128-1)에서, 시각적 객체(120)에 대한 시선 데이터(125)를 획득한 경우, 웨어러블 장치(101)는 영역(130)의 사이즈보다 작은 사이즈를 가지는 영역(130-1)를 획득할 수 있다. 상태(128-1)에서 획득된 시각적 객체(120)의 위치 및 시선 데이터(125)의 위치 사이의 차이(예, 정확도)는 상태(128)에서 획득된 차이(127)보다 작을 수 있다. 상태(128-1)에서 획득된 하나 이상의 데이터 세트들의 위치들은 상태(128)에서 획득된 하나 이상의 데이터 세트들의 위치들 보다 작은 범위 내에서 퍼져 있을 수 있다. 즉, 상태(128-1)에서 획득된 시선 데이터(125)의 정밀도가 상태(128)에서 획득된 시선 데이터(125)의 정밀도 보다 높을 수 있다. 웨어러블 장치(101)는 상태(128-1)에서 상대적으로 높은 값을 가지는 정확도 및/또는 정밀도에 기반하여 영역(130)보다 작은 사이즈를 가지는 영역(130-1)을 시각적 객체(120)를 선택하기 위한 영역으로 설정할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(120)의 위치 및 시선 데이터(125)의 위치 사이의 제1 차이에 기반하여, 제1 사이즈를 가지는 영역(130)을 설정할 수 있다. 웨어러블 장치(101)는 상태(128-1)에서, 시각적 객체(120)의 위치 및 시선 데이터(125)의 위치 사이의 제2 차이에 기반하여, 제2 사이즈를 가지는 영역(130-1)을 설정할 수 있다. 제2 차이는 제1 차이보다 짧을 수 있다. 제2 사이즈는 제1 사이즈보다 작을 수 있다.
예를 들어, 웨어러블 장치(101)는 상태(128-2)에서, 카메라를 통해 획득된 시선 데이터(125)에 기반하여, 시선 데이터(125)에 대응하는 파라미터(예, 디스플레이 밝기 레벨)에 기반하여 설정된 사이즈를 가지는, 시각적 객체(120)를 위한, 영역(130)을 설정할 수 있다. 웨어러블 장치(101)는 상태(128-2)와 구분되는 다른 상태(128-3)에서, 카메라를 통해 획득된 시선 데이터(125)를 이용하여, 시각적 객체(120)를 위한 영역(130-2)을 설정할 수 있다. 웨어러블 장치(101)는 시각적 객체(120)에 대한 시선 데이터(125)의 정확도 및/또는 정밀도에 따라, 시각적 객체(120)를 선택하기 위한 영역의 사이즈를 결정할 수 있다. 웨어러블 장치(101)는 결정된 사이즈에 기반하여, 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 식별할지 여부를 결정할 수 있다. 예를 들어, 웨어러블 장치(101)는 상태(128)에서, 지정된 시간 동안 영역(130) 내에 포함된 시선 데이터(125)를 식별한 것에 기반하여, 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식할 수 있다. 웨어러블 장치(101)는 사용자 입력으로 인식된 시선 데이터(125)에 기반하여, 시각적 객체(120)로부터 제공되는 기능을 실행할 수 있다. 웨어러블 장치(101)는 카메라를 통해 획득된 시선 데이터를 이용하여, 사용자에 의해 포커스 된 객체(예: 실제 객체, 및/또는 시각적 객체)를 식별할 수 있다. 포커스 된 객체를 식별한 것에 기반하여, 웨어러블 장치(101)는, 사용자 및 포커스 된 객체 사이의 인터랙션을 위한 기능(예, gaze interaction)을 실행할 수 있다.
일 실시예에 따른 웨어러블 장치(101)가 카메라를 통해 획득한 시선 데이터(125)의 정확도 및/또는 정밀도는, 디스플레이 상에 표시된 시각적 객체(120)의 위치에 따라 변경될 수 있다. 예를 들어, 카메라를 통해 웨어러블 장치(101)가 시각적 객체(120)와 다른 위치에 표시된 시각적 객체(120-1)에 대한 시선 데이터를 획득하는 경우, 상기 시각적 객체(120-1)에 대한 시선 데이터의 정확도 및/또는 정밀도는, 상대적으로, 시각적 객체(120)에 대한 시선 데이터의 정확도 및/또는 정밀도 보다 작아질 수 있다. 시각적 객체(120-1)는 디스플레이(또는 화면)의 가장 자리 영역(110-1)에 인접하게 표시될 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(120)가 표시되는 위치에 따라, 시각적 객체(120)를 선택하기 위한 영역의 사이즈를 조절할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 화면(110)을 디스플레이 상에 표시할 수 있다. 전자 장치(101)는 디스플레이 상에 화면(110)을 표시하는 동안, 화면(110) 내의 시각적 객체(120)와 관련된 사용자의 시선 데이터(125)를 획득할 수 있다. 웨어러블 장치(101)는, 사용자의 눈을 향하여 배치된 카메라를 이용하여, 눈과 관련된 사용자의 상태 정보를 획득할 수 있다. 상기 상태 정보를 획득하는 동작은 도 4를 참고하여 보다 자세하게 후술된다.
일 실시예에 따른 웨어러블 장치(101)는, 시각적 객체(예, 시각적 객체(120))가 화면(110) 내 제1 위치(예, 센터 영역)에 표시되는 경우, 상기 상태 정보에 기반하여 설정된 사이즈를 가지는, 시각적 객체(120)를 위한 제1 영역을 이용하여, 시선 데이터를 시각적 객체(120)에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다.
예를 들어, 시각적 객체(예, 시각적 객체(120-1))가 화면(110) 내 상기 제1 위치와 구분되고 화면(110)의 가장 자리들 중 적어도 하나에 인접한 제2 위치(예, 가장 자리 영역(110-1))에 표시된 경우, 웨어러블 장치(101)는 상기 상태 정보에 기반하여 설정된 다른 사이즈를 가지는, 상기 객체를 위한 제2 영역을 이용하여 상기 시선 데이터를 시각적 객체(120-1)에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 예를 들어, 제1 위치에 대한 시선 데이터의 정확도 및/또는 정밀도는, 제2 위치에 대한 시선 데이터의 정확도 및/또는 정밀도와 다를 수 있다. 제1 위치에 대한 시선 데이터의 정확도 및/또는 정밀도는, 제2 위치에 대한 시선 데이터의 정확도 및/또는 정밀도보다 상대적으로 높을 수 있다. 제1 위치에 대한 시선 데이터의 정확도 및/또는 정밀도가 제2 위치에 대한 시선 데이터의 정확도 및/또는 정밀도보다 상대적으로 높을 수 있기 때문에, 상기 제2 영역의 상기 다른 사이즈는 상기 제1 영역의 상기 사이즈보다 크게 설정될 수 있다. 다시 말하면, 웨어러블 장치(101)는 화면(110) 내 시각적 객체가 표시되는 위치에 따라, 상기 시각적 객체를 선택하기 위한 영역의 사이즈를 조절할 수 있다.
상술한 바와 같이 일 실시예에 따른 웨어러블 장치(101)는, 카메라를 통해 획득한 사용자(105)의 시선 데이터(125)를 화면(110)에 포함된 시각적 객체(120)에 대한 사용자 입력으로 식별할지 여부를 결정할 수 있다. 웨어러블 장치(101)는 시각적 객체(120)에 대한 시선 데이터(125)의 위치에 기반하여, 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 식별할 지 여부를 결정하기 위한 영역들(130, 130-1, 130-2)의 사이즈를 조절할 수 있다. 웨어러블 장치(101)는 조절된 사이즈에 따라, 사용자(105)에게 적합하도록 화면(110) 내에 포함될 시각적 객체의 개수, 및/또는 크기를 변경할 수 있다. 웨어러블 장치(101)는 사용자(105)에게 적합하도록 화면(110) 내에 포함될 시각적 객체의 개수 및/또는 크기를 변경함으로써, 사용자(105)에게 최적화된 메타버스 환경을 제공할 수 있다.
도 2a는, 다양한 실시예들에 따른, 웨어러블 장치의 일 예를 도시한 사시도(perspective view)이다. 도 2b는, 다양한 실시예들에 따른, 웨어러블 장치에 배치된 하나 이상의 부품들을 도시한 사시도이다. 일 실시예에 따른, 웨어러블 장치(101)는, 사용자의 신체 부위(예: 머리) 상에 착용 가능한(wearable on), 안경의 형태를 가질 수 있다. 도 2a 내지 도 2b의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101)의 일 예일 수 있다. 웨어러블 장치(101)는, HMD(head-mounted display)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)의 하우징은 사용자의 머리의 일부분(예를 들어, 두 눈을 감싸는 얼굴의 일부분)에 밀착되는 형태를 가지는 고무, 및/또는 실리콘과 같은 유연성 소재(flexible material)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)의 하우징은 사용자의 머리에 감길 수 있는(able to be twined around) 하나 이상의 스트랩들, 및/또는 상기 머리의 귀로 탈착 가능한(attachable to) 하나 이상의 템플들(temples)을 포함할 수 있다.
도 2a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 적어도 하나의 디스플레이(250), 및 적어도 하나의 디스플레이(250)를 지지하는 프레임(200)을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자에게, 증강 현실(AR), 가상 현실(VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(101)는, 도 2b의 동작 인식 카메라(motion recognition camera 또는 motion tracking camera)(260-2, 260-3)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 도 2b의 적어도 하나의 광학 장치(282, 284)에서 제공되는 가상 현실 영상을 적어도 하나의 디스플레이(250)에 표시할 수 있다.
일 실시예에 따르면, 적어도 하나의 디스플레이(250)는, 사용자에게 시각 정보를 제공할 수 있다. 예를 들면, 적어도 하나의 디스플레이(250)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(250)는, 제1 디스플레이(250-1) 및/또는 제1 디스플레이(250-1)로부터 이격된 제2 디스플레이(250-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(250-1), 및 제2 디스플레이(250-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 2b를 참조하면, 적어도 하나의 디스플레이(250)는, 적어도 하나의 디스플레이(250)에 포함되는 렌즈를 통해 사용자에게 외부 광으로부터 전달되는 시각적 정보와, 상기 시각적 정보와 구별되는 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 예를 들면, 적어도 하나의 디스플레이(250)는, 제1 면(surface)(231), 및 제1 면(231)에 반대인 제2 면(232)을 포함할 수 있다. 적어도 하나의 디스플레이(250)의 제2 면(232) 상에, 표시 영역이 형성될 수 있다. 사용자가 웨어러블 장치(101)를 착용하였을 때, 외부 광은 제1 면(231)으로 입사되고, 제2 면(232)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(250)는, 외부 광을 통해 전달되는 현실 화면에, 적어도 하나의 광학 장치(282, 284)에서 제공되는 가상 현실 영상이 결합된 증강 현실 영상을, 제2 면(232) 상에 형성된 표시 영역에 표시할 수 있다.
일 실시예에서, 적어도 하나의 디스플레이(250)는, 적어도 하나의 광학 장치(282, 284)에서 송출된 광을 회절시켜, 사용자에게 전달하는, 적어도 하나의 웨이브가이드(waveguide)(233, 234)를 포함할 수 있다. 적어도 하나의 웨이브가이드(233, 234)는, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 웨이브가이드(233, 234)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 적어도 하나의 웨이브가이드(233, 234)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 적어도 하나의 웨이브가이드(233, 234)의 타 단으로 전파될 수 있다. 적어도 하나의 웨이브가이드(233, 234)는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 적어도 하나의 웨이브가이드(233, 234)는, 적어도 하나의 디스플레이(250)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(101) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 적어도 하나의 웨이브가이드(233, 234) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
웨어러블 장치(101)는, 촬영 카메라(260-4)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(250)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(101)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(101)는 멀티-카메라, 및/또는, ToF(time-of-flight)를 이용하여, 공간 인식(예: SLAM(simultaneous localization and mapping))을 실행할 수 있다. 웨어러블 장치(101)를 착용한 사용자는, 적어도 하나의 디스플레이(250)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임(200)은, 웨어러블 장치(101)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임(200)은, 사용자가 웨어러블 장치(101)를 착용하였을 때, 제1 디스플레이(250-1) 및 제2 디스플레이(250-2)가 사용자의 좌안 및 우안에 대응되는 위치들에 위치될 수 있도록, 구성될 수 있다. 프레임(200)은, 적어도 하나의 디스플레이(250)를 지지할 수 있다. 예를 들면, 프레임(200)은, 제1 디스플레이(250-1) 및 제2 디스플레이(250-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
도 2a를 참조하면, 프레임(200)은, 사용자가 웨어러블 장치(101)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(220)을 포함할 수 있다. 예를 들면, 프레임(200)의 사용자의 신체의 일부분과 접촉되는 영역(220)은, 웨어러블 장치(101)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임(200)은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(210)를 포함할 수 있다. 웨어러블 장치(101)가 사용자에 의해 착용될 시, 노즈 패드(210)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임(200)은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(204) 및 제2 템플(205)을 포함할 수 있다.
예를 들면, 프레임(200)은, 제1 디스플레이(250-1)의 적어도 일부를 감싸는 제1 림(rim)(201), 제2 디스플레이(250-2)의 적어도 일부를 감싸는 제2 림(202), 제1 림(201)과 제2 림(202) 사이에 배치되는 브릿지(bridge)(203), 브릿지(203)의 일단으로부터 제1 림(201)의 가장자리 일부를 따라 배치되는 제1 패드(211), 브릿지(203)의 타단으로부터 제2 림(202)의 가장자리 일부를 따라 배치되는 제2 패드(212), 제1 림(201)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(204), 및 제2 림(202)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(205)을 포함할 수 있다. 제1 패드(211), 및 제2 패드(212)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(204) 및 제2 템플(205)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플(204, 205)은, 도 2b의 힌지 유닛들(206, 207)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(204)은, 제1 림(201)과 제1 템플(204)의 사이에 배치된 제1 힌지 유닛(206)을 통해, 제1 림(201)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(205)은, 제2 림(202)과 제2 템플(205)의 사이에 배치된 제2 힌지 유닛(207)을 통해 제2 림(202)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 프레임(200)의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임(200)을 터치하는 외부 객체(예: 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스처를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(101)는, 다양한 기능들을 수행하는 하드웨어들(예: 도 4의 블록도에 기반하여 보다 상세히 후술될 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, (예, 배터리를 포함하는) 배터리 모듈(270), (예, 안테나를 포함하는) 안테나 모듈(275), 적어도 하나의 광학 장치(282, 284), 스피커들(예: 스피커들(255-1, 255-2)), 마이크(예: 마이크들(265-1, 265-2, 265-3)), 발광 모듈(미도시), 및/또는 PCB(printed circuit board)(290)(예: 인쇄 회로 기판)을 포함할 수 있다. 다양한 하드웨어들은, 프레임(200) 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 마이크(예: 마이크들(265-1, 265-2, 265-3))는, 프레임(200)의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 브릿지(203) 상에 배치된 제1 마이크(265-1), 제2 림(202) 상에 배치된 제2 마이크(265-2), 및 제1 림(201) 상에 배치된 제3 마이크(265-3)가 도 2b 내에 도시되지만, 마이크(265)의 개수, 및 배치가 도 2b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(101) 내에 포함된 마이크(265)의 개수가 두 개 이상인 경우, 웨어러블 장치(101)는 프레임(200)의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 적어도 하나의 광학 장치(282, 284)는, 다양한 이미지 정보를 사용자에게 제공하기 위하여, 적어도 하나의 디스플레이(250)에 가상 오브젝트를 투영할 수 있다. 예를 들면, 적어도 하나의 광학 장치(282, 284)는, 프로젝터일 수 있다. 적어도 하나의 광학 장치(282, 284)는, 적어도 하나의 디스플레이(250)에 인접하여 배치되거나, 적어도 하나의 디스플레이(250)의 일부로써, 적어도 하나의 디스플레이(250) 내에 포함될 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는, 제1 디스플레이(250-1)에 대응되는, 제1 광학 장치(282) 및 제2 디스플레이(250-2)에 대응되는, 제2 광학 장치(284)를 포함할 수 있다. 예를 들면, 적어도 하나의 광학 장치(282, 284)는, 제1 디스플레이(250-1)의 가장자리에 배치되는 제1 광학 장치(282) 및 제2 디스플레이(250-2)의 가장자리에 배치되는 제2 광학 장치(284)를 포함할 수 있다. 제1 광학 장치(282)는, 제1 디스플레이(250-1) 상에 배치된 제1 웨이브가이드(233)로 광을 송출할 수 있고, 제2 광학 장치(284)는, 제2 디스플레이(250-2) 상에 배치된 제2 웨이브가이드(234)로 광을 송출할 수 있다.
일 실시예에서, 카메라(260)는, 촬영 카메라(260-4), 시선 추적 카메라(eye tracking camera, ET CAM)(260-1), 및/또는 동작 인식 카메라(260-2, 206-3)를 포함할 수 있다. 촬영 카메라(260-4), 시선 추적 카메라(260-1) 및 동작 인식 카메라(260-2, 260-3)는, 프레임(200) 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 시선 추적 카메라(260-1)는, 웨어러블 장치(101)를 착용한 사용자의 눈의 위치 또는 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(101)는 시선 추적 카메라(260-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 웨어러블 장치(101)는 시선 추적 카메라(260-1)를 통해 획득된 사용자의 시선을 이용하여, 사용자에 의해 포커스 된 객체(예: 실제 객체, 및/또는 가상 객체)를 식별할 수 있다. 포커스된 객체를 식별한 웨어러블 장치(101)는, 사용자 및 포커스 된 객체 사이의 인터랙션을 위한 기능(예: gaze interaction)을 실행할 수 있다. 웨어러블 장치(101)는 시선 추적 카메라(260-1)를 통해 획득된 사용자의 시선을 이용하여, 가상 공간 내 사용자를 나타내는 아바타의 눈에 대응하는 부분을 표현할 수 있다. 웨어러블 장치(101)는 사용자의 눈의 위치에 기반하여, 적어도 하나의 디스플레이(250) 상에 표시되는 이미지(또는 화면)를 렌더링할 수 있다. 예를 들어, 이미지 내에서 시선(예: 도 1의 시선(150))과 관련된 제1 영역의 시각적 품질 및 상기 제1 영역과 구분되는 제2 영역의 시각적 품질(예: 해상도, 밝기, 채도, 그레이스케일, 또는 PPI(pixels per inch))은 서로 다를 수 있다. 웨어러블 장치(101)는, foveated rendering을 이용하여, 사용자의 시선에 매칭되는 제1 영역의 시각적 품질 및 상기 제2 영역의 시각적 품질을 가지는 이미지(또는 화면)를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)가 홍채 인식 기능을 지원하는 경우, 시선 추적 카메라(260-1)를 이용하여 획득한 홍채 정보에 기반하여, 사용자 인증을 수행할 수 있다. 시선 추적 카메라(260-1)가 사용자의 양 눈들 전부를 향하여 배치된 일 예가 도 2b 내에 도시되지만, 본 개시가 이에 제한되는 것은 아니며, 시선 추적 카메라(260-1)는 사용자의 좌측 눈 또는 우측 눈을 향하여 단독으로 배치될 수 있다.
일 실시예에서, 촬영 카메라(260-4)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라(260-4)는 HR(high resolution) 또는 PV(photo video)에 기반하여, 고해상도를 가지는 이미지를 획득하기 위해 이용될 수 있다. 촬영 카메라(260-4)는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(250)로 제공할 수 있다. 적어도 하나의 디스플레이(250)는, 촬영 카메라(260-4)를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 적어도 하나의 광학 장치(282, 284)를 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 웨어러블 장치(101)는 촬영 카메라(260-4)통해 획득한 이미지를 이용하여, 깊이 정보(예: 깊이 센서를 통해 획득된 웨어러블 장치(101) 및 외부 객체 사이의 거리)를 보상할 수 있다. 웨어러블 장치(101)는 촬영 카메라(260-4)를 이용하여 획득한 이미지를 통해, 객체 인식을 수행할 수 있다. 웨어러블 장치(101)는 촬영 카메라(260-4)를 이용하여 이미지 내 객체(또는 피사체)에 초점을 맞추는 기능(예: auto focus) 및/또는 OIS(optical image stabilization) 기능(예: 손떨림 방지 기능)을 수행할 수 있다. 웨어러블 장치(101)는 적어도 하나의 디스플레이(250) 상에, 가상 공간을 나타내는 화면을 표시하는 동안, 촬영 카메라(260-4)를 통해 획득된 이미지를, 상기 화면의 적어도 일부분에 중첩하여 표시하기 위한 pass through 기능을 수행할 수 있다. 촬영 카메라(260-4)는 HR(high resolution) 카메라 또는 PV(photo video) 카메라로 지칭될 수 있다. 촬영 카메라(260-4)는 AF(auto focus) 기능 및 떨림 보정(optical image stabilization, OIS) 기능을 제공할 수 있다. 촬영 카메라(260-4)는 GS(global shutter) 카메라, 및/또는 RS(rolling shutter) 카메라를 포함할 수 있다. 일 실시예에서, 촬영 카메라(260-4)는, 제1 림(201) 및 제2 림(202) 사이에 배치되는 브릿지(203) 상에 배치될 수 있다.
시선 추적 카메라(260-1)는, 웨어러블 장치(101)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(250)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(250)에 표시할 수 있다. 시선 추적 카메라(260-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐 하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(260-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(260-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(260-1)는, 제1 림(201) 및/또는 제2 림(202) 내에서, 웨어러블 장치(101)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
동작 인식 카메라(260-2, 260-3)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(250)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(260-2, 260-3)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(250)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 동작 인식 카메라(260-2, 260-3)는, 6 자유도 자세(6 degrees of freedom pose, 6 DOF pose)를 위한 SLAM 및/또는 깊이 맵을 이용한 공간 인식 기능을 수행하기 위해 이용될 수 있다. 프로세서는 동작 인식 카메라(260-2, 260-3)을 이용하여, 제스처 인식 기능 및/또는 객체 추적(object tracking) 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(260-2, 260-3)는, 제1 림(201) 및/또는 제2 림(202)상에 배치될 수 있다. 동작 인식 카메라(260-2, 260-3)는 3 자유도 자세 또는 6 자유도 자세 중 하나에 기반하여 헤드 트래킹, 핸드 트레킹, 및/또는 공간 인식을 위해 사용되는 GS(global shutter) 카메라(예: global shutter(GS) 카메라)를 포함할 수 있다. 상기 GS 카메라는, 미세한 움직임을 추적하기 위해, 두 개 이상의 스테레오(stereo) 카메라를 포함할 수 있다. 일 예로, 상기 GS 카메라는 사용자의 시선을 추적하기 위한 시선 추적 카메라(260-1)에 포함될 수 있다.
웨어러블 장치(101) 내에 포함된 카메라(260)는, 상술된 시선 추적 카메라(260-1), 동작 인식 카메라(260-2, 260-3)에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 사용자의 FoV를 향하여 배치된 카메라를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(101)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(101), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(260)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(260)(예: FT(face tracking) 카메라)를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(101)는, 카메라(260)를 이용하여 촬영되는 피사체(예: 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예: LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임(200), 힌지 유닛들(206, 207) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(270)은, 웨어러블 장치(101)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(270)은, 제1 템플(204) 및/또는 제2 템플(205) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(270)은, 복수의 배터리 모듈(270)들일 수 있다. 복수의 배터리 모듈(270)들은, 각각 제1 템플(204)과 제2 템플(205) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(270)은 제1 템플(204) 및/또는 제2 템플(205)의 단부에 배치될 수 있다.
안테나 모듈(275)은, 신호 또는 전력을 웨어러블 장치(101)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 일 실시예에서, 안테나 모듈(275)은, 제1 템플(204) 및/또는 제2 템플(205) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(275)은, 제1 템플(204), 및/또는 제2 템플(205)의 일면에 가깝게 배치될 수 있다.
스피커(255)는, 음향 신호를 웨어러블 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커를 포함하거나 또는 스피커로 참조될 수 있다. 일 실시예에서, 스피커(255)는, 웨어러블 장치(101)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(204), 및/또는 제2 템플(205) 내에 배치될 수 있다. 예를 들면, 스피커(255)는, 제1 템플(204) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(255-2), 및 제2 템플(205) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(255-1)를 포함할 수 있다.
발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(101)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(101)가, 충전이 필요한 경우, 적색 광의 빛을 일정한 주기로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(201) 및/또는 제2 림(202) 상에 배치될 수 있다.
도 2b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 PCB(printed circuit board)(290)을 포함할 수 있다. PCB(290)는, 제1 템플(204), 또는 제2 템플(205) 중 적어도 하나에 포함될 수 있다. PCB(290)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(290) 상에서, 웨어러블 장치(101)에 포함된 하나 이상의 하드웨어들(예: 도 4a의 상이한 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(101)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)의 자세, 및/또는 웨어러블 장치(101)를 착용한 사용자의 신체 부위(예: 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예: x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예: x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 IMU에 기반하여 웨어러블 장치(101)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스처를 식별할 수 있다.
도 3a 및 도 3b는, 다양한 실시예들에 따른, 예시적인 웨어러블 장치의 외관을 도시한 사시도들이다. 도 3a 내지 도 3b의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101)의 일 예일 수 있다. 일 실시예에 따른, 웨어러블 장치(101)의 하우징의 제1 면(310)의 외관의 일 예가 도 3a에 도시되고, 상기 제1 면(310)의 반대되는(opposite to) 제2 면(320)의 외관의 일 예가 도 3b에 도시될 수 있다.
도 3a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)의 제1 면(310)은, 사용자의 신체 부위(예: 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(101)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예: 도 2a 내지 도 2b의 제1 템플(204), 및/또는 제2 템플(205))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(250-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(250-2)가 제1 면(310) 상에 배치될 수 있다. 웨어러블 장치(101)는 제1 면(310) 상에 형성되고, 상기 제1 디스플레이(250-1), 및 상기 제2 디스플레이(250-2)로부터 방사되는 광과 상이한 광(예: 외부 광(ambient light))에 의한 간섭을 방지하거나 및/또는 줄이기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 상기 제1 디스플레이(250-1), 및 상기 제2 디스플레이(250-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(260-1)을 포함할 수 있다. 상기 카메라들(260-1)은, 도 2b의 시선 추적 카메라(260-1)에 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(260-5, 260-6)을 포함할 수 있다. 상기 카메라들(260-5, 260-6)은, FT 카메라로 참조될 수 있다. 웨어러블 장치(101)는 카메라들(260-5, 260-6)을 이용하여 식별된 사용자의 얼굴의 움직임(motion)에 기반하여, 가상 공간 내 상기 사용자를 표현하는 아바타를 제어할 수 있다. 예를 들어, 웨어러블 장치(101)는, 카메라들(260-5, 260-6)(예: FT 카메라)에 의해 획득되고 웨어러블 장치(101)를 착용한 사용자의 얼굴 표정을 나타내는 정보를 이용하여, 아바타의 일부분(예: 사람의 얼굴을 표현하는 아바타의 일부분)의 텍스쳐 및/또는 형태를 변경할 수 있다.
도 3b를 참고하면, 도 3a의 제1 면(310)과 반대되는 제2 면(320) 상에, 웨어러블 장치(101)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예: 카메라들(260-7, 260-8, 260-9, 260-10, 260-11, 260-12))(예: 도 4의 카메라(440)), 및/또는 센서(예: 깊이 센서(330))가 배치될 수 있다. 예를 들어, 카메라들(260-7, 260-8, 260-9, 260-10)은, 외부 객체를 인식하기 위하여, 제2 면(320) 상에 배치될 수 있다. 카메라들(260-7, 260-8, 260-9, 260-10)은, 도 2b의 동작 인식 카메라(260-2, 260-3)에 참조될 수 있다.
예를 들어, 카메라들(260-11, 260-12)을 이용하여, 웨어러블 장치(101)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 비디오를 획득할 수 있다. 카메라(260-11)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(250-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(101)의 제2 면(320) 상에 배치될 수 있다. 카메라(260-12)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(250-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(101)의 제2 면(320) 상에 배치될 수 있다. 일 예로, 웨어러블 장치(101)는 카메라들(260-11, 260-12)을 통해 획득한 복수의 이미지들을 이용하여 하나의 화면을 획득할 수 있다. 카메라들(260-11, 260-12)은 도 2b의 촬영 카메라(260-4)에 참조될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(320) 상에 배치된 깊이 센서(330)를 포함할 수 있다. 깊이 센서(330)를 이용하여, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예: 깊이 맵(depth map))를 획득할 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(101)의 제2 면(320) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
이하, 도 4를 참고하여, 일 실시예에 따른 웨어러블 장치(101)가 시선 데이터(예, 도 1의 시선 데이터(125))를 획득하기 위해 이용하는 예시적인 하드웨어 및/또는 소프트웨어에 대한 설명이 보다 자세히 후술된다.
도 4는, 다양한 실시예들에 따른 웨어러블 장치의 예시적인 구성을 도시한 블록도이다. 도 4의 웨어러블 장치(101)는 도 1 내지 도 3b의 웨어러블 장치(101)를 포함할 수 있다. 도 4를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 (예, 처리 회로를 포함하는) 프로세서(420), 메모리(430), 카메라(440)(예: 도 2a 내지 3b의 카메라(260)), 디스플레이(450), 센서(460) 및/또는 통신 회로(470) 중 적어도 하나를 포함할 수 있다. 프로세서(420), 메모리(430), 카메라(440), 디스플레이(450), 센서(460) 및 통신 회로(470)는 통신 버스(a communication bus)와 같은 전자 소자(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어 컴포넌트들이 작동적으로 결합된 것은, 예를 들어, 하드웨어 컴포넌트들 중 제1 하드웨어 컴포넌트에 의해 제2 하드웨어 컴포넌트가 제어되도록, 하드웨어 컴포넌트들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 지칭할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 본 개시가 이에 제한되는 것은 아니며, 도 4에 도시된 하드웨어 컴포넌트 중 일부분(예, 프로세서(420), 메모리(430) 및 통신 회로(470)의 적어도 일부분)이 SoC(system on a chip)와 같은 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(101)에 포함된 하드웨어 컴포넌트의 타입 및/또는 개수는 도 4에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 도 4에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다. 이하에서 설명되는 메모리 내의 요소들(예, 레이어들 및/또는 모듈들)은 논리적으로 구분된 상태일 수 있다. 메모리 내의 요소들은, 메모리와 구분되는 하드웨어 컴포넌트 내에 포함될 수 있다. 프로세서(420)가 메모리 내의 요소들 각각을 이용하여 수행하는 동작은 하나의 실시예이며, 프로세서(420)는 메모리 내의 요소들 중 적어도 하나의 요소를 통해 상기 동작과 다른 상이한 동작을 수행할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 프로세서(420)는 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), 및/또는 CPU(central processing unit)를 포함할 수 있다. 프로세서(420)의 개수는 하나 이상일 수 있다. 예를 들어, 프로세서(420)는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core), 및/또는 옥타 코어(octa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다. 본 개시의 일 실시예에 따른 프로세서(420)는 다양한 처리 회로 및/또는 여러 프로세서들을 포함할 수 있다. 예를 들어, 청구항들을 포함하는, 여기에 사용된 바와 같이, "프로세서" 용어는, 적어도 하나의 프로세서를 포함하는, 다양한 처리 회로를 포함할 수 있고, 적어도 하나의 프로세서의 하나 이상은, 분산된 방식에 따라 개별적으로 및/또는 집합적으로, 여기에 설명된 다양한 기능들을 수행하도록, 구성될 수 있다. 여기에 사용된 바와 같이, "프로세서", "적어도 하나의 프로세서", 및 "하나 이상의 프로세서들"이 몇몇 기능들을 수행하도록 구성된 것과 같이 설명될 시, 이 표현들은, 제한하지 않는 예를 들어, 프로세서가 기재된 기능들 중 일부를 수행하고 다른 프로세서(들)이 기재된 기능들 중 나머지를 수행하는 상황, 및 단일 프로세서가 기재된 기능들 전부를 수행하는 상황 또한 커버한다. 추가적으로, 적어도 하나의 프로세서는, 예를 들어, 분산된 방식으로, 기재된/설명된 다양한 기능들을 수행하는 프로세서들의 조합을 포함할 수 있다. 적어도 하나의 프로세서는 다양한 기능들을 달성하거나 또는 수행하기 위한 프로그램 인스트럭션들을 실행할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 메모리(430)는, 프로세서(420)로 입력되거나, 및/또는 프로세서(420)로부터 출력되는 데이터, 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(430)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory), 및/또는 ROM(read-only memory)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 상기 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 상기 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 카메라(440)는, 빛의 색상, 및/또는 밝기를 나타내는 전기 신호를 생성하는 광 센서(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)를 하나 이상 포함할 수 있다. 카메라(440)는 이미지 센서로 지칭될 수 있다. 예를 들어, 카메라(440)는 이미지 센서로 지칭되는 관점에서, 센서(460)에 포함될 수 있다. 카메라(440)에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(440)는 복수의 광 센서들 각각의 전기 신호를 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하고, 2차원으로 배열된 복수의 픽셀들을 포함하는 이미지를 생성할 수 있다. 예를 들어, 카메라(440)를 이용하여 캡쳐한 사진 데이터는. 예를 들어, 카메라(440)로부터 획득한 하나의 이미지를 지칭할 수 있다. 예를 들어, 카메라(440)를 이용하여 캡쳐한 비디오 데이터는, 예를 들어, 카메라(440)로부터 지정된 프레임율(frame rate)을 따라 획득한 복수의 이미지들의 시퀀스(sequence)를 지칭할 수 있다. 카메라(440)는 도 2a 내지 도 3b에서 상술한 바와 같이, 하나 이상일 수 있다. 예를 들어, 카메라(440)는, 웨어러블 장치(101)를 착용한 사용자의 눈의 위치, 눈의 방향, 및/또는 시선을 나타내는 데이터를 위해, 사용자의 눈을 향하여 배치될 수 있다. 카메라(440)는 도 2b의 시선 추적 카메라(260-1)를 포함할 수 있다. 카메라(440)는, 카메라(440)가 광을 수신하는 방향을 향하여 배치되고, 상기 방향을 향하여 광을 출력하기 위한 플래시 라이트를 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 디스플레이(450)는 사용자에게 시각화 된 정보(예: 도 1의 화면(110))를 출력할 수 있다. 웨어러블 장치(101) 내에 포함된 디스플레이(450)의 개수는 하나 이상일 수 있다. 예를 들어, 디스플레이(450)는, 프로세서(420), 및/또는 GPU(graphic processing unit)에 의해 제어되어, 사용자에게 시각화 된 정보(visualized information)를 출력할 수 있다. 디스플레이(450)는 FPD(flat panel display), 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel), 디지털 미러 디바이스(digital mirror device, DMD), 하나 이상의 LED들(light emitting diodes), 및/또는 마이크로 LED를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 예를 들어, 웨어러블 장치(101)가 외부 광(external light 또는 ambient light)을 투과하기 위한 렌즈를 포함하는 경우, 디스플레이(450)는 상기 렌즈로 광을 투사하기 위한(projecting onto) 프로젝터(또는 프로젝션 어셈블리)를 포함할 수 있다. 일 실시예에서, 디스플레이(450)는, 디스플레이 패널 및/또는 디스플레이 모듈로 지칭될 수 있다.
일 실시예에서, 디스플레이(450)의 적어도 일부분에서, 빛의 투과가 발생될 수 있다. 웨어러블 장치(101)는 사용자에게, 디스플레이(450)를 통해 출력하는 빛과, 상기 디스플레이(450)를 투과하는 빛의 결합을 제공하여, 증강 현실과 관련된 사용자 경험을 제공할 수 있다. 도 2a 내지 도 2b, 및/또는 도 3a 내지 도 3b를 참고하여 상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)의 디스플레이(450)는, 머리와 같은 사용자의 신체 부위에 착용된 상태 내에서, 사용자의 FoV(field-of-view) 전체를 덮거나, 또는 상기 FoV를 향하여 빛을 방사하기 위한 구조를 가질 수 있다.
일 실시예에 따른 웨어러블 장치(101)의 센서(460)는, 웨어러블 장치(101)와 관련된 비-전기적 정보(non-electronic information)로부터 프로세서(420) 및/또는 메모리(430)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 상기 정보는, 센서 데이터로 지칭될 수 있다. 센서(460)에 의하여 생성된 상기 전기적 정보는, 메모리(430)에 저장되거나, 프로세서(420)에 의해 처리되거나, 및/또는 웨어러블 장치(101)와 구별되는 다른 전자 장치로 송신될 수 있다. 예를 들어, 센서(460)는 웨어러블 장치(101)와 외부 객체(예, 사용자)와의 접촉을 식별할 수 있는 그립(grip) 센서, 웨어러블 장치(101)의 움직임을 식별할 수 있는 자이로(gyro) 센서 또는 가속도 센서, 웨어러블 장치(101)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서, 및/또는 웨어러블 장치(101)의 외부 광을 식별할 수 있는 조도 센서를 포함할 수 있다.
일 실시예에서, 센서(460)는, 이미지 센서, 오디오 센서(예: 마이크 및/또는 복수의 마이크들을 포함하는 마이크 어레이), 및/또는 ToF(time-of-flight) 센서(또는 ToF 카메라)를 포함할 수 있다.
일 실시예에서, 센서(460)는, 웨어러블 장치(101)의 물리적인 모션을 탐지하기 위한 IMU(inertial measurement unit)를 포함할 수 있다. 가속도 센서, 지자기 센서, 중력 센서 또는 이들의 조합(or any combination thereof)이 IMU로 지칭될 수 있다. 가속도 센서는, 서로 수직이고(perpendicular to each other), 웨어러블 장치(101)의 지정된 원점에 기반하는, 복수의 축들(예, x축, y축 및 z축) 각각의 중력 가속도 및/또는 가속도를 나타내는 전기 신호를 출력할 수 있다. 자이로 센서는, 상기 복수의 축들의 각속도들(예, 롤(roll), 피치(pitch) 및/또는 요(yaw))을 나타내는 전기 신호를 출력할 수 있다. 자이로 센서는 각속도 센서로 지칭될 수 있다. 지자기 센서는, 웨어러블 장치(101)에 형성된 자계의 크기를, 복수의 축들(예, x축, y축, 및/또는 z축) 각각을 따라 나타내는 전기 신호를 출력할 수 있다. 예를 들어, 가속도 센서, 자이로 센서, 및/또는 지자기 센서는, 지정된 주기(예, 1 밀리 초)에 기반하여, 상기 복수의 축들의 개수의 가속도들, 각속도들, 및/또는 자계의 크기들을 포함하는 센서 데이터를 반복적으로 출력할 수 있다.
예를 들어, 조도 센서는, 외부로 노출된 조도 센서의 적어도 일부분에 도달하는 빛의 세기(또는 광량)를 나타내는 전기 신호를 출력할 수 있다. 예를 들어, 조도 센서는, 웨어러블 장치(101)의 주변 광(ambient light)의 밝기를 나타내는 센서 데이터를 출력할 수 있다. 조도 센서는 주변 광을 받으면 전자가 발생하여 전도율이 변하는 광전효과를 가지는 소자를 포함할 수 있다. 조도 센서는 황화카드뮴을 소자로 사용하는 CdS 센서의 일 예일 수 있다. 웨어러블 장치(101)는, 조도 센서를 이용하여, 빛의 세기에 기반하여, 디스플레이의 전체적인 밝기 레벨을 조절할 수 있다. 웨어러블 장치(101)는 조도 센서를 통해 획득된 주변 광의 세기를 나타내는 조도 레벨에 기반하여, 동공의 사이즈의 변화를 식별할 수 있다. 웨어러블 장치(101)는 변화된 사이즈를 가지는 동공을 나타내는 이미지를 통해, 사용자의 시선 데이터를 획득할 수 있다. 웨어러블 장치(101)는 획득된 시선 데이터를, 디스플레이(450) 상에 표시된 객체(예, 도 1의 시각적 객체(120))에 대한 사용자 입력으로 식별할지 여부를 결정할 수 있다. 시선 데이터를 사용자 입력으로 식별할 지 여부를 결정하는 동작은 도 5 내지 도 9를 참고하여 보다 상세히 후술된다.
일 실시예에서, 웨어러블 장치(101)의 통신 회로(470)는, 웨어러블 장치(101) 및 외부 전자 장치 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 회로를 포함할 수 있다. 통신 회로(470)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(470)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio)와 같은 다양한 타입의 프로토콜에 기반하여, 전기 신호의 송신, 및/또는 수신을 지원할 수 있다. 일 실시예에서, 통신 회로(470)는, 통신 프로세서 및/또는 통신 모듈로 지칭될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 메모리(430) 내에서, 프로세서(420)에 의해 처리될 데이터, 수행될 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 예를 들어, 웨어러블 장치(101), 및/또는 프로세서(420)는, 운영체제, 펌웨어, 드라이버, 및/또는 어플리케이션 형태로 배포된 복수의 인스트럭션의 집합(set of a plurality of instructions)이 실행될 시에, 도 5 내지 도 9 또는 도 12 내지 도 14에 보다 상세히 설명된 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 웨어러블 장치(101)에 설치되었다는 것은, 예를 들어, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 웨어러블 장치(101)의 메모리(430) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 웨어러블 장치(101)의 프로세서(420)에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 지칭할 수 있다. 일 예로, 어플리케이션은, 사용자에게 제공되는 서비스와 관련된 프로그램, 및/또는 라이브러리를 포함할 수 있다.
도 4를 참고하면, 웨어러블 장치(101)에 설치된 프로그램들은, 타겟에 기반하여, 어플리케이션 레이어(431), 프레임워크 레이어(432) 및/또는 하드웨어 추상화 레이어(hardware abstraction layer, HAL)(436)를 포함하는 상이한 레이어들 중 어느 한 레이어로 분류될 수 있다. 예를 들어, 하드웨어 추상화 레이어(436) 내에, 웨어러블 장치(101)의 하드웨어(예: 디스플레이(450), 카메라(440), 및/또는 센서(460))를 타겟으로 설계된 프로그램들(예: 모듈, 또는 드라이버)이 분류될 수 있다. 프레임워크 레이어(432)는, XR(extended reality) 서비스를 제공하기 위한 하나 이상의 프로그램들이 포함된 점에서, XR 프레임 워크 레이어로 지칭될 수 있다. 예를 들어, 도 4에 도시된 레이어들은, 논리적으로(또는 설명의 편의를 위하여) 구분된 것으로 메모리(430)의 주소 공간이 상기 레이어들에 의해 구분되는 것을 의미하지 않을 수 있다.
예를 들어, 프레임워크 레이어(432) 내에, 하드웨어 추상화 레이어(436) 및/또는 어플리케이션 레이어(431) 중 적어도 하나를 타겟으로 설계된 프로그램들(예: 각각 다양한 실행가능한 프로그램 인스트럭션들을 포함하는, 시선 추적기(433), 시선 예측기(434), 및/또는 상태 정보 식별기(435))이 분류될 수 있다. 프레임워크 레이어(432)로 분류되는 프로그램들은, 다른 프로그램에 기반하여 실행가능한(또는 호출(invoke 또는 call)가능한) API(application programming interface)를 제공할 수 있다.
일 실시 예에 따르면, 프레임워크 레이어(432)는 센서(460) 및/또는 카메라(440)로부터 획득된 데이터를 처리하기 위한 하나 이상의 프로그램들을 포함할 수 있다. 하나 이상의 프로그램들은 시선 추적기(433), 시선 예측기(434), 및/또는 상태 정보 식별기(435) 중 적어도 하나를 포함할 수 있다. 프레임워크 레이어(432)에 포함된 하나 이상의 프로그램들의 타입 및/또는 개수는 도 4에 도시된 바에 제한되지 않는다.
예를 들어, 어플리케이션 레이어(431) 내에, 웨어러블 장치(101)를 제어하는 사용자를 타겟으로 설계된 프로그램이 분류될 수 있다. 어플리케이션 레이어(431)로 분류되는 프로그램들(예: 소프트웨어 어플리케이션)은, API(application programming interface)를 호출하여, 프레임워크 레이어(432)로 분류되는 프로그램들에 의해 지원되는 기능의 실행을 야기할 수 있다.
예를 들어, 웨어러블 장치(101)는 시선 추적기(433)가 실행된 상태에서, 카메라(440)를 통해 획득한 사용자의 눈과 관련된 이미지를 이용하여, 시선을 나타내는 시선 데이터를 식별할 수 있다. 웨어러블 장치(101)는 상기 이미지에 의해 나타나는 동공 및/또는 글린트의 위치를 식별하는 것에 기반하여 시선을 추적할 수 있다. 시선 데이터는, 이미지를 통해 식별되기 때문에, 사용자의 눈의 상태(예, 동공의 사이즈)를 변경할 수 있는 파라미터들에 기반하여, 획득될 수 있다. 상기 파라미터들은 사용자의 눈을 향하여 배치된 디스플레이(450)의 전체적인(entire) 밝기 레벨, 조도 센서를 통해 식별된 외부 광의 세기를 나타내는 조도 레벨, 및/또는 눈과 관련된 상태 정보를 포함할 수 있다.
예를 들어, 웨어러블 장치(101)는 상태 정보 식별기(435)의 실행에 기반하여, 웨어러블 장치(101)를 착용한 사용자의 눈과 관련된 사용자의 상태 정보를 식별할 수 있다. 웨어러블 장치(101)는 카메라(440)를 통해 획득한 이미지를 이용하여, 상기 상태 정보를 식별할 수 있다. 상태 정보는, 사용자가 안경을 착용하였는지 여부를 나타내는 데이터, 상기 사용자가 콘택트렌즈를 착용하였는지 여부를 나타내는 데이터, 상기 눈의 크기를 나타내는 데이터, 상기 사용자의 눈꺼풀의 두께를 나타내는 데이터, 또는 이들의 조합을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 상태 정보 식별기(435)를 통해, 웨어러블 장치(101) 및 사용자의 눈 사이의 거리(예, eye relief)를 식별할 수 있다. 웨어러블 장치(101)는 웨어러블 장치(101) 사용자에 의해 착용된 착용 상태를 식별할 수 있다. 착용 상태는, 웨어러블 장치(101)가, 사용자의 일 부분(예, 눈(eyes), 또는, 코(nose))으로부터 미끄러진(slip) 상태 및/또는 비스듬하게(slantingly) 착용된 상태를 포함할 수 있다. 다만, 본 개시가 상술한 실시예에 제한되지 않는다.
예를 들어, 웨어러블 장치(101)는 상태 정보 식별기(435)(또는 환경 분류 모듈(environment classification module))에 기반하여 획득된 사용자의 상태 정보를 이용하여, 시선 예측기(434)를 통해, 사용자의 시선을 예측(또는 추론)할 수 있다. 웨어러블 장치(101)는 시선 예측기(434)를 통해 예측된 시선을 나타내는 시선 데이터에 기반하여, 상기 시선 데이터에 매칭되는 객체를 선택하기 위한 영역(예, 도 1의 영역(130, 130-1, 130-2))의 사이즈를 설정할 수 있다. 웨어러블 장치(101)는 영역을 이용하여, 시선 데이터를 객체를 선택하기 위한 사용자 입력으로 인식할지 여부를 결정할 수 있다. 일 예로, 웨어러블 장치(101)는 시선 예측기(434)를 통해 시선 데이터를 추론할 지 또는 시선 추적기(433)를 통해 시선 데이터를 식별할 지 여부를 결정하기 위한 사용자 입력을 획득할 수 있다. 웨어러블 장치(101)는 사용자 입력에 기반하여, 시선 예측기(434) 및/또는 시선 추적기(433)를 이용하여, 시선 데이터를 획득할 수 있다. 다만, 본 개시가 상술한 실시예에 제한되는 것은 아니다. 일 예로, 웨어러블 장치(101)는 시선 추적기(433)를 통해 시선 데이터를 식별하는 동작을 바이패스하고, 시선 예측기(434)를 이용하여 상태 정보에 따른 시선 데이터를 추론할 수 있다.
상술한 바와 같이 일 실시예에 따른 웨어러블 장치(101)는 카메라(440)를 통해 획득한 눈과 관련된 이미지를 분석함으로써, 직접적으로, 시선 데이터를 획득할 수 있다. 웨어러블 장치(101)는 눈과 관련된 사용자의 상태 정보를 이용하여, 간접적으로 시선 데이터를 추론할 수 있다. 웨어러블 장치(101)는 획득된 시선 데이터 및/또는 추론된 시선 데이터를 이용하여, 시선 데이터가 객체를 선택하기 위한 사용자 입력인지 여부를 결정할 수 있다.
이하, 도 5를 참고하여, 일 실시예에 따른 웨어러블 장치(101)가 눈과 관련된 하나 이상의 파라미터들을 이용하여, 사용자 입력을 나타내는 시선 데이터를 획득하는 동작의 일 예가 보다 상세히 후술된다.
도 5는, 다양한 실시예들에 따른 웨어러블 장치의 예시적인 동작을 도시한 흐름도이다. 도 5의 웨어러블 장치는 도 1 내지 도 4의 웨어러블 장치(101)를 포함할 수 있다. 도 5의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 5의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 5의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 5를 참고하면, 동작 510에서, 일 실시예에 따른 프로세서는, 화면을 디스플레이 상에 표시하기 위하여 웨어러블 장치를 제어할 수 있다. 화면은 도 1의 화면(110)을 포함할 수 있다. 디스플레이는 사용자의 양쪽 눈에 대응하는 관점에서 하나 이상일 수 있다. 화면은 하나 이상의 객체들을 포함할 수 있다.
도 5를 참고하면, 동작 520에서, 일 실시예에 따른 프로세서는 카메라를 통해 사용자의 시선(gaze)과 관련된 파라미터를 획득할 수 있다. 시선(또는 눈)과 관련된 파라미터를 이용하여 프로세서는, 사용자의 시선 데이터를 획득할 수 있다. 상기 파라미터는, 디스플레이의 전체적인 화면 밝기, 외부 광의 세기를 나타내는 조도, 웨어러블 장치의 착용 상태, 및/또는 사용자의 눈과 관련된 상태를 나타낼 수 있다. 프로세서는 파라미터를 이용하여, 화면 내 포함된 적어도 하나의 객체에 대한 시선 데이터를 획득할 수 있다. 프로세서는 파라미터를 이용하여, 객체에 대한 시선 데이터의 정확도 및/또는 정밀도를 나타내는 정보를 추론할 수 있다. 예를 들어, 프로세서는, 파라미터를 이용하여, 시선 데이터를 추론하도록 학습된 뉴럴 네트워크를 통해, 상기 파라미터에 대응하는 시선 데이터(또는 시선 데이터의 정확도 및/또는 정밀도)를 획득할 수 있다. 뉴럴 네트워크는 다양한 환경에서, 사용자의 상태 정보를 획득하고, 획득된 상태 정보에 기반하여 시선 데이터의 정확도 및/또는 정밀도를 예측하기 위해 학습된 뉴럴 네트워크를 포함할 수 있다. 상기 다양한 환경은 디스플레이의 밝기 레벨 및/또는 조도 레벨이 다른 환경들을 포함할 수 있다.
도 5를 참고하면, 동작 530에서, 일 실시예에 따른 프로세서는 파라미터에 기반하여 시선 데이터를 사용자 입력(예, 사용자 입력)으로 인식할지 여부를 결정할 수 있다. 프로세서는 시선 데이터의 정확도 및/또는 정밀도를 나타내는 정보에 기반하여, 시선 데이터가 적어도 하나의 객체를 선택하기 위한 사용자 입력을 나타내는지 여부를 식별할 수 있다.
예를 들어, 프로세서는 시선 데이터의 정확도 및/또는 정밀도를 나타내는 정보에 기반하여 적어도 하나의 객체를 선택하기 위한 영역을 설정할 수 있다. 프로세서는, 시선 데이터의 정확도 및/또는 정밀도를 나타내는 정보에 기반하여 영역(예: 도 1의 영역(130, 130-1, 130-2))의 사이즈를 결정할 수 있다. 프로세서는 결정된 사이즈를 가지는 영역을 이용하여, 시선 데이터를 적어도 하나의 객체를 선택하기 위한 사용자 입력으로 식별할 수 있다. 프로세서는, 사용자 입력으로 인식된 시선 데이터에 기반하여 적어도 하나의 객체로부터 제공되는 기능을 실행할 수 있다. 프로세서는 시선 데이터가 사용자 입력으로 인식되지 않는 경우, 적어도 하나의 객체로부터 제공되는 기능을 실행하지 않을 수 있다.
이하, 도 6을 참고하여, 디스플레이의 밝기를 나타내는 파라미터를 이용하여 시선 데이터를 사용자 입력으로 식별하는 동작의 일 예가 보다 상세히 후술된다.
도 6은, 다양한 실시예들에 따른 웨어러블 장치의 밝기 레벨을 이용하는 예시적인 동작을 도시한 흐름도이다. 도 6의 웨어러블 장치는 도 1 내지 도 4의 웨어러블 장치(101)를 포함할 수 있다. 도 6의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 6의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 6의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다. 도 6의 동작들 중 적어도 하나는 도 5의 동작들 중 적어도 하나와 관련될 수 있다.
도 6을 참고하면, 동작 610에서, 일 실시예에 따른 프로세서는 화면 내의 객체와 관련된 사용자의 시선 데이터를 카메라를 통해 획득할 수 있다. 예를 들어, 프로세서는, 도 4의 상태 정보 식별기(435)의 실행에 기반하여, 시선과 관련된 파라미터를 획득할 수 있다. 프로세서는, 화면(예, 도 1의 화면(110)) 내의 객체(예, 도 1의 시각적 객체(120))에 대한 사용자(예, 도 1의 사용자(105))의 시선 데이터(예, 도 1의 시선 데이터(125))를, 카메라를 통해 획득한 이미지를 이용하여, 예측(또는 추론)할 수 있다.
도 6을 참고하면 동작 620에서, 일 실시예에 따른 프로세서는 화면의 전체적인 밝기 레벨에 기반하여 설정된, 사이즈를 가지는, 객체를 위한, 영역을 이용하여, 시선 데이터를 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다.
예를 들어, 프로세서는, 화면의 전체적인 밝기 레벨에 따라, 시선 데이터를 사용자 입력으로 식별할 지 여부를 결정할 수 있다. 프로세서는 화면의 전체적인 밝기 레벨(예, 밝기 레벨을 나타내는 파라미터)을 이용하여, 카메라를 통해 획득한 시선 데이터의 정확도 및/또는 정밀도를 추론할 수 있다. 프로세서는 추론된 시선 데이터의 정확도 및/또는 정밀도에 기반하여, 시선 데이터를 사용자 입력으로 인식할 지 여부를 결정할 수 있다. 예를 들어, 프로세서 기준 범위 안에 있는 화면의 전체적인 밝기 레벨에 기반하여, 객체 밖에 위치된 시선 데이터를 사용자 입력으로 인식할 수 있다. 프로세서는 상기 기준 범위 밖에 있는 화면의 전체적인 밝기 레벨에 기반하여, 객체 밖에 위치된 상기 시선 데이터를 상기 사용자 입력으로 인식하지 않음을 결정할 수 있다.
예를 들어, 프로세서는, 화면의 전체적인 밝기 레벨을 나타내는 파라미터를 이용하여, 영역의 사이즈를 결정할 수 있다. 프로세서는 화면 내 포함된 객체를 선택하는 사용자 입력을 획득할 범위를 나타내는 상기 영역의 사이즈를 결정할 수 있다. 예를 들어, 프로세서는 눈을 향하여 배치된 디스플레이 상에 표시된 화면의 밝기 레벨에 따라 변경되는 동공의 사이즈를 카메라를 통해 식별할 수 있다. 프로세서는 변경되는 동공의 사이즈에 따른 시선 데이터의 정확도 및/또는 정밀도를 추론할 수 있다.
예를 들어, 프로세서는, 기준 범위 안에 있는 화면의 전체적인 밝기 레벨에 기반하여, 영역의 사이즈를 제1 사이즈로 설정할 수 있다. 프로세서는, 기준 범위 밖에 있는 화면의 전체적인 밝기 레벨에 기반하여, 영역의 사이즈를 상기 제1 사이즈보다 큰 제2 사이즈로 설정할 수 있다. 제2 사이즈로 영역의 사이즈를 설정하기 위해 이용된 시선 데이터의 정확도 및/또는 정밀도는, 제1 사이즈로 영역의 사이즈를 설정하기 위해 이용된 시선 데이터의 정확도 및/또는 정밀도 보다 낮을 수 있다. 예를 들어, 기준 범위 밖에 있는 디스플레이의 전체적인 밝기 레벨에 기반하여 화면을 표시하는 경우, 사용자의 동공의 사이즈는 줄어들 수 있다. 줄어든 사이즈를 가지는 동공을 이용하여 획득된 시선 데이터의 정확도 및/또는 정밀도는, 다른 사이즈(기준 범위 안에 있는 화면의 전체적인 밝기 레벨에 기반하여 획득된 사이즈)를 가지는 동공을 이용하여 획득된 시선 데이터의 정확도 및/또는 정밀도 보다 낮을 수 있다. 예를 들어, 기준 범위 안에 있는 전체적인 밝기 레벨이, 기준 범위 밖에 있는 전체적인 밝기 레벨보다 높기 때문에, 프로세서는 카메라를 통해 이미지를 이용하여 눈과 관련된 시선 데이터를 보다 정확하게 추론할 수 있다. 예를 들어, 제2 사이즈를 가지는 영역은 도 1의 영역(130-1)에 참조될 수 있고 제1 사이즈를 가지는 영역은 도 1의 영역(130)에 참조될 수 있다. 다만, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 프로세서는 영역의 사이즈를 결정하는 것과 독립적으로 객체를 선택하기 위한 지정된 시간의 길이를 설정할 수 있다.
예를 들어, 프로세서는, 시선 데이터에 의해 나타내어진 위치가 영역(예: 도 1의 영역(130, 130-1, 130-2)) 안에 위치되는지 여부를 확인하는 것으로, 상기 시선 데이터를 상기 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 예를 들어, 프로세서는 지정된 시간 동안, 상기 영역 내의 상기 위치에 응답하여, 상기 시선 데이터를 상기 사용자 입력으로 인식할 수 있다. 예를 들어, 프로세서는, 상기 영역 밖의 상기 위치에 응답하여, 상기 시선 데이터를 상기 사용자 입력으로 인식하지 않음을 결정할 수 있다.
예를 들어, 프로세서는, 영역이 가지는 제1 사이즈에 대응하는 제2 사이즈를 가지는 객체를 상기 화면 내에서 표시할 수 있다. 프로세서는 제1 사이즈로부터 매핑된 제2 사이즈를 가지는 객체를 화면 내에 표시할 수 있다. 프로세서는, 시선 데이터에 의해 나타내어진 영역의 제1 사이즈를 이용하여, 객체의 제2 사이즈를 식별할 수 있다. 프로세서는 제2 사이즈를 식별한 것에 기반하여 디스플레이 상에 표시할 하나 이상의 객체들의 개수를 조절할 수 있다. 프로세서가 제2 사이즈에 따라 하나 이상의 객체들의 개수를 조절하는 동작의 일 예가, 도 10을 참고하여 보다 상세히 후술된다.
도 6을 참고하면, 동작 630에서, 일 실시예에 따른 프로세서는 사용자 입력으로 인식된 시선 데이터에 기반하여, 객체로부터 제공되는 기능을 실행할 수 있다. 프로세서는 영역 내 시선 데이터에 의해 나타내어진 위치가 지정된 시간 동안 포함된 경우, 객체로부터 제공되는 기능을 실행할 수 있다. 프로세서는 지정된 시간을 나타내기 위한 시각적 효과를 디스플레이 상에 표시할 수 있다. 예를 들어, 프로세서는 영역 밖의 상기 위치에 기반하여 객체로부터 제공되는 기능을 비활성화 하는 것을 유지할 수 있다. 프로세서가 시각적 효과를 디스플레이 상에 표시하는 동작은 도 11을 참고하여 보다 상세히 후술된다.
이하, 도 7을 참고하여, 일 실시예에 따른 프로세서가 화면의 전체적인 밝기 레벨을 나타내는 파라미터와 다른 파라미터를 이용하여 시선 데이터를 사용자 입력으로 인식하기 위한 동작의 일 예가 보다 상세히 후술된다.
도 7은, 다양한 실시예들에 따른 웨어러블 장치의 사용자의 상태 정보를 이용하는 예시적인 동작을 도시한 흐름도이다. 도 7의 웨어러블 장치는 도 1 내지 도 4의 웨어러블 장치(101)를 포함할 수 있다. 도 7의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 7의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 7의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다. 도 7의 동작들 중 적어도 하나는 도 6의 동작들 중 적어도 하나와 관련될 수 있다.
도 7을 참고하면, 동작 710에서 일 실시예에 따른 프로세서는 화면 내의 객체와 관련된 사용자의 시선 데이터를 카메라를 통해 획득할 수 있다. 프로세서는 이미지를 이용하여 눈과 관련된 사용자의 상태 정보를 식별하고, 식별된 상태 정보를 이용하여 시선 데이터를 추론할 수 있다. 동작 710은 동작 610에 참조될 수 있다.
도 7을 참고하면, 동작 720에서, 일 실시예에 따른 프로세서는 눈과 관련된 사용자의 상태 정보를 카메라를 통해 획득할 수 있다. 프로세서는 카메라를 통해 화면의 밝기 레벨 및/또는 사용자의 상태 정보를 이용하여, 화면 내 객체에 대한 시선 데이터를 추론할 수 있다. 일 예로, 화면의 전체적인 밝기 레벨에 대응하는 제1 사이즈를 가지는 영역(예, 도 1의 영역(130))의 사이즈에 불구하고, 프로세서는 상태 정보를 더 이용하여, 제2 사이즈(예, 도 1의 영역(130-1)의 사이즈)를 가지는 영역(예, 도 1의 영역(130-1))을 설정할 수 있다. 다만 본 개시가 이에 제한되지 않는다.
예를 들어, 프로세서는, 화면의 전체적인 밝기 레벨 및/또는 사용자가 안경을 착용하였는지 여부를 나타내는 데이터를 이용하여, 객체에 대한 시선 데이터를 추론할 수 있다. 사용자가 안경을 착용하였는지 여부에 따라 정확도가 달라질 수 있기 때문에, 프로세서는 화면의 전체적인 밝기 레벨 및/또는 사용자가 안경을 착용하였는지 여부를 나타내는 데이터를 이용하여, 시선 데이터를 객체에 대한 사용자 입력으로 식별할 지 여부를 결정할 수 있다. 다만 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 프로세서는, 화면의 전체적인 밝기 레벨, 사용자가 콘택트렌즈를 착용하였는지 여부를 나타내는 데이터, 사용자의 눈의 크기를 나타내는 데이터, 사용자의 눈꺼풀의 두께를 나타내는 데이터, 또는 이들의 조합에 기반하여 획득된 시선 데이터를, 객체에 대한 사용자 입력으로 식별할 지 여부를 결정할 수 있다. 프로세서는 시선 데이터를 객체에 대한 사용자 입력으로 식별할 지 여부를 결정하기 위해, 객체를 위한 영역의 사이즈를 설정할 수 있다. 프로세서는, 화면의 전체적인 밝기 레벨, 및/또는 사용자의 상태 정보에 기반하여 추론된 시선 데이터의 정확도 및/또는 정밀도를 이용하여, 객체를 위한 영역의 사이즈를 설정할 수 있다.
도 7을 참고하면, 동작 730에서 일 실시예에 따른 프로세서는 눈과 관련된 사용자의 상태 정보에 기반하여 설정된 사이즈를 가지는, 객체를 위한, 영역을 이용하여, 시선 데이터를 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다.
예를 들어, 프로세서는 화면의 전체적인 밝기 레벨을 식별한 상태에서, 카메라를 이용하여 사용자의 상태 정보를 식별할 수 있다. 프로세서는 상기 상태에서, 상기 사용자의 상태 정보에 기반하여, 카메라를 통해 식별된 시선 데이터의 정확도 및/또는 정밀도를 추론할 수 있다. 프로세서는 상기 상태에서, 상기 사용자의 상태 정보를 이용하여, 화면 내 사용자의 시선을 나타내는 시선 데이터가 정확한지 여부를 나타내는 정확도 및/또는 정밀도를 추론함으로써, 추론된 정확도 및/또는 정밀도를 이용하여 영역의 사이즈를 설정할 수 있다.
예를 들어, 프로세서는, 시선 데이터에 의해 나타내어진 위치가 영역 안에 위치되는지 여부를 확인하는 것으로, 시선 데이터를 객체와 상호 작용하기 위한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 예를 들어, 프로세서는 지정된 시간 동안 시선 데이터의 위치가 영역 내에 포함된 경우, 시선 데이터를 사용자 입력으로 인식할 수 있다. 예를 들어, 프로세서는, 시선 데이터의 위치가 영역 내에 포함되지 않는 경우, 시선 데이터를 상기 사용자 입력으로 인식하지 않음을 결정할 수 있다.
도 7을 참고하면, 동작 740에서, 일 실시예에 따른 프로세서는 사용자 입력으로 인식된 시선 데이터에 기반하여, 객체로부터 제공되는 기능을 실행할 수 있다. 동작 740은 동작 630과 관련될 수 있다.
도 8은, 다양한 실시예들에 따른 웨어러블 장치의 조도 레벨을 이용하는 예시적인 동작을 도시한 흐름도이다. 도 8의 웨어러블 장치는 도 1 내지 도 4의 웨어러블 장치(101)를 포함할 수 있다. 도 8의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 8의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 8의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다. 도 8 동작들 중 적어도 하나는 도 6의 동작들 중 적어도 하나와 관련될 수 있다.
도 8을 참고하면, 동작 810에서, 일 실시예에 따른 프로세서는 화면 내의 객체와 관련된 사용자의 시선 데이터를 카메라를 통해 획득할 수 있다. 예를 들어, 프로세서는, 웨어러블 장치 주변의 조도(illuminance) 레벨을 획득하도록 구성된 조도 센서를 이용하여, 조도 레벨에 더 기반하여, 시선 데이터를 획득(또는 추론)할 수 있다. 동작 810은 도 6의 동작 610과 관련될 수 있다.
도 8을 참고하면, 동작 820에서, 일 실시예에 따른 프로세서는 조도 레벨에 기반하여 설정된 사이즈를 가지는, 객체를 위한, 영역을 이용하여, 시선 데이터를 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다.
예를 들어, 프로세서는, 조도 레벨에 따라, 시선 데이터를 사용자 입력으로 식별할 지 여부를 결정할 수 있다. 프로세서는 조도 레벨(예, 조도 레벨을 나타내는 파라미터)을 이용하여, 카메라를 통해 획득한 시선 데이터의 정확도 및/또는 정밀도를 추론할 수 있다. 프로세서는 추론된 시선 데이터의 정확도 및/또는 정밀도에 기반하여, 시선 데이터를 사용자 입력으로 인식할 지 여부를 결정할 수 있다. 예를 들어, 프로세서 기준 범위 안에 있는 조도 레벨에 기반하여, 객체 밖에 위치된 시선 데이터를 사용자 입력으로 인식할 수 있다. 프로세서는 상기 기준 범위 밖에 있는 조도 레벨에 기반하여, 객체 밖에 위치된 상기 시선 데이터를 상기 사용자 입력으로 인식하지 않음을 결정할 수 있다.
예를 들어, 프로세서는, 조도 레벨을 나타내는 파라미터를 이용하여, 영역(예, 객체를 선택하기 위한 영역)의 사이즈를 결정할 수 있다. 프로세서는 화면 내 포함된 객체를 선택하는 사용자 입력을 획득할 범위를 나타내는 상기 영역의 사이즈를 결정할 수 있다. 예를 들어, 프로세서는 디스플레이를 통해 눈을 향하는 외부 광의 세기(예, 조도 레벨)에 따라 변경되는 눈의 상태(예, 동공의 사이즈)를 카메라를 통해 식별할 수 있다. 프로세서는 변경되는 눈의 상태에 따른 시선 데이터의 정확도 및/또는 정밀도를 추론할 수 있다.
예를 들어, 프로세서는, 기준 범위 안에 있는 조도 레벨에 기반하여, 영역의 사이즈를 제1 사이즈로 설정할 수 있다. 프로세서는, 기준 범위 밖에 있는 조도 레벨에 기반하여, 영역의 사이즈를 상기 제1 사이즈보다 큰 제2 사이즈로 설정할 수 있다. 제2 사이즈로 영역의 사이즈를 설정하기 위해 이용된 시선 데이터의 정확도 및/또는 정밀도는, 제1 사이즈로 영역의 사이즈를 설정하기 위해 이용된 시선 데이터의 정확도 및/또는 정밀도 보다, 상대적으로, 낮을 수 있다. 예를 들어, 기준 범위 밖에 있는 조도 레벨을 가지는 외부 광에 의해 사용자의 동공의 사이즈는 줄어들 수 있다. 줄어든 사이즈를 가지는 동공을 이용하여 획득된 시선 데이터의 정확도 및/또는 정밀도는, 다른 사이즈(기준 범위 안에 있는 외부 광에 의해 변경된 동공의 사이즈)를 가지는 동공을 이용하여 획득된 시선 데이터의 정확도 및/또는 정밀도 보다 낮을 수 있다. 예를 들어, 제1 사이즈를 가지는 영역은 도 1의 영역(130-1)에 참조될 수 있고 제2 사이즈를 가지는 영역은 도 1의 영역(130)에 참조될 수 있다. 예를 들어, 프로세서는 조도 센서를 통해 식별된 조도 레벨뿐만 아니라, 화면의 전체적인 밝기 레벨에 기반하여, 추론된 시선 데이터를 사용자 입력으로 인식할지 여부를 결정할 수 있다. 다시 말하면, 프로세서는 화면의 전체적인 밝기 레벨 및 조도 레벨에 기반하여 설정된 사이즈를 가지는 객체를 위한 영역을 이용하여, 시선 데이터를 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다.
예를 들어, 프로세서는, 시선 데이터에 의해 나타내어진 위치가 영역 안에 위치되는지 여부를 확인하는 것으로, 시선 데이터를 상기 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 예를 들어, 프로세서는 지정된 시간 동안, 영역 내의 상기 위치에 응답하여, 상기 시선 데이터를 상기 사용자 입력으로 인식할 수 있다. 예를 들어, 프로세서는, 영역 밖의 상기 위치에 응답하여, 시선 데이터를 사용자 입력으로 인식하지 않음을 식별할 수 있다.
도 8을 참고하면, 동작 830에서 일 실시예에 따른 프로세서는 사용자 입력으로 인식된 시선 데이터에 기반하여, 객체로부터 제공되는 기능을 실행할 수 있다. 프로세서는 사용자 입력으로 인식된 시선 데이터에 기반하여, 객체를 선택함을 식별할 수 있다. 프로세서는 객체를 선택하기 위한 사용자 입력으로 인식된 시선 데이터를 이용하여, 객체로부터 제공되는 기능을 실행할 수 있다.
이하, 도 9를 참고하여, 일 실시예에 따른 웨어러블 장치가 조도 레벨 및/또는 사용자의 상태 정보를 이용하여 객체에 대한 시선 데이터를 추론하는 동작의 일 예가 보다 상세히 후술된다.
도 9는 다양한 실시예들에 따른 웨어러블 장치가 상태 정보에 기반하여 사용자 입력을 식별하는 예시적인 동작을 도시한 흐름도이다. 도 9의 웨어러블 장치는 도 1 내지 도 4의 웨어러블 장치(101)를 포함할 수 있다. 도 9의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 9의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 9의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다. 도 9의 동작들 중 적어도 하나는 도 8의 동작들 중 적어도 하나와 관련될 수 있다.
도 9를 참고하면 동작 910에서, 일 실시예에 따른 프로세서는 화면 내의 객체와 관련된 사용자의 시선 데이터를 카메라를 통해 획득할 수 있다. 프로세서는 이미지에 이용하여 눈과 관련된 사용자의 상태 정보를 식별하고, 식별된 상태 정보를 이용하여 시선 데이터를 추론할 수 있다. 동작 910은 도 8의 동작 810에 참조될 수 있다.
도 9를 참고하면 동작 920에서 일 실시예에 따른 프로세서는 눈과 관련된 사용자의 상태 정보를 카메라를 통해 획득할 수 있다. 프로세서가 동작 920에서 수행하는 동작은, 도 7의 동작 720을 수행하는 동작에 참조될 수 있다.
도 9를 참고하면, 동작 930에서 일 실시예에 따른 프로세서는 눈과 관련된 사용자의 상태 정보에 기반하여 설정된 사이즈를 가지는, 객체를 위한, 영역을 이용하여, 시선 데이터를 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 프로세서는, 조도 레벨, 및/또는 사용자의 상태 정보에 기반하여 추론된 시선 데이터의 정확도 및/또는 정밀도를 이용하여, 객체를 위한 영역의 사이즈를 설정할 수 있다.
예를 들어, 프로세서는 조도 센서를 통해 식별된 조도 레벨을 식별한 상태에서, 카메라를 이용하여 사용자의 상태 정보를 식별할 수 있다. 프로세서는 상기 상태에서, 상기 사용자의 상태 정보에 기반하여, 카메라를 통해 식별된 시선 데이터의 정확도 및/또는 정밀도를 추론할 수 있다. 프로세서는 상기 상태에서, 상기 사용자의 상태 정보를 이용하여, 화면 내 사용자의 시선을 나타내는 시선 데이터가 정확한지 여부를 나타내는 정확도 및/또는 정밀도를 추론함으로써, 추론된 정확도 및/또는 정밀도를 이용하여 영역의 사이즈를 결정할 수 있다. 프로세서는, 사이즈를 결정하는 것과 독립적으로, 영역을 선택하기 위한 지정된 시간을 결정할 수 있다.
예를 들어, 프로세서는, 시선 데이터에 의해 나타내어진 위치가 영역 안에 위치되는지 여부를 확인하는 것으로, 시선 데이터를 객체를 선택하기 위한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 예를 들어, 프로세서는 지정된 시간 동안 시선 데이터의 위치가 영역 내에 포함된 경우, 시선 데이터를 사용자 입력으로 인식할 수 있다. 예를 들어, 프로세서는, 시선 데이터의 위치가 영역 내에 포함되지 않는 경우, 시선 데이터를 상기 사용자 입력으로 인식하지 않음을 결정할 수 있다. 지정된 시간의 길이는, 영역의 사이즈에 따라 달라질 수 있으나, 사이즈와 독립적으로 설정될 수 있다.
도 9를 참고하면, 동작 940에서, 일 실시예에 따른 프로세서는 사용자 입력으로 인식된 시선 데이터에 기반하여, 객체로부터 제공되는 기능을 실행할 수 있다. 동작 940은 도 5의 동작 530, 도 6의 동작 630, 도 7의 동작 740, 또는 도 8의 동작 830과 관련될 수 있다.
도 10은, 다양한 실시예들에 따른 상태 정보에 기반하여 설정된 영역의 일 예를 도시한 다이어그램이다. 도 10의 웨어러블 장치(101)는 도 1 내지 도 9의 웨어러블 장치(101)를 포함할 수 있다.
도 10을 참고하면, 일 실시예에 따른 웨어러블 장치(101)는, 화면(1010) 내에 복수의 시각적 객체들(1011)을 표시할 수 있다. 복수의 시각적 객체들(1011) 각각의 사이즈는, 도 1의 영역(130-1)의 사이즈에 기반하여 설정될 수 있다. 웨어러블 장치는 도 1의 영역(130-1)이 가지는 사이즈에 대응하는 사이즈를 가지는 복수의 시각적 객체들(1011)을 화면(1010) 내에서 표시할 수 있다.
예를 들어, 디스플레이 상에 표시될 복수의 시각적 객체들의 개수는 영역(예, 도 1의 영역(130), 영역(130-1) 영역(130-2))의 사이즈에 기반하여 설정될 수 있다. 웨어러블 장치(101)는 디스플레이 상에 표시되는 화면의 전체적인 밝기 레벨, 조도 센서를 통해 획득된 조도 레벨, 사용자의 눈과 관련된 상태 정보 또는 이들의 조합에 기반하여 설정된 영역의 사이즈에 기반하여, 복수의 시각적 객체들(1010)의 개수를 결정할 수 있다.
예를 들어, 웨어러블 장치(101)는 복수의 시각적 객체들(1010) 중 제1 시각적 객체(1015) 및 제2 시각적 객체(1016) 사이의 거리(1017)를 결정할 수 있다. 웨어러블 장치(101)는 복수의 시각적 객체들(1010) 각각을 선택하기 위한 영역의 사이즈에 기반하여, 제1 시각적 객체(1015) 및 제2 시각적 객체(1016) 사이에 거리(1017)를 결정할 수 있다. 웨어러블 장치(101)는 제1 시각적 객체(1015)에 대응하는 영역 및 제2 시각적 객체(1016)에 대응하는 다른 영역이 중첩되지 않도록 상기 거리(1017)를 결정할 수 있다. 웨어러블 장치(101)는 결정된 거리(1017)에 기반하여 배열된 제1 시각적 객체(1015) 및 제2 시각적 객체(1016)를 포함하는 화면(1010)(예, 복수의 시각적 객체들(1011)을 포함하는 화면)을 디스플레이 상에 표시할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는 화면(1010)을 표시하기 위해 설정된 영역(예, 도 1의 영역(130-1))의 사이즈와 다른 사이즈를 가지는 영역(예, 도 1의 영역(130))에 기반하여 복수의 시각적 객체들(1021)의 개수를 설정할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 다른 사이즈를 가지는 영역(예, 도 1의 영역(130))에 기반하여 복수의 시각적 객체들(1021) 각각의 사이즈를 결정할 수 있다.
예를 들어, 웨어러블 장치(101)는 화면(1010)에 포함된 복수의 시각적 객체들(1011) 각각의 사이즈보다 큰 사이즈를 가지는 복수의 시각적 객체들(1021)을 포함하는 화면(1020)을 디스플레이 상에 표시할 수 있다. 웨어러블 장치(101)는 화면(1020)의 전체적인 밝기 레벨, 조도 센서를 통해 획득된 조도 레벨, 사용자의 눈과 관련된 상태 정보 또는 이들의 조합에 기반하여 설정된 영역의 사이즈에 기반하여, 복수의 시각적 객체들(1021)의 개수 및/또는 사이즈를 결정할 수 있다. 화면(1010)에 포함된 복수의 시각적 객체들(1011)의 개수 및/또는 사이즈를 설정하기 위해 이용된 제1 시선 데이터와, 화면(1020)에 포함된 복수의 시각적 객체들(1021)의 개수 및/또는 사이즈를 설정하기 위해 이용된 제2 시선 데이터는 상이할 수 있다.
예를 들어, 웨어러블 장치(101)는, 화면(1010)에 포함된 시각적 객체들(1015, 1016) 사이의 거리(1017)에 따라, 복수의 시각적 객체들(1011)의 개수를 결정할 수 있다. 화면(1010) 내 시각적 객체들(1015, 1016) 사이의 거리(1017)는, 화면(1020) 내 시각적 객체들(1025, 1026) 사이의 거리(1027)보다 짧기 때문에, 복수의 시각적 객체들(1011)의 개수가, 복수의 시각적 객체들(1021)보다 많을 수 있다. 일 예로, 복수의 시각적 객체들(1011) 중 하나의 시각적 객체(예, 시각적 객체(1015))를 선택하기 위한 영역의 사이즈가, 복수의 시각적 객체들(1021) 중 하나의 시각적 객체(예, 시각적 객체(1025))를 선택하기 위한 영역의 사이즈 보다 작기 때문에, 웨어러블 장치(101)는 복수의 시각적 객체들(1011)의 개수를 더 많이 설정할 수 있다. 다만 본 개시가 이에 제한되는 것은 아니다.
예를 들어, 제1 시선 데이터를 추론하기 위해 이용된 전체적인 밝기 레벨, 조도 레벨, 및/또는 상태 정보와 제2 시선 데이터를 추론하기 위해 이용된 전체적인 밝기 레벨, 조도 레벨, 및/또는 상태 정보는 상이할 수 있다. 예를 들어, 화면(1010)을 표시하기 위해 식별된 제1 시선 데이터에 대응하는 눈과 관련된 사용자의 상태는 안경을 착용하지 않은 상태인 경우이고, 화면(1020)을 표시하기 위해 식별된 제2 시선 데이터에 대응하는 눈과 관련된 사용자의 상태는 안경을 착용한 상태일 수 있다. 사용자가 안경을 착용한 상태에서 식별된 시선 데이터의 정확도 및/또는 정밀도는 사용자가 안경을 착용하지 않은 상태에서 식별된 시선 데이터의 정확도 및/또는 정밀도보다 작을 수 있다. 예를 들어, 사용자가 안경을 착용하지 않은 상태에서 웨어러블 장치(101)가 식별한 시각적 객체(예, 도 1의 시각적 객체(120))의 위치 및 시선 데이터(예, 도 1의 시선 데이터(125))의 위치 사이의 제1 차이(예, 약 2도(degree))보다, 사용자가 안경을 착용한 상태에서 웨어러블 장치(101)가 식별한 시각적 객체의 위치 및 시선 데이터의 위치 사이의 제2 차이(예, 약 7도)가 클 수 있다. 웨어러블 장치(101)는 제2 차이에 기반하여 설정된 사이즈를 가지는 영역에 기반하여, 표시될 복수의 시각적 객체들(1021)의 개수, 및/또는 사이즈를 조절할 수 있다.
예를 들어, 제1 시각적 객체(1025)의 사이즈(1025-1)는 화면(1010)에 포함된 제1 시각적 객체(1015)의 사이즈(1015-1)보다 클 수 있다. 제1 시각적 객체(1015)의 사이즈(1015-1)보다 큰 사이즈(예, 약 11배 큰 사이즈)를 가지기 때문에, 동일한 디스플레이 상에 표시된 화면(1020) 내에 포함된 복수의 시각적 객체들(1021)의 개수는 화면(1010) 내에 포함된 복수의 시각적 객체들(1011)의 개수보다 작을 수 있다.
상술한 바와 같이 일 실시예에 따른 웨어러블 장치(101)는 화면 내 포함된 시각적 객체를 선택하기 위한 영역의 사이즈에 기반하여 시각적 객체의 사이즈를 결정할 수 있다. 웨어러블 장치(101)는 결정된 사이즈를 가지는 시각적 객체를 포함하는 복수의 시각적 객체들을 디스플레이 상에 표시하기 위해, 복수의 시각적 객체들의 개수를 결정할 수 있다. 웨어러블 장치(101)는 복수의 시각적 객체들 각각에 대한 입력을 식별할 수 있는 영역이 중첩되지 않도록 지정된 거리만큼 이격하여 복수의 시각적 개체들을 배열(또는 정렬)할 수 있다. 웨어러블 장치(101)는 시선 데이터에 기반하여 디스플레이 상에 표시될 시각적 객체의 사이즈 및/또는 개수를 조절함으로써, 사용자에 따라 변경가능한 메타버스 서비스를 제공할 수 있다.
이하, 도 11을 참고하여, 전자 장치(101)가 화면에 표시된 시각적 객체에 대한 선택을 표현하는 시각적 효과를 표시하는 동작의 일 예가 보다 상세히 후술된다.
도 11은, 다양한 실시예들에 따른 웨어러블 장치가 영역을 이용하여 객체를 선택하는 예시적인 동작을 도시한 다이어그램이다. 도 11의 웨어러블 장치(101)는 도 1 내지 도 10의 웨어러블 장치(101)를 포함할 수 있다.
도 11을 참고하면, 상태(1100)에서, 일 실시예에 따른 웨어러블 장치(101)는 시각적 객체(120)를 포함하는 화면(110)을 디스플레이 상에 표시할 수 있다. 웨어러블 장치(101)는 화면(110) 내의 시각적 객체(120)에 인접하여 위치된 사용자(105)의 시선 데이터(125)를 카메라를 통해 획득할 수 있다. 웨어러블 장치(101)는 사용자의 눈의 동공의 사이즈에 기반하여 시선 데이터(125)를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는 화면(110)의 전체적인 밝기 레벨에 기반하여 동공의 사이즈의 변화를 식별할 수 있다. 웨어러블 장치(101)는 센서를 통해 식별된 웨어러블 장치(101)의 주변의 밝기를 나타내는 조도 레벨에 기반하여 동공의 사이즈의 변화를 식별할 수 있다. 다만 본 개시가 이에 제한되는 것은 아니다. 웨어러블 장치(101)는 사용자(105)의 눈과 관련된 상태 정보를 이용하여 동공의 사이즈의 변화를 식별할 수 있다. 상기 상태 정보는, 사용자(105)가 안경을 착용하였는지 여부를 나타내는 데이터, 사용자(105)가 콘택트렌즈를 착용하였는지 여부를 나타내는 데이터, 상기 눈의 크기를 나타내는 데이터, 상기 사용자(105)의 눈꺼풀의 두께를 나타내는 데이터, 또는 이들의 조합을 포함할 수 있다. 웨어러블 장치(101)는 밝기 레벨, 조도 레벨, 및/또는 상태 정보를 이용하여 식별된 시선 데이터(125)의 정확도, 및/또는 정밀도를 식별할 수 있다. 웨어러블 장치(101)는 시선 데이터(125)의 정확도 및/또는 정밀도에 기반하여 시각적 객체(120)를 선택하기 위한 영역(1101)의 사이즈를 설정할 수 있다. 웨어러블 장치(101)는 설정된 사이즈를 가지는 영역(1101) 내에 시선 데이터(125)에 의해 나타나는 위치가 위치된다는 결정에 기반하여, 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 설정된 사이즈를 가지는 영역(1101) 밖에 시선 데이터(125)에 의해 나타내어진 위치가 위치된다는 결정에 기반하여 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식하지 않을 수 있다.
예를 들어, 웨어러블 장치(101)는 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식한 경우, 지정된 시간 동안 영역(1101) 내에 시선 데이터(125)에 의해 나타나는 위치가 포함됨을 식별할 수 있다. 웨어러블 장치(101)는 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식한 경우, 지정된 시간을 나타내는 시각적 효과를 표현할 수 있다. 웨어러블 장치(101)는 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식하는 지정된 시간 동안, 영역(1101)이 줄어드는 시각적 효과를 디스플레이 상에 표현할 수 있다.
일 실시예에 따른 상태(1101)에서, 웨어러블 장치(101)는 시선 데이터(125)를 시각적 객체(120)에 대한 사용자 입력으로 인식한 경우, 영역(1101)의 사이즈가 줄어드는 시각적 효과에 기반하여, 영역(1101-1)을 표시할 수 있다. 웨어러블 장치(101)는 시각적 효과를 디스플레이 상에 표시함으로써, 시각적 객체(120)에 대한 선택을 사용자(105)에게 가이드할 수 있다. 웨어러블 장치(101)가 선택을 식별하는 동안 시각적 효과를 표시하는 동작은 상술한 실시예에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 시간을 나타내는 시각적 객체에 기반하여, 상기 지정된 시간을 표현할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(120) 상에 중첩된 포인터를 표시할 수 있다. 포인터는 시각적 객체(120)를 가리키는 시선 데이터(125)를 시각적으로, 나타낼 수 있다.
예를 들어, 웨어러블 장치(101)는 상태(1100)로부터 상태(1102)까지를 포함하는 지정된 시간 동안, 영역(1101) 내에 포함된 시선 데이터(125)의 위치를 식별하는 경우, 상태(1102)에서, 시각적 객체(120)에 대한 선택을 나타내는 텍스트 객체(1105)를 디스플레이 상에 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 텍스트 객체(1105)를 표시하는 것을 바이패스할 수 있다. 웨어러블 장치(101)는 지정된 시간(또는 기준 시간) 동안 유지된 사용자 입력으로 인식된 시선 데이터(125)에 기반하여 시각적 객체(120)로부터 제공되는 기능을 실행할 수 있다.
도 12는, 다양한 실시예들에 따른 웨어러블 장치의 예시적인 동작을 도시한 흐름도이다. 도 12의 웨어러블 장치는 도 1 내지 도 11의 웨어러블 장치(101)를 포함할 수 있다. 도 12의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 12의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 12의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 12를 참고하면, 일 실시예에 따른 웨어러블 장치는, 동작 1210에서, 화면을 디스플레이 상에 표시할 수 있다. 동작 1210은, 도 5의 동작 510과 관련될 수 있다.
도 12를 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1220에서, 화면 내의 객체에 인접하여 위치된 사용자의 시선 데이터를 카메라를 통해 획득할 수 있다. 웨어러블 장치는 화면 내의 객체(예, 도 1의 시각적 객체(120))에 인접하여 위치된 사용자의 시선 데이터를 카메라를 통해 획득할 수 있다. 웨어러블 장치는 시선 추적을 위해 사용자의 눈을 향하여 배치된 카메라를 통해 사용자의 눈을 나타내는 이미지를 획득할 수 있다. 웨어러블 장치는 이미지를 이용하여 화면 내 적어도 일부분에 매칭되는 시선 데이터를 획득할 수 있다. 예를 들어, 웨어러블 장치는 화면의 시선 데이터가 객체에 대한 사용자 입력인지 여부를 결정할 수 있다. 웨어러블 장치는 화면의 밝기 레벨에 기반하여 시선 데이터가 객체에 대한 사용자 입력인지 여부를 결정하기 위한 영역을 설정할 수 있다. 웨어러블 장치는 센서를 통해 웨어러블 장치의 외부 밝기를 나타내는 조도 레벨을 식별한 것에 기반하여, 시선 데이터가 객체에 대한 사용자 입력인지 여부를 결정하기 위한 영역의 사이즈를 설정할 수 있다. 웨어러블 장치는 사용자의 눈과 관련된 상태 정보를 이용하여 상기 영역의 사이즈를 설정할 수 있다. 웨어러블 장치는 영역의 사이즈를 설정한 것에 기반하여, 화면 내 포함될 객체들의 개수 및 객체들의 사이즈를 결정할 수 있다.
도 12를 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1230에서, 동공의 사이즈에 대한 정보를 카메라를 통해 획득할 수 있다. 웨어러블 장치는 카메라를 통해 눈을 나타내는 이미지를 분석함으로써, 동공의 사이즈를 식별할 수 있다. 웨어러블 장치는 조도 레벨 및/또는 화면의 전체적인 밝기 레벨에 기반하여 변경되는 동공의 사이즈를 식별할 수 있다. 동공의 사이즈에 따라, 웨어러블 장치가 식별하는 시선 데이터의 정확도 및/또는 정밀도는 변경될 수 있다. 동공의 사이즈에 따라 시선 데이터의 정확도 및/또는 정밀도가 변경되기 때문에, 동공의 사이즈를 이용하여 객체를 선택하기 위한 영역의 사이즈를 설정할 수 있다.
도 12를 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1240에서, 제1 사이즈를 가지는 동공의 사이즈를 획득하였는지 여부를 식별할 수 있다.
도 12를 참고하면, 제1 사이즈를 가지는 동공의 사이즈를 획득한 경우(동작 1240-예), 일 실시예에 따른 웨어러블 장치는 동작 1250에서, 제1 사이즈인 사이즈(예, 동공의 사이즈)에 응답하여, 시선 데이터를 객체에 대한 사용자 입력으로 인식하고, 사용자 입력으로 인식된 시선 데이터에 기반하여 객체로부터 제공되는 기능을 활성화할 수 있다. 웨어러블 장치는 시선 데이터에 의해 나타내어진 위치가 영역 내에 위치되는 경우, 시선 데이터를 객체를 선택하기 위한 사용자 입력으로 식별할 수 있다. 웨어러블 장치는 지정된 시간 동안 상기 사용자 입력이 유지되는 것에 기반하여, 객체로부터 제공되는 기능을 실행할 수 있다.
도 12를 참고하면, 제1 사이즈보다 큰 제2 사이즈인 사이즈(예, 동공의 사이즈)에 응답하여(동작 1240-아니오), 일 실시예에 따른 전자 장치는 동작 1260에서, 시선 데이터를 사용자 입력으로 인식하지 않음을 결정함으로써 기능을 비활성화하는 것을 유지할 수 있다. 예를 들어, 제1 사이즈인 동공의 사이즈에 대응하는 밝기 레벨 및/또는 조도 레벨은, 제2 사이즈인 동공의 사이즈에 대응하는 밝기 레벨 및/또는 조도 레벨보다 높을 수 있다. 예를 들어, 제1 사이즈를 가지는 동공을 이용하여 식별된 제1 시선 데이터의 정확도 및/또는 정밀도는, 제2 사이즈를 가지는 동공을 이용하여 식별된 제2 시선 데이터의 정확도 및/또는 정밀도보다 낮을 수 있다. 예를 들어, 동공의 사이즈가 제1 사이즈일 시, 화면 내의 객체의 위치 및 제1 사이즈에 대응하는 시선 데이터에 의해 나타내어진 위치 사이의 제1 차이에 기반하여, 웨어러블 장치는 객체를 선택하기 위한 제1 영역을 획득할 수 있다. 예를 들어, 동공의 사이즈가 제1 사이즈보다 큰 제2 사이즈일 시, 상기 객체의 위치 및 상기 시선 데이터에 의해 나타내어진 상기 위치 사이의 제2 차이에 기반하여, 웨어러블 장치는 상기 제1 영역보다 작은 상기 제2 영역을 획득할 수 있다. 제1 차이는 제2 차이보다 클 수 있다. 제1 차이는 도 1의 차이(127)에 참조될 수 있다. 다만 본 개시가 이에 제한되는 것은 아니다.
예를 들어, 제1 시선 데이터에 기반하여 결정된 객체를 선택하기 위한 영역의 사이즈는 제2 시선 데이터에 기반하여 결정된 사이즈보다 클 수 있다. 제1 시선 데이터에 기반하여 결정된 객체를 선택하기 위한 영역의 사이즈가 상대적으로 더 크기 때문에, 제1 시선 데이터에 기반하여 결정된 영역의 사이즈 내에, 시선 데이터에 의해 나타나는 위치가 포함되더라도, 제2 시선 데이터에 기반하여 결정된 영역의 사이즈 내에 포함되지 않을 수 있다. 즉, 웨어러블 장치는 제1 사이즈보다 큰 제2 사이즈인 동공의 사이즈에 기반하여, 시선 데이터를 사용자 입력으로 인식하지 않음을 결정할 수 있다.
일 실시예에 따른 웨어러블 장치는 동공의 사이즈에 기반하여, 화면에 포함된 객체들의 개수를 결정할 수 있다. 웨어러블 장치는 객체들 각각을 선택하기 위한 영역들이 중첩되지 않도록, 객체로부터 지정된 거리에 기반하여 다른 객체들을 배열할 수 있다.
예를 들어, 웨어러블 장치는 객체 및 상기 객체로부터 제1 거리만큼 이격된 다른 객체를 포함하는 상기 화면을 표시할 수 있다. 웨어러블 장치는 제1 사이즈인 동공의 사이즈에 기반하여 객체 및 상기 다른 객체 사이의 거리를 제1 거리만큼 이격시킬 수 있다. 웨어러블 장치는 동공의 사이즈가 제1 사이즈보다 큰 제2 사이즈일 시, 상기 객체 및 상기 객체로부터 상기 제1 거리보다 짧은 제2 거리만큼 이격된 다른 객체를 포함하는 상기 화면을 표시할 수 있다. 동공의 사이즈가 제1 사이즈인 경우 영역의 사이즈가 더 크게 설정되기 때문에, 객체들 사이의 거리가 더 길게 설정될 수 있다. 일 예로 동공의 사이즈가 제1 사이즈인 경우 디스플레이 상에 표시할 수 있는 객체들의 개수가 동공의 사이즈가 제2 사이즈인 경 우 디스플레이 상에 표시할 수 있는 객체들의 개수보다 적을 수 있다.
예를 들어, 웨어러블 장치는 시선 데이터를 객체에 대한 사용자 입력 대신, 다른 객체에 대한 다른 사용자 입력으로 인식할 수 있다. 웨어러블 장치는 객체에 대응하는 영역 밖에 위치하고 다른 객체에 대응하는 다른 영역 내에 위치하는 시선 데이터의 위치에 기반하여, 시선 데이터를 다른 객체에 대한 다른 사용자 입력으로 식별할 수 있다. 웨어러블 장치는 지정된 시간 동안 다른 사용자 입력으로 인식된 시선 데이터에 기반하여 다른 객체로부터 제공되는 다른 기능을 활성화할 수 있다. 다만 본 개시가 이에 제한되지 않는다.
예를 들어, 웨어러블 장치는 화면의 전체적인 밝기 레벨 및/또는 조도 레벨에 기반하여 식별된 시선 데이터를 이용하여 객체를 선택하기 위한 제1 사이즈를 가지는 영역을 설정할 수 있다. 웨어러블 장치는, 제1 사이즈를 가지는 영역을 설정한 이후, 카메라를 통해 사용자의 눈과 관련된 상기 사용자의 상태 정보를 획득할 수 있다. 웨어러블 장치는 상태 정보를 이용하여, 제1 사이즈를 제2 사이즈로 변경할 수 있다. 다만 본 개시가 이에 제한되는 것은 아니다. 일 실시예에 따른 웨어러블 장치는 화면의 전체적인 밝기 정보, 외부 광의 세기, 사용자의 안경 착용 여부, 사용자의 콘텐트 렌즈 착용 여부, 눈꺼풀의 두께 또는 이들의 조합에 기반하여, 화면 내 표시된 객체를 선택하기 위한 영역의 사이즈를 결정할 수 있다.
도 13은, 다양한 실시예들에 따른 웨어러블 장치가 동공 사이즈에 기반하여 사용자 입력을 식별하는 예시적인 동작을 도시한 흐름도이다. 도 13의 웨어러블 장치는 도 1 내지 도 11의 웨어러블 장치(101)를 포함할 수 있다. 도 13의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 13의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 13의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 13을 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1310에서, 화면 내의 객체에 인접하여 위치된 사용자의 시선 데이터를 카메라를 통해 획득할 수 있다. 동작 1310은 도 12의 동작 1220에 참조될 수 있다.
도 13을 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1320에서, 눈과 관련된 사용자의 상태 정보를 카메라를 통해 획득할 수 있다. 웨어러블 장치는 카메라를 통해 획득한 이미지를 이용하여, 사용자가 안경을 착용하였는지 여부를 식별할 수 있다. 웨어러블 장치는 사용자가 안경을 착용하였는지 여부를 식별한 것에 기반하여, 서로 다른 시선 데이터를 획득할 수 있다. 웨어러블 장치는 사용자가 콘택트렌즈를 착용하였는지 여부에 기반하여 서로 다른 시선 데이터를 추론할 수 있다. 웨어러블 장치는 상기 눈의 크기를 나타내는 데이터, 상기 사용자의 눈꺼풀의 두께를 나타내는 데이터, 또는 이들의 조합을 포함하는 상태 정보를 이용하여, 눈의 동공의 사이즈를 식별할 수 있다.
도 13을 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1330에서, 눈의 동공의 사이즈에 대한 정보를 적어도 하나의 카메라를 통해 획득할 수 있다. 웨어러블 장치는 카메라를 통해 획득한 이미지를 이용하여 눈의 동공의 사이즈를 식별할 수 있다.
도 13을 참고하면, 일 실시예에 따른 웨어러블 장치는 동작 1340에서, 눈과 관련된 사용자의 상태 정보 및 동공의 사이즈에 기반하여 시선 데이터를 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 웨어러블 장치는 상태 정보 및 동공의 사이즈에 기반하여 시선 데이터를 획득할 수 있다. 웨어러블 장치는 상태 정보 및 동공의 사이즈에 기반하여, 객체를 선택하기 위한 영역의 사이즈를 설정할 수 있다. 웨어러블 장치는 객체를 선택하기 위한 영역 내에 시선 데이터에 의해 나타내어진 위치가 포함되는지 여부에 따라 시선 데이터를 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다.
도 14는, 다양한 실시예들에 따른 웨어러블 장치의 예시적인 동작을 도시한 흐름도이다. 도 14의 웨어러블 장치는 도 1 내지 도 11의 웨어러블 장치(101)를 포함할 수 있다. 도 14의 동작들 중 적어도 하나는 도 1의 웨어러블 장치(101)에 의해 수행될 수 있다. 도 14의 동작들 중 적어도 하나는 도 4의 프로세서(420)에 의해 제어될 수 있다. 도 14의 동작들 각각은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 동작들 각각의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수 있다.
도 14를 참고하면, 동작 1410에서, 일 실시예에 따른 웨어러블 장치는 화면을 적어도 하나의 디스플레이 상에 표시할 수 있다. 웨어러블 장치는 적어도 하나의 객체(예, 도 1의 시각적 객체(120))를 포함하는 화면(예, 도 1의 화면(110))을 디스플레이 상에 표시할 수 있다. 동작 1410은 도 12의 동작 1210에 참조될 수 있다.
도 14를 참고하면, 동작 1420에서 일 실시예에 따른 웨어러블 장치는 카메라를 이용하여 사용자의 시선 데이터를 획득할 수 있다. 웨어러블 장치는 카메라를 통해 획득한 이미지를 이용하여 시선 데이터를 획득할 수 있다. 웨어러블 장치는 시선 데이터를 화면 내 적어도 하나의 위치와 매핑하기 위해 유저 캘리브레이션을 수행할 수 있다. 웨어러블 장치는 유저 캘리브레이션을 수행한 이후, 시선 데이터의 위치를 보정하기 위한 동작을 더 수행할 수 있다.
도 14를 참고하면 동작 1430에서 일 실시예에 따른 웨어러블 장치는 사용자의 상태 정보를 획득하기 위한 입력을 식별할 수 있다. 상태 정보는 사용자의 눈과 관련된 정보를 포함할 수 있다.
도 14를 참고하면, 사용자의 상태 정보를 획득하기 위한 입력을 식별하지 못한 경우(동작 1430-아니오), 동작 1440에서 일 실시예에 따른 웨어러블 장치는 사용자의 시선 데이터를 이용하여, 객체를 위한 영역을 설정할 수 있다. 웨어러블 장치는 도 4의 시선 추적기(433)를 이용하여 식별된 시선 데이터를 이용하여 객체를 선택하기 위한 영역의 사이즈를 설정할 수 있다.
도 14를 참고하면, 사용자의 상태 정보를 획득하기 위한 입력을 식별한 경우(동작 1430-예), 동작 1450에서, 일 실시예에 따른 웨어러블 장치는 눈과 관련된 사용자의 상태 정보를 적어도 하나의 카메라를 통해 획득할 수 있다. 웨어러블 장치는 카메라를 통해, 도 4의 상태 정보 식별기(435)의 실행에 기반하여, 사용자가 안경을 착용하였는지 여부를 나타내는 데이터, 콘텍트 렌즈를 착용하였는지 여부를 나타내는 데이터, 사용자의 눈꺼풀의 두께를 나타내는 데이터, 및/또는 눈의 크기를 나타내는 데이터를 포함하는 상태 정보를 획득할 수 있다.
도 14를 참고하면, 동작 1460에서, 일 실시예에 따른 웨어러블 장치는 화면의 전체적인 밝기 레벨, 조도 레벨, 및 상태 정보 중 적어도 하나에 기반하여 설정된 사이즈를 가지는, 객체를 위한, 영역을 이용하여, 시선 데이터를 객체에 대한 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 웨어러블 장치는 화면의 전체적인 밝기 레벨, 조도 레벨, 및/또는 상태 정보를 이용하여, 도 4의 시선 예측기(434)의 실행에 기반하여, 시선 데이터의 정확도 및/또는 정밀도를 추론(infer)(또는 예측)할 수 있다. 웨어러블 장치는 추론된 정확도 및/또는 정밀도에 기반하여, 객체를 선택하기 위한 영역의 사이즈를 결정할 수 있다. 웨어러블 장치는 화면에 매칭되는 시선 데이터의 위치가, 영역 내에 위치하는지 여부에 따라, 시선 데이터를 사용자 입력으로 인식할 것인지 여부를 결정할 수 있다. 웨어러블 장치는 지정된 시간 동안 시선 데이터의 위치가 영역 내에 위치하는 경우, 객체로부터 제공되는 기능의 수행을 개시할 수 있다.
메타버스(Metaverse)는 '가상', '초월'을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 지칭한다. 메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다. 메타버스 서비스는, 증강 현실(augmented reality, AR), 가상 현실(virtual reality environment, VR), 혼합 현실(mixed environment, MR) 및/또는 확장 현실(extended reality, XR)에 기반하여, 상기 가상 세계에 대한 몰입을 강화하기 위한 미디어 콘텐트를 제공할 수 있다.
예를 들어, 메타버스 서비스에 의해 제공되는 미디어 콘텐트는, 아바타에 기반하는 게임, 콘서트, 파티 및/또는 회의를 포함하는 소셜 인터랙션(social interaction) 콘텐트를 포함할 수 있다. 예를 들어, 상기 미디어 콘텐트는, 광고, 사용자 제작 콘텐트(user created content) 및/또는 제작물의 판매 및/또는 쇼핑과 같은 경제 활동을 위한 정보를 포함할 수 있다. 상기 사용자 제작 콘텐트의 소유권은 블록체인 기반의 NFT(non-fungible token)에 의하여 증명될 수도 있다. 메타버스 서비스는, 실물 화폐 및/또는 암호 화폐에 기반하는 경제 활동을 지원할 수 있다. 메타버스 서비스에 의하여, 디지털 트윈(digital twin) 또는 라이프 로깅(life logging)과 같이, 현실 세계와 연계된 가상 콘텐트가 제공될 수 있다.
도 15는 다양한 실시예들에 따른 서버(1510)를 통해 메타버스 서비스를 제공받는 예시적인 네트워크 환경(1501)을 도시한 다이어그램이다.
도 15을 보면, 네트워크 환경(1501)은, 서버(1510), 사용자 단말(1520)(예, 제1 단말(1520-1) 및 제2 단말(1520-2)), 및 서버(1510) 와 사용자 단말(1520)을 연결하는 네트워크를 포함할 수 있다. 네트워크 환경(1501) 내에서, 서버(1510)는 사용자 단말(1520)로 메타버스 서비스를 제공할 수 있다. 네트워크는, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(1530)에 의해 형성될 수 있다. 사용자 단말(1520)은, 네트워크를 통해 서버(1510)로 접속하여, 사용자 단말(1520)의 사용자에게 메타버스 서비스와 관련된 UI(user interface)를 출력할 수 있다. 상기 UI에 기반하여, 사용자 단말(1520)은 사용자로부터 메타버스 서비스로 입력될 정보를 획득하거나, 또는 사용자에게 메타버스 서비스와 관련된 정보(예, 멀티미디어 콘텐트)를 출력할 수 있다.
이때, 서버(1510)는 가상 공간을 제공하여 사용자 단말(1520)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(1520)은 서버(1510)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(1510)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다. 상기 S/W 에이전트는 서버(1510)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매 시에 임베딩되어 제공될 수 있다.
일 실시예에서, 메타버스 서비스는, 서버(1510)를 이용하여 사용자 단말(1520) 및/또는 사용자에게 제공될 수 있다. 본 개시가 이에 제한되는 것은 아니며, 메타버스 서비스는 사용자들 사이의 개별적인 접촉을 통해 제공될 수 있다. 예를 들어, 네트워크 환경(1501) 내에서, 메타버스 서비스는 서버(1510)와 독립적으로, 제1 단말(1520-1) 및 제2 단말(1520-2) 사이의 직접적인 연결에 의해 제공될 수 있다. 도 15을 참고하면, 네트워크 환경(1501) 내에서, 제1 단말(1520-1) 및 제2 단말(1520-2)은 적어도 하나의 중간 노드(1530)에 의해 형성된 네트워크를 통해 서로 연결될 수 있다. 제1 단말(1520-1) 및 제2 단말(1520-2)이 직접적으로 연결된 일 실시예에서, 제1 단말(1520-1) 및 제2 단말(1520-2) 중 어느 한 사용자 단말이, 서버(1510)의 역할을 수행할 수 있다. 예를 들어, 디바이스와 디바이스의 연결(예, P2P(peer-to-peer) 연결)만으로 메타버스 환경이 구성될 수 있다.
일 실시예에서, 사용자 단말(1520)(혹은 제1 단말(1520-1), 제 2 단말(1520-2)을 포함하는 사용자 단말(1520))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함할 수 있다. 사용자 단말(1520)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(1520-2)), AR 기기(예, 제1 단말(1520-1)), VR 기기, MR 기기, VST(Video See Through) 기기, OST(Optical See Through) 장치, 스마트 렌즈, 스마트 미러, 입출력 가능한 TV 또는 프로젝터를 포함할 수 있다.
본 개시의 네트워크(예, 적어도 하나의 중간 노드(1530)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 Wifi, BT 등을 포함하는 근거리 네트워크(예, 제1 단말(1520-1), 및 제2 단말(1520-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다.
일 실시예에 따른 웨어러블 장치는 웨어러블 장치를 착용한 사용자의 눈과 관련된 상태 및 웨어러블 장치의 주변 환경에 기반하여, 사용자의 시선 데이터가 디스플레이 상에 표시된 객체를 선택하기 위한 사용자 입력인지 여부를 결정할 수 있다. 웨어러블 장치가 시선 데이터를 객체를 선택하기 위한 사용자 입력으로 인식하기 위해 객체에 대한 영역의 사이즈를 결정하는 방안이 요구될 수 있다.
상술한 바와 같은 일 실시예에 따른 웨어러블 장치(예, 도 1의 웨어러블 장치(101))는 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라(예, 도 4의 카메라(440)), 상기 웨어러블 장치를 착용한 사용자(예, 도 1의 사용자(105))의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이(예, 도 4의 디스플레이(450)), 처리 회로를 포함하는, 적어도 하나의 프로세서(예, 도 4의 프로세서(420))를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 화면(예, 도 1의 화면(110))을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내의 객체(예, 도 1의 시각적 객체(120))와 관련된 시선 데이터(예, 도 1의 시선 데이터(125))를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역(예, 도 1의 영역(130))을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 시선 데이터에 의해 나타내어진 위치가 상기 영역 안에 위치되는지 여부를 확인하는 것에 기반하여, 상기 시선 데이터를 상기 입력으로 인식할 것인지 여부를 결정하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 영역 내의 상기 위치에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 영역 밖의 상기 위치에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 기준 범위 안에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 사이즈를 제1 사이즈로 설정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 기준 범위 밖에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 사이즈를 상기 제1 사이즈보다 큰 제2 사이즈로 설정하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 기준 범위 안에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 객체 밖에 위치된 상기 시선 데이터를 상기 입력으로 인식하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 기준 범위 밖에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 객체 밖에 위치된 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 영역이 가지는 상기 설정된 상기 사이즈에 대응하는 사이즈를 가지는 상기 객체를 상기 화면 내에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록, 더 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 사이즈에 기반하여, 상기 객체와 상기 화면 내의 다른 객체 사이의 거리를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 거리에 기반하여 배열된 상기 객체 및 상기 다른 객체를 포함하는 상기 화면을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록, 구성될 수 있다.
예를 들어, 웨어러블 장치는 상기 웨어러블 장치 주변의 조도(illuminance) 레벨을 획득하도록 구성된 조도 센서(예, 도 4의 조도 센서(460))를 더 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 조도 레벨에 더 기반하여, 상기 영역의 상기 사이즈를 설정하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 눈과 관련된 상기 사용자의 상태 정보를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 상태 정보에 더 기반하여, 상기 영역의 상기 사이즈를 설정하도록, 더 구성될 수 있다.
예를 들어, 상기 상태 정보는, 상기 사용자가 안경을 착용하였는지 여부를 나타내는 데이터, 상기 사용자가 콘택트렌즈를 착용하였는지 여부를 나타내는 데이터, 상기 눈의 크기를 나타내는 데이터, 상기 사용자의 눈꺼풀의 두께를 나타내는 데이터, 또는 이들의 조합을 포함할 수 있다.
상술한 바와 같은 일 실시예에 따른 웨어러블 장치는 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라, 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이, 및 처리 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내의 객체에 인접하여 위치된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 눈의 동공의 사이즈에 대한 정보를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 제1 사이즈에 응답하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식하고, 상기 입력으로 인식된 상기 시선 데이터에 기반하여 상기 객체로부터 제공되는 기능을 활성화하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 사이즈보다 큰 제2 사이즈에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정함으로써 상기 기능을 비활성화하는 것을 유지하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 사이즈인 상기 사이즈에 기반하여, 상기 객체를 위한 제1 영역을 획득하고, 상기 시선 데이터에 의해 나타내어진 위치가 상기 제1 영역 안에 위치된다는 결정에 기반하여 상기 시선 데이터를 상기 입력으로 인식하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 사이즈인 상기 사이즈에 기반하여, 상기 제1 영역보다 좁은 상기 객체를 위한 제2 영역을 획득하고, 상기 위치가 상기 제2 영역 밖에 위치된다는 결정에 기반하여 상기 시선 데이터를 상기 사용자 입력으로 인식하지 않음을 결정하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 사이즈인 상기 사이즈에 기반하여, 상기 객체 및 상기 객체로부터 제1 거리만큼 이격된 다른 객체를 포함하는 상기 화면을 표시하기 위하여 상기 웨어러블 장치를 제어하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 사이즈인 상기 사이즈에 기반하여, 상기 객체 및 상기 객체로부터 상기 제1 거리보다 짧은 제2 거리만큼 이격된 상기 다른 객체를 포함하는 상기 화면을 표시하기 위하여 상기 웨어러블 장치를 제어하도록, 더 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 사이즈에 응답하여, 상기 기능을 활성화하기 전 상기 객체 상에 중첩된 포인터를 표시하기 위하여 상기 웨어러블 장치를 제어하도록, 구성될 수 있다.
예를 들어, 상기 화면은 상기 객체와 함께 표시된 다른 객체를 더 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 사이즈에 응답하여, 상기 시선 데이터를 상기 객체에 대한 상기 입력 대신, 상기 다른 객체에 대한 다른 입력으로 인식하고, 상기 다른 입력으로 인식된 상기 시선 데이터에 기반하여 상기 다른 객체로부터 제공되는 다른 기능을 활성화하도록, 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 적어도 하나의 카메라를 통해 상기 눈과 관련된 상기 사용자의 상태 정보를 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 상태 정보에 기반하여, 상기 제1 사이즈에 불구하고, 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정함으로써 상기 기능을 비활성화하는 것을 유지하도록, 더 구성될 수 있다.
예를 들어, 상기 상태 정보는, 상기 사용자가 안경을 착용하였는지 여부를 나타내는 데이터, 상기 사용자가 콘택트렌즈를 착용하였는지 여부를 나타내는 데이터, 상기 눈의 크기를 나타내는 데이터, 상기 사용자의 눈꺼풀의 두께를 나타내는 데이터, 또는 이들의 조합을 포함할 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 사이즈인 상기 사이즈에 기반하여, 상기 화면 내의 상기 객체의 위치 및 상기 시선 데이터에 의해 나타내어진 상기 위치 사이의 제1 차이에 기반하여, 상기 제1 영역을 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 사이즈인 상기 사이즈에 기반하여, 상기 객체의 상기 위치 및 상기 시선 데이터에 의해 나타내어진 상기 위치 사이의 제2 차이에 기반하여, 상기 제1 영역보다 작은 상기 제2 영역을 획득하도록 구성될 수 있다.
예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내의 상기 객체의 위치에 기반하여, 상기 객체를 위한 영역의 사이즈를 설정하도록 더 구성될 수 있다.
상술한 바와 같은 일 실시예에 따른, 아이 트래킹(eye tracking)을 위한 적어도 하나의 카메라와 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬되도록 구성된 적어도 하나의 디스플레이를 가지는 웨어러블 장치 내에서 실행되는 방법에 있어서, 상기 방법은, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하는 동작을 포함할 수 있다. 상기 방법은 상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하는 동작을 포함할 수 있다.
상술한 바와 같은 일 실시예에 따른 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 하나 이상의 프로그램들은, 아이 트래킹(eye tracking)을 위한 적어도 하나의 카메라와 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬되도록 구성된 적어도 하나의 디스플레이를 가지는 웨어러블 장치의 적어도 하나의 프로세서에 의해, 개별적으로 및/또는 집합적으로, 실행될 시, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은 상기 웨어러블 장치에 의해 실행될 시, 상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로 그램들은 상기 웨어러블 장치에 의해 실행될 시, 상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은 상기 웨어러블 장치에 의해 실행될 시, 상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하도록, 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른 웨어러블 장치는, 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라, 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이, 및 처리 회로를 포함하는, 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 화면을 상기 적어도 하나의 디스플레이 상에서 표시하기 위하여 상기 웨어러블 장치를 제어하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 눈과 관련된 상기 사용자의 상태 정보 및 상기 화면 내의 객체와 관련된 상기 사용자의 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내 제1 위치에 표시된 상기 객체에 기반하여, 상기 상태 정보에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한 제1 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 화면 내 상기 제1 위치와 구분되고 상기 화면의 가장 자리들 중 적어도 하나에 인접한 제2 위치에 표시된 상기 객체에 기반하여, 상기 상태 정보에 기반하여 설정된 다른 사이즈를 가지는, 상기 객체를 위한 제2 영역을 이용하여 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하도록 구성될 수 있다. 상기 제2 영역의 상기 다른 사이즈는 상기 제1 영역의 상기 사이즈보다 클 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 다양한 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야의 기술자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이, 비록 다양한 예시적인 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면, 다양한 변형이, 첨부된 청구항들 및 그 균등물들을 포함하는, 본 개시의 전체 범위로부터 분리되지 않고 만들어질 수 있는 것으로 인식할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 여기에 설명된 실시예(들)의 어느 것도 여기에 설명된 다른 실시예(들)과 결합되어 사용될 수 있는 것으로 이해될 것이다.

Claims (15)

  1. 웨어러블 장치에 있어서,
    아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라;
    상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이;
    인스트럭션들을 저장하는, 하나 이상의 저장 매체들을 포함하는, 메모리; 및
    처리 회로를 포함하는 적어도 하나의 프로세서를 포함하고,
    상기 인스트럭션들은, 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    화면을 상기 적어도 하나의 디스플레이 상에서 표시하고,
    상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하고,
    상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하고, 및
    상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하도록, 야기하는,
    웨어러블 장치.
  2. 청구항 1에 있어서, 상기 인스트럭션들은, 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    상기 시선 데이터에 의해 나타내어진 위치가 상기 영역 안에 위치되는지 여부를 확인하는 것에 기반하여, 상기 시선 데이터를 사용자 입력으로 인식할 것인지 여부를 결정하도록, 야기하는,
    웨어러블 장치.
  3. 청구항 2에 있어서, 상기 인스트럭션들은, 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    상기 영역 내의 상기 위치에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하고, 및
    상기 영역 밖의 상기 위치에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정하도록, 야기하는,
    웨어러블 장치.
  4. 청구항 1에 있어서, 상기 인스트럭션들은, 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    기준 범위 안에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 사이즈를 제1 사이즈로 설정하고, 및
    상기 기준 범위 밖에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 사이즈를 상기 제1 사이즈보다 큰 제2 사이즈로 설정하도록, 야기하는,
    웨어러블 장치.
  5. 청구항 1에 있어서, 상기 인스트럭션들은, 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    기준 범위 안에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 객체 밖에 위치된 상기 시선 데이터를 상기 입력으로 인식하고, 및
    상기 기준 범위 밖에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 객체 밖에 위치된 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정하도록, 야기하는,
    웨어러블 장치.
  6. 청구항 1에 있어서, 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 시, 상기 전자 장치가 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    상기 영역이 가지는 상기 설정된 상기 사이즈에 대응하는 사이즈를 가지는 상기 객체를 상기 화면 내에서 표시하도록, 더 야기하는,
    웨어러블 장치.
  7. 청구항 1에 있어서, 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    상기 사이즈에 기반하여, 상기 객체와 상기 화면 내의 다른 객체 사이의 거리를 결정하고, 및
    상기 거리에 기반하여 배열된 상기 객체 및 상기 다른 객체를 포함하는 상기 화면을 상기 적어도 하나의 디스플레이 상에서 표시하도록, 야기하는,
    웨어러블 장치.
  8. 청구항 1에 있어서,
    상기 웨어러블 장치 주변의 조도(illuminance) 레벨을 획득하도록 구성된 조도 센서를 더 포함하고, 및
    상기 인스트럭션들은, 적어도 하나의 프로세서에 의해 개별적으로 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    상기 조도 레벨에 더 기반하여, 상기 영역의 상기 사이즈를 설정하도록, 더 야기하는,
    웨어러블 장치.
  9. 청구항 1에 있어서, 상기 인스트럭션들은, 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 시, 상기 전자 장치가 및/또는 집합적으로 실행될 시, 상기 웨어러블 장치가,
    상기 눈과 관련된 상기 사용자의 상태 정보를 상기 적어도 하나의 카메라를 통해 획득하고,
    상기 상태 정보에 더 기반하여, 상기 영역의 상기 사이즈를 설정하도록, 더 야기하는,
    웨어러블 장치.
  10. 청구항 9에 있어서, 상기 상태 정보는,
    상기 사용자가 안경을 착용하였는지 여부를 나타내는 데이터, 상기 사용자가 콘택트렌즈를 착용하였는지 여부를 나타내는 데이터, 상기 눈의 크기를 나타내는 데이터, 상기 사용자의 눈꺼풀의 두께를 나타내는 데이터, 또는 이들의 조합을 포함하는,
    웨어러블 장치.
  11. 웨어러블 장치를 운영하는 방법에 있어서, 상기 웨어러블 장치는, 아이 트래킹(eye tracking)을 위하여 구성된 적어도 하나의 카메라, 및 상기 웨어러블 장치를 착용한 사용자의 눈에 대하여 정렬(align)되도록 구성된 적어도 하나의 디스플레이를 포함함,
    화면을 상기 적어도 하나의 디스플레이 상에서 표시하는 동작;
    상기 화면 내의 객체와 관련된 시선 데이터를 상기 적어도 하나의 카메라를 통해 획득하는 동작;
    상기 화면의 전체적인 밝기 레벨에 기반하여 설정된 사이즈를 가지는, 상기 객체를 위한, 영역을 이용하여, 상기 시선 데이터를 상기 객체에 대한 입력으로 인식할 것인지 여부를 결정하는 동작; 및
    상기 입력으로 인식된 상기 시선 데이터에 기반하여, 상기 객체로부터 제공되는 기능을 실행하는 동작을 포함하는,
    방법.
  12. 청구항 11에 있어서, 상기 결정하는 동작은,
    상기 시선 데이터에 의해 나타내어진 위치가 상기 영역 안에 위치되는지 여부를 확인하는 것에 기반하여, 상기 시선 데이터를 상기 입력으로 인식할 것인지 여부를 결정하는 동작을 포함하는,
    방법.
  13. 청구항 12에 있어서, 상기 결정하는 동작은,
    상기 영역 내의 상기 위치에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하는 동작, 및
    상기 영역 밖의 상기 위치에 응답하여, 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정하는 동작을 포함하는,
    방법.
  14. 청구항 11에 있어서,
    기준 범위 안에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 사이즈를 제1 사이즈로 설정하는 동작; 및
    상기 기준 범위 밖에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 사이즈를 상기 제1 사이즈보다 큰 제2 사이즈로 설정하는 동작을 더 포함하는,
    방법.
  15. 청구항 11에 있어서, 상기 결정하는 동작은,
    기준 범위 안에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 객체 밖에 위치된 상기 시선 데이터를 상기 입력으로 인식하는 동작; 및
    상기 기준 범위 밖에 있는 상기 전체적인 밝기 레벨에 기반하여, 상기 객체 밖에 위치된 상기 시선 데이터를 상기 입력으로 인식하지 않음을 결정하는 동작을 포함하는,
    방법.
PCT/KR2024/007299 2023-08-21 2024-05-29 사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체 Pending WO2025041979A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/742,921 US12498787B2 (en) 2023-08-21 2024-06-13 Wearable device, method and computer readable storage medium for identifying gaze of user

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2023-0109431 2023-08-21
KR20230109431 2023-08-21
KR1020230133511A KR20250028162A (ko) 2023-08-21 2023-10-06 사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체
KR10-2023-0133511 2023-10-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/742,921 Continuation US12498787B2 (en) 2023-08-21 2024-06-13 Wearable device, method and computer readable storage medium for identifying gaze of user

Publications (1)

Publication Number Publication Date
WO2025041979A1 true WO2025041979A1 (ko) 2025-02-27

Family

ID=94732076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/007299 Pending WO2025041979A1 (ko) 2023-08-21 2024-05-29 사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체

Country Status (1)

Country Link
WO (1) WO2025041979A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590659B1 (ko) * 2004-11-23 2006-06-19 주식회사 팬택 동공 크기를 감지하여 밝기 조절이 가능한 디스플레이장치 및 이를 구비한 이동통신 단말기
KR20150108282A (ko) * 2014-03-17 2015-09-25 홍익대학교 산학협력단 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법
KR20170087728A (ko) * 2016-01-21 2017-07-31 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20230066248A (ko) * 2021-11-06 2023-05-15 삼성전자주식회사 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
KR20230089502A (ko) * 2021-12-13 2023-06-20 삼성전자주식회사 기능 자동 실행 과정에서 가변형 ui와 사용자 반응을 활용한 기능 실행 및 취소 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590659B1 (ko) * 2004-11-23 2006-06-19 주식회사 팬택 동공 크기를 감지하여 밝기 조절이 가능한 디스플레이장치 및 이를 구비한 이동통신 단말기
KR20150108282A (ko) * 2014-03-17 2015-09-25 홍익대학교 산학협력단 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법
KR20170087728A (ko) * 2016-01-21 2017-07-31 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20230066248A (ko) * 2021-11-06 2023-05-15 삼성전자주식회사 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
KR20230089502A (ko) * 2021-12-13 2023-06-20 삼성전자주식회사 기능 자동 실행 과정에서 가변형 ui와 사용자 반응을 활용한 기능 실행 및 취소 방법 및 그 장치

Similar Documents

Publication Publication Date Title
WO2025041979A1 (ko) 사용자의 시선을 식별하기 위한 웨어러블 장치, 방법 및 컴퓨터 판독 가능 저장 매체
WO2025048133A1 (ko) 아바타를 표시하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024205075A1 (ko) 화면을 생성하기 위한 렌더링 데이터를 외부 전자 장치에게 송신하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2025155017A1 (ko) 가상 객체의 이동경로 생성 방법 및 이를 위한 전자 장치
WO2025023480A1 (ko) 가상 공간의 전환에 기반하여 화면을 변경하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025053423A1 (ko) 카메라로부터 획득된 이미지를 합성하기 위한 전자 장치 및 그 방법
WO2025018552A1 (ko) 외부 전자 장치와 통신하기 위한 웨어러블 장치 및 그 방법
WO2024215173A1 (ko) 디스플레이 상에 외부 객체의 사이즈에 대응하는 화면을 표시하기 위한 전자 장치, 방법 및 컴퓨터 판독 가능 저장 매체
WO2025018554A1 (ko) 객체 인식에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 방법
WO2025053426A1 (ko) 보안 수준을 나타내는 시각적 정보를 제공하기 위한 장치 및 방법
WO2025258821A1 (ko) 조인 영역을 이용하여 어플리케이션을 통해 다른 전자 장치와 연결되는 방법 및 장치
WO2025048131A1 (ko) 추적을 위한 이미지를 획득하기 위한 전자 장치, 방법, 및 저장 매체
WO2025037953A1 (ko) 다수의 제공자들의 아바타들을 관리하고 표시하기 위한 전자 장치 및 방법
WO2025110582A1 (ko) 외부 객체에 대한 거리를 측정하기 위한 장치 및 방법
WO2025164971A1 (ko) 시선 위치의 정보를 획득하기 위하여 가상 객체를 이동하기 위한 웨어러블 장치 및 그 방법
WO2024258008A1 (ko) 가상 환경 내 콘텐트를 표시하기 위한 전자 장치 및 방법
WO2025023449A1 (ko) 진동을 출력하도록 외부 전자 장치를 제어하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025164933A1 (ko) 사용자의 시선 정보의 보정을 위한 웨어러블 장치, 방법, 및 컴퓨터 판독가능 저장 매체
WO2025018555A1 (ko) 가상 환경에서 외부 객체를 추적하기 위한 전자 장치 및 방법
WO2024167191A1 (ko) 외부 광에 기반하여 가상 객체에 대한 렌더링을 수행하기 위한 웨어러블 장치 및 그 방법
WO2024177289A1 (ko) 가상 공간에 외부 객체에 대응하는 가상 객체를 배치하기 위한 웨어러블 장치 및 그 방법
WO2024262807A1 (ko) 가상 객체의 자세를 변경하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024128843A1 (ko) 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025225926A1 (ko) 아바타의 전역 움직임을 생성하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2025023499A1 (ko) 외부 전자 장치에 대한 위치 관계에 기반하여 외부 전자 장치와 통신하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24856598

Country of ref document: EP

Kind code of ref document: A1