[go: up one dir, main page]

WO2017051595A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2017051595A1
WO2017051595A1 PCT/JP2016/070725 JP2016070725W WO2017051595A1 WO 2017051595 A1 WO2017051595 A1 WO 2017051595A1 JP 2016070725 W JP2016070725 W JP 2016070725W WO 2017051595 A1 WO2017051595 A1 WO 2017051595A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
adjustment
line
sight
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/070725
Other languages
English (en)
French (fr)
Inventor
翼 塚原
木村　淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2017051595A1 publication Critical patent/WO2017051595A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a calibration image having marker points at the four corners and the center of a display screen is displayed on a head mounted display (HMD), and the user aligns his / her line of sight with the marker points at the start of use. It is described that calibration is performed.
  • HMD head mounted display
  • a line-of-sight information acquisition unit that acquires line-of-sight information when viewing display information
  • an adjustment execution unit that adjusts a positional relationship of the line-of-sight information with respect to the display information, the display information
  • the adjustment execution capable of executing a first adjustment for adjusting the line-of-sight information and a second adjustment for adjusting the line-of-sight information with respect to the display information based on an information amount smaller than the first adjustment.
  • an information processing apparatus including the unit.
  • the adjustment execution unit adjusts the direction of the line of sight with respect to a plurality of reference positions on the display screen corresponding to the display information, and on the display screen less than the first adjustment.
  • the second adjustment for adjusting the direction of the line of sight with respect to the reference position may be executable.
  • an image processing unit that generates an image in which a marker indicating the reference position is displayed on the display screen, and an offset between the line-of-sight information acquired in a state where the direction of the line of sight faces the reference position and the reference position
  • An offset amount acquisition unit that acquires an amount, and the adjustment execution unit may perform the first or second adjustment based on the offset amount.
  • the mode selection unit may determine whether to perform the first adjustment or the second adjustment based on information about a user or information about display content.
  • the mode selection unit may determine whether to perform the first adjustment or the second adjustment based on a user action recognition result.
  • the mode selection unit may determine whether to perform the first adjustment or the second adjustment based on display content.
  • the image processing unit may display the marker at the center of the display screen.
  • the image processing unit may display the marker so that the size of the marker decreases with the passage of time at the center of the display screen.
  • the image processing unit may display a countdown display together with the marker.
  • the image processing unit may display the marker in an area frequently used in the display screen by an application displayed on the display screen.
  • the image processing unit may display the marker of the 3D display at a depth position that is frequently used in an application displayed on the display screen.
  • the marker may be displayed when the application displayed on the display screen is activated, when the application is activated, or when the application is terminated.
  • the image processing unit may display the markers at least in the center and at the four corners of the display screen.
  • a sensor adjustment execution unit that adjusts the reference position on the display screen and the reference direction obtained by the position sensor during execution of the second adjustment may be provided.
  • it may be mounted on a head mounted display that provides the display information.
  • An information processing method comprising: adjusting the line-of-sight information with respect to the display information based on a smaller amount of information than the first adjustment.
  • a program is provided.
  • FIG. 13 It is a schematic diagram which shows the example which performs 3D display of the virtual object which gave the three-dimensional expression as a display at the time of performing the calibration by a 2nd image.
  • FIG. 13 it is a schematic diagram which respectively shows the image which a display part on either side displays, and a user's left and right eyes visually recognize.
  • It is a flowchart which shows the process performed by HMD.
  • the line-of-sight adjustment apparatus 1000 constitutes a head mounted display (hereinafter referred to as HMD (Head Mounted Display)) 1100 together with the glasses 900.
  • HMD Head Mounted Display
  • the line-of-sight adjusting apparatus 1000 includes a main body unit 100, a display unit 200, a line-of-sight camera 300, a front camera 400, a sound acquisition unit (microphone) 500, an operation input unit (operation switch) 600, and a 9-axis sensor. 650 (not shown in FIG. 1).
  • the 9-axis sensor 650 is built in the main body 100.
  • the main body 100 incorporates a control board for controlling the operation of the line-of-sight adjustment apparatus 1000.
  • the main body unit 100 includes a control board having a CPU (Central Processing Unit) or a RAM (Random Access Memory) and the like, using a signal line or the like, the line-of-sight camera 300, the front camera 400, and the sound acquisition unit 500. Connected.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • the display unit 200 is provided in a portion of the lens 902 of the glasses 900, and displays an image such as a text or a figure in a transparent or translucent state, thereby displaying an AR virtual object (GUI) in a real space landscape. Superimposed display is possible. That is, the HMD 1100 is realized as a transmissive HMD.
  • the display unit 200 projects the image light provided from the main body unit 100 toward the outside of the line-of-sight adjustment apparatus 1000, that is, the eyes of the user wearing the HMD 1100.
  • the HMD 1100 may not be a transmissive type. In other words, the display unit may be provided separately from the lens 902 and provide an image to the user's pupil.
  • the line-of-sight camera 300 is provided on the nose of the glasses 900.
  • the line-of-sight camera 300 includes an image sensor such as a CMOS sensor, captures an image of the user's pupil, and detects the direction of the user's line of sight.
  • the front camera 400 has an image sensor such as a CMOS sensor, captures an external field image in front of the glasses 900, and acquires image data representing the external field image.
  • the line-of-sight adjustment apparatus 1000 can obtain the distance to each object existing in the real space based on the principle of triangulation.
  • Image data representing the external image acquired by the front camera 400 is sent to the main body 100.
  • the voice acquisition unit 500 acquires voices uttered by the user, external sounds, and the like as voice data.
  • the user can cause the line-of-sight adjustment apparatus 1000 to perform a desired operation by uttering a command by voice.
  • the operation input unit 600 includes a switch that can be operated by a user to input a desired command.
  • the user can cause the line-of-sight adjustment apparatus 1000 to perform a desired operation by operating the operation input unit 600.
  • the contents of the operation input from the operation input unit 600 can be displayed on the display unit 200.
  • the HMD 1100 has the above-described configuration, so that a virtual object or the like displayed by the display unit 200 is superimposed and displayed on a real space that the user visually recognizes through the lens 902 of the glasses 900, so-called real objects. Spatial computing can be realized.
  • FIG. 2 is a schematic diagram showing an image obtained when the user visually recognizes the front with the HMD 1100.
  • FIG. 2 shows an image visually recognized by the user when using a cycling application described later.
  • an icon 952 that is a virtual object is superimposed and displayed on an image of the real space (road surface 950 of the road).
  • a device such as a personal computer or a smart phone, when an icon is selected, an operation such as operating the cursor with a mouse and clicking the icon or tapping the icon on the touch panel is required.
  • the line of sight when the line of sight is directed to the displayed icon 952, it is detected by the line-of-sight camera 300 that the direction of the line of sight is directed to the icon 952, and the voice acquisition unit Audio data is acquired by 500, so that an icon 952 with a line of sight can be selected.
  • a predetermined gesture may be performed using a hand with the line of sight directed to the displayed icon 952.
  • the gesture is detected by the front camera 400, and the icon 952 with a line of sight can be selected using the detection of the gesture as a trigger.
  • the user can select the icon 952 due to a time-out by directing his / her line of sight to the displayed icon 952 for a predetermined time.
  • the icon 952 can be selected by performing a predetermined operation from the operation input unit 600 in a state where the line of sight is directed to the displayed icon 952.
  • the type of virtual object displayed by the display unit 200 differs depending on the application used by the HMD 1100.
  • Examples of these applications include exercise applications used in exercise (exercise) such as games, jogging, and cycling.
  • the display unit 200 Since the display unit 200 is provided on the left and right sides corresponding to the left and right lenses 902, it is possible to display a 3D virtual object (stereoscopic display (3D display)) by giving parallax to the left and right images.
  • a 3D virtual object stereographic display (3D display)
  • the 3D virtual object can be displayed in correspondence with the depth position of the object in the real space.
  • a 3D virtual object (such as a cup) can be displayed on a desk that exists in real space. Thereby, the user can visually recognize an image as if a cup is actually placed on a desk in real space.
  • FIG. 3 is a block diagram illustrating a configuration of the main body 100 of the line-of-sight adjustment apparatus 1000.
  • the main unit 100 has a CPU, and the configuration shown in FIG. 3 can be configured by a CPU and a program (software) for causing the CPU to function.
  • the main body 100 includes an image processing unit 102, an offset amount detection unit 104, a line-of-sight position detection unit 108, a sensor adjustment execution unit 110, and an image memory 112.
  • the line-of-sight position detection unit 108 includes a line-of-sight information acquisition unit 108a and an adjustment execution unit 108b.
  • the line-of-sight position detection unit 108 obtains pupil position coordinates (line-of-sight information) from the line-of-sight camera 300.
  • the adjustment execution unit 108b can switch and execute a first calibration and a second calibration described later;
  • the image memory 112 stores information related to applications used by the user in the HMD 1100. Based on the image information acquired from the image memory 112, the image processing unit 102 generates an image to be projected from the display unit 200 to the outside (user's eyes). As a result, the icon 952 described above can be displayed superimposed on an object in real space.
  • an image such as a game character is generated by the image processing unit 102 and projected to the user's eyes.
  • an image such as a game character is generated by the image processing unit 102 and projected to the user's eyes.
  • an image such as a traveling speed, a traveling distance, navigation information, and the like is generated by the image processing unit 102. Projected on the eyes.
  • the image processing unit 102 receives an external image in front of the glasses 900 captured by the front camera 400.
  • the external image captured by the front camera 400 is subjected to image processing in the image processing unit 102 and is projected to the outside (user's eyes) from the display unit 200 as necessary.
  • the image processing unit 102 can generate a grid indicating the position in the depth direction of the object in the external image based on the external image captured by the front camera 400.
  • the generated grid is displayed so as to be superimposed on an object in real space that the user sees through the lens 902. Thereby, the user can visually recognize an image in which a grid is superimposed on an object in real space viewed with the eyes, and can instantaneously obtain information such as the distance to the object.
  • the line-of-sight position detection unit 108 can detect the position coordinates of the pupil based on the image of the user's pupil captured by the line-of-sight camera 300 and detect the direction of the line of sight of the user. As a result, the line-of-sight adjustment apparatus 1000 can perform processing based on the correspondence between the direction of the line of sight and the position of the image of the application.
  • the direction of the user's line of sight detected by the line-of-sight position detection unit 108 is input to the image processing unit 102.
  • the line-of-sight position detection unit 108 detects the direction of the user's line of sight, an operation based on the direction of the line of sight as described above can be performed.
  • the image processing unit 102 can detect a state in which the user's line of sight is facing a specific character displayed as a virtual object while the user is using a game application.
  • the gesture is detected by the front camera 400, and a certain action can be performed on the character using the detection of the gesture as a trigger.
  • the character when a user performs a predetermined gesture while the line of sight is facing a specific character, the character can be moved according to the movement direction of the line of sight or the movement direction of the gesture.
  • the image processing unit 102 generates an image in which the position of the character is moved, and the display unit 200 provides the generated image to the user's pupil.
  • the line-of-sight adjustment apparatus 1000 can perform processing according to the direction of the user's line of sight.
  • the reference position of the direction of the line of sight needs to be set correctly.
  • the line-of-sight position detecting unit 108 determines the reference point of the position coordinate of the eye image by performing calibration.
  • the image processing unit 102 generates a calibration image, and the generated calibration image is projected to the outside (user's eyes) by the display unit 200.
  • the first image (hereinafter also referred to as a first calibration image) is an image shown in FIG. 4 as an example, and is provided to the user when the use of the HMD 1100 is started, for example.
  • FIG. 4 is an image visually recognized by the user wearing the HMD 1100, and shows a display by the display unit 200, and an image of the real space is superimposed on the display by the display unit 200.
  • strong calibration a plurality of calibration marker points are set in the display screen of the display unit 200, and a high-precision calibration is performed over a relatively long time. Perform
  • the first image includes marker points 700, 702, 704, 706, and 708 at the four corners and the center of the display screen.
  • Calibration is performed by the user aligning the line of sight with the marker point 700 at the center of the first image and operating the operation input unit 600. Further, instead of using the operation input unit 600, the front camera 400 detects a predetermined gesture performed by the user using a hand or the like, so that calibration can be performed.
  • the calibration of the line-of-sight position is performed based on the image of the user's pupil captured by the line-of-sight camera 300.
  • the user's pupil image captured by the line-of-sight camera 300 is sent to the line-of-sight position detection unit 108.
  • the line-of-sight position detection unit 108 detects the position coordinates of the pupil based on the image of the user's pupil captured by the line-of-sight camera 300, and detects the direction of the line of sight of the user.
  • the position coordinates of the pupil are sent to the image processing unit 102.
  • FIG. 5 is a schematic diagram for explaining the calibration of the line-of-sight position, and shows an image captured by the line-of-sight camera 300.
  • calibration is performed when the user looks toward the center marker point 700 shown in FIG.
  • the reference position hereinafter referred to as the center reference position
  • the center reference position is indicated by a dotted line.
  • calibration is performed so that the center reference position is positioned at the center of the screen 750 of the image captured by the visual line camera 300. Thereafter, as shown in FIG.
  • the image processing unit 102 detects the position coordinates (X, Y) of the image of the moved pupil 800 with the position of the pupil 800 at the time of calibration as the origin O. Thereby, the direction of the line of sight can be detected.
  • the reference position (hereinafter referred to as the upper left reference position) of the image of the pupil 800 at the time of calibration corresponds to the position where the line of sight faces the upper left marker point 702, and then the actual position of the pupil 800 is determined.
  • the position coordinates of the moved pupil 800 image are detected with the upper left reference position as the origin.
  • the pupil image is shifted from each reference position in accordance with the actual movement of the subsequent pupils.
  • the position coordinates of the moved pupil image are detected using each reference position as the origin.
  • which of the reference positions corresponding to the plurality of marker points 700, 702, 704, 706, and 708 is used as the origin is determined based on the reference position with the closest visual line direction according to the detected pupil direction. To do.
  • an announcement sentence such as “Please press the operation button while looking at the center marker point” or “Please press the operation button while looking at the marker point in the upper left” is an image. Generated by the processing unit 108 and displayed on the display unit 200.
  • the HMD 1100 may be shifted downward due to its own weight (hereinafter referred to as “hanging deviation”).
  • hanging deviation the position of the pupil 800 cannot be accurately detected, and the direction of the line of sight is determined correctly. Can not be. Therefore, if a shift occurs, it is necessary to perform calibration again or to correct the shift by the user.
  • FIGS. 6 and 7 are schematic diagrams for explaining a state in which the relative positional relationship between the HMD 1100 and the user's face is deviated when a misalignment occurs.
  • the upper row shows the positional relationship between the user's head and the HMD 1100
  • the lower row shows a screen 750 of an image captured by the visual line camera 300.
  • FIG. 6 shows a case where there is no misalignment.
  • the pupil 800 is positioned at the origin O (the above-described center reference position) at the center of the screen.
  • the position coordinates of the image of the pupil 800 can be detected with high accuracy, while calibration is performed. It takes a relatively long time. If the calibration using the first image is performed while the user is using the application, the user experience by executing the application is impaired. Therefore, after starting to use the HMD 1100, there is a limitation in performing calibration using the first image during use of the application. Even if the user corrects the misalignment by hand while using the application, the user experience by executing the application is similarly impaired.
  • a second calibration image that can be performed more easily than calibration using the first image.
  • the calibration using the second image is executed based on a smaller amount of information than the calibration using the first image.
  • an animation or gesture that allows the user to actively look at the center of the screen is employed. Then, for example, the second image is provided when the application is started, when the application is terminated, during execution of the application, or when the user ignites a gesture, and calibration is performed using the second image at that timing.
  • FIG. 8 is a schematic diagram showing an example of the second image, and shows an image visually recognized by the user wearing the HMD 1100.
  • a second image for calibration is displayed when the home screen of the application appears.
  • a virtual object (icon) 850 that is noticed by the user is displayed at the top of the screen, and the virtual object 850 is moved to the center.
  • the virtual object 850 By moving the virtual object 850 from the upper part of the screen to the center of the screen and making it stand still at the center of the screen, the virtual object 850 at the center of the screen can be watched. Then, the line-of-sight position calibration is performed at the timing when the object 850 stops at the center of the screen.
  • the calibration using the second image has fewer reference marker points than the calibration using the first image, and information at the time of calibration.
  • the amount can be less than the calibration with the first image.
  • one marker point is calibrated a plurality of times, and in the calibration using the second image, one marker point is used.
  • the amount of information at the time of calibration using the second image can be further reduced.
  • the amount of calibration information by the second image can be made smaller than the calibration by the first image.
  • the calibration with the second image allows the calibration with the second image by gazing for a shorter time.
  • the amount of information can be reduced.
  • the information amount at the time of calibration by the second image is the first.
  • the amount of calibration information based on the image may be smaller.
  • FIG. 9 is a schematic diagram for explaining the calibration by the second image when the shift has occurred, and shows a screen 750 of an image captured by the visual line camera 300.
  • the user's line of sight is directed toward the object 850.
  • the pupil 800 is displaced above the origin O of the screen 750 before calibration. For this reason, calibration is performed in consideration of the offset amount D due to the shift so that the position of the pupil 800 shown in FIG.
  • the position of the pupil in the state where the object 850 is viewed is positioned at the origin O of the screen 750. Therefore, when the direction of the line of sight is detected after the calibration is performed, the position of the origin O is adjusted by the offset amount D, and thus the direction of the line of sight can be accurately obtained. Therefore, it is not necessary for the user to calibrate intentionally, and since the device side does not suddenly request calibration, an excellent user experience by the HMD 1100 can be provided.
  • FIG. 10 to 12 are schematic diagrams showing other examples of the second image for calibration, and show images visually recognized by the user wearing the HMD 1100.
  • FIG. 10 Also in the example illustrated in FIG. 10, the virtual object 860 provided by the display unit 200 and the external world image (user's hand) viewed by the user are superimposed.
  • the virtual object 860 is displayed according to the user's gesture. That is, when the user raises his hand, the front camera 400 recognizes the gesture and displays the virtual object 860. At that time, since the user pays attention to the virtual object 860 displayed in the center of the screen, the gaze position is calibrated at that timing.
  • FIG. 11 shows a screen immediately after an application is selected from the home screen.
  • the game title is displayed in the center of the screen, and the direction of the user's line of sight is matched with the virtual object 865 (game title).
  • the gaze position is calibrated.
  • a 9-axis sensor which will be described later, it is possible to operate the game using a line of sight and head movement without a sense of incongruity.
  • the virtual object 870 (GAME OVER characters) is displayed at the center of the screen at the timing when the application is terminated, thereby performing the calibration by guiding the user's line of sight to the center of the display screen.
  • the timing when the application ends include timing when the game ends, timing when the user performs an end operation, and the like.
  • the countdown display 875 is performed together with the characters GAME OVER, so that the user can focus on the countdown value.
  • FIG. 13 shows an example in which 3D display of a virtual object 880 subjected to a three-dimensional representation is performed as display when performing calibration using the second image.
  • FIG. 14 shows images displayed on the left and right display units 200 in the example of FIG. 13 and visually recognized by the left and right eyes of the user.
  • FIG. 15 and FIG. 16 are schematic diagrams showing still another example of the second image.
  • various images can be used as the second image.
  • a circle 890 that is a virtual object is displayed at the center of the screen, and the diameter of the circle 890 is reduced as time passes.
  • visual_axis can be reliably collected on the screen center.
  • a countdown display may be performed at the center of the circle 890 as time passes.
  • FIG. 16 shows an example in which a virtual object 892 is displayed at the right end of the screen in order to make the user gaze at the right end of the screen as yet another example of the second image.
  • a calibration virtual object 892 is displayed at the right edge of the screen where the user is gazing frequently.
  • the display position of the second calibration image may be changed according to the type of application.
  • calibration can be performed according to the result of user action recognition. For example, it is determined whether the user is running, walking, or stopped by the 9-axis sensor 650, and depending on the result of the determination, it is considered that a misalignment is likely to occur when running, so strong calibration Or perform weak calibration frequently. On the other hand, when the user is stopped, it is difficult for the shift to occur, so weak calibration is performed and the frequency is also reduced. Further, when the 9-axis sensor 650 determines that the user is lying down (sleeping), it is considered that a misalignment is likely to occur. Therefore, strong calibration or weak calibration is frequently performed. To do.
  • the HMD 1100 includes sensors that detect heart rate, body temperature, sweating, and the like
  • calibration according to the detection values of these sensors can also be performed. For example, when the heart rate is high, it can be determined that the user is impatient and is easy to visually recognize the center of the screen. Therefore, in this case, the second image for calibration is displayed at the center of the screen.
  • the position coordinates of the pupil 800 detected by the line-of-sight information acquisition unit 108 a of the line-of-sight position detection unit 108 are sent to the offset amount detection unit 104.
  • the image processing unit 102 generates a second image for calibration, and sends the position coordinates of the virtual object 850 to the offset amount detection unit 104.
  • the offset amount detection unit 104 calculates the offset amount D shown in FIG. 9 from the position coordinates of the pupil 800 and the position coordinates of the virtual object 850.
  • the calculated offset amount D is sent to the line-of-sight position detection unit 108.
  • the adjustment execution unit 108b of the line-of-sight position detection unit 108 calculates the position coordinates of the pupil considering the offset amount D with respect to the detected position coordinates of the pupil 800, and executes calibration.
  • the pupil position coordinates calibrated by the adjustment execution unit 108 b are sent to the image processing unit 102.
  • the image processing unit 102 receives a command from the user and executes a process according to the command. For example, as described with reference to FIG. 2, when the icon 952 is selected based on the line-of-sight direction and voice, the line-of-sight direction obtained from the position coordinates of the pupil 800 considering the offset amount D matches the position coordinates of the icon 952. If the voice is acquired from the voice acquisition unit 500, the icon 952 is selected. After the icon is selected, the image processing unit 102 generates an image after the icon 952 is selected and displays the image on the display unit 200.
  • the nine-axis sensor 650 includes a three-axis gyro sensor that detects three-axis angular velocities (rotational speeds) of the X, Y, and Z axes, a three-axis acceleration sensor that detects acceleration in the X, Y, and Z-axis directions, and geomagnetism. It comprises a triaxial geomagnetic sensor that detects and detects absolute directions in the X, Y, and Z axis directions. According to the 9-axis sensor 650, the position and movement of the HMD 1100 can be detected.
  • FIG. 17 is a schematic diagram showing how the displayed virtual objects 860, 862, 864, 866, and 868 move to the left and right when the user wearing the HMD 1100 moves the face to the left and right.
  • the virtual object 860 located at the center is displayed at the center of the display screen.
  • a virtual object 864 positioned to the right of the virtual object 860 is displayed at the center of the display screen, and the virtual object 860 moves to the left side of the display screen.
  • a virtual object 868 on the right side of the central virtual object 864 appears on the right side of the display screen.
  • the virtual object 862 positioned to the left of the virtual object 860 is displayed at the center of the display screen, and the virtual object 860 moves to the right side of the display screen.
  • a virtual object 866 on the left side of the central virtual object 862 appears on the left side of the display screen.
  • a virtual object 850 for calibration is displayed at the center of the display screen, and the direction of the line of sight is calibrated, and at the same time, the 9-axis sensor 650 is calibrated.
  • the five virtual objects 860, 862, 864, 866, and 868 displayed in the left-right direction are superimposed on the virtual object 850 for calibration, and the virtual object 850 is displayed on the display screen as described above.
  • the line-of-sight position is calibrated.
  • the 9-axis sensor 650 is calibrated and the horizontal direction of the HMD 1100 is adjusted so that the virtual object 860 located at the center of the five virtual objects 860, 862, 864, 866, and 868 is located at the center of the display screen. Calibration of the initial position (origin) of the 9-axis sensor 650 with respect to movement is performed. As a result, the object 860 positioned at the center can be displayed at the center of the display screen with the direction of the line of sight facing the front direction during calibration.
  • the 9-axis sensor 650 When the 9-axis sensor 650 is calibrated, the absolute direction reference in the X, Y, and Z-axis directions detected by the 9-axis sensor 650 by geomagnetism is sent to the image processing unit 102.
  • the reference position with respect to the angular position around the vertical axis (Y axis) is sent to the offset amount detection unit 104.
  • the image processing unit 102 generates a second image for calibration, and sends the position coordinates of the virtual object 850 to the offset amount detection unit 104.
  • the offset amount detection unit 104 calculates the difference (offset amount) between the reference position with respect to the angular position around the vertical axis obtained by the 9-axis sensor 650 and the position coordinates of the virtual object 850.
  • the calculated offset amount is sent to the sensor adjustment execution unit 110 that calibrates the 9-axis sensor 650.
  • the 9-axis sensor 650 calibrates the reference position with respect to the angular position around the vertical axis in consideration of the offset amount.
  • the reference position around the vertical axis detected by the 9-axis sensor 650 by geomagnetism coincides with the position coordinates of the virtual object 850. Therefore, as shown in FIG. 17, the object 860 located at the center can be displayed at the center of the display screen with the direction of the line of sight facing the front direction during calibration.
  • FIG. 18 is a flowchart showing processing performed by the line-of-sight adjustment apparatus 1000.
  • FIGS. 19 to 25 are schematic diagrams illustrating real space objects that the user visually recognizes through the lens 902 and virtual objects that the user visually recognizes by display on the display unit 200 when the cycling application is used.
  • step S10 of FIG. 18 it is determined whether or not the HMD 1100 is attached.
  • the operation input unit 600 is operated and the power of the HMD 1100 is turned on, it is determined that the HMD 1100 is attached. If it is determined that the HMD 1100 is attached, the process proceeds to step S12.
  • step S12 calibration (strong calibration) using the first image is performed.
  • FIG. 19 is a schematic diagram illustrating calibration using the first image. As shown in FIG. 19, the user issues an instruction to look directly at an explicit point.
  • marker points 710 and 712 are added as explicit points that the user directly views.
  • the calibration of the line-of-sight direction and the position of the user interface (UI) is performed. .
  • FIG. 20 shows marker points 700, 702, 704, 706, 708, 710, and 712 when performing the calibration shown in FIG.
  • FIG. 21 shows a case where the five marker points 700, 702, 704, 706, and 708 shown in FIG. 4 are used.
  • FIG. 22 shows an example in which marker points 714 and 716 are added in addition to the marker points 700, 702, 704, 706, 708, 710 and 712 shown in FIG.
  • step S14 it is determined whether or not the cycling application is activated. If the cycling application is activated, the process proceeds to step S16. On the other hand, when the cycling application is not activated, the process waits in step S14.
  • step S14 a plurality of virtual objects are displayed as shown in FIG.
  • a virtual object (map 960) and a virtual object (pacemaker 962) are shown.
  • the user can select either a virtual object (map 960) or a virtual object (pacemaker 962). If any virtual object is selected, it is determined in step S14 that the application has been activated.
  • step S16 calibration using the second image is performed while the application is running. For example, if the user selects a virtual object (pacemaker 962), as shown in FIG. 24, the virtual object (pacemaker 962) moves to the center of the screen and a countdown of a few seconds is performed. A display that looks like that is displayed. At this timing, weak calibration is performed assuming that the user's line of sight is looking at the center.
  • step S18 it is determined whether or not forced calibration is performed. If forced calibration is performed, the process proceeds to step S20. For example, when selecting an icon using the line of sight described with reference to FIG. 2, the icon is not selected even if the user gazes at an icon, or a large force is clearly applied to the HMD 1100 from the outside, When it is detected by the line-of-sight camera 300 or the 9-axis sensor 650 that the position of the HMD 1100 and the eyeball is misaligned, forced calibration is performed. In such a case, since it is assumed that the initial calibration is largely shifted in the application, in step S20, calibration using the first image (strong calibration) is performed.
  • step S22 it is determined whether or not the application is terminated. If the application is terminated, the process proceeds to step S24.
  • step S24 calibration using the second image (weak calibration) is performed at the end of the application.
  • the virtual object 964 shown in FIG. 25 is displayed, and the user's line of sight is collected at the center of the screen by attracting the user's consciousness at the center of the screen. And the accuracy of a gaze detection is ensured by performing weak calibration.
  • step S22 the process returns to step S16.
  • step S26 it is determined whether or not the user has removed the HMD 1100. If it is determined that the user has removed the HMD 1100, the process ends (END). On the other hand, if it is determined that the user has not removed the HMD 1100, the process returns to step S14. Whether or not the user has removed the HMD 1100 can be determined, for example, when the operation input unit 600 is operated and the power of the HMD 1100 is turned off (OFF). As described above, when the HMD 1100 is mounted, the application is activated and display content corresponding to the application is displayed until the application is terminated. In accordance with the flow of the display content sequence, in this embodiment, calibration is performed using the second image after the application is started and after the application is finished (steps S16 and S24). Calibration using the image is performed (step S20).
  • components of the line-of-sight adjustment apparatus 1000 at least some of the components may be provided on the cloud.
  • components such as the image processing unit 102, the offset amount detection unit 104, the line-of-sight position detection unit 108, and the image memory 112 can be provided on the cloud.
  • the calibration processing described above is performed by sending information acquired by the line-of-sight camera 300, the front camera 400, the audio acquisition unit 500, the operation input unit 600, and the 9-axis sensor 650 mounted on the HMD 1100 to the cloud. be able to.
  • the image generated by the image processing unit 102 can be displayed on the display unit 200 by sending it to the HMD 1100.
  • the line-of-sight adjustment apparatus 1000 may be mounted on a device other than the HMD 1100.
  • the line-of-sight adjustment apparatus 1000 may be mounted on a device such as a personal computer (PC) or a television receiver.
  • a device such as a PC or a television receiver includes an imaging device that captures a user's face
  • the gaze position calibration can be performed by installing the gaze adjustment device 1000 of this embodiment.
  • the display unit 200 corresponds to a display of these devices. As a result, even in a device such as a PC or a television receiver, calibration can be performed when a deviation occurs in the direction of the user's line of sight.
  • a line-of-sight information acquisition unit that acquires line-of-sight information when viewing display information
  • An adjustment execution unit that adjusts the positional relationship of the line-of-sight information with respect to the display information, based on a first adjustment that adjusts the line-of-sight information with respect to the display information, and an information amount that is smaller than the first adjustment
  • a second adjustment that adjusts the line-of-sight information with respect to the display information
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the adjustment execution unit includes a mode selection unit that selects either the first adjustment or the second adjustment.
  • the adjustment execution unit adjusts the direction of the line of sight with respect to a plurality of reference positions on the display screen corresponding to the display information, and the display screen is smaller than the first adjustment.
  • an image processing unit that generates an image in which a marker indicating the reference position is displayed on the display screen;
  • An offset amount acquisition unit that acquires an offset amount between the line-of-sight information acquired in a state where the direction of the line of sight faces the reference position and the reference position;
  • the image processing unit displays the markers at least at the center and four corners of the display screen.
  • the information processing apparatus according to (3) further including a sensor adjustment execution unit that adjusts a reference position on the display screen and a reference direction obtained by a position sensor during the execution of the second adjustment. .
  • the information processing apparatus which is mounted on a head-mounted display that provides the display information.
  • (19) obtaining line-of-sight information when viewing display information; Adjusting the positional relationship of the line-of-sight information with respect to the display information, and adjusting the line-of-sight information with respect to the display information; A second adjustment for adjusting the line-of-sight information.
  • An information processing method comprising: (20) means for acquiring line-of-sight information when viewing display information; Adjusting the positional relationship of the line-of-sight information with respect to the display information, and adjusting the line-of-sight information with respect to the display information; And a second adjustment for adjusting the line-of-sight information.
  • a program to make the computer function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示に係る情報処理装置は、視線の位置を検出して各種処理を行う装置において、目と装置の位置関係にズレが生じた場合であっても、キャリブレーションを簡単に行うことができるようにするために、表示情報を視認する際の視線情報を取得する視線情報取得部１０８ａと、前記表示情報に対する前記視線情報の位置関係を調整する調整実行部１０８ｂであって、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、が実行可能な前記調整実行部１０８ｂと、を備える。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　従来、例えば下記の特許文献１には、ヘッドマウントディスプレイ（ＨＭＤ）において、表示画面の四隅及び中心にマーカーポイントを備えるキャリブレーション用画像を表示し、使用開始時に使用者がマーカーポイントに視線を合わせることでキャリブレーションを行うことが記載されている。
特開２０１０－１０２２１５号公報
　しかしながら、ヘッドマウントディスプレイを使用中に、ヘッドマウントディスプレイと使用者の目の相対的な位置が変化してしまうことが想定される。これは、一般に眼鏡の掛けずれと呼ばれる状態に起因して発生し、顔に対してヘッドマウントディスプレイが下側にずれてしまった場合に発生する。また、例えばヘッドマウントディスプレイを装着して運動などをした場合に、顔に対してヘッドマウントディスプレイがずれてしまうことが想定される。
　以上のようなヘッドマウントディスプレイの位置ズレが生じた場合、特許文献１に記載された技術では、再度キャリブレーションを行う必要がある。しかしながら、ヘッドマウントディスプレイの使用中に上述したようなマーカーポイントを表示してキャリブレーションを行うこととすると、キャリブレーションの最中にはヘッドマウントディスプレイを実質的に使用できなくなり、利便性が低下してしまう問題がある。
　また、ユーザの視線を検出して処理を行う他のデバイスにおいても、キャリブレーション後にデバイスと目の位置が相対的にずれてしまうと、再度キャリブレーションを行う必要があり、利便性が低下してしまう問題がある。
　そこで、視線の位置を検出して各種処理を行う装置において、目と装置の位置関係にズレが生じた場合であっても、キャリブレーションを簡単に行うことが求められていた。
　本開示によれば、表示情報を視認する際の視線情報を取得する視線情報取得部と、前記表示情報に対する前記視線情報の位置関係を調整する調整実行部であって、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、が実行可能な前記調整実行部と、を備える情報処理装置が提供される。
　前記調整実行部は、前記第１の調整と前記第２の調整のいずれかを選択するモード選択部を含むものであっても良い。
　また、前記調整実行部は、前記表示情報に対応する表示画面上の複数の基準位置に対して視線の向きを調整する前記第１の調整と、前記第１の調整よりも少ない前記表示画面上の基準位置に対して前記視線の向きを調整する前記第２の調整と、が実行可能であっても良い。
　また、前記表示画面に前記基準位置を示すマーカーが表示された画像を生成する画像処理部と、視線の向きが前記基準位置を向いた状態で取得された前記視線情報と前記基準位置とのオフセット量を取得するオフセット量取得部と、を備え、前記調整実行部は、前記オフセット量に基づいて前記第１又は第２の調整を行うものであっても良い。
　また、前記モード選択部は、ユーザに関する情報あるいは表示コンテンツに関する情報に基づいて前記第１又は前記第２の調整のいずれを行うか決定するものであっても良い。
　また、前記モード選択部は、ユーザの行動認識結果に基づいて前記第１又は前記第２の調整のいずれを行うか決定するものであっても良い。
　また、前記モード選択部は、表示コンテンツに基づいて前記第１又は前記第２の調整のいずれを行うか決定するものであっても良い。
　また、前記第２の調整において、前記画像処理部は、前記表示画面の中央に前記マーカーを表示させるものであっても良い。
　また、前記第２の調整において、前記画像処理部は、前記表示画面の周囲から中央に前記マーカーが移動するように前記基準位置を表示させるものであっても良い。
　また、前記第２の調整において、前記画像処理部は、前記表示画面の中央で時間の経過に伴って前記マーカーの大きさが小さくなるように表示させるものであっても良い。
　また、前記第２の調整において、前記画像処理部は、前記マーカーとともにカウントダウン表示を表示させるものであっても良い。
　また、前記第２の調整において、前記画像処理部は、前記表示画面に表示されるアプリケーションで前記表示画面内での使用頻度の高い領域に前記マーカーを表示させるものであっても良い。
　また、前記第２の調整において、前記画像処理部は、３Ｄ表示の前記マーカーを表示させるものであっても良い。
　また、前記第２の調整において、前記画像処理部は、前記表示画面に表示されるアプリケーションで使用頻度の高い奥行き位置に前記３Ｄ表示の前記マーカーを表示させるものであっても良い。
　また、前記表示画面に表示されるアプリケーションの起動時、前記アプリケーションの起動中、又は前記アプリケーションの終了時に前記マーカーを表示させるものであっても良い。
　また、前記第１の調整において、前記画像処理部は、前記表示画面の少なくとも中央及び四隅に前記マーカーを表示させるものであっても良い。
　また、前記第２の調整の実行中に、前記表示画面上の基準位置と位置センサによって得られる基準の向きとを調整するセンサ調整実行部を備えるものであっても良い。
　また、前記表示情報を提供するヘッドマウントディスプレイに搭載されるものであっても良い。
　また、本開示によれば、表示情報を視認する際の視線情報を取得することと、前記表示情報に対する前記視線情報の位置関係を調整し、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、のいずれかを実行することと、を備える情報処理方法が提供される。
　また、本開示によれば、表示情報を視認する際の視線情報を取得する手段、前記表示情報に対する前記視線情報の位置関係を調整し、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、のいずれかを実行する手段、としてコンピュータを機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、視線の位置を検出して各種処理を行う装置において、目と装置の位置関係にズレが生じた場合であっても、キャリブレーションを簡単に行うことが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置を備えたヘッドマウントディスプレイの構成を示す断面図である。 ＨＭＤによりユーザが前方を視認して得られる像を示す模式図である。 情報処理装置の本体部の構成を示すブロック図である。 第１のキャリブレーション画像を示す模式図である。 視線位置のキャリブレーションを説明するための模式図である。 掛けズレが生じた場合に、ＨＭＤとユーザの顔との相対的な位置関係がずれた状態を説明するための模式図である。 掛けズレが生じた場合に、ＨＭＤとユーザの顔との相対的な位置関係がずれた状態を説明するための模式図である。 第２のキャリブレーション画像の一例を示す模式図である。 掛けズレが発生している場合に、第２の画像によるキャリブレーションを説明するための模式図である。 キャリブレーション用の第２の画像の他の例を示す模式図である。 キャリブレーション用の第２の画像の他の例を示す模式図である。 キャリブレーション用の第２の画像の他の例を示す模式図である。 第２の画像によるキャリブレーションを行う際の表示として、立体表現を施した仮想オブジェクトの３Ｄ表示を行う例を示す模式図である。 図１３の例において、左右の表示部が表示し、ユーザの左右の眼が視認する画像をそれぞれ示す模式図である。 第２のキャリブレーション画像の更に他の例を示す模式図である。 第２のキャリブレーション画像の更に他の例を示す模式図である。 ＨＭＤを装着したユーザが顔の向きを左右に動かした場合に、表示される仮想オブジェクトが左右に動く様子を示す模式図である。 ＨＭＤで行われる処理を示すフローチャートである。 サイクリングのアプリケーションを使用した場合にユーザがレンズを通して視認する実空間の物体と、ユーザが表示部の表示により視認する仮想オブジェクトとを示す模式図である。 サイクリングのアプリケーションを使用した場合にユーザがレンズを通して視認する実空間の物体と、ユーザが表示部の表示により視認する仮想オブジェクトとを示す模式図である。 サイクリングのアプリケーションを使用した場合にユーザがレンズを通して視認する実空間の物体と、ユーザが表示部の表示により視認する仮想オブジェクトとを示す模式図である。 サイクリングのアプリケーションを使用した場合にユーザがレンズを通して視認する実空間の物体と、ユーザが表示部の表示により視認する仮想オブジェクトとを示す模式図である。 サイクリングのアプリケーションを使用した場合にユーザがレンズを通して視認する実空間の物体と、ユーザが表示部の表示により視認する仮想オブジェクトとを示す模式図である。 サイクリングのアプリケーションを使用した場合にユーザがレンズを通して視認する実空間の物体と、ユーザが表示部の表示により視認する仮想オブジェクトとを示す模式図である。 サイクリングのアプリケーションを使用した場合にユーザがレンズを通して視認する実空間の物体と、ユーザが表示部の表示により視認する仮想オブジェクトとを示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．ヘッドマウントディスプレイの構成例
　２．視線調整装置の構成例
　３．第１のキャリブレーションについて
　４．第２のキャリブレーションについて
　５．９軸センサのキャリブレーションについて
　６．視線調整装置で行われる処理について
　１．ヘッドマウントディスプレイの構成例
　まず、図１を参照して、本開示の一実施形態に係る視線調整装置１０００を備えたヘッドマウントディスプレイ１１００の構成について説明する。一例として、視線調整装置１０００は、眼鏡９００とともにヘッドマウントディスプレイ（以下、ＨＭＤ（Head　Mounted　Display）と称する）１１００を構成する。視線調整装置１０００は、図１に示したように、本体部１００、表示部２００、視線カメラ３００、前方カメラ４００、音声取得部（マイクロフォン）５００、操作入力部（操作スイッチ）６００、９軸センサ６５０（図１において不図示）を有して構成される。９軸センサ６５０は、本体部１００に内蔵されている。
　本体部１００は、視線調整装置１０００の動作を制御するための制御基板を内蔵する。具体的には、本体部１００は、ＣＰＵ（Central　Processing　Unit）またはＲＡＭ（Random　Access　Memory）等を有する制御基板を有し、信号線等を用いて視線カメラ３００、前方カメラ４００、音声取得部５００と接続される。
　表示部２００は、眼鏡９００のレンズ９０２の部分に設けられ、透明または半透明の状態のまま、テキストや図等の画像を表示することで、実空間の風景にＡＲの仮想オブジェクト（ＧＵＩ）を重畳表示することができる。即ち、ＨＭＤ１１００は、透過型のＨＭＤとして実現されている。表示部２００は、本体部１００から提供される画像光を、視線調整装置１０００の外部、すなわちＨＭＤ１１００を装着するユーザの眼に向かって投射する。なお、ＨＭＤ１１００は透過型のものでなくても良い。すなわち、レンズ９０２とは別体に表示部が設けられており、ユーザの瞳に画像を提供するものであっても良い。
　視線カメラ３００は、眼鏡９００の鼻あてに設けられている。視線カメラ３００は、ＣＭＯＳセンサ等の撮像素子を有し、ユーザの瞳の画像を撮像し、ユーザの視線の向きを検出する。
　前方カメラ４００は、眼鏡９００の前面に２つ設けられている。前方カメラ４００は、ＣＭＯＳセンサ等の撮像素子を有し、眼鏡９００の前方の外界像を撮像し、外界像を表す画像データを取得する。左右２つの前方カメラ４００を用いることで、視線調整装置１０００は、三角測量の原理により実空間に存在する各物体までの距離を求めることができる。前方カメラ４００が取得した外界像を表す画像データは、本体部１００に送られる。
　音声取得部５００は、ユーザが発した声、外部の音などを音声データとして取得する。ユーザは、声により命令を発声することで、視線調整装置１０００に所望の動作をさせることができる。
　操作入力部６００は、ユーザが操作して所望の命令を入力することができるスイッチ等から構成される。ユーザは、操作入力部６００を操作することで、視線調整装置１０００に所望の動作をさせることができる。操作入力部６００から入力された操作の内容は、表示部２００によって表示されることができる。
　本実施形態に係るＨＭＤ１１００は、上述のような構成を備えることにより、ユーザが眼鏡９００のレンズ９０２を通して視認する実空間に対して表示部２００が表示する仮想オブジェクト等を重畳表示させて、いわゆる実空間コンピューティングを実現することができる。
　図２は、ＨＭＤ１１００によりユーザが前方を視認して得られる像を示す模式図である。なお、図２では、後述するサイクリングのアプリケーションを利用する際に、ユーザが視認する像を示している。図２に示すように、実空間の像（道路の路面９５０）に対して仮想オブジェクトであるアイコン９５２が重畳表示されている。パーソナルコンピュータやスマートフォン等のデバイスでは、アイコンを選択する際にマウスでカーソルを操作してクリックしたり、タッチパネル上でアイコンをタップする等の操作が必要となる。本実施形態のＨＭＤ１１００では、表示されたアイコン９５２に視線を向けると、視線カメラ３００によって視線の向きがアイコン９５２に向けられていることが検知され、その状態で声を発することで、音声取得部５００により音声データが取得され、これにより視線を向けたアイコン９５２を選択することができる。
　また、アイコン９５２を選択する際には、音声入力以外の他の方法を用いることもできる。例えば、表示されたアイコン９５２に視線を向けた状態で、手を使って所定のジェスチャーを行っても良い。ジェスチャーは前方カメラ４００によって検出され、ジェスチャーの検出をトリガーとして、視線を投じたアイコン９５２を選択することができる。また、音声の検出が困難な雑踏の中では、表示されたアイコン９５２に所定時間の間連続して視線を向けることで、タイムアウトによってアイコン９５２を選択することもできる。更に、表示されたアイコン９５２に視線を向けた状態で、操作入力部６００から所定の操作を行うことで、アイコン９５２を選択することもできる。
　表示部２００により表示される仮想オブジェクトの種類は、ＨＭＤ１１００によって利用されるアプリケーションに応じて異なる。これらのアプリケーションとして、例えばゲームや、ジョギング、サイクリングなどの運動（エクササイズ）で用いられる運動アプリケーションが挙げられる。
　表示部２００は、左右のレンズ９０２に対応して左右に設けられているため、左右の画像に視差をもたせることで、立体表示（３Ｄ表示）の３Ｄ仮想オブジェクトを表示することができる。この際、前方カメラ４００により実空間の物体までの距離を検出することができるため、３Ｄ仮想オブジェクトを実空間の物体の奥行き位置に対応させて表示することができる。例えば、実空間に存在する机の上に３Ｄ仮想オブジェクト（コップなど）を載せて表示することも可能である。これにより、ユーザは、あたかも実空間の机の上にコップが実際に載っているかのような像を視認することができる。
　２．視線調整装置の構成例
　図３は、視線調整装置１０００の本体部１００の構成を示すブロック図である。上述したように本体部１００はＣＰＵを有し、図３に示す構成は、ＣＰＵとこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。
　図３に示すように、本体部１００は、画像処理部１０２、オフセット量検出部１０４、視線位置検出部１０８、センサ調整実行部１１０、画像メモリ１１２を有して構成される。視線位置検出部１０８は、視線情報取得部１０８ａと調整実行部１０８ｂを有して構成される。視線位置検出部１０８は、視線カメラ３００から瞳の位置座標（視線情報）を取得する。調整実行部１０８ｂは、後述する第１のキャリブレーションと第２のキャリブレーションを切り換えて実行することができる；。画像メモリ１１２には、ＨＭＤ１１００でユーザが利用するアプリケーションに関する情報が格納される。画像処理部１０２は、画像メモリ１１２から取得した画像の情報に基づいて、表示部２００から外部（ユーザの眼）に投射する画像を生成する。これにより、上述したアイコン９５２を実空間の物体に重畳して表示することができる。
　また、例えばユーザがゲームのアプリケーションを利用する場合には、画像処理部１０２によりゲームのキャラクターなどの画像が生成され、ユーザの眼に投射される。また、ユーザがＨＭＤ１１００を装着してジョギングやサイクリングを行う場合に、ジョギング又はサイクリングに関連する運動アプリケーションを利用すると、画像処理部１０２により走行速度、走行距離、ナビゲーション情報などの画像が生成され、ユーザの眼に投射される。
　また、画像処理部１０２には、前方カメラ４００が撮像した眼鏡９００の前方の外界像が入力される。前方カメラ４００が撮像した外界像は、画像処理部１０２において画像処理が成され、必要に応じて表示部２００から外部（ユーザの眼）に投射される。例えば、画像処理部１０２は、前方カメラ４００が撮像した外界像に基づいて、外界像の物体の奥行き方向の位置を示すグリッドを生成することができる。生成されたグリッドは、レンズ９０２を透過してユーザが視認する実空間の物体と重畳して表示される。これにより、ユーザは、眼で見た実空間の物体に対してグリッドが重畳された画像を視認することができ、物体までの距離などの情報を瞬時に得ることができる。
　視線位置検出部１０８は、視線カメラ３００が撮像したユーザの瞳の画像に基づいて、瞳の位置座標を検出し、ユーザの視線の方向を検出することができる。これにより、視線調整装置１０００は、視線の向きとアプリケーションの画像の位置との対応関係に基づいて処理を行うことができる。視線位置検出部１０８が検出したユーザの視線の方向は、画像処理部１０２に入力される。
　視線位置検出部１０８がユーザの視線の向きを検出することにより、上述したような視線の向きに基づく操作を行うことが可能となる。例えば、画像処理部１０２は、ユーザがゲームのアプリケーションを利用している最中に、仮想オブジェクトとして表示された特定のキャラクターにユーザの視線が向いている状態を検知することができる。この状態でユーザが所定のジェスチャーを行うと、前方カメラ４００によってジェスチャーが検出され、ジェスチャーの検出をトリガーとしてそのキャラクターに対して何らかの動作をさせることができる。
　一例として、特定のキャラクターに視線が向いている状態でユーザが所定のジェスチャーをすると、視線の移動方向、またはジェスチャーの動作方向に応じてそのキャラクターを移動させることができる。この場合、画像処理部１０２は、キャラクターの位置を動かした画像を生成し、表示部２００は生成された画像をユーザの瞳に提供する。
　以上のように、視線調整装置１０００は、ユーザの視線の向きに応じた処理を行うことができる。一方で、視線の向きに応じた処理を正しく行うためには、視線の向きの基準位置が正しく設定されている必要がある。このため、視線位置検出部１０８が瞳の画像の位置座標を検出して視線の向きを検知するのに先立ち、キャリブレーションを行うことで、瞳の画像の位置座標の基準点を決める。この際、画像処理部１０２は、キャリブレーション用の画像を生成し、生成されたキャリブレーション用の画像は表示部２００によって外部（ユーザの眼）に投射される。
　３．第１のキャリブレーションについて
　本実施形態では、キャリブレーション用の画像として、少なくとも２種類の画像を表示部２００からユーザへ提供する。第１の画像（以下、第１のキャリブレーション画像とも称する）は、一例として図４に示す画像であり、例えばＨＭＤ１１００の使用開始時にユーザへ提供される。図４は、ＨＭＤ１１００を装着したユーザが視認する画像であって、表示部２００による表示を示しており、実空間の像は表示部２００による表示と重畳される。第１の画像によるキャリブレーション（以下、「強いキャリブレーション」とも称する）では、表示部２００による表示画面内に複数のキャリブレーション用のマーカーポイントを設定し、比較的時間をかけて高精度のキャリブレーションを行う。
　図４に示すように、第１の画像は、表示画面の四隅及び中心にマーカポイント７００，７０２，７０４，７０６，７０８を備える。ユーザが第１の画像の中心のマーカポイント７００に視線を合わせ、操作入力部６００を操作することで、キャリブレーションが行われる。また、操作入力部６００を用いる代わりに、ユーザが手などを使って行った所定のジェスチャーを前方カメラ４００が検出することで、キャリブレーションを行うこともできる。
　視線位置のキャリブレーションは、視線カメラ３００が撮像したユーザの瞳の画像に基づいて行われる。視線カメラ３００が撮像したユーザの瞳の画像は、視線位置検出部１０８に送られる。上述したように、視線位置検出部１０８は、視線カメラ３００が撮像したユーザの瞳の画像に基づいて、瞳の位置座標を検出し、ユーザの視線の方向を検出する。瞳の位置座標は、画像処理部１０２へ送られる。
　図５は、視線位置のキャリブレーションを説明するための模式図であって、視線カメラ３００で撮像した画像を示している。先ず、ユーザが図４に示す中心のマーカポイント７００に視線を向けた場合にキャリブレーションを行う。図５では、マーカポイント７００に視線を向けた状態での瞳８００の画像の基準位置（以下、中央基準位置と称する）を点線で表している。最初に、図５に示すように、中央基準位置が視線カメラ３００で撮像した画像の画面７５０の中心に位置するようにキャリブレーションが行われる。その後、図５に示すように、瞳８００の実際の動きに合わせて、瞳８００の画像はキャリブレーション時よりも右上に移動し、視線が右上に移動する。画像処理部１０２は、キャリブレーション時の瞳８００の位置を原点Ｏとして、移動した瞳８００の画像の位置座標（Ｘ，Ｙ）を検出する。これにより、視線の方向を検出することができる。
　中心のマーカポイント７００によるキャリブレーションを行った後、周辺のマーカーポイント７０２，７０４，７０６，７０８に視線を向けた場合のキャリブレーションを行う。先ず、左上のマーカーポイント７０２に視線を向けた場合にキャリブレーションを行う。この場合に、キャリブレーション時の瞳８００の画像の基準位置（以下、左上基準位置と称する）は、視線が左上のマーカーポイント７０２を向いた位置に対応しており、その後、瞳８００の実際の動きに合わせて、瞳８００の画像が左上基準位置よりもずれた場合は、左上基準位置を原点として、移動した瞳８００の画像の位置座標を検出する。同様に、右上のマーカーポイント７０４、左下のマーカーポイント７０６、右下のマーカーポイント７０８についても、各マーカーポイントに視線を向けた状態でそれぞれキャリブレーションを行う。各キャリブレーション時の瞳の画像の基準位置を順に右上基準位置、左下基準位置、右下基準位置とすると、その後の瞳の実際の動きに合わせて、瞳の画像が各基準位置よりもずれた場合は、各基準位置を原点として、移動した瞳の画像の位置座標を検出する。この際、複数のマーカーポイント７００,７０２，７０４，７０６，７０８に対応する基準位置のいずれを原点として用いるかは、検出した瞳の向きに応じて、視線の向きが最も近い基準位置を原点とする。
　なお、キャリブレーションを行う際には、「中央のマーカーポイントを見た状態で操作ボタンを押してください。」、「左上のマーカーポイントを見た状態で操作ボタンを押してください。」といったアナウンス文を画像処理部１０８が生成し、表示部２００から表示させる。
　以上のように、第１の画像を用いたキャリブレーションでは、表示画像の複数のマーカーポイント７００,７０２，７０４，７０６，７０８のそれぞれについてキャリブレーションを行い、その後の瞳８００の実際の動きに合わせて、視線の向きが最も近い基準位置を原点として移動した瞳８００の画像の位置座標を検出する。これにより、表示画面の全域において、高精度に瞳８００の位置座標を検出することができる。
　４．第２のキャリブレーションについて
　一方、ＨＭＤ１１００の使用を開始した後、ＨＭＤ１１００とユーザの顔との相対的な位置関係がずれると、中央基準位置が本来の位置からずれてしまうため、検出した瞳８００の画像の位置座標に誤差が含まれてしまう。特に、ＨＭＤ１１００は自重によって下にずれてしまう可能性があり（以下、「掛けズレ」と称する）、この場合、瞳８００の位置を正確に検出することができず、視線の向きを正しく求めることができなくなる。従って、掛けズレが生じた場合は、再度キャリブレーションを行うか、掛けズレそのものをユーザが手で直す必要がある。
　図６及び図７は、掛けズレが生じた場合に、ＨＭＤ１１００とユーザの顔との相対的な位置関係がずれた状態を説明するための模式図である。図６及び図７のそれぞれにおいて、上段はユーザの頭とＨＭＤ１１００との位置関係を、下段は視線カメラ３００で撮像した画像の画面７５０を示している。
　ここで、図６は、掛けズレが生じていない場合を示している。図６に示すように、第１の画像によるキャリブレーションが行われ、その後に掛けズレが生じていないため、画面の中央の原点Ｏ（上述した中央基準位置）に瞳８００が位置している。
　一方、図７は、掛けズレが発生し、ＨＭＤ１１００とユーザの顔との相対的な位置関係がずれた状態を示している。図７に示す状態では、掛けズレによってＨＭＤ１１００が下にずれることで、画面の原点Ｏよりも上側に瞳８００がずれている。つまり、Ｙ方向において、原点Ｏと瞳８００の位置との間にオフセット量Ｄが生じている。この状態で原点Ｏ（中央基準位置）を基準として瞳８００の位置を検出すると、本来は視線が正面を向いているにも関わらず、瞳８００が原点よりも上に位置していることから、視線が上向きであると判断されてしまう。この場合、図７に示す瞳８００の位置が原点Ｏとなるように、掛けズレによるオフセット量Ｄを考慮したキャリブレーションを行うことが望ましい。
　以上のように、掛けズレの発生を考慮すると、ＨＭＤ１１００の使用を開始した後においても、必要に応じて再度キャリブレーションを行うことが望ましい。しかし、第１の画像を用いたキャリブレーションは、複数のマーカーポイント７００,７０２，７０４，７０６，７０８のそれぞれについて行うため、瞳８００の画像の位置座標を高精度に検出できる一方、キャリブレーションに比較的時間を要する。ユーザがアプリケーションを使用している最中に第１の画像を用いたキャリブレーションを行うと、アプリケーションの実行によるユーザ体験を損ねてしまう。従って、ＨＭＤ１１００の使用を開始した後、アプリケーションの使用中に第１の画像を用いたキャリブレーションを行うことには制約が伴う。ユーザがアプリケーションを使用している最中に掛けズレを手で直した場合でも、同様にアプリケーションの実行によるユーザ体験を損ねてしまう。
　このため、本実施形態では、第１の画像によるキャリブレーションよりも簡易に行うことができる第２の画像（以下、第２のキャリブレーション画像とも称する）によるキャリブレーション（以下、「弱いキャリブレーション」とも称する）を実行する。第２の画像によるキャリブレーションは、第１の画像によるキャリブレーションよりも少ない情報量に基づいて実行される。第２の画像として、ユーザが積極的に画面中央を見るようなアニメーションやジェスチャを採用する。そして、例えばアプリケーション起動時、アプリケーション終了時、アプリケーション実行中、ユーザによるジェスチャ発火時などに第２の画像を提供し、そのタイミングで第２の画像によるキャリブレーションを行う。
　図８は、第２の画像の一例を示す模式図であって、ＨＭＤ１１００を装着したユーザが視認する像を示している。ここでは、アプリケーションのホーム画面が登場する際にキャリブレーション用の第２の画像を表示する例を示している。図８に示すように、ホーム画面が登場する際は、画面上部にユーザが注目する仮想オブジェクト（アイコン）８５０を表示させて、中央部に仮想オブジェクト８５０を移動させる表示を行う。仮想オブジェクト８５０を画面上部から画面中央に移動させ、画面中央で静止させることで、画面中央の仮想オブジェクト８５０を注視させることができる。そして、オブジェクト８５０が画面中央に静止したタイミングで、視線位置のキャリブレーションを行う。オブジェクト８５０をキャリブレーションのためのマーカポイントとすると、第２の画像によるキャリブレーションは、第１の画像によるキャリブレーションと比較して、基準となるマーカポイントの数が少なく、キャリブレーションの際の情報量を第１の画像によるキャリブレーションよりも少なくすることができる。また、マーカポイントの数を少なくする他、例えば第１の画像によるキャリブレーションでは１つのマーカーポイントに対して複数回のキャリブレーションを行い、第２の画像によるキャリブレーションでは１つのマーカポイントに対してより少ない回数のキャリブレーションを行うことによっても、第２の画像によるキャリブレーションの際の情報量をより少なくすることができる。更に、各々のマーカポイントを注視する時間についても差を設けることで、第２の画像によるキャリブレーションの情報量を第１の画像によるキャリブレーションよりも少なくすることができる。例えば、各々のマーカポイントを注視する時間内で視線位置の平均を算出する場合などにおいては、第２の画像によるキャリブレーションではより短い時間だけ注視させることで、第２の画像によるキャリブレーションの際の情報量をより少なくすることができる。マーカポイントの数、１つのマーカポイントに対するキャリブレーションの回数、及び１つのマーカポイントに対するキャリブレーションの時間、を組み合わせたトータルの情報量について、第２の画像によるキャリブレーションの際の情報量が第１の画像によるキャリブレーションの情報量よりも少なくなるようにしても良い。
　図９は、掛けズレが発生している場合に、第２の画像によるキャリブレーションを説明するための模式図であって、視線カメラ３００で撮像した画像の画面７５０を示している。図８に示すオブジェクト８５０を画面中央に表示することで、ユーザの視線がオブジェクト８５０に向かう方向となる。しかし、掛けズレが生じているため、キャリブレーション前は、画面７５０の原点Ｏよりも上側に瞳８００がずれている。このため、図９に示す瞳８００の位置が原点Ｏとなるように、掛けズレによるオフセット量Ｄを考慮したキャリブレーションを行う。
　これにより、第２の画像を用いたキャリブレーション後は、オブジェクト８５０を見ている状態での瞳の位置が画面７５０の原点Ｏに位置することになる。従って、キャリブレーションの実行後に視線の向きを検出する際には、オフセット量Ｄだけ原点Ｏの位置が調整されるため、視線の向きを正確に求めることが可能となる。従って、ユーザが意図的にキャリブレーションを行う必要がなく、また機器側が突然キャリブレーションを要求したりすることがないため、ＨＭＤ１１００による優れたユーザ体験を提供することができる。
　図１０～図１２は、キャリブレーション用の第２の画像の他の例を示す模式図であって、ＨＭＤ１１００を装着したユーザが視認する像を示している。図１０に示す例においても、表示部２００により提供された仮想オブジェクト８６０とユーザが眼で見た外界像（ユーザの手）が重畳されている。図１０に示す例では、ユーザのジェスチャに応じて仮想オブジェクト８６０が表示される。すなわち、ユーザが手を上げると前方カメラ４００がそのジェスチャを認識して、仮想オブジェクト８６０を表示する。その際、ユーザは、画面中央に表示された仮想オブジェクト８６０に着目していることから、そのタイミングで視線位置のキャリブレーションを行う。
　図１１に示す例は、ホーム画面からアプリケーションが選択された直後の画面を示している。例えば、ゲームが選択された際、ゲームタイトルを画面中央に表示してユーザの視線の向きを仮想オブジェクト８６５（ゲームタイトル）に合わせる。その状態で視線位置のキャリブレーションを行う。なお、ゲームの場合、後述する９軸センサのキャリブレーションを同時に行うことで、視線と頭部運動を利用したゲームでも違和感なく操作することが可能となる。
　図１２に示す例では、アプリケーションが終了するタイミングで画面中央に仮想オブジェクト８７０（ＧＡＭＥ　ＯＶＥＲの文字）を表示することで、ユーザの視線を表示画面の中央に誘導してキャリブレーションを行う。アプリケーションが終了するタイミングとして、例えばゲームが終了するタイミング、ユーザが終了操作を行うタイミング等が挙げられる。図１２に示すように、ＧＡＭＥ　ＯＶＥＲの文字とともにカウントダウンの表示８７５を行うことで、カウントダウンの数値をユーザに着目させることもできる。後述する９軸センサのキャリブレーションを同時に行うことで、視線と頭部運動を利用したゲームを次に行う場合でも違和感なく操作することが可能となる。
　図１３は、第２の画像によるキャリブレーションを行う際の表示として、立体表現を施した仮想オブジェクト８８０の３Ｄ表示を行う例を示している。図１４は、図１３の例において、左右の表示部２００が表示し、ユーザの左右の眼が視認する画像をそれぞれ示している。３Ｄ表示を行うことで、視線が到達する奥行き方向の位置を考慮してキャリブレーションを行うことができる。従って、キャリブレーション後のユースケースで３Ｄ表示を利用する場合には、３Ｄ表示の仮想オブジェクト８８０によってキャリブレーションを行うことが望ましい。特に、キャリブレーション後のユースケースで使用される奥行き位置が大体決まっている場合は、その奥行き位置にキャリブレーション用の３Ｄ仮想オブジェクト８８０を表示することが望ましい。これにより、ユースケースで使用される奥行き位置に合わせてキャリブレーションを行うことができるため、キャリブレーションを高精度に行うことができる。
　図１５、図１６は、第２の画像の更に他の例を示す模式図である。ユーザに画面の所定の位置を注視させることができるものであれば、第２の画像として様々なものを使用できる。図１５に示す例では、画面中央に仮想オブジェクトである円８９０を表示し、時間の経過とともに円８９０の直径を小さくしている。これにより、ユーザの視線を画面中央に確実に集めることができる。図１５に示すように、時間の経過に伴い、円８９０の中央にカウントダウン表示をしても良い。また、ユーザの視線を集めるため、図１５に示す円８９０を点滅させても良い。
　図１６は、第２の画像の更に他の例として、画面の右端をユーザに注視させるため、画面右端に仮想オブジェクト８９２を表示した例を示している。キャリブレーション後に利用するアプリケーションでユーザが画面右端を注視する頻度が高い場合は、ユーザが注視する頻度の高い画面右端にキャリブレーション用の仮想オブジェクト８９２を表示する。これにより、キャリブレーション後にユーザがアプリケーションを利用する際に、視線の向きの検出精度をより高めることができる。なお、仮想オブジェクト８９２を用いてキャリブレーションを行った場合、図４のマーカーポイント７０４でキャリブレーションを行った場合と同様に右上基準位置が定まるため、右上基準位置に基づいて視線の向きを検出することができる。このように、アプリケーションの種類に応じて第２のキャリブレーション画像の表示位置を変更しても良い。
　また、ユーザの行動認識の結果に応じてキャリブレーションを行うこともできる。例えば、９軸センサ６５０によってユーザが走っているか、歩いているか、または止まっているかを判定し、判定の結果に応じて、走っている場合は掛けズレが生じやすいと考えられるため、強いキャリブレーションを行うか、または弱いキャリブレーションを頻繁に行うようにする。一方、ユーザが止まっている場合は、かけズレが生じ難いため、弱いキャリブレーションを行い、頻度も低下させる。また、９軸センサ６５０によってユーザが横になっている（寝ている）と判定される場合は、掛けズレが生じやすいと考えられるため、強いキャリブレーションを行うか、または弱いキャリブレーションを頻繁に行うようにする。更に、心拍数、体温、発汗量などを検出するセンサをＨＭＤ１１００が備えている場合、これらのセンサの検出値に応じたキャリブレーションを行うこともできる。例えば、心拍数が高い場合、ユーザが焦っており、画面の中央を視認し易い状態であると判断できる。従って、この場合は、画面中央にキャリブレーション用の第２の画像を表示するようにする。
　以下では、図８の画像に基づいてキャリブレーションを行う場合の処理について説明する。キャリブレーションを行う際には、視線位置検出部１０８の視線情報取得部１０８ａによって検出された瞳８００の位置座標がオフセット量検出部１０４に送られる。また、画像処理部１０２は、キャリブレーション用の第２の画像を生成し、仮想オブジェクト８５０の位置座標をオフセット量検出部１０４へ送る。
　オフセット量検出部１０４は、瞳８００の位置座標と仮想オブジェクト８５０の位置座標とから、図９に示すオフセット量Ｄを算出する。算出したオフセット量Ｄは視線位置検出部１０８に送られる。視線位置検出部１０８の調整実行部１０８ｂは、オフセット量Ｄを受け取ると、検出した瞳８００の位置座標に対してオフセット量Ｄを考慮した瞳の位置座標を算出し、キャリブレーションを実行する。調整実行部１０８ｂによりキャリブレーションが行われた瞳の位置座標は、画像処理部１０２へ送られる。
　画像処理部１０２は、ユーザからのコマンドを受け付け、コマンドに応じた処理を実行する。例えば、図２で説明したように、視線の向きと声によりアイコン９５２を選択する場合は、オフセット量Ｄを考慮した瞳８００の位置座標から求まる視線の向きが、アイコン９５２の位置座標と一致していることを条件として、音声取得部５００から音声を取得すると、アイコン９５２の選択を実行する。アイコンが選択された後、画像処理部１０２は、アイコン９５２が選択された後の画像を生成し、表示部２００に表示させる。
　５．９軸センサのキャリブレーションについて
　次に、９軸センサ６５０のキャリブレーションについて説明する。視線位置のキャリブレーションの際には、９軸センサ６５０の基準位置を設定するキャリブレーションを同時に行うことができる。９軸センサ６５０は、Ｘ，Ｙ，Ｚ軸の３軸の角速度（回転速度）を検出する３軸ジャイロセンサと、Ｘ，Ｙ，Ｚ軸方向の加速度を検出する３軸加速度センサと、地磁気を検出してＸ，Ｙ，Ｚ軸方向の絶対方向を検出する３軸地磁気センサとから構成されている。９軸センサ６５０によれば、ＨＭＤ１１００の位置、動きを検出することができる。
　視線調整装置１０００は、ＨＭＤ１１００の動きに応じて表示画面を変更することができる。図１７は、ＨＭＤ１１００を装着したユーザが顔の向きを左右に動かした場合に、表示される仮想オブジェクト８６０，８６２，８６４，８６６，８６８が左右に動く様子を示す模式図である。図１７に示すように、ユーザの顔が正面を向いている場合は、中心に位置する仮想オブジェクト８６０が表示画面の中央に表示される。ユーザが顔を右に向けると、仮想オブジェクト８６０よりも右に位置する仮想オブジェクト８６４が表示画面の中央に表示され、仮想オブジェクト８６０は表示画面の左側に移動する。また、中心の仮想オブジェクト８６４よりも右側の仮想オブジェクト８６８が表示画面の右側に出現する。一方、ユーザが顔を左に向けると、仮想オブジェクト８６０よりも左に位置する仮想オブジェクト８６２が表示画面の中央に表示され、仮想オブジェクト８６０は表示画面の右側に移動する。また、中心の仮想オブジェクト８６２よりも左側の仮想オブジェクト８６６が表示画面の左側に出現する。
　図８の例において、キャリブレーション用の仮想オブジェクト８５０を表示画面の中央に表示して、視線の向きのキャリブレーションを行うと同時に、９軸センサ６５０のキャリブレーションを行う。この場合、例えば、左右方向に表示される５つの仮想オブジェクト８６０，８６２，８６４，８６６，８６８とキャリブレーション用の仮想オブジェクト８５０を重畳して表示し、上述したように、仮想オブジェクト８５０が表示画面の中央に表示された際に視線位置のキャリブレーションを行う。同時に、９軸センサ６５０のキャリブレーションを行い、５つの仮想オブジェクト８６０，８６２，８６４，８６６，８６８のうち中心に位置する仮想オブジェクト８６０が表示画面の中央に位置するように、ＨＭＤ１１００の左右方向の動きに対する９軸センサ６５０の初期位置（原点）のキャリブレーションを行う。これにより、視線の向きがキャリブレーション時の正面の方向を向いた状態で、中心に位置するオブジェクト８６０を表示画面の中央に表示することができる。
　以下では、９軸センサ６５０のキャリブレーションを行う場合の処理について説明する。９軸センサ６５０のキャリブレーションを行う際には、９軸センサ６５０が地磁気によって検出したＸ，Ｙ，Ｚ軸方向の絶対方向の基準が画像処理部１０２に送られる。図１７に示す頭の左右方向の回転に対するキャリブレーションを行う場合、鉛直軸（Ｙ軸）周りの角度位置に対する基準位置がオフセット量検出部１０４に送られる。また、画像処理部１０２は、キャリブレーション用の第２の画像を生成し、仮想オブジェクト８５０の位置座標をオフセット量検出部１０４へ送る。
　オフセット量検出部１０４は、９軸センサ６５０により得られる鉛直軸周りの角度位置に対する基準位置と、仮想オブジェクト８５０の位置座標とから、両者の差（オフセット量）を算出する。算出したオフセット量は、９軸センサ６５０のキャリブレーションを行うセンサ調整実行部１１０に送られる。９軸センサ６５０は、キャリブレーション実行後は、オフセット量を考慮して鉛直軸周りの角度位置に対する基準位置をキャリブレーションする。これにより、９軸センサ６５０が地磁気によって検出した鉛直軸周りの基準位置と仮想オブジェクト８５０の位置座標が一致する。従って、図１７に示したように、視線の向きがキャリブレーション時の正面の方向を向いた状態で、中心に位置するオブジェクト８６０を表示画面の中央に表示することができる。
　６．視線調整装置で行われる処理について
　次に、図１８～図２５に基づいて、本実施形態に係る視線調整装置１０００で行われる処理について説明する。図１８は、視線調整装置１０００で行われる処理を示すフローチャートである。また、図１９～図２５は、サイクリングのアプリケーションを使用した場合にユーザがレンズ９０２を通して視認する実空間の物体と、ユーザが表示部２００の表示により視認する仮想オブジェクトとを示す模式図である。
　図１８のステップＳ１０では、ＨＭＤ１１００が装着されたか否かを判定する。ここでは、一例として操作入力部６００が操作されてＨＭＤ１１００の電源がオン（ＯＮ）された場合にＨＭＤ１１００が装着されたものと判定する。ＨＭＤ１１００が装着されたと判定された場合はステップＳ１２へ進む。
　ステップＳ１２では、第１の画像を用いたキャリブレーション（強いキャリブレーション）を行う。図１９は、第１の画像を用いたキャリブレーションを示す模式図である。図１９に示すように、ユーザが明示的な点を直視するように指示を出す。図１９では、ユーザが直視する明示的な点として、図４で説明したマーカーポイント７００，７０２，７０４，７０６，７０８に加え、マーカーポイント７１０，７１２を追加している。マーカーポイント７００，７０２，７１０，７０４，７０６，７１２，７０８の順に視線で追わせることで、視線方向とユーザインタフェース（ＵＩ）の位置（表示部２００による表示の基準位置）とのキャリブレーションを行う。
　なお、この強いキャリブレーションでは、注視させるマーカーポイントの点数が多ければ多いほど正確にキャリブレーションを行うことができる。このため、求められる視線検出精度に応じて、図２０～図２２に示すように、マーカーポイントの総点数を変更しても良い。図２０は、図１９に示すキャリブレーションを行う際のマーカーポイント７００，７０２，７０４，７０６，７０８，７１０，７１２を示している。また、図２１は、図４に示す５つのマーカーポイント７００，７０２，７０４，７０６，７０８を使用する場合を示している。また、図２２は、図２０に示すマーカーポイント７００，７０２，７０４，７０６，７０８，７１０，７１２に加え、マーカーポイント７１４，７１６を追加した例を示している。
　ステップＳ１２の後はステップＳ１４へ進む。ステップＳ１４では、サイクリング用のアプリケーションが起動したか否かを判定し、サイクリング用のアプリケーションが起動した場合はステップＳ１６へ進む。一方、サイクリング用のアプリケーションが起動していない場合はステップＳ１４で待機する。
　ステップＳ１４の判定の際には、図２３に示すように、複数の仮想オブジェクトが表示される。図２３では、仮想オブジェクト（マップ９６０）と仮想オブジェクト（ペースメーカ９６２）が示されている。ユーザは、仮想オブジェクト（マップ９６０）と仮想オブジェクト（ペースメーカ９６２）のいずれかを選択することができる。いずれかの仮想オブジェクトが選択されると、ステップＳ１４においてアプリケーションが起動したものと判定される。
　ステップＳ１６では、アプリケーションの起動中に第２の画像を用いたキャリブレーションを行う。例えば、ユーザが仮想オブジェクト（ペースメーカ９６２）を選択したとすると、図２４に示すように、仮想オブジェクト（ペースメーカ９６２）が画面中央に寄ってきて、数秒のカウントダウンが行われるなど、視線が画面中央を見るような表示が行われる。このタイミングで、ユーザの視線が中央を見ていると仮定して、弱いキャリブレーションが行われる。
　次のステップＳ１８では、強制的なキャリブレーションを行うか否かを判定し、強制的なキャリブレーションを行う場合はステップＳ２０へ進む。例えば、図２で説明した視線を用いたアイコンの選択を行う場合に、あるアイコンに視線を向けて注視していても当該アイコンが選択されなかったり、明らかに外部から大きな力がＨＭＤ１１００に加わり、ＨＭＤ１１００と眼球の位置がズレていることを視線カメラ３００もしくは９軸センサ６５０によって検出した場合は、強制的なキャリブレーションを行う。このような場合、アプリケーション内で最初のキャリブレーションが大きくズレていることが想定されるため、ステップＳ２０では、第１の画像を用いたキャリブレーション（強いキャリブレーション）を行う。
　次のステップＳ２２では、アプリケーションが終了したか否かを判定し、アプリケーションが終了した場合はステップＳ２４へ進む。ステップＳ２４では、アプリケーションの終了時に第２の画像を用いたキャリブレーション（弱いキャリブレーション）を行う。ここでは、例えば図２５に示した仮想オブジェクト９６４を表示し、画面中央にユーザの意識を惹くことで、ユーザの視線を画面中央に集める。そして、弱いキャリブレーションを行うことで、視線検出の精度を担保する。一方、ステップＳ２２でアプリケーションが終了していない場合は、ステップＳ１６へ戻る。
　ステップＳ２４の後はステップＳ２６へ進む。ステップＳ２６では、ユーザがＨＭＤ１１００を外したか否かを判定し、ユーザがＨＭＤ１１００を外したと判定した場合は、処理を終了する（ＥＮＤ）。一方、ユーザがＨＭＤ１１００を外していないと判定した場合は、ステップＳ１４へ戻る。ユーザがＨＭＤ１１００を外したか否かの判定は、例えば操作入力部６００が操作されてＨＭＤ１１００の電源がオフ（ＯＦＦ）された場合に、ユーザがＨＭＤ１１００を外したと判定することができる。以上のように、ＨＭＤ１１００を装着すると、アプリケーションが起動し、アプリケーションが終了するまでアプリケーションに応じた表示コンテンツが表示される。このような表示コンテンツのシーケンスの流れに応じて、本実施形態では、アプリケーションの起動後と終了後に第２の画像を用いたキャリブレーションを行い（ステップＳ１６，Ｓ２４）、アプリケーションの起動中に第１の画像を用いたキャリブレーションを行う（ステップＳ２０）。
　視線調整装置１０００の構成要素のうち、少なくとも一部の構成要素はクラウド上に設けられていても良い。例えば、画像処理部１０２、オフセット量検出部１０４、視線位置検出部１０８、画像メモリ１１２等の構成要素（図３中で破線で囲んだもの）は、クラウド上に設けられることができる。この場合、ＨＭＤ１１００に搭載された視線カメラ３００、前方カメラ４００、音声取得部５００、操作入力部６００、９軸センサ６５０が取得した情報をクラウド上に送ることで、上述したキャリブレーションの処理を行うことができる。また、画像処理部１０２が生成した画像をＨＭＤ１１００に送ることで、表示部２００に表示を行うことができる。
　また、上述した実施形態では、視線調整装置１０００がＨＭＤ１１００に搭載されている場合を例示したが、視線調整装置１０００はＨＭＤ１１００以外の機器に搭載されていても良い。例えば、視線調整装置１０００は、パーソナルコンピュータ（ＰＣ）やテレビ受像機等の機器に搭載されていても良い。ＰＣ、テレビ受像機等の機器が、ユーザの顔を撮影する撮像装置を備える場合、本実施形態の視線調整装置１０００を搭載することによって、視線位置のキャリブレーションを行うことが可能となる。視線調整装置１０００がＰＣやテレビ受像機等の機器に搭載される場合、表示部２００はこれらの機器のディスプレイに該当する。これにより、ＰＣ、テレビ受像機等の機器においても、ユーザの視線の向きにズレが生じた場合にキャリブレーションを行うことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　表示情報を視認する際の視線情報を取得する視線情報取得部と、
　前記表示情報に対する前記視線情報の位置関係を調整する調整実行部であって、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、が実行可能な前記調整実行部と、
　を備える情報処理装置。
（２）　前記調整実行部は、前記第１の調整と前記第２の調整のいずれかを選択するモード選択部を含む、前記（１）に記載の情報処理装置。
（３）前記調整実行部は、前記表示情報に対応する表示画面上の複数の基準位置に対して視線の向きを調整する前記第１の調整と、前記第１の調整よりも少ない前記表示画面上の基準位置に対して前記視線の向きを調整する前記第２の調整と、が実行可能である、前記（１）又は（２）に記載の情報処理装置。
（４）　前記表示画面に前記基準位置を示すマーカーが表示された画像を生成する画像処理部と、
　視線の向きが前記基準位置を向いた状態で取得された前記視線情報と前記基準位置とのオフセット量を取得するオフセット量取得部と、を備え、
　前記調整実行部は、前記オフセット量に基づいて前記第１又は第２の調整を行う、前記（３）に記載の情報処理装置。
（５）前記モード選択部は、ユーザに関する情報あるいは表示コンテンツに関する情報に基づいて前記第１又は前記第２の調整のいずれを行うか決定する、前記（２）に記載の情報処理装置。
（６）　前記モード選択部は、ユーザの行動認識結果に基づいて前記第１又は前記第２の調整のいずれを行うか決定する、前記（５）に記載の情報処理装置。
（７）　前記モード選択部は、表示コンテンツに基づいて前記第１又は前記第２の調整のいずれを行うか決定する、前記（５）に記載の情報処理装置。
（８）前記第２の調整において、前記画像処理部は、前記表示画面の中央に前記マーカーを表示させる、前記（４）に記載の情報処理装置。
（９）　前記第２の調整において、前記画像処理部は、前記表示画面の周囲から中央に前記マーカーが移動するように前記基準位置を表示させる、前記（４）に記載の情報処理装置。
（１０）　前記第２の調整において、前記画像処理部は、前記表示画面の中央で時間の経過に伴って前記マーカーの大きさが小さくなるように表示させる、前記（４）に記載の情報処理装置。
（１１）　前記第２の調整において、前記画像処理部は、前記マーカーとともにカウントダウン表示を表示させる、前記（４）に記載の情報処理装置。
（１２）　前記第２の調整において、前記画像処理部は、前記表示画面に表示されるアプリケーションで前記表示画面内での使用頻度の高い領域に前記マーカーを表示させる、前記（４）に記載の情報処理装置。
（１３）　前記第２の調整において、前記画像処理部は、３Ｄ表示の前記マーカーを表示させる、前記（４）に記載の情報処理装置。
（１４）　前記第２の調整において、前記画像処理部は、前記表示画面に表示されるアプリケーションで使用頻度の高い奥行き位置に前記３Ｄ表示の前記マーカーを表示させる、前記（１５）に記載の情報処理装置。
（１５）　前記表示画面に表示されるアプリケーションの起動時、前記アプリケーションの起動中、又は前記アプリケーションの終了時に前記マーカーを表示させる、前記（４）に記載の情報処理装置。
（１６）　前記第１の調整において、前記画像処理部は、前記表示画面の少なくとも中央及び四隅に前記マーカーを表示させる、前記（４）に記載の情報処理装置。
（１７）　前記第２の調整の実行中に、前記表示画面上の基準位置と位置センサによって得られる基準の向きとを調整するセンサ調整実行部を備える、前記（３）に記載の情報処理装置。
（１８）　前記表示情報を提供するヘッドマウントディスプレイに搭載される、前記（１）に記載の情報処理装置。
（１９）　表示情報を視認する際の視線情報を取得することと、
　前記表示情報に対する前記視線情報の位置関係を調整し、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、のいずれかを実行することと、
　を備える情報処理方法。
（２０）　表示情報を視認する際の視線情報を取得する手段、
　前記表示情報に対する前記視線情報の位置関係を調整し、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、のいずれかを実行する手段、
　としてコンピュータを機能させるためのプログラム。
　１０８ａ　　視線情報取得部
　１０８ｂ　　調整実行部
　１０２　　　画像処理部
　１０４　　　オフセット量取得部
　１１０　　　センサ調整実行部
　１０００　　視線調整装置
　１１００　　ＨＭＤ

Claims (20)

  1. 　表示情報を視認する際の視線情報を取得する視線情報取得部と、
    　前記表示情報に対する前記視線情報の位置関係を調整する調整実行部であって、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、が実行可能な前記調整実行部と、
    　を備える情報処理装置。
  2. 　前記調整実行部は、前記第１の調整と前記第２の調整のいずれかを選択するモード選択部を含む、請求項１に記載の情報処理装置。
  3. 　前記調整実行部は、前記表示情報に対応する表示画面上の複数の基準位置に対して視線の向きを調整する前記第１の調整と、前記第１の調整よりも少ない前記表示画面上の基準位置に対して前記視線の向きを調整する前記第２の調整と、が実行可能である、請求項１に記載の情報処理装置。
  4. 　前記表示画面に前記基準位置を示すマーカーが表示された画像を生成する画像処理部と、
    　視線の向きが前記基準位置を向いた状態で取得された前記視線情報と前記基準位置とのオフセット量を取得するオフセット量取得部と、を備え、
    　前記調整実行部は、前記オフセット量に基づいて前記第１又は第２の調整を行う、請求項３に記載の情報処理装置。
  5. 　前記モード選択部は、ユーザに関する情報あるいは表示コンテンツに関する情報に基づいて前記第１又は前記第２の調整のいずれを行うか決定する、請求項２に記載の情報処理装置。
  6. 　前記モード選択部は、ユーザの行動認識結果に基づいて前記第１又は前記第２の調整のいずれを行うか決定する、請求項５に記載の情報処理装置。
  7. 　前記モード選択部は、表示コンテンツに基づいて前記第１又は前記第２の調整のいずれを行うか決定する、請求項５に記載の情報処理装置。
  8. 　前記第２の調整において、前記画像処理部は、前記表示画面の中央に前記マーカーを表示させる、請求項４に記載の情報処理装置。
  9. 　前記第２の調整において、前記画像処理部は、前記表示画面の周囲から中央に前記マーカーが移動するように前記基準位置を表示させる、請求項４に記載の情報処理装置。
  10. 　前記第２の調整において、前記画像処理部は、前記表示画面の中央で時間の経過に伴って前記マーカーの大きさが小さくなるように表示させる、請求項４に記載の情報処理装置。
  11. 　前記第２の調整において、前記画像処理部は、前記マーカーとともにカウントダウン表示を表示させる、請求項４に記載の情報処理装置。
  12. 　前記第２の調整において、前記画像処理部は、前記表示画面に表示されるアプリケーションで前記表示画面内での使用頻度の高い領域に前記マーカーを表示させる、請求項４に記載の情報処理装置。
  13. 　前記第２の調整において、前記画像処理部は、３Ｄ表示の前記マーカーを表示させる、請求項４に記載の情報処理装置。
  14. 　前記第２の調整において、前記画像処理部は、前記表示画面に表示されるアプリケーションで使用頻度の高い奥行き位置に前記３Ｄ表示の前記マーカーを表示させる、請求項１３に記載の情報処理装置。
  15. 　前記表示画面に表示されるアプリケーションの起動時、前記アプリケーションの起動中、又は前記アプリケーションの終了時に前記マーカーを表示させる、請求項４に記載の情報処理装置。
  16. 　前記第１の調整において、前記画像処理部は、前記表示画面の少なくとも中央及び四隅に前記マーカーを表示させる、請求項４に記載の情報処理装置。
  17. 　前記第２の調整の実行中に、前記表示画面上の基準位置と位置センサによって得られる基準の向きとを調整するセンサ調整実行部を備える、請求項３に記載の情報処理装置。
  18. 　前記表示情報を提供するヘッドマウントディスプレイに搭載される、請求項１に記載の情報処理装置。
  19. 　表示情報を視認する際の視線情報を取得することと、
    　前記表示情報に対する前記視線情報の位置関係を調整し、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、のいずれかを実行することと、
    　を備える情報処理方法。
  20. 　表示情報を視認する際の視線情報を取得する手段、
    　前記表示情報に対する前記視線情報の位置関係を調整し、前記表示情報に対して前記視線情報を調整する第１の調整と、前記第１の調整よりも少ない情報量に基づいて前記表示情報に対して前記視線情報を調整する第２の調整と、のいずれかを実行する手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2016/070725 2015-09-25 2016-07-13 情報処理装置、情報処理方法及びプログラム Ceased WO2017051595A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-187962 2015-09-25
JP2015187962 2015-09-25

Publications (1)

Publication Number Publication Date
WO2017051595A1 true WO2017051595A1 (ja) 2017-03-30

Family

ID=58386005

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070725 Ceased WO2017051595A1 (ja) 2015-09-25 2016-07-13 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2017051595A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097274A (ja) * 2015-11-27 2017-06-01 株式会社デンソー 表示補正装置
CN112136152A (zh) * 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
CN113617023A (zh) * 2020-05-07 2021-11-09 睛姿控股公司 程序、信息处理方法、信息处理装置以及信息处理系统
CN114120399A (zh) * 2021-11-10 2022-03-01 重庆理工大学 一种基于机器学习的交互意图识别方法
US11953653B2 (en) 2017-12-10 2024-04-09 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11960661B2 (en) 2018-08-03 2024-04-16 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12001013B2 (en) 2018-07-02 2024-06-04 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US12044851B2 (en) 2018-12-21 2024-07-23 Magic Leap, Inc. Air pocket structures for promoting total internal reflection in a waveguide
US12085726B2 (en) 2019-11-20 2024-09-10 Sony Group Corporation Information processing device and information processing method
US12131500B2 (en) 2016-12-29 2024-10-29 Magic Leap, Inc. Systems and methods for augmented reality
US12164978B2 (en) 2018-07-10 2024-12-10 Magic Leap, Inc. Thread weave for cross-instruction set architecture procedure calls
US12249035B2 (en) 2019-07-26 2025-03-11 Magic Leap, Inc. System and method for augmented reality with virtual objects behind a physical surface
US12247846B2 (en) 2018-07-24 2025-03-11 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US12267545B2 (en) 2019-05-01 2025-04-01 Magic Leap, Inc. Content provisioning system and method
US12366769B2 (en) 2017-12-20 2025-07-22 Magic Leap, Inc. Insert for augmented reality viewing device
US12472007B2 (en) 2019-11-15 2025-11-18 Magic Leap, Inc. Viewing system for use in a surgical environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134371A (ja) * 1999-11-05 2001-05-18 Shimadzu Corp 視線検出装置
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
JP2010118047A (ja) * 2008-10-16 2010-05-27 Sharp Corp 通信端末装置、通信方法、および通信プログラム
JP2015101292A (ja) * 2013-11-27 2015-06-04 株式会社デンソー 視線検出装置、および視線検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134371A (ja) * 1999-11-05 2001-05-18 Shimadzu Corp 視線検出装置
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
JP2010118047A (ja) * 2008-10-16 2010-05-27 Sharp Corp 通信端末装置、通信方法、および通信プログラム
JP2015101292A (ja) * 2013-11-27 2015-06-04 株式会社デンソー 視線検出装置、および視線検出方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097274A (ja) * 2015-11-27 2017-06-01 株式会社デンソー 表示補正装置
US12131500B2 (en) 2016-12-29 2024-10-29 Magic Leap, Inc. Systems and methods for augmented reality
US11953653B2 (en) 2017-12-10 2024-04-09 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US12298473B2 (en) 2017-12-10 2025-05-13 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US12366769B2 (en) 2017-12-20 2025-07-22 Magic Leap, Inc. Insert for augmented reality viewing device
US11908434B2 (en) 2018-03-15 2024-02-20 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
JP7344896B2 (ja) 2018-03-15 2023-09-14 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
JP2023133506A (ja) * 2018-03-15 2023-09-22 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
JP7703090B2 (ja) 2018-03-15 2025-07-04 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
CN112136152B (zh) * 2018-03-15 2025-02-07 奇跃公司 由观看设备的部件变形导致的图像校正
JP2021518574A (ja) * 2018-03-15 2021-08-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 視認デバイスのコンポーネントの変形に起因する画像補正
JP7617988B2 (ja) 2018-03-15 2025-01-20 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
JP2024149784A (ja) * 2018-03-15 2024-10-18 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
CN112136152A (zh) * 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
US12001013B2 (en) 2018-07-02 2024-06-04 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US12164978B2 (en) 2018-07-10 2024-12-10 Magic Leap, Inc. Thread weave for cross-instruction set architecture procedure calls
US12379981B2 (en) 2018-07-10 2025-08-05 Magic Leap, Inc. Thread weave for cross-instruction set architectureprocedure calls
US12247846B2 (en) 2018-07-24 2025-03-11 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11960661B2 (en) 2018-08-03 2024-04-16 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12254141B2 (en) 2018-08-03 2025-03-18 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
US12044851B2 (en) 2018-12-21 2024-07-23 Magic Leap, Inc. Air pocket structures for promoting total internal reflection in a waveguide
US12267545B2 (en) 2019-05-01 2025-04-01 Magic Leap, Inc. Content provisioning system and method
US12249035B2 (en) 2019-07-26 2025-03-11 Magic Leap, Inc. System and method for augmented reality with virtual objects behind a physical surface
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US12472007B2 (en) 2019-11-15 2025-11-18 Magic Leap, Inc. Viewing system for use in a surgical environment
US12085726B2 (en) 2019-11-20 2024-09-10 Sony Group Corporation Information processing device and information processing method
JP2021177277A (ja) * 2020-05-07 2021-11-11 株式会社ジンズホールディングス プログラム、情報処理方法、情報処理装置、及び情報処理システム
CN113617023A (zh) * 2020-05-07 2021-11-09 睛姿控股公司 程序、信息处理方法、信息处理装置以及信息处理系统
CN114120399A (zh) * 2021-11-10 2022-03-01 重庆理工大学 一种基于机器学习的交互意图识别方法

Similar Documents

Publication Publication Date Title
WO2017051595A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US10783712B2 (en) Visual flairs for emphasizing gestures in artificial-reality environments
CN114730094B (zh) 具有人工现实内容的变焦显示的人工现实系统
EP3241088B1 (en) Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
US10401953B2 (en) Systems and methods for eye vergence control in real and augmented reality environments
US20130050069A1 (en) Method and system for use in providing three dimensional user interface
US20210124415A1 (en) Eye-based activation and tool selection systems and methods
CN106796452B (zh) 头戴式显示装置及其控制方法、计算机可读介质
WO2019142560A1 (ja) 視線を誘導する情報処理装置
CN108508629A (zh) 具有眼睛驱动控制系统的智能接触镜片和方法
EP2926223A1 (en) Direct hologram manipulation using imu
EP4120052A1 (en) Head-mountable display systems and methods
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
US11743447B2 (en) Gaze tracking apparatus and systems
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JPWO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6941130B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
WO2025160287A1 (en) Reference frame alignment between computing devices
JP2018029969A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018097477A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
WO2023157332A1 (ja) 情報処理装置および調整画面表示方法
KR20250119365A (ko) 시선 위치의 정보를 획득하기 위하여 가상 객체를 이동하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848385

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16848385

Country of ref document: EP

Kind code of ref document: A1