[go: up one dir, main page]

WO2014069090A1 - 画像表示装置及び画像表示方法、並びにコンピューター・プログラム - Google Patents

画像表示装置及び画像表示方法、並びにコンピューター・プログラム Download PDF

Info

Publication number
WO2014069090A1
WO2014069090A1 PCT/JP2013/073484 JP2013073484W WO2014069090A1 WO 2014069090 A1 WO2014069090 A1 WO 2014069090A1 JP 2013073484 W JP2013073484 W JP 2013073484W WO 2014069090 A1 WO2014069090 A1 WO 2014069090A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
posture
unit
angle
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/073484
Other languages
English (en)
French (fr)
Inventor
洋一 廣田
高橋　巨成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2014069090A1 publication Critical patent/WO2014069090A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the technology disclosed in the present specification relates to an image display device and an image display method that a user wears on the head or face and is used for viewing an image, and a computer program.
  • the present invention relates to an image display device and an image display method for displaying a wide-angle image on a screen, and a computer program.
  • Head-mounted image display devices that are worn on the head and used for viewing images, that is, head-mounted displays are known.
  • the head-mounted image display device has, for example, an image display unit for each of the left and right eyes, and is configured to be used in combination with headphones to control vision and hearing.
  • the head-mounted display can also project different images to the left and right eyes, and can display a 3D image by displaying an image with parallax for the left and right eyes.
  • This type of image display device forms a virtual image on the retina of the eye and allows the user to observe it.
  • the virtual image can be formed on the object side when the object is closer to the lens than the focal length.
  • a wide viewing angle optical system is disposed in front of the pupil by 25 millimeters, and a display panel having an effective pixel range of about 0.7 inches is disposed further in front of the wide viewing angle optical system.
  • Proposals have been made on head-mounted displays (see, for example, Patent Document 1).
  • the wide viewing angle optical system enlarges the display image of the display panel by 1000 times or more and forms a virtual image of about 750 inches on the retina 20 meters ahead of the user's pupil. It corresponds to 45.09 degrees.
  • a wide-angle image can be viewed using a head-mounted display.
  • a head-mounted display has been proposed in which a gyro sensor is attached to the head so that a 360-degree image of the entire space can be realized according to the movement of the user's head (for example, Patent Documents). 2, see Patent Document 3).
  • Patent Documents Patent Documents
  • Patent Document 3 By moving the display area so as to cancel the head movement detected by the gyro sensor, it is possible to present an image following the movement of the user's head.
  • a panoramic image is basically an image taken while changing the line of sight of a camera with a constant viewpoint position (or a computer graphics image generated on the assumption that the viewpoint position is constant). is there. Therefore, if the movement of the user's head is constant and only the line of sight changes, a natural image can be presented. However, there is a problem that the observed image is distorted when the user moves the viewpoint position.
  • An object of the technology disclosed in the present specification is to provide an excellent image display device and image display capable of suitably displaying a wide-angle image on a screen having a constant display angle of view while following the movement of the user's head. It is to provide a method and a computer program.
  • the image display apparatus which comprises.
  • the image display device further includes a posture / position information correction unit that corrects the posture or position detected by the posture / position detection unit.
  • the display field angle control unit is configured to determine the position and orientation of the display field angle based on the posture and position corrected by the posture / position information correction unit.
  • the posture / position information correction unit of the image display device according to claim 2 is a calibration process of a gyro sensor or an acceleration sensor used as the posture / position detection unit. It is comprised so that it may perform.
  • the posture / position information correction unit of the image display device according to claim 3 is set in two or more directions in which gravity acts. Based on the output value of the acceleration sensor at the time of installation, the gain or offset of the acceleration sensor is calibrated.
  • the posture / position information correction unit of the image display apparatus provides a method of installing the image display apparatus main body in the two or more directions. It is configured to guide the user by displaying on the screen of the section.
  • the posture / position information correction unit of the image display device according to claim 3 rotates the image display device main body by a predetermined angle around the axis of the gyro sensor. During this period, the gain of the gyro sensor is calibrated so that the product of the output values of the gyro sensor matches the predetermined angle.
  • the posture / position information correction unit of the image display apparatus rotates the image display apparatus main body by a predetermined angle around the axis of the gyro sensor. And displaying the method on the screen of the display unit to guide the user.
  • the posture / position information correction unit of the image display apparatus sets the image display apparatus main body around the first axis of the gyro sensor.
  • the calibration process of the gyro sensor in the first axial direction is performed, and the calibration process of the acceleration sensor in the second axial direction orthogonal to the first axis is performed. It is configured.
  • the posture / position information correction unit of the image display device according to claim 3 is configured so that the user who attached the display screen to the head or the face faces the front.
  • the gyro sensor is calibrated on the basis of the measurement result when the gyro sensor is detected.
  • the posture / position detection unit of the image display device uses the tilt and roll components of the movement of the user's head as an output value of the acceleration sensor. And detecting the pan component based on the output value of the gyro sensor.
  • the posture / position information correction unit of the image display device assigns a weight less than 1 to the past output value of the gyro sensor,
  • the output value of the gyro sensor is integrated to suppress the accumulation of errors when calculating the pan component.
  • the posture / position information correction unit of the image display device determines the value of the weight based on the accuracy that the user is moving. Is configured to control.
  • the posture / position information correction unit of the image display device calibrates the pan component from the output value of the gyro sensor at a low frequency.
  • the output value of the gyro sensor is integrated to suppress the accumulation of errors when calculating the pan component.
  • the image display device further includes a bread component 0 detection sensor for detecting whether or not the bread component is zero.
  • the posture / position information correction unit is configured to correct the pan component calculated from the output value of the gyro sensor as an error when the pan component is zero.
  • the posture / position information correction unit of the image display apparatus includes a detection result of a tilt angle and a roll angle based on the acceleration sensor, and the gyro The tilt angle and roll angle detection results based on the sensor are weighted to correct the tilt angle and roll angle.
  • the posture / position information correction unit of the image display apparatus includes a detection result of a tilt angle and a roll angle based on the acceleration sensor, and the gyro The tilt angle and roll angle detection results based on the sensor are weighted to correct the tilt angle and roll angle.
  • the image correction unit of the image display device is configured to correct distortion of an image cut out from a panoramic or fish-eye input image. .
  • the image correction unit of the image display device projects a panoramic image including a set of polyhedral images onto a spherical surface or a polyhedron having a larger number of surfaces. Is configured to do.
  • a posture / position detection step for detecting a posture and a position of a device in which a display unit is attached to a user's head or face
  • a display angle-of-view control step for determining the position and orientation of the display angle of view to be displayed on the display unit based on the detected attitude and position
  • An image correction step for correcting the clipped image
  • the technique described in claim 20 of the present application is: Posture / position acquisition unit for acquiring the posture and position of a device in which a display unit is attached to the user's head or face, A display angle control unit that determines the position and orientation of the display angle of view to be displayed on the display unit based on the acquired attitude and position; An image cutout unit that cuts out an image of the display angle of view from an input image; An image correction unit for correcting the clipped image, As a computer program written in a computer-readable format to make the computer function.
  • the computer program according to claim 20 of the present application defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer.
  • a cooperative operation is exhibited on the computer, and the same effect as the image display device according to claim 1 of the present application is obtained. be able to.
  • an excellent image display device and image display capable of suitably displaying a wide-angle image on a screen having a constant display angle of view while following the movement of the user's head.
  • FIG. 1 is a diagram schematically showing the configuration of an image display system including a head-mounted display.
  • FIG. 2 is a diagram showing a state in which the top surface of the main body of the head mount unit 10 is viewed from above.
  • FIG. 3 is a perspective view of the head mount unit 10 as viewed from the front.
  • FIG. 4 is a diagram showing an example of the internal configuration of the head mount unit 10.
  • FIG. 5 is a diagram illustrating a coordinate system of the posture detected by the posture / position detection unit 404.
  • FIG. 6 is a diagram schematically illustrating a functional configuration of the control unit 401 for realizing interference of a wide-angle image in accordance with the movement of the user's head.
  • FIG. 7A is a diagram schematically showing the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the x-axis acceleration sensor faces upward.
  • FIG. 7B is a diagram schematically illustrating the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the x-axis acceleration sensor faces downward.
  • FIG. 7C is a diagram for explaining a method of calibrating the output value of the x-axis acceleration sensor to acceleration.
  • FIG. 8A is a diagram schematically showing the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the y-axis acceleration sensor faces upward.
  • FIG. 8A is a diagram schematically showing the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the y-axis acceleration sensor faces upward.
  • FIG. 8B is a diagram schematically showing the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the y-axis acceleration sensor faces downward.
  • FIG. 9A is a diagram schematically showing the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the z-axis acceleration sensor faces upward.
  • FIG. 9B is a diagram schematically illustrating the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the z-axis acceleration sensor faces downward.
  • FIG. 10A is a diagram schematically showing the state of the three-axis gyro sensor when the head mount unit 10 is installed on a flat place so that the x-axis gyro sensor faces upward.
  • FIG. 10B is a diagram illustrating a state in which the head mount unit 10 (three-axis gyro sensor) is rotated by 180 degrees around the x-axis.
  • FIG. 11 is a diagram showing a state in which the head mount unit 10 (three-axis gyro sensor) is rotated by 180 degrees around the y-axis.
  • FIG. 12 is a diagram showing a state in which the head mount unit 10 (three-axis gyro sensor) is rotated by 180 degrees around the z-axis.
  • FIG. 13 is a diagram for explaining an operation for simultaneously calibrating the x-axis acceleration sensor and the y-axis gyro sensor.
  • FIG. 14 is a diagram for explaining an operation for simultaneously calibrating the y-axis acceleration sensor and the z-axis gyro sensor.
  • FIG. 15 is a diagram for explaining an operation for simultaneously calibrating the z-axis acceleration sensor and the x-axis gyro sensor.
  • FIG. 16 is a diagram showing a deviation from the xyz coordinate system set in the head mount unit 10 (sensor) and the xyz coordinate system of the user's head.
  • FIG. 17A is a diagram showing a control block for obtaining the pan component ⁇ x, g (t) of the posture from the output value of the x-axis gyro sensor.
  • FIG. 17B is a diagram showing a control block for correcting the pan component ⁇ x, g (t) of the posture determined from the output value of the x-axis gyro sensor.
  • FIG. 18 is a diagram for explaining a mechanism for detecting a pan component by a sound wave sensor in an environment facing a front wall.
  • FIG. 19 is a diagram showing a control block for obtaining the pan component ⁇ x, g (t) of the posture from the output value of the x-axis gyro sensor while calibrating when the pan component is detected as 0. .
  • FIG. 20 is a diagram for explaining a mechanism for measuring the tilt angle ⁇ y, a using an axial acceleration sensor.
  • FIG. 21 is a diagram illustrating a state in which an image of 90 degrees is displayed at a display angle of view of 45 degrees and the user observes.
  • FIG. 22 is a diagram showing a state in which a 90-degree image is displayed on a narrow 45-degree display panel 409.
  • FIG. 23 is a diagram showing a state in which a display angle of view of 45 degrees is cut out from a 90-degree image and displayed by the user.
  • FIG. 24 is a diagram showing a modification of the method of cutting out and displaying a 45 ° display angle of view from a 90 ° image.
  • FIG. 25 is a diagram for explaining a method of correcting an image cut out from a panoramic image at a predetermined display angle of view.
  • FIG. 26 is a diagram for explaining a method of correcting an image cut out from a fisheye image at a predetermined display angle of view.
  • FIG. 27A is a diagram illustrating a state in which a user observes a wide-angle image while panning the head to the left side.
  • FIG. 27B is a diagram for explaining a display image correction method using the non-effective mask.
  • FIG. 28A is a diagram illustrating a state in which the user observes a wide-angle image while panning the head to the right side.
  • FIG. 28B is a diagram for explaining a display image correction method using a non-effective mask.
  • FIG. 29 is a diagram for explaining a correction method using an effective mask for an image cut out from a panoramic image.
  • FIG. 30 is a diagram illustrating a panoramic image expressed by a polyhedron.
  • FIG. 31 is a diagram illustrating a state in which the panoramic image illustrated in FIG. 30 is observed while the viewpoint is moved.
  • FIG. 32 is a diagram illustrating a state in which a panoramic image represented by a set of polyhedrons is projected onto a spherical surface and image correction is performed.
  • FIG. 33 is a diagram showing a state in which an image at the time of moving the viewpoint is projected using a panoramic image that has been projected onto a spherical surface.
  • FIG. 1 schematically shows the configuration of an image display system including a head-mounted display.
  • the illustrated system includes a Blu-ray disc playback device 20 that is a source of viewing content, a front end box 40 that processes an AV signal output from the Blu-ray disc playback device 20, and a Blu-ray disc playback device 20.
  • a head-mounted display device (head mounted unit) 10 that is the output destination of the playback content and a high-definition display (for example, HDMI (registered trademark)) that is the other output destination of the playback content of the Blu-ray disc playback device 20 ) Supported TV) 30.
  • the head mount unit 10 and the front end box 40 constitute one set of head mount display.
  • the front end box 40 is equivalent to an HDMI (registered trademark) repeater that, for example, performs signal processing and outputs an HDMI (registered trademark) when the AV signal output from the Blu-ray Disc playback device 20 is input to the HDMI (registered trademark). To do.
  • the front end box 40 is also a two-output switcher that switches the output destination of the Blu-ray disc playback device 20 to either the head mount unit 10 or the high-definition display 30. In the illustrated example, the front end box 40 has two outputs, but may have three or more outputs. However, the front end box 40 makes the output destination of the AV signal exclusive, and gives the highest priority to the output to the head mount unit 10.
  • HDMI High-Definition Multimedia Interface
  • DVI Digital Visual Interface
  • TMDS Transition Minimized Differential Signaling as the main and audio as the main layer for video transmission
  • This system complies with, for example, HDMI (registered trademark) 1.4.
  • the HDMI (registered trademark) cable is connected between the Blu-ray Disc player 20 and the front end box 40, and between the front end box 40 and the high-definition display 30.
  • the front end box 40 and the head mount unit 10 can also be configured to be connected by an HDMI (registered trademark) cable, but AV signals are serially transferred using cables of other specifications. You may do it. However, it is assumed that the AV signal and power are supplied by a single cable connecting the front end box 40 and the head mount unit 10, and the head mount unit 10 also obtains drive power via this cable. be able to.
  • FIG. 2 shows an overhead view of the upper surface of the main body of the head mount unit 10.
  • the head mount unit 10 includes two independent display units for the left eye and the right eye. Each display unit uses a display panel made of, for example, an organic EL element. Each of the left and right display units is equipped with an eyepiece optical system with low distortion and high resolution and a wide viewing angle. If the eyepiece optical system magnifies and projects the image on the display panel to set a wide angle of view and reproduces multiple channels with headphones, the realistic sensation as viewed in a movie theater can be reproduced.
  • the head mount unit 10 has an eyepiece optical system independently on the left and right, the eye height and the eye width vary from user to user, so the eyepiece optical system and the eye of the user who wears it are aligned. There is a need. For this reason, the main body of the head mount unit 10 is equipped with an eye width adjustment mechanism that adjusts the eye width between the display unit for the right eye and the display unit for the left eye.
  • FIG. 3 shows the head mount unit 10 as viewed from the front.
  • the head mount unit 10 shown in the figure is a head-mounted structure similar to a hat shape, and even if heavy objects are concentrated on the front of the main body, the load of the device is distributed over the entire head. , Can reduce the burden on the user.
  • FIG. 4 shows an example of the internal configuration of the head mount unit 10. Hereinafter, each part will be described.
  • the control unit 401 includes a ROM (Read Only Memory) 401A and a RAM (Random Access Memory) 401B.
  • the ROM 401A stores program codes executed by the control unit 401 and various data.
  • the control unit 401 executes the program loaded to the RAM 401B, thereby starting the image display control and comprehensively controlling the operation of the entire apparatus 400.
  • programs and data stored in the ROM 401A image display control programs, correction processing programs for wide-angle images to be displayed and output, correction of posture information and position information of the user's head detected by the posture / position detection unit 404, or various types
  • a sensor calibration processing program, identification information unique to the apparatus 10, and the like can be mentioned.
  • the input operation unit 402 includes one or more operation elements that the user performs input operations such as keys, buttons, and switches, receives a user instruction via the operation elements, and outputs the instruction to the control unit 401.
  • the input operation unit 402 similarly accepts a user instruction including a remote control command received by the remote control reception unit 403 and outputs it to the control unit 401.
  • the posture / position detection unit 404 is a unit that detects the posture of the head of the user wearing the head mount unit 10.
  • the posture / position detection unit 404 includes at least one of a gyro sensor, an acceleration sensor, a GPS (Global Positioning System) sensor, a geomagnetic sensor, a reflected wave sensor, or two or more in consideration of the advantages and disadvantages of each sensor. Consists of a combination of sensors.
  • FIG. 5 shows the coordinate system of the posture detected by the posture / position detection unit 404.
  • the depth direction of the display image is the z axis
  • the horizontal direction is the y axis
  • the vertical direction is the x axis
  • the origin position of the xyz axis is the viewpoint position.
  • the roll ⁇ z corresponds to the movement of the user's head around the z axis
  • the tilt ⁇ y corresponds to the movement of the user's head around the y axis
  • the pan ⁇ z corresponds to the movement of the user's head around the x axis.
  • the posture / position detection unit 404 When the posture / position detection unit 404 detects the movement ( ⁇ z , ⁇ y , ⁇ z ) in the roll, tilt, and pan directions of the user's head and the parallel movement of the head, the posture / position detection unit 404 outputs the detected result to the control unit 401. As will be described later, the control unit 401 moves the angle of view of the display panel 409 so as to cancel the head movement detected by the posture / position detection unit 404, thereby obtaining an image following the user's head movement. Can be presented.
  • the user can purchase the head / position detection unit 404 as an external unit after purchasing the product.
  • the case where it attaches to the mount unit 10 etc. is assumed.
  • the state detection unit 411 acquires state information regarding the state of the user wearing the head mount unit 10 and outputs it to the control unit 401.
  • State information includes, for example, the user's work state (whether or not the user's head mount unit 10 is worn), the user's action state (movement such as walking, open / close state of the heel), mental state (observing the display image) The degree of excitement, arousal level, emotions, emotions, etc.), and the physiological state.
  • the state detection unit 411 obtains the state information from the user by using a wearing sensor such as a mechanical switch, a gyro sensor, an acceleration sensor, a speed sensor, a pressure sensor, a body temperature sensor, a sweat sensor, a myoelectric potential.
  • Various state sensors such as a sensor, an electrooculogram sensor, and an electroencephalogram sensor may be provided.
  • the communication unit 405 performs communication processing with other devices, modulation / demodulation of communication signals, and encoding / decoding processing.
  • the communication unit 405 receives an image signal for display output from an external device (for example, a Blu-ray disc playback device or a content distribution server (not shown) on the network) serving as an image source.
  • the image or other received data received and demodulated and decoded by the communication unit 405 is supplied to the control unit 401.
  • the control unit 401 sends transmission data to an external device from the communication unit 405.
  • the configuration of the communication unit 405 is arbitrary.
  • the communication unit 405 can be configured according to a communication standard used for transmission / reception operations with an external device serving as a communication partner.
  • the communication standard may be either wired or wireless.
  • Communication standards such as MHL (Mobile High-definition Link), USB (Universal Serial Bus), HDMI (registered trademark) (Multidefinition Multimedia Interface), Bluetooth (registered trademark) communication, and other infrared communication can be used.
  • MHL Mobile High-definition Link
  • USB Universal Serial Bus
  • HDMI registered trademark
  • Bluetooth registered trademark
  • the position information and the information related to the movement of the user can be acquired based on the radio wave intensity received by the communication unit 405 from the nearby WiFi base station.
  • the storage unit 406 is a large-capacity storage device such as an SSD (Solid State Drive).
  • the storage unit 406 stores application programs executed by the control unit 401 and image contents to be reproduced and output such as wide-angle images.
  • the image processing unit 407 further performs signal processing such as image quality correction on the image signal output from the control unit 401 and converts the image signal to a resolution that matches the screen of the display panel 409.
  • the display driving unit 408 sequentially selects the pixels of the display panel 409 for each row and performs line sequential scanning, and supplies a pixel signal based on the image signal that has been subjected to signal processing.
  • the display panel 409 is configured by a micro display such as an organic EL (Electro-Luminescence) element or a liquid crystal display.
  • the virtual image optical unit 410 enlarges and projects the display image on the display panel 409, and allows the user to observe it as an enlarged virtual image.
  • the virtual image optical unit 410 enlarges the display image of the display panel 409 by 1000 times or more and forms a virtual image of about 750 inches on the retina 20 meters ahead of the user's pupil.
  • the angle corresponds to 45.09 degrees.
  • the head mount unit 10 is configured so that the user can appreciate a wide angle image such as the entire periphery. Specifically, when a wide-angle image such as a panoramic image is reproduced and displayed on the display panel 409, the control unit 401 causes the angle of view of the display panel 409 to cancel the head movement detected by the posture / position detection unit 404. By moving the, the image that follows the movement of the user's head is projected.
  • FIG. 6 schematically shows a functional configuration of the control unit 401 for realizing interference of a wide-angle image in accordance with the movement of the user's head.
  • the illustrated functional configuration is realized, for example, in a form in which a predetermined application program is executed in the control unit 401.
  • the posture / position information correction unit 601 corrects or calibrates the posture information input from the posture / position detection unit 404 and outputs accurate posture information to the display angle control unit 602.
  • the posture / position detection unit 404 includes, for example, one or a combination of two or more of a gyro sensor, an acceleration sensor, a GPS sensor, a geomagnetic sensor, and a reflected wave sensor, but each sensor has advantages and disadvantages. .
  • the posture / position information correction unit 601 is configured to obtain more accurate posture information of the user's head by removing an error component included in the output value of the employed sensor or calibrating the sensor. As a result, it is possible to project an image that more faithfully follows the user's head. Details of posture information correction and calibration processing will be described later.
  • the display view angle control unit 602 moves the position and orientation of the display view angle displayed on the display panel 409 according to the movement of the user's head obtained through the posture / position information correction unit 601 (see FIG. 5). ), And outputs the determined display angle of view to the image cutout unit 603.
  • the image cutout unit 603 cuts out the image having the display angle of view determined by the display angle of view control unit 602 from the wide angle image input from the communication unit 405 or the storage unit 406 and outputs the image to the image correction unit 604.
  • the image correction unit 604 corrects a distortion or the like that occurs when an image cut out at the display angle of view is displayed on the display panel 409 and outputs the corrected image to the subsequent image processing unit 407. Note that the image correction unit 604 may perform image correction as preprocessing for image clipping, in addition to correcting the display image clipped to the display angle of view by the image clipping unit 603. Details of the image correction processing by the image correction unit 604 will be described later.
  • the posture / position detection unit 404 assumes that the gyro sensor and the acceleration sensor are used in combination for detecting the posture of the user's head, and that the gyro sensor and the acceleration sensor are installed for each xyz axis. To do.
  • the posture / position detection unit 404 composed of these gyro sensor and acceleration sensor is mounted in the head mount unit 10, it is necessary to calibrate the sensor in advance before shipment by the manufacturer or distributor. Further, when the user installs the posture / position detection unit 404 as an external unit on the head mount unit 10 after purchasing the product, it is necessary to perform the same calibration on the user side. In addition, it is assumed that the sensor value will shift due to environmental changes and aging. For this reason, even after starting to use the head mount unit 10, the user needs to calibrate the sensor as appropriate.
  • FIG. 7A schematically shows the state of the three-axis acceleration sensor when the head mount unit 10 is installed on a flat place so that the x-axis acceleration sensor faces upward.
  • gravity acts only in the x-axis direction, and therefore, the detected acceleration of the x-axis acceleration sensor among the three-axis acceleration sensors is 9.8 m / s 2 corresponding to the gravitational acceleration.
  • FIG. 7B schematically shows the state of the three-axis acceleration sensor when the head mount unit 10 is turned upside down so that the x-axis acceleration sensor faces downward. In this case, the detected acceleration of the x-axis acceleration sensor should be ⁇ 9.8 m / s 2 corresponding to the gravitational acceleration.
  • the posture / position information correction unit 601 has a detected acceleration of ⁇ 9.8 m / s 2 when the head mount unit 10 is installed horizontally so that the x-axis acceleration sensor is oriented in the vertical direction. In such a manner, the gain and offset of the x-axis acceleration sensor are calibrated. If the output value obtained when the x-axis acceleration sensor is installed upward is S x, a, u , and the output value obtained when the x-axis acceleration sensor is installed downward is S x, a, d , The position information correction unit 601 can calibrate the detected acceleration a x in the x-axis direction from the output value S x, a of the x-axis acceleration sensor according to the following equation (1) (see FIG. 7C).
  • the posture / position information correction unit 601 indicates the installation state of the head mount unit 10 as shown on the left of FIG. 7A and the left of FIG. 7B on the display panel 409, for example. It may be displayed to instruct the user how to install or turn over.
  • the calibration method for the y-axis and x-axis acceleration sensors is the same.
  • FIG. 8A schematically shows the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the y-axis acceleration sensor faces upward.
  • FIG. 8B schematically shows the state of the three-axis acceleration sensor when the head mount unit 10 is turned over so that the y-axis acceleration sensor faces downward.
  • the posture / position information correction unit 601 displays the installation state of the head mount unit 10 as shown on the left side of FIG. 8A and the left side of FIG. 8B on the display panel 409, for example. Then, the user may be instructed on how to set up or turn over.
  • the posture / position information correction unit 601 has a detected acceleration of the y-axis acceleration sensor of ⁇ 9.8 m / s 2 when the head mount unit 10 is installed so that the y-axis acceleration sensor is oriented vertically. In such a manner, the gain and offset of the y-axis acceleration sensor are calibrated.
  • the position information correction unit 601 can calibrate the detected acceleration a y in the y-axis direction from the output value S y, a of the y-axis acceleration sensor according to the following equation (2).
  • FIG. 9A schematically shows the state of the three-axis acceleration sensor when the head mount unit 10 is installed so that the z-axis acceleration sensor faces upward.
  • FIG. 9B schematically shows the state of the three-axis acceleration sensor when the head mount unit 10 is turned over so that the z-axis acceleration sensor faces downward.
  • the posture / position information correction unit 601 displays the installation state of the head mount unit 10 as shown on the left side of FIG. 9A and the left side of FIG. 9B on the display panel 409, for example. Then, the user may be instructed on how to set up or turn over.
  • the posture / position information correction unit 601 is such that the outputs S z, r and S z, up of the z-axis acceleration sensor when the head mount unit 10 is installed so that the z-axis acceleration sensor is in the vertical direction are ⁇
  • the gain and offset of the z-axis acceleration sensor are calibrated so as to be 9.8 m / s 2 .
  • the position information correction unit 601 can calibrate the detected acceleration a z in the z-axis direction from the output value S z, a of the z-axis acceleration sensor according to the following equation (3).
  • FIG. 10A schematically shows the state of the three-axis gyro sensor when the head mount unit 10 is installed on a flat place so that the x-axis gyro sensor faces upward.
  • FIG. 10B shows a state where the head mount unit 10 (that is, the triaxial gyro sensor) is rotated by 180 degrees around the x axis to be calibrated at this installation location.
  • the posture / position information correction unit 601 displays a rotation operation of the main body of the head mount unit 10 as shown in FIG. You may make it instruct
  • the posture / position information correction unit 601 integrates the value of the x-axis gyro sensor while rotating the head mount unit 10 by 180 degrees around the x-axis. Assuming that the output value of the x-axis gyro sensor at time t is s x, g (t) and the integral value while rotating 180 degrees around the x-axis is S x, g, 180 , the following equation (4) is obtained. Street.
  • the posture / position information correction unit 601 calibrates the gain of the x-axis gyro sensor so that the integral value S x, g, 180 indicates exactly 180 degrees.
  • the relationship between the output value s x, g (t) of the x-axis gyro sensor and the pan angular velocity ⁇ x, g can be obtained correctly.
  • FIG. 11 shows a state in which the head mount unit 10 (that is, a three-axis gyro sensor) is rotated by 180 degrees around the y axis to be calibrated from the state shown in FIG. 10A. Yes.
  • the posture / position information correction unit 601 may display a rotation operation as shown on the left in FIG. .
  • the posture / position information correction unit 601 integrates the value of the y-axis gyro sensor while rotating the head mount unit 10 by 180 degrees around the y-axis.
  • the posture / position information correction unit 601 calibrates the gain of the y-axis gyro sensor so that the integrated value S y, g, 180 indicates exactly 180 degrees.
  • the relationship between the output value s y, g (t) of the y-axis gyro sensor and the tilt angular velocity ⁇ y, g is correctly obtained.
  • FIG. 12 shows a state in which the head mount unit 10 (that is, the three-axis gyro sensor) is rotated by 180 degrees around the z axis to be calibrated from the state shown in FIG. 10A. Yes.
  • the posture / position information correction unit 601 may display a rotation operation as shown on the left side of FIG. .
  • the posture / position information correction unit 601 integrates the value of the z-axis gyro sensor while rotating the head mount unit 10 by 180 degrees around the z-axis.
  • the posture / position information correction unit 601 calibrates the gain of the z-axis gyro sensor so that the integrated value S z, g, 180 indicates exactly 180 degrees.
  • the relationship between the output value s z, g (t) of the z-axis gyro sensor and the roll angular velocity ⁇ z, g can be obtained correctly.
  • the acceleration sensor and the gyro sensor may not be calibrated separately, but may be performed simultaneously to reduce the number of operations.
  • the posture / position information correction unit 601 may display the illustrated rotation operation on the display panel 409 to instruct the user.
  • the posture / position information correction unit 601 may display the illustrated rotation operation on the display panel 409 to instruct the user.
  • the posture / position information correction unit 601 may display the illustrated rotation operation on the display panel 409 to instruct the user.
  • the head mount unit 10 (sensor) is based on the individual differences in the shape and size of the head for each user and the shift in the place where the head mount unit 10 is mounted on the head.
  • the xyz coordinate system set to may be displaced from the xyz coordinate system of the user's head (see FIG. 16). If there is such a shift in the coordinate system, an image that correctly follows the movement of the user's head cannot be presented, and the user feels uncomfortable when viewing the wide-angle image. Therefore, the posture / position information correction unit 601 needs to be calibrated not only at the initial time as described above but also when the user wears the head mount unit 10.
  • the user's head (facing the front) in other words, the right direction of the head-mounted unit 10)
  • direction V true using the inverse matrix M R -1 of the matrix M R, can be calculated by the following equation (10).
  • the posture / position information correction unit 601 can detect the correct direction by the calibration process.
  • Orientation and position information correction section 601 detects that the state detection unit 411 is a user on the basis of such an output of the mounting sensor (described above) is wearing the head-mounted unit 10, for obtaining the matrix M R The operation is instructed to the user and the calibration process is executed.
  • a message such as “Please install the unit correctly and turn to the front. If you turn to the front, press the Enter button” is displayed.
  • a voice guide may be used. Then, the posture and position information correcting unit 601, the user stores the orientation of the axes at the moment of pressing the Enter button, with subsequent matrix M R based thereon, the correction of the output values of the acceleration sensor or a gyro sensor Do.
  • a message “Please install the unit correctly and face the front.” is displayed on the display panel 409.
  • Orientation and position information correction unit 601 when the output value of the acceleration sensor or a gyro sensor becomes constant state for a predetermined time (e.g. 5 seconds), and stores the posture of the moment axis, the matrix M R thereunder After that, the output value of the acceleration sensor and the gyro sensor is corrected. In this case, the user does not need to press the Enter button. In addition, there is no possibility of acquiring an incorrect posture of the axis due to the hand shake accompanying the button pressing operation.
  • the pan component correction gyro sensor can measure all three directions of movement of roll, tilt and pan. However, since the gyro sensor calculates the angle by integrating the output value with time, there is a problem that errors are accumulated and the accuracy is not good. For example, when viewing a panoramic image or enjoying a game image, the center of the image gradually shifts.
  • the acceleration sensor can measure the posture in the roll and tilt directions, but there is a problem that the pan direction component cannot be measured.
  • the posture / position information correction unit 601 does not accumulate an error when measuring the pan component of the posture using the output value of the gyro sensor in the posture / position detection unit 404, or Correction processing that removes errors is performed.
  • the pan component ⁇ x, g (t) of the posture obtained from the output value of the x-axis gyro sensor is normally expressed as the following equation (11).
  • FIG. 17A shows a control block diagram for obtaining the pan component ⁇ x, g (t) of the posture from the output value of the x-axis gyro sensor according to the above equation (11).
  • the output value ⁇ x, g (t) at the current time t is fed back as the pan component ⁇ x, g (t ⁇ 1) at the past time (t ⁇ 1) via the delay unit 1701.
  • the adder 1704 adds the output value ⁇ x, g (t) at the current time t, and outputs the result as the pan component ⁇ x, g (t) at the current time.
  • the first term ⁇ x, g (t ⁇ 1) on the right side of the above equation (11) is the pan component at the past time (t ⁇ 1)
  • the second term ⁇ x, g (t) is the output value at the current time t. It is. If there is an error in the past measured pan component ⁇ x, g (t ⁇ 1), it is accumulated. Therefore, the posture / position information correction unit 601 underestimates the previously measured pan component ⁇ x, g (t ⁇ 1) by multiplying the first term by the coefficient R as shown in the following equation (12). To prevent error accumulation.
  • R is a positive value less than 1. Since R is multiplied every time the integration is repeated, the past pan component converges to 0 and accumulation of errors is suppressed.
  • the posture / position information correction unit 601 controls R as a variable parameter that changes depending on the accuracy of the gyro sensor or the like.
  • R is set to a smaller value such as 0.9.
  • R is set to a value closer to 1 such as 0.9999.
  • the posture / position information correction unit 601 may obtain the accuracy during movement of the vehicle based on other sensor information such as an acceleration sensor and a GPS sensor, and control the value of R based on this accuracy. For example, if you estimate the situation such as riding in a car from the characteristics of the value of the acceleration sensor (always swaying up and down, or periodically accelerating and decelerating) and the change speed of the position information of the GPS sensor, The value of R is controlled based on this accuracy.
  • FIG. 17B is a control block diagram for the posture / position information correction unit 601 to correct the pan component ⁇ x, g (t) of the posture obtained from the output value of the x-axis gyro sensor according to the above equation (12). Is shown.
  • the output value ⁇ x, g (t) at the current time t is fed back as a pan component ⁇ x, g (t ⁇ 1) at the past time (t ⁇ 1) via the delay unit 1711.
  • the multiplier 1712 multiplies the pan component ⁇ x, g (t ⁇ 1) by the variable parameter R.
  • the parameter control unit 1713 obtains the accuracy during movement of the vehicle based on information from other sensors such as an acceleration sensor and a GPS sensor, and controls the value of the variable parameter R based on the accuracy.
  • the adder 1714 then multiplies the pan component ⁇ x, g (t ⁇ 1) at the past time (t ⁇ 1) by the variable parameter R and the output value ⁇ x, g (t ) Are added and output as the pan component ⁇ x, g (t) at the current time.
  • the posture / position information correction unit 601 performs control of the pan component of the gyro sensor with a normal period (for example, 1/60 seconds), but even if the calibration frequency is reduced to about once, Accumulation of errors can be suppressed.
  • the posture / position information correction unit 601 regards the pan component calculated from the output of the gyro sensor as an error and calibrates it. Also good.
  • the posture / position detection unit 404 includes a sound wave sensor that detects a reflected wave of a sound wave irradiated in the front direction (z direction)
  • the pan component can be determined based on the output value of the sound wave sensor. it can.
  • FIG. 18 illustrates a mechanism for detecting a pan component by a sound wave sensor in an environment facing a front wall.
  • the pan component ⁇ z 0 degree
  • the reflected wave intensity detected by the sound wave sensor has a peak.
  • the pan component ⁇ z 30 degrees
  • the reflected wave intensity is dull. Therefore, it is possible to detect whether the pan component is 0 degrees based on the reflected wave intensity.
  • the posture / position information correction unit 601 calibrates when the pan component is detected as 0, and calculates the pan component ⁇ x, of the posture according to the above equation (11) from the output value of the x-axis gyro sensor .
  • a control block diagram for obtaining g (t) is shown.
  • the output value ⁇ x, g (t) at the current time t is fed back via the delay unit 1901 as the pan component ⁇ x, g (t ⁇ 1) at the past time (t ⁇ 1).
  • the adder 1904 adds the output value ⁇ x, g (t) at the current time t, and outputs the result as the pan component ⁇ x, g (t) at the current time.
  • the pan component ⁇ x, g (t) at the current time t is also input to the error holding unit 1902 as a candidate for the latest error information ⁇ error .
  • the pan component 0 detection unit 1903 When the pan component 0 detection unit 1903 receives, for example, a reflected wave intensity signal received by a sound wave sensor (described above) and detects that the pan component is 0, the pan component 0 detection unit 1903 outputs a residual error update signal to the error holding unit 1902.
  • the error holding unit 1902 When receiving the residual error update signal, the error holding unit 1902 updates the held error information ⁇ error to the pan component ⁇ x, g (t) at the current time t. In other states, the held error information ⁇ error is output to the multiplier 1905.
  • a value obtained by multiplying the error information ⁇ error by a calibration speed parameter (for example, 0.01) by a multiplication unit 1905 is used as a correction amount ⁇ cor , and a subtraction unit 1906 subtracts it from the sensor output.
  • the angle is calculated by integrating the output value over time, so the angle detected using the gyro sensor always accumulates errors, and accuracy is not good. If the angular velocities of the axes detected by the gyro sensor at time t are ⁇ x, g , ⁇ y, g , ⁇ z, g , the rotation angles ⁇ x, g , ⁇ y, g , ⁇ z, g of each axis g is represented by the following formulas (13) to (15), respectively.
  • the angle when the angle is detected using the acceleration sensor, the angle can be directly calculated from the output value of the acceleration sensor, so that no error is accumulated.
  • the tilt and roll angles ⁇ y, a and ⁇ z, a can be measured by the acceleration sensor, but the pan angle cannot be measured.
  • the posture / position information correction unit 601 corrects the pan angle ⁇ x, g calculated from the output value of the gyro sensor in the posture / position detection unit 404 (see the above equation and the above equation (12)). In the subsequent display angle control, the corrected pan angle ⁇ x, g is used.
  • FIG. 20 illustrates a mechanism for measuring a tilt angle using a triaxial acceleration sensor.
  • the posture / position information correction unit 601 calculates the tilt angle ⁇ y, a using the following equation (16) using the accelerations a x and a z of the pan axis and roll axis detected by the acceleration sensor. be able to.
  • the roll angle ⁇ z, a can be calculated from the accelerations a x , a y of each axis of the pan axis and the tilt axis using the following expression (17).
  • the posture / position information correction unit 601 weights the detection result of the tilt angle and roll angle based on the acceleration sensor and the detection result of the tilt angle and roll angle based on the gyro sensor to further increase the tilt angle and roll angle. Correct to a highly accurate value. Specifically, the posture / position information correction unit 601 calculates each of the tilt angle ⁇ y, a and roll angle ⁇ z, a calculated from the output value of the acceleration sensor according to the following equations (18) and (19). According to the following equations (18) and (19), the tilt angle ⁇ y, g and the roll angle ⁇ z, g calculated from the output value of the gyro sensor are gently reflected.
  • each weight coefficient can be replaced with w g and w a and expressed as in the following equations (20) and (21).
  • the posture / position information correction unit 601 obtains the accuracy during vehicle movement based on other sensor information such as an acceleration sensor and a GPS sensor, and controls the weighting factors w g and w a based on the accuracy. You just have to do it.
  • the display image correction image correction unit 604 corrects distortion and the like that occur when an image cut out at the display angle of view is displayed on the display panel 409 and outputs the corrected image to the subsequent image processing unit 407. Here, details of the image correction processing will be described.
  • the virtual image optical unit 410 enlarges the display image of the display panel 409 by 1000 times or more and forms a virtual image of about 750 inches on the retina 20 meters ahead of the user's pupil. Corresponds to 45.09 degrees in terms of the horizontal field angle of the display pixels (described above).
  • the wide-angle image displayed on the display panel 409 may not match the angle of view of the display system, for example, the angle of view is 90 degrees.
  • a wider-angle 90 degree image is displayed on the narrow 45 degree display panel 409 (see FIG. 21), it is displayed as a horizontally compressed image (see FIG. 22). It looks like a landscape. Also, since the actual direction and display do not match, it looks unnatural. For example, when the user pans the line of sight by 15 degrees, if the display image is panned in the reverse direction by 15 degrees as it is, an image panned in the reverse direction by 30 degrees is observed. For this reason, it appears to the user that an object is moving rather than the display image following the movement of the head.
  • the image cutout unit 603 determines the display angle of view by 45 degrees from the angle of view (90 degrees) of the original input image. Are cut out and displayed on the display panel 409 (see FIG. 23).
  • the display image is the same perspective as the original input image, and is a natural image whose display matches the actual direction.
  • the display image is the same perspective as the original input image, and is a natural image whose display matches the actual direction.
  • the display image is panned in the reverse direction by 15 degrees as it is, an image panned in the reverse direction by 15 degrees will be observed. An image following the movement can be observed.
  • a peripheral display area in which other images deviating from the display angle of view are compressed or the resolution is reduced is provided at the periphery of the central display area where an image cut out from the original image is displayed at the original resolution. Also good. The user can predict the image that can be seen in advance by observing the peripheral display area and panning, rolling, or tilting the head.
  • the panorama image and the corrected panorama image at the time of observing the fisheye image are images that are pasted on a cylindrical surface, corresponding to an image that is taken while panning 360 degrees in the horizontal direction with a camera with a fixed viewpoint. . Therefore, observing a panoramic image with the head mount unit 10 corresponds to cutting out only the display angle of view (45 degrees) and projecting it from a cylindrical surface onto a plane. At the time of this projective transformation, the distance from the left and right ends of the angle of view becomes farther, so it looks smaller. Therefore, the image cut out from the panoramic image by the display angle of view becomes an image having a one-dimensional distortion composed of an outline shape with the barrel lying sideways, with both ends in the horizontal direction reduced and the vicinity of the center expanded. End up.
  • the image correction unit 604 performs one-dimensional distortion correction for the image cut out by the image cutout unit 602 from the panoramic image by the display angle of view (45 degrees) so that the vicinity of the center in the horizontal direction is recessed. ing. As a result, the rectangular display angle of view cut out by the image cutout unit 604 becomes a bobbin contour after being corrected by the image correction unit 604 (see FIG. 25).
  • the fish-eye image is an image that is pasted on a spherical surface, corresponding to an image that is taken while panning 360 degrees in the horizontal direction with a camera with a constant viewpoint. Therefore, observing a fisheye image with the head mount unit 10 corresponds to cutting out only the display angle of view (45 degrees) and projecting it from a spherical surface onto a plane. At the time of this projective transformation, the distance becomes farther away from the top and bottom of the angle of view and both ends of the left and right sides, so it looks small. Therefore, an image cut out from the fish-eye image by the rectangular display angle of view becomes an image having a two-dimensional distortion in which both ends in the horizontal and vertical directions are reduced and the vicinity of the center is swollen.
  • the image correction unit 604 inflates the rectangular image that the image cutout unit 602 cuts out from the fisheye image by the display angle of view (45 degrees) at both ends in the horizontal and vertical directions (or in the horizontal and vertical directions). Two-dimensional distortion correction is performed (such as contraction near the center in the straight direction). As a result, the display angle of view after being corrected by the image correction unit 604 becomes a star shape expanded in the directions of the four corners (see FIG. 26).
  • the display angle-of-view control unit 602 follows the display angle of view so as to follow this.
  • the image cutout unit 603 cuts out the display image from the original wide-angle image at the display angle of view after the movement.
  • the display image has a trapezoidal shape with the left end shortened with respect to the display frame of the display panel 409 (see FIG. 27A).
  • the display image has a trapezoidal shape with the right edge shorter than the display frame of the display panel 409. (See FIG. 28A). If the image to be observed is trapezoidal, the user feels uncomfortable.
  • the image correction unit 604 applies an out-of-valid mask made up of an area filled with gray, as shown in FIGS. Is always a rectangle.
  • the posture / position information correction unit 601 combines the calculation result from the output value of the acceleration sensor with the received radio wave intensity from the nearby WiFi base station and the measurement result of the GPS sensor to more accurately determine the amount of movement of the viewpoint. Can be requested.
  • the head mount unit 10 needs to make the display image follow the movement of the viewpoint.
  • a panoramic image is basically an image taken while changing the line of sight of a camera with a constant viewpoint position (or a computer graphics image generated on the assumption that the viewpoint position is constant).
  • a viewpoint position or a computer graphics image generated on the assumption that the viewpoint position is constant.
  • it is common to handle panoramic images as a set of polyhedral images such as cubes.
  • Each side of the polyhedron consists of images taken from the direction of each side from a camera installed at the approximate center of the polyhedron. Although it is inconspicuous when only the line of sight is moved with the viewpoint kept constant, there is a problem that the joint of the polyhedron can be seen when the viewpoint is moved. For example, when a user observes a panoramic image made of a polyhedron as shown in FIG. 30 by moving the viewpoint position to the left from the center of the polyhedron, as shown in FIG. 31, it looks bent at the boundary of the side of the polyhedron. The user feels uncomfortable.
  • the image correction unit 604 performs image correction as a pre-processing for image cutout so as to eliminate the above-described problems.
  • the preprocessing referred to here is a process in which a panoramic image expressed by a set of polyhedrons is once projected onto a spherical surface to eliminate the joint between the surfaces.
  • illustration is abbreviate
  • FIG. 33 shows a state in which an image at the time of viewpoint movement is projected using a panoramic image re-projected on a spherical surface. Compared to FIG. 31, it can be understood that the joints and the bending are not noticeable.
  • Image correction processing such as correction of two-dimensional distortion when a display image having a predetermined display angle of view is cut out from a spherical surface is as described above.
  • the same image correction is applied when a panoramic image expressed by a set of polyhedrons is projected onto a spherical surface and used.
  • the head mount unit 10 performs calibration processing of the gyro sensor and acceleration sensor used to detect the movement of the user's head, and performs posture adjustment based on the output value of each sensor. The measurement result is corrected, the movement of the user's head is detected more accurately, and wide-angle image observation that faithfully follows the movement of the head is realized. Further, the head mount unit 10 can correct a distortion or the like when presenting a display angle of view from a panoramic image or a fisheye image, and can present a natural wide-angle image.
  • a display unit attached to the user's head or face A posture / position detector for detecting the posture and position of the device; A display angle control unit that determines the position and orientation of the display angle of view to be displayed on the display unit based on the detected attitude and position; An image cutout unit that cuts out an image of the display angle of view from an input image; An image correction unit for correcting the clipped image; An image display device comprising: (2) A posture / position information correction unit that corrects the posture or position detected by the posture / position detection unit is further provided.
  • the posture / position information correction unit performs a calibration process of a gyro sensor or an acceleration sensor used as the posture / position detection unit.
  • the posture / position information correction unit may determine the gain of the acceleration sensor based on the output value of the acceleration sensor when the image display device body is installed in two or more directions in which the direction in which gravity acts is different. Perform offset calibration processing, The image display device according to (3) above.
  • the posture / position information correction unit guides the user by displaying a method of installing the image display device main body in the two or more directions on the screen of the display unit.
  • the posture / position information correction unit While the posture / position information correction unit rotates the image display device main body by a predetermined angle around the axis of the gyro sensor, the product of the output values of the gyro sensor matches the predetermined angle. To calibrate the gain of the gyro sensor, The image display device according to (3) above. (7) The posture / position information correction unit guides the user by displaying on the screen of the display unit a method of rotating the image display device main body by a predetermined angle around the axis of the gyro sensor. The image display device according to (6) above.
  • the posture / position information correction unit may rotate the gyro sensor in the first axial direction when the image display device main body is rotated by a predetermined angle around the first axis of the gyro sensor. Performing calibration processing and calibration processing of the acceleration sensor in a second axis direction orthogonal to the first axis.
  • the posture / position information correction unit performs calibration processing of the gyro sensor based on a measurement result when the user with the display screen attached to a head or a face faces the front.
  • the posture / position information correction unit displays, on the screen of the display unit, guidance for the user to face the front when performing calibration processing of the gyro sensor.
  • the posture / position detection unit detects a tilt and roll component of the motion of the user's head based on an output value of the acceleration sensor, and detects a pan component based on the output value of the gyro sensor.
  • the posture / position information correction unit suppresses accumulation of errors when calculating the pan component by integrating the output value of the gyro sensor, The image display device according to (11) above.
  • the posture / position information correction unit adds a weight less than 1 to the past output value of the gyro sensor to suppress the accumulation of the error, The image display device according to (12) above.
  • the posture / position information correction unit controls the value of the weight based on a probability that the user is moving. The image display device according to (13) above.
  • the posture / position information correction unit performs low-frequency calibration of a pan component from the output value of the gyro sensor to suppress accumulation of errors.
  • the posture / position information correction unit corrects the pan component calculated from the output value of the gyro sensor as an error when the pan component is 0,
  • the posture / position information correction unit weights the detection result of the tilt angle and the roll angle based on the acceleration sensor and the detection result of the tilt angle and the roll angle based on the gyro sensor to obtain the tilt angle and roll Correct corners,
  • the image cutout unit cuts out an image for the display angle of view from the input image having a wider angle than the display angle of view.
  • the image correction unit corrects distortion of an image cut out from a panoramic or fish-eye input image.
  • the image correction unit performs mask processing so that the corrected image becomes a rectangle.
  • the image correction unit projects a panoramic image including a set of polyhedral images onto a spherical surface or a polyhedron having a larger number of surfaces.
  • a posture / position detection step of detecting a posture and a position of a device in which the display unit is attached to the user's head or face;
  • a display angle-of-view control step for determining the position and orientation of the display angle of view to be displayed on the display unit based on the detected attitude and position;
  • An image cutout step of cutting out an image of the display angle of view from an input image;
  • An image correction step for correcting the clipped image;
  • An image display method comprising: (23) A posture / position acquisition unit that acquires a posture and a position of a device in which the display unit is attached to the user's head or face, A display angle control unit that determines the position and orientation of the display angle of view to be displayed on the display unit based on the acquired attitude and position; An image cutout unit that cuts out an image of the display angle of view from an input image; An image correction unit for correcting the clipped image, A computer program written in a computer-readable format to make a computer function as
  • the technology disclosed in the present specification has been described mainly with respect to an embodiment in which the technology disclosed in this specification is applied to a head-mounted display that is used by being mounted on the user's head or face.
  • the technical gist is not limited to the configuration of a specific image display device.
  • the technology disclosed in this specification can be similarly applied to various types of image display apparatuses that display a wide-angle image such as a panoramic image on a screen with a constant display angle of view.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　ユーザーの頭部の動きに追従しながら、表示画角が一定の画面上で広角画像を好適に表示する。　ユーザーの頭部の動きを検出するのに用いるジャイロ・センサーや加速度センサーの校正処理を行なうとともに、各センサーの出力値に基づく姿勢の測定結果を補正して、より正確にユーザーの頭部の動きを検出して、頭部の動きに忠実に追従した広角画像の観察を実現する。また、パノラマ画像や魚眼画像から表示画角の画像を切り出す際に、歪み除去などの補正を行ない、自然な広角画像を提示する。

Description

画像表示装置及び画像表示方法、並びにコンピューター・プログラム
　本明細書で開示する技術は、ユーザーが頭部又は顔部に装着して画像の視聴に利用される画像表示装置及び画像表示方法、並びにコンピューター・プログラムに係り、特に、表示画角が一定の画面上で広角画像を表示する画像表示装置及び画像表示方法、並びにコンピューター・プログラムに関する。
　頭部に装着して画像の視聴に利用される頭部装着型の画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。頭部装着型画像表示装置は、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば３Ｄ画像を提示することができる。
　この種の画像表示装置は、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体が、焦点距離よりレンズに近い位置にある場合に、その物体側にできるものである。例えば、瞳孔の前方に２５ミリメートルだけ離間して広視野角光学系を配置し、この広視野角光学系のさらに前方に約０．７インチの有効画素範囲の大きさを持つ表示パネルを配置したヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１を参照のこと）。広視野角光学系は表示パネルの表示画像を１０００倍以上拡大して、ユーザーの瞳から２０メートル先に約７５０インチの虚像を網膜に結像するが、これは表示画素の水平画角にして４５．０９度に相当する。
　ヘッド・マウント・ディスプレイを用いて、広角画像を視聴することができる。例えば、頭部にジャイロ・センサーを取り付け、ユーザーの頭部の動きに合わせて、全空間の３６０度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献２、特許文献３を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように表示領域を移動させることで、ユーザーの頭部の動きに追従した画像を提示することができる。
　ところが、広視野角光学系などを用いて所定の表示画角（４５度など）に拡大投影した虚像をユーザーに観察させる表示装置においては、円柱面又は球面からなる広角画像を平面に射影する際に歪みが生じるため、ユーザーが観察し難くなるという問題がある。
　また、ユーザーの頭部の動きを正確にトラッキングできないと、ユーザーの頭部の動きに追従した画像を提示することができない、あるいはユーザーに不快感を与える画像を提示してしまう、という問題がある。
　また、パノラマ画像は、基本的には、視点位置を一定に保ったカメラの視線を変えながら撮影した画像（若しくは、視点位置が一定であることを前提にして生成したコンピューター・グラフィックス画像）である。したがって、ユーザーの頭部の動きが視点一定であり視線の変化のみであれば、自然な画像を提示することができるであろう。ところが、ユーザーが視点位置を移動する動きをしたときには、観察画像が歪むという問題がある。
特開２０１２－１４１４６１号公報 特開平９－１０６３２２号公報 特開２０１０－２５６５３４号公報
　本明細書で開示する技術の目的は、ユーザーの頭部の動きに追従しながら、表示画角が一定の画面上で広角画像を好適に表示することができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。
　本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
　ユーザーの頭部又は顔部に取り付けられる表示部と、
　当該装置の姿勢及び位置を検出する姿勢・位置検出部と、
　検出された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御部と、
　入力画像から前記表示画角の画像を切り出す画像切り出し部と、
　前記の切り出した画像を補正する画像補正部と、
を具備する画像表示装置である。
　本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置は、前記姿勢・位置検出部が検出した姿勢又は位置を補正する姿勢・位置情報補正部をさらに備えている。そして、前記表示画角制御部は、前記姿勢・位置情報補正部が補正した後の姿勢及び位置に基づいて前記表示画角の位置及び姿勢を決定するように構成されている。
　本願の請求項３に記載の技術によれば、請求項２に記載の画像表示装置の前記姿勢・位置情報補正部は、前記姿勢・位置検出部として用いられるジャイロ・センサー又は加速度センサーの校正処理を行なうように構成されている。
　本願の請求項４に記載の技術によれば、請求項３に記載の画像表示装置の前記姿勢・位置情報補正部は、重力が作用する方向が異なる２以上の向きに前記画像表示装置本体を設置したときの前記加速度センサーの出力値に基づいて、前記加速度センサーのゲイン又はオフセットの校正処理を行なうように構成されている。
　本願の請求項５に記載の技術によれば、請求項４に記載の画像表示装置の前記姿勢・位置情報補正部は、前記２以上の向きに前記画像表示装置本体を設置する方法を前記表示部の画面に表示して、前記ユーザーを案内するように構成されている。
　本願の請求項６に記載の技術によれば、請求項３に記載の画像表示装置の前記姿勢・位置情報補正部は、前記ジャイロ・センサーの軸回りに前記画像表示装置本体を所定角度だけ回転させた間、前記ジャイロ・センサーの出力値の積文が前記所定角度と一致するように、前記ジャイロ・センサーのゲインを校正処理するように構成されている。
　本願の請求項７に記載の技術によれば、請求項６に記載の画像表示装置の前記姿勢・位置情報補正部は、前記ジャイロ・センサーの軸回りに前記画像表示装置本体を所定角度だけ回転させる方法を前記表示部の画面に表示して、前記ユーザーを案内するように構成されている。
　本願の請求項８に記載の技術によれば、請求項３に記載の画像表示装置の前記姿勢・位置情報補正部は、前記ジャイロ・センサーの第１の軸回りに前記画像表示装置本体を所定角度だけ回転させたときに、前記第１の軸方向の前記ジャイロ・センサーの校正処理を行なうとともに、前記第１の軸とは直交する第２の軸方向の前記加速度センサーの校正処理を行なうように構成されている。
　本願の請求項９に記載の技術によれば、請求項３に記載の画像表示装置の前記姿勢・位置情報補正部は、前記表示画面を頭部又は顔部に取り付けた前記ユーザーが正面を向いたときの測定結果に基づいて、前記ジャイロ・センサーの校正処理を行なうように構成されている。
　本願の請求項１０に記載の技術によれば、請求項３に記載の画像表示装置の前記姿勢・位置検出部は、前記ユーザーの頭部の動作のチルト及びロール成分を加速度センサーの出力値に基づいて検出するとともに、パン成分をジャイロ・センサーの出力値に基づいて検出するように構成されている。
　本願の請求項１１に記載の技術によれば、請求項１０に記載の画像表示装置の前記姿勢・位置情報補正部は、前記ジャイロ・センサーの過去の出力値に１未満の重みを付けて、前記ジャイロ・センサーの出力値を積分してパン成分を算出する際の誤差の蓄積を抑制するように構成されている。
　本願の請求項１２に記載の技術によれば、請求項１１に記載の画像表示装置の前記姿勢・位置情報補正部は、前記ユーザーが移動中であることの確度に基づいて、前記重みの値を制御するように構成されている。
　本願の請求項１３に記載の技術によれば、請求項１０に記載の画像表示装置の前記姿勢・位置情報補正部は、前記ジャイロ・センサーの出力値からのパン成分の校正を低頻度で行なって、前記ジャイロ・センサーの出力値を積分してパン成分を算出する際の誤差の蓄積を抑制するように構成されている。
　本願の請求項１４に記載の技術によれば、請求項１０に記載の画像表示装置は、パン成分が０であるか否かを検出するパン成分０検出センサーをさらに備えている。そして、前記姿勢・位置情報補正部は、パン成分が０のときに、前記ジャイロ・センサーの出力値から算出されたパン成分を誤差として補正するように構成されている。
　本願の請求項１５に記載の技術によれば、請求項３に記載の画像表示装置の前記姿勢・位置情報補正部は、前記加速度センサーに基づくチルト角及びロール角の検出結果と、前記ジャイロ・センサーに基づくチルト角及びロール角の検出結果を重み付けして、チルト角及びロール角を補正するように構成されている。
　本願の請求項１６に記載の技術によれば、請求項１に記載の画像表示装置の前記姿勢・位置情報補正部は、前記加速度センサーに基づくチルト角及びロール角の検出結果と、前記ジャイロ・センサーに基づくチルト角及びロール角の検出結果を重み付けして、チルト角及びロール角を補正するように構成されている。
　本願の請求項１７に記載の技術によれば、請求項１に記載の画像表示装置の前記画像補正部は、パノラマ又は魚眼の入力画像から切り出した画像を歪み補正するように構成されている。
　本願の請求項１８に記載の技術によれば、請求項１に記載の画像表示装置の前記画像補正部は、多面体の画像の集合からなるパノラマ画像を、球面又はより面数の多い多面体に射影するように構成されている。
　また、本願の請求項１９に記載の技術は、
　ユーザーの頭部又は顔部に表示部が取り付けられる装置の姿勢及び位置を検出する姿勢・位置検出ステップと、
　検出された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御ステップと、
　入力画像から前記表示画角の画像を切り出す画像切り出しステップと、
　前記の切り出した画像を補正する画像補正ステップと、
を有する画像表示方法である。
　また、本願の請求項２０に記載の技術は、
　ユーザーの頭部又は顔部に表示部が取り付けられる装置の姿勢及び位置を取得する姿勢・位置取得部、
　取得された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御部、
　入力画像から前記表示画角の画像を切り出す画像切り出し部、
　前記の切り出した画像を補正する画像補正部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
　本願の請求項２０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項２０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像表示装置と同様の作用効果を得ることができる。
　本明細書で開示する技術によれば、ユーザーの頭部の動きに追従しながら、表示画角が一定の画面上で広角画像を好適に表示することができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することができる。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。 図２は、ヘッド・マウント・ユニット１０の本体の上面を俯瞰した様子を示した図である。 図３は、ヘッド・マウント・ユニット１０を前方から眺めた斜視図である。 図４は、ヘッド・マウント・ユニット１０の内部構成例を示した図である。 図５は、姿勢・位置検出部４０４が検出する姿勢の座標系を示した図である。 図６は、ユーザーの頭部の動きに合わせた広角画像の干渉を実現するための、制御部４０１の機能的構成を模式的に示した図である。 図７Ａは、ｘ軸加速度センサーが上向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示した図である。 図７Ｂは、ｘ軸加速度センサーが下向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示した図である。 図７Ｃは、ｘ軸加速度センサーの出力値を加速度に校正する方法を説明するための図である。 図８Ａは、ｙ軸加速度センサーが上向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示した図である。 図８Ｂは、ｙ軸加速度センサーが下向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示した図である。 図９Ａは、ｚ軸加速度センサーが上向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示した図である。 図９Ｂは、ｚ軸加速度センサーが下向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示した図である。 図１０Ａは、ｘ軸ジャイロ・センサーが上向きとなるようにヘッド・マウント・ユニット１０を平らな場所に設置したときの３軸ジャイロ・センサーの様子を模式的に示した図である。 図１０Ｂは、ヘッド・マウント・ユニット１０（３軸ジャイロ・センサー）をｘ軸回りに１８０度だけ回転させる様子を示した図である。 図１１は、ヘッド・マウント・ユニット１０（３軸ジャイロ・センサー）をｙ軸回りに１８０度だけ回転させる様子を示した図である。 図１２は、ヘッド・マウント・ユニット１０（３軸ジャイロ・センサー）をｚ軸回りに１８０度だけ回転させる様子を示した図である。 図１３は、ｘ軸加速度センサーと、ｙ軸ジャイロ・センサーの校正を同時に行なう操作を説明するための図である。 図１４は、ｙ軸加速度センサーと、ｚ軸ジャイロ・センサーの校正を同時に行なう操作を説明するための図である。 図１５は、ｚ軸加速度センサーと、ｘ軸ジャイロ・センサーの校正を同時に行なう操作を説明するための図である。 図１６は、ヘッド・マウント・ユニット１０（センサー）に設定されたｘｙｚ座標系し、ユーザーの頭部のｘｙｚ座標系とのずれを示した図である。 図１７Ａは、ｘ軸ジャイロ・センサーの出力値から姿勢のパン成分θx,g(t)を求めるための制御ブロックを示した図である。 図１７Ｂは、ｘ軸ジャイロ・センサーの出力値から求まる姿勢のパン成分θx,g(t)を補正するための制御ブロックを示した図である。 図１８は、正面方向の壁と向き合う環境下で、音波センサーによりパン成分を検出する仕組みを説明するための図である。 図１９は、パン成分が０と検出されたときに校正しながら、ｘ軸ジャイロ・センサーの出力値から姿勢のパン成分θx,g(t)を求めるための制御ブロックを示した図である。 図２０は、軸加速度センサーを用いてチルト角θy,aを測定する仕組みを説明するための図である。 図２１は、９０度の画像を４５度の表示画角で表示し、ユーザーが観察する様子を示した図である。 図２２は、９０度の画像を狭い４５度の表示パネル４０９に表示した様子を示した図である。 図２３は、９０度の画像から表示画角の４５度分だけ切り出して表示し、ユーザーが観察する様子を示した図である。 図２４は、９０度の画像から表示画角の４５度分だけ切り出して表示する方法の変形例を示した図である。 図２５は、パノラマ画像から所定の表示画角で切り取った画像を補正する方法を説明するための図である。 図２６は、魚眼画像から所定の表示画角で切り取った画像を補正する方法を説明するための図である。 図２７Ａは、ユーザーが頭部を左側にパンしながら広角画像を観察する様子を示した図である。 図２７Ｂは、有効外マスクを利用した表示画像の補正方法を説明するための図である。 図２８Ａは、ユーザーが頭部を右側にパンしながら広角画像を観察する様子を示した図である。 図２８Ｂは、有効外マスクを利用した表示画像の補正方法を説明するための図である。 図２９は、パノラマ画像から切り取った画像に対する有効マスクを利用した補正方法を説明するための図である。 図３０は、多面体で表現されたパノラマ画像を例示した図である。 図３１は、図３０に示したパノラマ画像を、視点を移動させて観察した様子を示した図である。 図３２は、多面体の集合で表現されるパノラマ画像を球面に射影して画像補正する様子を示した図である。 図３３は、球面に射影し直したパノラマ画像を用いて、視点移動時の画像を映し出した様子を示した図である。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
Ａ．装置構成
　図１には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置２０と、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号の処理を行なうフロント・エンド・ボックス４０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの出力先となる頭部装着型の表示装置（ヘッド・マウント・ユニット）１０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ（例えば、ＨＤＭＩ（登録商標）対応テレビ）３０で構成される。ヘッド・マウント・ユニット１０とフロント・エンド・ボックス４０で、１セットのヘッド・マウント・ディスプレイが構成される。
　フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号をＨＤＭＩ（登録商標）入力すると、例えば信号処理して、ＨＤＭＩ（登録商標）出力するＨＤＭＩ（登録商標）リピーターに相当する。また、フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０の出力先をヘッド・マウント・ユニット１０又はハイビジョン・ディスプレイ３０のいずれかに切り替える２出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス４０は２出力であるが、３以上の出力を有していてもよい。但し、フロント・エンド・ボックス４０は、ＡＶ信号の出力先を排他的とし、且つ、ヘッド・マウント・ユニット１０への出力を最優先とする。
　なお、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）は、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）を基にし、物理層にＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ　Ｍｉｎｉｍｉｚｅｄ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばＨＤＭＩ（登録商標）１．４に準拠する。
　ブルーレイ・ディスク再生装置２０とフロント・エンド・ボックス４０間、並びに、フロント・エンド・ボックス４０とハイビジョン・ディスプレイ３０間は、それぞれＨＤＭＩ（登録商標）ケーブルで接続されている。フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間も、ＨＤＭＩ（登録商標）ケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてＡＶ信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間を接続するケーブル１本で、ＡＶ信号と電力を供給するものとし、ヘッド・マウント・ユニット１０はこのケーブルを介して駆動電力も得ることができる。
　図２には、ヘッド・マウント・ユニット１０の本体部の上面を俯瞰した様子を示している。
　ヘッド・マウント・ユニット１０は、左眼用及び右眼用に独立した２つの表示部を備えている。各表示部は、例えば有機ＥＬ素子からなる表示パネルを用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角の接眼光学系を装備している。この接眼光学系で表示パネルの映像を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。
　ヘッド・マウント・ユニット１０は左右に独立して接眼光学系を持つ一方、眼の高さや眼幅にはユーザー毎に個人差があるため、接眼光学系と装着したユーザーの眼とを位置合わせする必要がある。このため、ヘッド・マウント・ユニット１０の本体部は、右眼用の表示部と左眼用の表示部の間に、眼幅を調整する眼幅調整機構を装備している。
　図３には、ヘッド・マウント・ユニット１０を前方から眺めた様子を示している。図示のヘッド・マウント・ユニット１０は、帽子形状に類似した頭部装着型の構造体であり、本体の前部に重量物が集中していても、装置の荷重を頭部全体に分散させて、ユーザーの負担を軽減して装着することができる。
　図４には、ヘッド・マウント・ユニット１０の内部構成例を示している。以下、各部について説明する。
　制御部４０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）４０１ＡやＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４０１Ｂを備えている。ＲＯＭ４０１Ａ内には、制御部４０１で実行するプログラム・コードや各種データを格納している。制御部４０１は、ＲＡＭ４０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、当該装置４００全体の動作を統括的にコントロールする。ＲＯＭ４０１Ａに格納するプログラムやデータとして、画像の表示制御プログラムや、表示出力する広角画像の補正処理プログラム、姿勢・位置検出部４０４で検出したユーザーの頭部の姿勢情報や位置情報の補正、若しくは各種センサーの校正処理プログラム、当該装置１０に固有の識別情報などを挙げることができる。
　入力操作部４０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行う１以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部４０１に出力する。また、入力操作部４０２は、リモコン受信部４０３で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部４０１に出力する。
　姿勢・位置検出部４０４は、当該ヘッド・マウント・ユニット１０を装着したユーザーの頭部の姿勢を検出するユニットである。姿勢・位置検出部４０４は、ジャイロ・センサー、加速度センサー、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサー、地磁気センサー、反射波センサーのいずれか１つ、又は、各センサーの長所及び短所を考慮して２以上のセンサーの組み合わせにより構成される。
　図５には、姿勢・位置検出部４０４が検出する姿勢の座標系を示している。表示画像（拡大虚像）の奥行き方向がｚ軸、水平方向がｙ軸、垂直方向がｘ軸であり、このｘｙｚ軸の原点位置を視点位置とする。したがって、ロールθzはユーザーの頭部のｚ軸回りの運動、チルトθyはユーザーの頭部のｙ軸回りの運動、パンθzはユーザーの頭部のｘ軸回りの運動に相当する。姿勢・位置検出部４０４は、ユーザーの頭部のロール、チルト、パンの各方向の動き（θz，θy，θz）や頭部の平行移動を検出すると、制御部４０１に出力する。後述するように、制御部４０１は、姿勢・位置検出部４０４が検出した頭部の動きを打ち消すように表示パネル４０９の画角を移動させることで、ユーザーの頭部の動きに追従した画像を提示することができる。
　なお、姿勢・位置検出部４０４は、ヘッド・マウント・ユニット１０内に搭載される場合（すなわち、出荷前にあらかじめ組み込まれている場合）の他に、外付けユニットとしてユーザーが商品購入後にヘッド・マウント・ユニット１０に取り付ける場合などが想定される。
　状態検出部４１１は、ヘッド・マウント・ユニット１０を装着したユーザーの状態に関する状態情報を取得して、制御部４０１に出力する。状態情報として、例えば、ユーザーの作業状態（ユーザーのヘッド・マウント・ユニット１０の装着の有無）や、ユーザーの行動状態（歩行などの移動、瞼の開閉状態）、精神状態（表示画像を観察中に没頭若しくは集中しているかなどの興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態検出部４１１は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサーなどの各種の状態センサー（いずれも図示しない）を備えていてもよい。
　通信部４０５は、他の装置との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。例えば、通信部４０５は、表示出力するための画像信号を、画像ソースとなる外部機器（例えば、ブルーレイ・ディスク再生装置や、ネットワーク上のコンテンツ配信サーバー（図示しない）など）から受信する。通信部４０５で受信し復調及び復号処理された画像あるいはその他の受信データは制御部４０１に供給される。また、制御部４０１は、外部機器への送信データを通信部４０５から送出する。
　通信部４０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部４０５を構成することができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信などを挙げることができる。また、通信部４０５が近隣のＷｉＦｉ基地局から受信した電波強度に基づいて、位置情報やユーザーの移動に関する情報を取得することもできる。
　記憶部４０６は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などからなる大容量記憶装置である。記憶部４０６は、制御部４０１で実行するアプリケーション・プログラムや、広角画像などの再生出力する画像コンテンツを記憶している。
　画像処理部４０７は、制御部４０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示パネル４０９の画面に合わせた解像度に変換する。そして、表示駆動部４０８は、表示パネル４０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
　表示パネル４０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。虚像光学部４１０は、表示パネル４０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。
　虚像光学部４１０は、例えば、表示パネル４０９の表示画像を１０００倍以上拡大して、ユーザーの瞳から２０メートル先に約７５０インチの虚像を網膜に結像するが、これは表示画素の水平画角にして４５．０９度に相当する。
Ｂ．広角画像の鑑賞
　本実施形態に係るヘッド・マウント・ユニット１０は、ユーザーが全周囲などの広角画像を実感で鑑賞できるように構成されている。具体的には、パノラマ画像などの広角画像を表示パネル４０９に再生表示する際に、制御部４０１が、姿勢・位置検出部４０４が検出した頭部の動きを打ち消すように表示パネル４０９の画角を移動させることで、ユーザーの頭部の動きに追従した画像を映し出すようにする。
　図６には、ユーザーの頭部の動きに合わせた広角画像の干渉を実現するための、制御部４０１の機能的構成を模式的に示している。図示の機能的構成は、例えば制御部４０１において所定のアプリケーション・プログラムを実行するという形態で実現する。
　姿勢・位置情報補正部６０１は、姿勢・位置検出部４０４から入力される姿勢情報の補正若しくは校正を行ない、正確な姿勢情報を表示画角制御部６０２に出力する。
　姿勢・位置検出部４０４は、例えばジャイロ・センサー、加速度センサー、ＧＰＳセンサー、地磁気センサー、反射波センサーのうち１つ又は２以上の組み合わせで構成されるが、個々のセンサーには、長所短所がある。姿勢・位置情報補正部６０１は、採用するセンサーの出力値に含まれる誤差成分を除去し、あるいは、センサーの校正を行なうことでユーザーの頭部のより正確な姿勢情報を得るようにしている。これによって、ユーザーの頭部により忠実に追従した画像の映し出しが可能になる。姿勢情報の補正、校正処理の詳細については後述に譲る。
　表示画角制御部６０２は、姿勢・位置情報補正部６０１を通じて得られるユーザーの頭部の運動に応じて、表示パネル４０９に映し出す表示画角の位置及び姿勢を移動させ（図５を参照のこと）、決定した表示画角を画像切り出し部６０３に出力する。
　画像切り出し部６０３は、通信部４０５や記憶部４０６などから入力される広角画像から、表示画角制御部６０２で決定した表示画角の画像を切り出して、画像補正部６０４に出力する。
　画像補正部６０４は、表示画角で切り出した画像を表示パネル４０９に表示出力する際に生じる歪みなどを補正処理して、後段の画像処理部４０７に出力する。なお、画像補正部６０４は、画像切り出し部６０３により表示画角に切り出した表示画像を補正する場合の他に、画像切り出しの前処理として画像補正を行なう場合もある。画像補正部６０４による画像補正処理の詳細については、後述に譲る。
Ｃ．センサーの校正
　ここでは、主に姿勢・位置情報補正部６０１で行なわれる、姿勢・位置検出部４０４に用いられるジャイロ・センサーや加速度センサーの校正処理の詳細について説明する。
　以下の説明では、図５に示したｘｙｚ座標系の定義に従って説明する。また、姿勢・位置検出部４０４は、ユーザーの頭部の姿勢検出にジャイロ・センサーと加速度センサーを併用することを想定し、ｘｙｚの軸毎にジャイロ・センサーと加速度センサーが設置されているものとする。
　これらジャイロ・センサー及び加速度センサーからなる姿勢・位置検出部４０４がヘッド・マウント・ユニット１０内に搭載される場合には、製造又は販売業者側で出荷前にあらかじめセンサーの校正を行なう必要がある。また、姿勢・位置検出部４０４が外付けユニットとしてユーザーが商品購入後にヘッド・マウント・ユニット１０に取り付ける場合には、ユーザー側で同様の校正を行なう必要がある。また、環境や経年変化などによりセンサーの値がずれることが想定される。このため、ヘッド・マウント・ユニット１０の使用を開始した後も、ユーザーは適宜センサーの校正を行なう必要がある。
　まず、加速度センサーの校正方法について説明する。
　図７Ａには、ｘ軸加速度センサーが上向きとなるようにヘッド・マウント・ユニット１０を平らな場所に設置したときの３軸加速度センサーの様子を模式的に示している。ヘッド・マウント・ユニット１０を動かさない状態では、ｘ軸方向にのみ重力が作用するので、３軸加速度センサーのうち、ｘ軸加速度センサーの検出加速度が重力加速度に相当する９．８ｍ／ｓ2となるべきである。また、図７Ｂには、ｘ軸加速度センサーが下向きとなるようにヘッド・マウント・ユニット１０をひっくり返して水平に設置したときの３軸加速度センサーの様子を模式的に示している。この場合は、ｘ軸加速度センサーの検出加速度が重力加速度に相当する－９．８ｍ／ｓ2となるべきである。
　姿勢・位置情報補正部６０１は、ｘ軸加速度センサーが上下それぞれの向きとなるようにヘッド・マウント・ユニット１０を水平に設置したときのｘ軸加速度センサーの検出加速度が±９．８ｍ／ｓ2となるように、ｘ軸加速度センサーのゲイン及びオフセットの校正を行なうようにする。ｘ軸加速度センサーを上向きに設置したときに取得した出力値をＳx,a,u、ｘ軸加速度センサーを下向きに設置したときに取得した出力値をＳx,a,dとすると、姿勢・位置情報補正部６０１は、ｘ軸加速度センサーの出力値Ｓx,aから、下式（１）に従ってｘ軸方向の検出加速度ａxに校正することができる（図７Ｃを参照のこと）。
Figure JPOXMLDOC01-appb-M000001
　また、姿勢・位置情報補正部６０１は、ｘ軸加速度センサーの校正処理を実施するときには、図７Ａ左並びに図７Ｂ左に示すようなヘッド・マウント・ユニット１０の設置状態を例えば表示パネル４０９上に表示して、設置の仕方やひっくり返しをユーザーに指示するようにしてもよい。
　ｙ軸及びｘ軸の加速度センサーの校正方法も同様である。
　図８Ａには、ｙ軸加速度センサーが上向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示している。また、図８Ｂには、ｙ軸加速度センサーが下向きとなるようにヘッド・マウント・ユニット１０をひっくり返したときの３軸加速度センサーの様子を模式的に示している。姿勢・位置情報補正部６０１は、ｙ軸加速度センサーの校正処理を実施するときには、図８Ａ左並びに図８Ｂ左に示すようなヘッド・マウント・ユニット１０の設置状態を例えば表示パネル４０９上に表示して、設置の仕方やひっくり返しをユーザーに指示するようにしてもよい。
　そして、姿勢・位置情報補正部６０１は、ｙ軸加速度センサーが上下それぞれの向きとなるようにヘッド・マウント・ユニット１０を設置したときのｙ軸加速度センサーの検出加速度が±９．８ｍ／ｓ2となるように、ｙ軸加速度センサーのゲイン及びオフセットの校正を行なうようにする。ｙ軸加速度センサーを上向きに設置したときに取得した出力値をＳy,a,u、ｙ軸加速度センサーを下向きに設置したときに取得した出力値をＳy,a,dとすると、姿勢・位置情報補正部６０１は、ｙ軸加速度センサーの出力値Ｓy,aから、下式（２）に従ってｙ軸方向の検出加速度ａyに校正することができる。
Figure JPOXMLDOC01-appb-M000002
　図９Ａには、ｚ軸加速度センサーが上向きとなるようにヘッド・マウント・ユニット１０を設置したときの３軸加速度センサーの様子を模式的に示している。また、図９Ｂには、ｚ軸加速度センサーが下向きとなるようにヘッド・マウント・ユニット１０をひっくり返したときの３軸加速度センサーの様子を模式的に示している。姿勢・位置情報補正部６０１は、ｚ軸加速度センサーの校正処理を実施するときには、図９Ａ左並びに図９Ｂ左に示すようなヘッド・マウント・ユニット１０の設置状態を例えば表示パネル４０９上に表示して、設置の仕方やひっくり返しをユーザーに指示するようにしてもよい。
　姿勢・位置情報補正部６０１は、ｚ軸加速度センサーが上下それぞれの向きとなるようにヘッド・マウント・ユニット１０を設置したときのｚ軸加速度センサーの出力Ｓz,r及びＳz,upが±９．８ｍ／ｓ2となるように、ｚ軸加速度センサーのゲイン及びオフセットの校正を行なうようにする。ｚ軸加速度センサーを上向きに設置したときに取得した出力値をＳz,a,u、ｚ軸加速度センサーを下向きに設置したときに取得した出力値をＳz,a,dとすると、姿勢・位置情報補正部６０１は、ｚ軸加速度センサーの出力値Ｓz,aから、下式（３）に従ってｚ軸方向の検出加速度ａzに校正することができる。
Figure JPOXMLDOC01-appb-M000003
　続いて、ジャイロ・センサーの校正方法について説明する。
　図１０Ａには、ｘ軸ジャイロ・センサーが上向きとなるようにヘッド・マウント・ユニット１０を平らな場所に設置したときの３軸ジャイロ・センサーの様子を模式的に示している。また、図１０Ｂには、この設置場所で、ヘッド・マウント・ユニット１０（すなわち、３軸ジャイロ・センサー）を、校正の対象となるｘ軸回りに１８０度だけ回転させる様子を示している。姿勢・位置情報補正部６０１は、ｘ軸ジャイロ・センサーの校正処理を実施するときには、図１０Ｂに示すようなヘッド・マウント・ユニット１０本体の回転操作を、例えば表示パネル４０９上に表示してユーザーに指示するようにしてもよい。
　姿勢・位置情報補正部６０１は、ヘッド・マウント・ユニット１０をｘ軸回りに１８０度回転させる間、ｘ軸ジャイロ・センサーの値を積分しておく。時刻ｔにおけるｘ軸ジャイロ・センサーの出力値をｓx,g（ｔ）、ｘ軸回りに１８０度回転させる間の積分値をＳx,g,180とおくと、下式（４）に示す通りとなる。
Figure JPOXMLDOC01-appb-M000004
　そして、姿勢・位置情報補正部６０１は、この積分値Ｓx,g,180がちょうど１８０度を示すように、ｘ軸ジャイロ・センサーのゲインを校正する。以下の式（５）で、ｘ軸ジャイロ・センサーの出力値ｓx,g（ｔ）とパン角速度Δθx,gの関係が正しく得られる。
Figure JPOXMLDOC01-appb-M000005
　また、図１１には、ヘッド・マウント・ユニット１０（すなわち、３軸ジャイロ・センサー）を、図１０Ａに示した状態から、校正の対象となるｙ軸回りに１８０度だけ回転させる様子を示している。姿勢・位置情報補正部６０１は、ｙ軸ジャイロ・センサーの校正処理を実施するときには、図１１左に示すような回転操作を表示パネル４０９上に表示して、ユーザーに指示するようにしてもよい。姿勢・位置情報補正部６０１は、ヘッド・マウント・ユニット１０をｙ軸回りに１８０度回転させる間、ｙ軸ジャイロ・センサーの値を積分しておく。時刻ｔにおけるｙ軸ジャイロ・センサーの出力値をｓy,g（ｔ）、ｙ軸回りに１８０度回転させる間の積分値をＳy,g,180とおくと、下式（６）に示す通りとなる。
Figure JPOXMLDOC01-appb-M000006
　そして、姿勢・位置情報補正部６０１は、この積分値Ｓy,g,180がちょうど１８０度を示すように、ｙ軸ジャイロ・センサーのゲインを校正する。以下の式（７）で、ｙ軸ジャイロ・センサーの出力値ｓy,g（ｔ）とチルト角速度Δθy,gの関係が正しく得られる。
Figure JPOXMLDOC01-appb-M000007
　また、図１２には、ヘッド・マウント・ユニット１０（すなわち、３軸ジャイロ・センサー）を、図１０Ａに示した状態から、校正の対象となるｚ軸回りに１８０度だけ回転させる様子を示している。姿勢・位置情報補正部６０１は、ｚ軸ジャイロ・センサーの校正処理を実施するときには、図１２左に示すような回転操作を表示パネル４０９上に表示して、ユーザーに指示するようにしてもよい。姿勢・位置情報補正部６０１は、ヘッド・マウント・ユニット１０をｚ軸回りに１８０度回転させる間、ｚ軸ジャイロ・センサーの値を積分しておく。時刻ｔにおけるｚ軸ジャイロ・センサーの出力値をｓz,g（ｔ）、ｚ軸回りに１８０度回転させる間の積分値をＳz,g,180とおくと、下式（８）に示す通りとなる。
Figure JPOXMLDOC01-appb-M000008
　そして、姿勢・位置情報補正部６０１は、この積分値Ｓz,g,180がちょうど１８０度を示すように、ｚ軸ジャイロ・センサーのゲインを校正する。以下の式（９）で、ｚ軸ジャイロ・センサーの出力値ｓz,g（ｔ）とロール角速度Δθz,gの関係が正しく得られる。
Figure JPOXMLDOC01-appb-M000009
　但し、加速度センサーとジャイロ・センサーの校正を別々に行なうのではなく、同時に行なって操作回数を減らすようにしてもよい。
　例えば、図１３に示すように、ｘ軸を上に向けた状態で、ヘッド・マウント・ユニット１０（すなわち、３軸ジャイロ・センサー）をｙ軸回りに１８０度だけ回転させる操作を行なう際に、ｘ軸加速度センサーと、ｙ軸ジャイロ・センサーの校正を同時に行なうことができる。姿勢・位置情報補正部６０１は、図示の回転操作を表示パネル４０９上に表示してユーザーに指示するようにしてもよい。
　また、図１４に示すように、ｙ軸を上に向けた状態で、ヘッド・マウント・ユニット１０（すなわち、３軸ジャイロ・センサー）をｚ軸回りに１８０度だけ回転させる操作を行なう際に、ｙ軸加速度センサーと、ｚ軸ジャイロ・センサーの校正を同時に行なうことができる。姿勢・位置情報補正部６０１は、図示の回転操作を表示パネル４０９上に表示してユーザーに指示するようにしてもよい。
　また、図１５に示すように、ｚ軸を上に向けた状態で、ヘッド・マウント・ユニット１０（すなわち、３軸ジャイロ・センサー）をｘ軸回りに１８０度だけ回転させる操作を行なう際に、ｚ軸加速度センサーと、ｘ軸ジャイロ・センサーの校正を同時に行なうことができる。姿勢・位置情報補正部６０１は、図示の回転操作を表示パネル４０９上に表示してユーザーに指示するようにしてもよい。
　また、ユーザー毎に頭部の形状やサイズに個人差があることや、ヘッド・マウント・ユニット１０を頭部に装着する場所にずれがあることに基因して、ヘッド・マウント・ユニット１０（センサー）に設定されたｘｙｚ座標系が、ユーザーの頭部のｘｙｚ座標系とずれが生じること懸念される（図１６を参照のこと）。このような座標系のずれがあると、ユーザーの頭部の動きに正しく追従した画像を提示することができなくなり、ユーザーが広角画像を鑑賞する際に、違和感を与えてしまう。したがって、姿勢・位置情報補正部６０１は、上述したように初期時だけでなく、ユーザーがヘッド・マウント・ユニット１０を装着時においても、校正を行なう必要がある。
　図１６右に示すような軸のずれを表す行列をＭRとする。加速度センサー又はジャイロ・センサー（好ましくは、上記の校正処理後の状態とする）が感知している方向をＶ＝（ｘ，ｙ，ｚ）とすると、（正面を向いた）ユーザーの頭部の方向（言い換えれば、ヘッド・マウント・ユニット１０の正しい方向）Ｖtrueは、行列ＭRの逆行列ＭR -1を用いて、下式（１０）により算出することができる。すなちわ、センサーがユーザーの頭部に対してずれた状態であっても、姿勢・位置情報補正部６０１は、校正処理により、正しい方向を検出することが可能である。
Figure JPOXMLDOC01-appb-M000010
　姿勢・位置情報補正部６０１は、状態検出部４１１が装着センサー（前述）の出力などに基づいてユーザーが当該ヘッド・マウント・ユニット１０を装着したことを検出すると、行列ＭRを取得するための動作をユーザーに指示して、校正処理を実行する。
　ユーザーに対する指示方法として、例えば表示パネル４０９に「ユニットを正しく装着して、正面を向いてください。正面を向いたら、Ｅｎｔｅｒボタンを押してください。」といったメッセージを表示する。あるいは音声ガイドであってもよい。そして、姿勢・位置情報補正部６０１は、ユーザーがＥｎｔｅｒボタンを押した瞬間の軸の姿勢を記憶し、これに基づく行列ＭRを以降用いて、加速度センサーやジャイロ・センサーの出力値の修正を行なう。
　あるいは、ユーザーに対する他の指示方法として、表示パネル４０９に「ユニットを正しく装着して、正面を向いてください。」というメッセージ（同様の音声ガイドラインであってもよい）を行なう。姿勢・位置情報補正部６０１は、加速度センサーやジャイロ・センサーの出力値が所定時間（例えば５秒間）一定の状態になったら、その瞬間の軸の姿勢を記憶し、これに基づく行列ＭRを以降用いて、加速度センサーやジャイロ・センサーの出力値の修正を行なう。この場合、ユーザーはＥｎｔｅｒボタンを押下操作する必要がない。また、ボタンの押下操作に伴う手振れにより、誤った軸の姿勢を取得するおそれもない。
Ｄ．パン成分の補正
　ジャイロ・センサーは、ロール、チルト、パンの３方向の運動をすべて測定することが可能である。しかしながら、ジャイロ・センサーは、出力値を時間積分して角度を算出することから、誤差が蓄積され、精度がよくないという問題がある。例えば、パノラマ画像を鑑賞したりゲーム画像を楽しんだりする際に、画中心が徐々にずれていく原因になる。
　一方、加速度センサーの出力値から姿勢を測定する場合には、加速度センサーの出力値から直接角度を計算できるので、上記のような誤差の問題がない。しかしながら、加速度センサーにより、ロール及びチルト方向の姿勢を測定することはできるが、パン方向成分を測定することができないという問題がある。
　要するに、姿勢・位置検出部４０４をジャイロ・センサーと加速度センサーの組み合わせで構成する場合、パン成分に関しては、ジャイロ・センサーの出力値を利用せざるを得ないが、積分による誤差の蓄積の問題がある。そこで、本実施形態では、姿勢・位置情報補正部６０１は、姿勢・位置検出部４０４内のジャイロ・センサーの出力値を用いて姿勢のパン成分を測定する場合には、誤差が蓄積しない、あるいは誤差を取り除くような補正処理を行なうようにしている。
　時刻ｔにおいて、ｘ軸ジャイロ・センサーの出力値から求まる姿勢のパン成分θx,g（ｔ）は、通常は、下式（１１）のように表わされる。
Figure JPOXMLDOC01-appb-M000011
　図１７Ａには、ｘ軸ジャイロ・センサーの出力値から、上式（１１）に従って、姿勢のパン成分θx,g(t)を求めるための制御ブロック図を示している。
　現在時刻ｔの出力値Δθx,g（ｔ）は、遅延部１７０１を介して、過去の時刻（ｔ－１）におけるパン成分θx,g（ｔ－１）として帰還される。そして、加算部１７０４にて現在時刻ｔの出力値Δθx,g（ｔ）を加算して、現在時刻におけるパン成分θx,g（ｔ）として出力される。
　上式（１１）の右辺の第１項θx,g（ｔ－１）は過去の時刻（ｔ－１）におけるパン成分、第２項Δθx,g（ｔ）は現在時刻ｔの出力値である。過去測定したパン成分θx,g（ｔ－１）に誤差があると、蓄積されてしまう。そこで、姿勢・位置情報補正部６０１は、下式（１２）に示すように、第１項に係数Ｒを乗算して、過去測定したパン成分θx,g（ｔ－１）を過小評価して、誤差の蓄積を防止する。ここで、Ｒを１未満の正数の値とする。積分を繰り返す度にＲが乗算されるので、過去のパン成分は０に収斂し、誤差の蓄積が抑制される。
Figure JPOXMLDOC01-appb-M000012
　例えば、Ｒ＝０．９９などとする。姿勢・位置情報補正部６０１は、Ｒを、ジャイロ・センサーの精度などに依存して変化させる可変パラメーターとして制御する。誤差が蓄積し易いときには、Ｒを０．９などさらに小さい値にするが、誤差が蓄積し難くなると、Ｒを０．９９９９など１により近い値にする。
　例えば、ヘッド・マウント・ユニット１０を装着したユーザーが、車や電車などの移動体に乗って移動しているときには、カーブに差し掛かったときなどに方向の影響を受け、ジャイロ・センサーによる検出角度に誤差を生じ易い。そこで、姿勢・位置情報補正部６０１は、加速度センサーやＧＰＳセンサーなど他のセンサー情報に基づいて乗り物移動中の確度を求め、この確度に基づいてＲの値をコントロールするようにすればよい。例えば、加速度センサーの値の特徴（常に上下に小刻みに揺れたり、定期的に加速減速したりする）や、ＧＰＳセンサーの位置情報の変化速度から、車に乗っているなどの状況を推定すると、この確度に基づいてＲの値をコントロールする。
　図１７Ｂには、姿勢・位置情報補正部６０１が、ｘ軸ジャイロ・センサーの出力値から求まる姿勢のパン成分θx,g(t)を、上式（１２）に従って補正するための制御ブロック図を示している。
　現在時刻ｔの出力値Δθx,g（ｔ）は、遅延部１７１１を介して、過去の時刻（ｔ－１）におけるパン成分θx,g（ｔ－１）として帰還される。その際、乗算部１７１２でパン成分θx,g（ｔ－１）に可変パラメーターＲが乗算される。
　パラメーター制御部１７１３は、加速度センサーやＧＰＳセンサーなど他のセンサー情報に基づいて乗り物移動中の確度を求め、この確度に基づいて可変パラメーターＲの値をコントロールする。
　そして、加算部１７１４にて、過去の時刻（ｔ－１）におけるパン成分θx,g（ｔ－１）に可変パラメーターＲを乗算した値と、現在時刻ｔの出力値Δθx,g（ｔ）を加算して、現在時刻におけるパン成分θx,g（ｔ）として出力される。
　また、パノラマ画像を鑑賞するとき、センターという概念がないため、ユーザーはパン方向の変化には気づき難い。パン成分の校正頻度を、チルトやロール成分の校正頻度よりも低くしても、ユーザーの頭部の動きに追従した画像を、ユーザーに違和感を与えることなく映し出すことは可能であると思料される。
　そこで、姿勢・位置情報補正部６０１は、ジャイロ・センサーのパン成分の制御自体は通常の周期（例えば、１／６０秒）のままで行なうが、校正頻度を１回程度に低くしても、誤差の蓄積を抑制することができる。
　また、姿勢・位置情報補正部６０１は、他のセンサー情報などからパン成分が０であると判定されたときには、ジャイロ・センサーの出力から算出されるパン成分を誤差とみなして校正するようにしてもよい。
　例えば、姿勢・位置検出部４０４が、正面方向（ｚ方向）に照射した音波の反射波を検出する音波センサーを備えていれば、この音波センサーの出力値に基づいてパン成分を判定することができる。図１８には、正面方向の壁と向き合う環境下で、音波センサーによりパン成分を検出する仕組みを図解している。パン成分θz＝０度では、音波センサーが検出する反射波強度はピークとなる。他方、パン成分θz＝３０度では、反射波強度は鈍る。したがって、反射波強度に基づいてパン成分が０度かどうかを検出することは可能である。
　ここで、パン成分が０であるときに、ジャイロ・センサーの出力から算出されるパン成分を校正する際には、ユーザーに違和感のない程度にゆっくりと校正することが好ましい。図１９には、姿勢・位置情報補正部６０１が、パン成分が０と検出されたときに校正しながら、ｘ軸ジャイロ・センサーの出力値から上式（１１）に従って姿勢のパン成分θx,g(t)を求める制御ブロック図を示している。
　現在時刻ｔの出力値Δθx,g（ｔ）は、遅延部１９０１を介して、過去の時刻（ｔ－１）におけるパン成分θx,g（ｔ－１）として帰還される。そして、加算部１９０４にて現在時刻ｔの出力値Δθx,g（ｔ）を加算して、現在時刻におけるパン成分θx,g（ｔ）として出力される。
　また、現在時刻ｔのパン成分θx,g（ｔ）は、最新の誤差情報θerrorの候補として、誤差保持部１９０２にも入力される。
　パン成分０検出部１９０３は、例えば音波センサー（前述）が受信する反射波強度信号を受信して、パン成分が０であると検出したときには、残存誤差更新信号を誤差保持部１９０２に出力する。
　誤差保持部１９０２は、残存誤差更新信号を受信すると、保持している誤差情報θerrorを、現在時刻ｔのパン成分θx,g（ｔ）に更新する。それ以外の状態では、保持している誤差情報θerrorを乗算部１９０５に出力する。
　この誤差情報θerrorに乗算部１９０５で校正速度パラメーター（例えば、０．０１）を乗算した値を補正量θcorとし、減算部１９０６で、センサー出力から減算する。なお、誤差保持部１９０２では、この補正量分だけ誤差情報を減算する（θerror（ｔ）＝θerror（ｔ－１）－θcor（ｔ－１））。これにより、パン成分を緩やかに校正する。
　なお、姿勢の成分が０であるときにジャイロ・センサーの出力が誤差であると判定して校正する処理は、チルト成分やロール成分に対しても同様に適用することができる。
Ｅ．チルト、ロール成分の補正
　パノラマ画像を鑑賞するとき、センターという概念がないため、ユーザーはパン方向の変化には気づき難い。しかしながら、チルト角θy並びにロール角θzに誤差があると、ユーザーは敏感に気付き、気持ち悪くなるなど健康被害を及ぼしかねない。
　ジャイロ・センサーを使って角度検出を行なう場合、出力値を時間積分して角度を算出することから、ジャイロ・センサーを使って検出した角度は、必ず誤差が徐々に蓄積され、精度がよくない。時刻ｔにおいてジャイロ・センサーが検出する各軸の角速度をΔθx,g、Δθy,g、Δθz,gとおくと、各軸の回転角θx,g、θy,g、θz,gはそれぞれ下式（１３）～（１５）のように表わされる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　一方、加速度センサーを使って角度検出を行なう場合、加速度センサーの出力値から角度を直接計算できるので、誤差は蓄積しない。しかしながら、加速度センサーにより、チルト及びロールの角度θy,a、θz,aを測定することはできるが、パンの角度を測定することはできない。
　そこで、姿勢・位置情報補正部６０１は、姿勢・位置検出部４０４内のジャイロ・センサーの出力値から計算されるパン角θx,gを補正処理（前述並びに上式（１２）など参照のこと）し、後段の表示画角制御では補正後のパン角θx,gを用いる。
　図２０には、３軸加速度センサーを用いてチルト角を測定する仕組みを図解している。同図では、チルト角θy,aだけ回転させた様子を示している。姿勢・位置情報補正部６０１は、加速度センサーが検出したパン軸、ロール軸の各軸の加速度ａx、ａzを用いて、下式（１６）を使ってチルト角θy,aを計算することができる。同様に、下式（１７）を使って、パン軸、チルト軸の各軸の加速度ａx、ａyからロール角θz,aを計算することができる。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　しかし、ヘッド・マウント・ユニット１０を装着したユーザーが、車や電車などの移動体に乗って移動しているときには、慣性力が働くため、加速度センサーの出力値ａx、ａy、ａzが一時的に狂ってしまう。その結果、上式（１６）、（１７）から計算されるチルト角θy,a、ロール角θz,aに誤差が生じ、パノラマ画像を鑑賞するユーザーに不快感を与えるという問題がある。一時的には、むしろジャイロ・センサーの出力値から計算したチルト角θy,g、ロール角θz,gの信頼性が高まる、ということもできる。
　そこで、姿勢・位置情報補正部６０１は、加速度センサーに基づくチルト角及びロール角の検出結果と、ジャイロ・センサーに基づくチルト角及びロール角の検出結果を重み付けして、チルト角及びロール角をより精度の高い値に補正するようにする。具体的には、姿勢・位置情報補正部６０１は、下式（１８）、（１９）に従って、加速度センサーの出力値から計算したチルト角θy,a、ロール角θz,aの各々を、下式（１８）、（１９）に従って、ジャイロ・センサーの出力値から計算したチルト角θy,g、ロール角θz,gに、緩やかに反映するようにする。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
　上式（１８）、（１９）において、ジャイロ・センサー及び加速度センサーの各々による測定結果に対する重み係数０．９９、０．０１は一例に過ぎない。例えば、各重み係数をｗg、ｗaと置き換えて、下式（２０）、（２１）のように表わすこともできる。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　例えば、姿勢・位置情報補正部６０１は、加速度センサーやＧＰＳセンサーなど他のセンサー情報に基づいて乗り物移動中の確度を求め、この確度に基づいて各重み係数をｗg、ｗaの値をコントロールするようにすればよい。
Ｆ．表示画像の補正
　画像補正部６０４は、表示画角で切り出した画像を表示パネル４０９に表示出力する際に生じる歪みなどを補正処理して、後段の画像処理部４０７に出力する。ここでは、画像補正処理の詳細について説明する。
Ｆ－１．画角調整
　本実施形態では、虚像光学部４１０は、表示パネル４０９の表示画像を１０００倍以上拡大して、ユーザーの瞳から２０メートル先に約７５０インチの虚像を網膜に結像するが、これは表示画素の水平画角にして４５．０９度に相当する（前述）。
　一方、表示パネル４０９に表示する広角画像は、例えば画角が９０度など、表示系の画角と一致しないことがある。より広角の９０度の画像を狭い４５度の表示パネル４０９に表示すると（図２１を参照のこと）、横方向に圧縮された画像として表示されるため（図２２を参照のこと）、遠くの景色に見えてしまう。また、実際の方向と表示が一致しなくなるので、不自然に見える。例えば、ユーザーが１５度だけ視線をパンしたときに、表示画像をそのまま１５度だけ逆方向にパンすると、３０度逆方向にパンした画像が観察されることになる。このため、ユーザーにとっては、表示画像が頭部の動きに追従しているというよりも、物が移動しているように見えてしまう。
　そこで、本実施形態では、広角の入力画像を表示画角に合わせて表示するのではなく、画像切り出し部６０３が、元の入力画像の画角（９０度）から、表示画角の４５度分だけを切り出して、表示パネル４０９に表示するようにしている（図２３を参照のこと）。この場合、表示画像は元の入力画像と同じ遠近感に映るとともに、実際の方向と表示が一致する自然な画像となる。また、ユーザーが１５度だけ視線をパンしたときには、表示画像をそのまま１５度だけ逆方向にパンすると、１５度だけ逆方向にパンした画像が観察されることになるので、ユーザーは、頭部の動きに追従した画像を観察することができる。
　なお、９０度の画像から表示画角の４５度分だけ切り出して表示する際（すなわち、元の広角画像から表示画角に相当する分だけを切り出して表示する際）、図２４に示すように、元の画像から切り出した画像を元の解像度のまま表示する中央表示領域の周縁に、表示画角から外れたその他の画像を圧縮若しくは解像度を低下させた周辺表示領域を配設するようにしてもよい。ユーザーは、周辺表示領域を観察して、頭部をパン、ロール、又はチルトさせたときに見える画像を事前に予測することができる。
Ｆ－２．パノラマ画像、魚眼画像観察時の補正
　パノラマ画像は、視点を一定にしたカメラで、その視線を水平方向に３６０度パンさせながら撮影した画像に相当し、円柱面に貼り付けられた画像である。したがって、パノラマ画像をヘッド・マウント・ユニット１０で観察することは、表示画角（４５度）分だけを切り出して、円柱面から平面に射影して表示することに相当する。この射影変換の際に、画角の左右両端に行くほど遠くなるので、小さく見える。よって、パノラマ画像から表示画角分だけ切り取った画像は、水平方向の両端が縮小するとともに中央付近が膨らんだ、樽を横にした輪郭形状からなる１次元的な歪みを持った画像になってしまう。そこで、画像補正部６０４は、画像切り出し部６０２がパノラマ画像から表示画角（４５度）分だけ切り取った画像に対し、水平方向の中央付近を凹ませる、１次元的な歪み補正を行なうようにしている。この結果、画像切り出し部６０４が切り出した長方形の表示画角は、画像補正部６０４で補正した後は、糸巻きの輪郭形状になる（図２５を参照のこと）。
　また、魚眼画像は、視点を一定にしたカメラで、その視線を水平方向に３６０度パンさせながら撮影した画像に相当し、球面に貼り付けられた画像である。したがって、魚眼画像をヘッド・マウント・ユニット１０で観察することは、表示画角（４５度）分だけを切り出して、球面から平面に射影して表示することに相当する。この射影変換の際に、画角の上下及び左右両端に行くほど遠くなるので、小さく見える。よって、魚眼画像から長方形の表示画角分だけ切り取った画像は、水平及び垂直方向の両端が縮小するとともに中央付近が膨らんだ、２次元的な歪みを持った画像になってしまう。そこで、画像補正部６０４は、画像切り出し部６０２が魚眼画像から表示画角（４５度）分だけ切り取った長方形の画像に対し、水平及び垂直方向の両端に膨らませるような（若しくは、水平及びウィ直方向の中央付近を収縮させるような）、２次元的な歪み補正を行なうようにしている。この結果、画像補正部６０４で補正した後の表示画角は、４隅の方向に拡張したスター形状になる（図２６を参照のこと）。
Ｆ－３．有効外マスクを利用した画像補正
　広角画像を表示画角４５度で観察しているときに、ユーザーが頭部をパンさせると、表示画角制御部６０２は、これに追従するように表示画角を水平方向に移動し、画像切り出し部６０３は、移動した後の表示画角で、元の広角画像から表示画像を切り出す。ここで、ユーザーが頭部を右方向にパンして、表示画角を左方向に水平移動させたときには、表示画角の左端に行くほど射影面から遠くなる。したがって、表示画像は、表示パネル４０９の表示枠に対し、左端が短くなった台形状になる（図２７Ａを参照のこと）。同様に、ユーザーが頭部を左方向にパンしたときには、表示画角の右端に行くほど射影眼から遠くなるので、表示画像は表示パネル４０９の表示枠に対し、右端が短くなった台形状になる（図２８Ａを参照のこと）。観察する映像が台形では、ユーザーに違和感を与えてしまう。
　そこで、右方向又は左方向にパンしたときには、画像補正部６０４は、図２７Ｂ並びに図２８Ｂ中に示すように、グレーで塗り潰した領域からなる有効外マスクを適用して、ユーザーに観察される画像が常に長方形となるようにする。
　また、図２５にも示したように、パノラマ画像から表示画角で切り取った画像を画像補正部６０４で補正した後は、糸巻きの輪郭形状になる。そこで、図２９に示すように、グレーで塗り潰した領域からなる有効外マスクを適用して、ユーザーに観察される画像が常に長方形となるようにする。
Ｆ－４．視点位置の移動に伴う画像補正
　これまでは、視点一定、すなわち、ユーザーが頭部をパンするなど、視線のみを変化させる場合の画像補正について説明してきた。現実には、ユーザーは、視線だけでなく、歩行などにより視点を移動させることもある。姿勢・位置情報補正部６０１は、例えば、加速度センサーの出力値からの計算結果に、近隣のＷｉＦｉ基地局からの受信電波強度や、ＧＰＳセンサーの測定結果を組み合わせて、視点の移動量をより正確に求めることができる。
　ユーザーが視点を移動させたときには、ヘッド・マウント・ユニット１０は、視点の移動にも表示画像を追従させる必要がある。
　パノラマ画像は、基本的には、視点位置を一定に保ったカメラの視線を変えながら撮影した画像（若しくは、視点位置が一定であることを前提にして生成したコンピューター・グラフィックス画像）である。しかしながら、現実には、立方体などの多面体の画像の集合としてパノラマ画像を取り扱うことが一般的である。
　多面体の各側面は、多面体のほぼ中心に設置されたカメラから各側面の方向を撮影した画像からなる。視点を一定にして視線のみを動かすときには目立たないが、視点を移動させたときには、多面体のつなぎ目が見えてしまうという問題がある。例えば、図３０に示すような多面体からなるパノラマ画像を、ユーザーが視点位置を多面体中心から左方に移動して観察すると、図３１に示すように、多面体の側面の境界で折れ曲がって見えるため、ユーザーに違和感を与えてしまう。
　そこで、画像補正部６０４は、画像切り出しの前処理として画像補正を行ない、上記のような不具合を解消するようにしている。ここで言う前処理は、図３２に示すように、多面体の集合で表現されるパノラマ画像を、一旦、球面に射影して、面と面のつなぎ目をなくす処理である。なお、図示を省略するが、球面ではなく、より面数の多い多面体に射影することによっても、つなぎ目を目立たなくする効果がある。
　図３３には、球面に射影し直したパノラマ画像を用いて、視点移動時の画像を映し出した様子を示している。図３１と比較して、つなぎ目やおり曲がりが目立たなくなっていることを理解できよう。
　球面から所定の表示画角の表示画像を切り出す際の、２次元歪みの補正などの画像補正処理については、既に述べた通りである。多面体の集合で表現されるパノラマ画像を球面に射影し直して用いる場合も、同様の画像補正が適用される。
Ｇ．まとめ
　要するに、本実施形態に係るヘッド・マウント・ユニット１０は、ユーザーの頭部の動きを検出するのに用いるジャイロ・センサーや加速度センサーの校正処理を行なうとともに、各センサーの出力値に基づく姿勢の測定結果を補正して、より正確にユーザーの頭部の動きを検出して、頭部の動きに忠実に追従した広角画像の観察を実現する。また、ヘッド・マウント・ユニット１０は、パノラマ画像や魚眼画像から表示画角の画像を切り出す際に、歪み除去などの補正を行ない、自然な広角画像を提示することができる。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部又は顔部に取り付けられる表示部と、
　当該装置の姿勢及び位置を検出する姿勢・位置検出部と、
　検出された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御部と、
　入力画像から前記表示画角の画像を切り出す画像切り出し部と、
　前記の切り出した画像を補正する画像補正部と、
を具備する画像表示装置。
（２）前記姿勢・位置検出部が検出した姿勢又は位置を補正する姿勢・位置情報補正部をさらに備える、
上記（１）に記載の画像表示装置。
（３）前記姿勢・位置情報補正部は、前記姿勢・位置検出部として用いられるジャイロ・センサー又は加速度センサーの校正処理を行なう、
上記（２）に記載の画像表示装置。
（４）前記姿勢・位置情報補正部は、重力が作用する方向が異なる２以上の向きに前記画像表示装置本体を設置したときの前記加速度センサーの出力値に基づいて、前記加速度センサーのゲイン又はオフセットの校正処理を行なう、
上記（３）に記載の画像表示装置。
（５）前記姿勢・位置情報補正部は、前記２以上の向きに前記画像表示装置本体を設置する方法を前記表示部の画面に表示して、前記ユーザーを案内する、
上記（４）に記載の画像表示装置。
（６）前記姿勢・位置情報補正部は、前記ジャイロ・センサーの軸回りに前記画像表示装置本体を所定角度だけ回転させた間、前記ジャイロ・センサーの出力値の積文が前記所定角度と一致するように、前記ジャイロ・センサーのゲインを校正処理する、
上記（３）に記載の画像表示装置。
（７）前記姿勢・位置情報補正部は、前記ジャイロ・センサーの軸回りに前記画像表示装置本体を所定角度だけ回転させる方法を前記表示部の画面に表示して、前記ユーザーを案内する、
上記（６）に記載の画像表示装置。
（８）前記姿勢・位置情報補正部は、前記ジャイロ・センサーの第１の軸回りに前記画像表示装置本体を所定角度だけ回転させたときに、前記第１の軸方向の前記ジャイロ・センサーの校正処理を行なうとともに、前記第１の軸とは直交する第２の軸方向の前記加速度センサーの校正処理を行なう、
上記（３）に記載の画像表示装置。
（９）前記姿勢・位置情報補正部は、前記表示画面を頭部又は顔部に取り付けた前記ユーザーが正面を向いたときの測定結果に基づいて、前記ジャイロ・センサーの校正処理を行なう、
上記（３）に記載の画像表示装置。
（１０）前記姿勢・位置情報補正部は、前記ジャイロ・センサーの校正処理を行なう際に、前記ユーザーが正面を向くための案内を前記表示部の画面に表示する、
上記（９）に記載の画像表示装置。
（１１）前記姿勢・位置検出部は、前記ユーザーの頭部の動作のチルト及びロール成分を加速度センサーの出力値に基づいて検出するとともに、パン成分をジャイロ・センサーの出力値に基づいて検出する、
上記（３）に記載の画像表示装置。
（１２）前記姿勢・位置情報補正部は、前記ジャイロ・センサーの出力値を積分してパン成分を算出する際の誤差の蓄積を抑制する、
上記（１１）に記載の画像表示装置。
（１３）前記姿勢・位置情報補正部は、前記ジャイロ・センサーの過去の出力値に１未満の重みを付けて前記誤差の蓄積を抑制する、
上記（１２）に記載の画像表示装置。
（１４）前記姿勢・位置情報補正部は、前記ユーザーが移動中であることの確度に基づいて、前記重みの値を制御する、
上記（１３）に記載の画像表示装置。
（１５）前記姿勢・位置情報補正部は、前記ジャイロ・センサーの出力値からのパン成分の校正を低頻度で行なって誤差の蓄積を抑制する、
上記（１２）に記載の画像表示装置。
（１６）パン成分が０であるか否かを検出するパン成分０検出センサーをさらに備え、
　前記姿勢・位置情報補正部は、パン成分が０のときに、前記ジャイロ・センサーの出力値から算出されたパン成分を誤差として補正する、
上記（１１）に記載の画像表示装置。
（１７）前記姿勢・位置情報補正部は、前記加速度センサーに基づくチルト角及びロール角の検出結果と、前記ジャイロ・センサーに基づくチルト角及びロール角の検出結果を重み付けして、チルト角及びロール角を補正する、
上記（３）に記載の画像表示装置。
（１８）前記画像切り出し部は、前記表示画角よりも広角の前記入力画像から前記表示画角分の画像を切り出す、
上記（１）に記載の画像表示装置。
（１９）前記画像補正部は、パノラマ又は魚眼の入力画像から切り出した画像を歪み補正する、
上記（１）に記載の画像表示装置。
（２０）前記画像補正部は、補正後の画像が矩形となるようにマスク処理する、
上記（１）に記載の画像表示装置。
（２１）前記画像補正部は、多面体の画像の集合からなるパノラマ画像を、球面又はより面数の多い多面体に射影する、
上記（１）に記載の画像表示装置。
（２２）ユーザーの頭部又は顔部に表示部が取り付けられる装置の姿勢及び位置を検出する姿勢・位置検出ステップと、
　検出された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御ステップと、
　入力画像から前記表示画角の画像を切り出す画像切り出しステップと、
　前記の切り出した画像を補正する画像補正ステップと、
を有する画像表示方法。
（２３）ユーザーの頭部又は顔部に表示部が取り付けられる装置の姿勢及び位置を取得する姿勢・位置取得部、
　取得された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御部、
　入力画像から前記表示画角の画像を切り出す画像切り出し部、
　前記の切り出した画像を補正する画像補正部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、本明細書で開示する技術をユーザーの頭部又は顔部に装着して用いられるヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定の画像表示装置の構成に限定されるものではない。表示画角が一定の画面上でパノラマ画像などの広角画像を表示するさまざまなタイプの画像表示装置に対して、本明細書で開示する技術を同様に適用することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　１０…ヘッド・マウント・ユニット
　２０…ブルーレイ・ディスク再生装置
　３０…ハイビジョン・ディスプレイ
　４０…フロント・エンド・ボックス
　４０１…制御部、４０１Ａ…ＲＯＭ、４０１Ｂ…ＲＡＭ
　４０２…入力操作部、４０３…リモコン受信部
　４０４…姿勢・位置検出部、４０５…通信部、４０６…記憶部
　４０７…画像処理部、４０８…表示駆動部
　４０９…表示パネル、４１０…虚像光学部
　６０１…姿勢・位置情報補正部、６０２…表示画角制御部
　６０３…画像切り出し部、６０４…画像補正部
 

Claims (20)

  1. 　ユーザーの頭部又は顔部に取り付けられる表示部と、
    　当該装置の姿勢及び位置を検出する姿勢・位置検出部と、
    　検出された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御部と、
    　入力画像から前記表示画角の画像を切り出す画像切り出し部と、
    　前記の切り出した画像を補正する画像補正部と、
    を具備する画像表示装置。
  2. 　前記姿勢・位置検出部が検出した姿勢又は位置を補正する姿勢・位置情報補正部をさらに備え、
    　前記表示画角制御部は、前記姿勢・位置情報補正部が補正した後の姿勢及び位置に基づいて前記表示画角の位置及び姿勢を決定する、
    請求項１に記載の画像表示装置。
  3. 　前記姿勢・位置情報補正部は、前記姿勢・位置検出部として用いられるジャイロ・センサー又は加速度センサーの校正処理を行なう、
    請求項２に記載の画像表示装置。
  4. 　前記姿勢・位置情報補正部は、重力が作用する方向が異なる２以上の向きに前記画像表示装置本体を設置したときの前記加速度センサーの出力値に基づいて、前記加速度センサーのゲイン又はオフセットの校正処理を行なう、
    請求項３に記載の画像表示装置。
  5. 　前記姿勢・位置情報補正部は、前記２以上の向きに前記画像表示装置本体を設置する方法を前記表示部の画面に表示して、前記ユーザーを案内する、
    請求項４に記載の画像表示装置。
  6. 　前記姿勢・位置情報補正部は、前記ジャイロ・センサーの軸回りに前記画像表示装置本体を所定角度だけ回転させた間、前記ジャイロ・センサーの出力値の積文が前記所定角度と一致するように、前記ジャイロ・センサーのゲインを校正処理する、
    請求項３に記載の画像表示装置。
  7. 　前記姿勢・位置情報補正部は、前記ジャイロ・センサーの軸回りに前記画像表示装置本体を所定角度だけ回転させる方法を前記表示部の画面に表示して、前記ユーザーを案内する、
    請求項６に記載の画像表示装置。
  8. 　前記姿勢・位置情報補正部は、前記ジャイロ・センサーの第１の軸回りに前記画像表示装置本体を所定角度だけ回転させたときに、前記第１の軸方向の前記ジャイロ・センサーの校正処理を行なうとともに、前記第１の軸とは直交する第２の軸方向の前記加速度センサーの校正処理を行なう、
    請求項３に記載の画像表示装置。
  9. 　前記姿勢・位置情報補正部は、前記表示画面を頭部又は顔部に取り付けた前記ユーザーが正面を向いたときの測定結果に基づいて、前記ジャイロ・センサーの校正処理を行なう、
    請求項３に記載の画像表示装置。
  10. 　前記姿勢・位置検出部は、前記ユーザーの頭部の動作のチルト及びロール成分を加速度センサーの出力値に基づいて検出するとともに、パン成分をジャイロ・センサーの出力値に基づいて検出する、
    請求項３に記載の画像表示装置。
  11. 　前記姿勢・位置情報補正部は、前記ジャイロ・センサーの過去の出力値に１未満の重みを付けて、前記ジャイロ・センサーの出力値を積分してパン成分を算出する際の誤差の蓄積を抑制する、
    請求項１０に記載の画像表示装置。
  12. 　前記姿勢・位置情報補正部は、前記ユーザーが移動中であることの確度に基づいて、前記重みの値を制御する、
    請求項１１に記載の画像表示装置。
  13. 　前記姿勢・位置情報補正部は、前記ジャイロ・センサーの出力値からのパン成分の校正を低頻度で行なって、前記ジャイロ・センサーの出力値を積分してパン成分を算出する際の誤差の蓄積を抑制する、
    請求項１０に記載の画像表示装置。
  14. 　パン成分が０であるか否かを検出するパン成分０検出センサーをさらに備え、
    　前記姿勢・位置情報補正部は、パン成分が０のときに、前記ジャイロ・センサーの出力値から算出されたパン成分を誤差として補正する、
    請求項１０に記載の画像表示装置。
  15. 　前記姿勢・位置情報補正部は、前記加速度センサーに基づくチルト角及びロール角の検出結果と、前記ジャイロ・センサーに基づくチルト角及びロール角の検出結果を重み付けして、チルト角及びロール角を補正する、
    請求項３に記載の画像表示装置。
  16. 　前記画像切り出し部は、前記表示画角よりも広角の前記入力画像から前記表示画角分の画像を切り出す、
    請求項１に記載の画像表示装置。
  17. 　前記画像補正部は、パノラマ又は魚眼の入力画像から切り出した画像を歪み補正する、
    請求項１に記載の画像表示装置。
  18. 　前記画像補正部は、多面体の画像の集合からなるパノラマ画像を、球面又はより面数の多い多面体に射影する、
    請求項１に記載の画像表示装置。
  19. 　ユーザーの頭部又は顔部に表示部が取り付けられる装置の姿勢及び位置を検出する姿勢・位置検出ステップと、
    　検出された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御ステップと、
    　入力画像から前記表示画角の画像を切り出す画像切り出しステップと、
    　前記の切り出した画像を補正する画像補正ステップと、
    を有する画像表示方法。
  20. 　ユーザーの頭部又は顔部に表示部が取り付けられる装置の姿勢及び位置を取得する姿勢・位置取得部、
    　取得された姿勢及び位置に基づいて、前記表示部に表示する表示画角の位置及び姿勢を決定する表示画角制御部、
    　入力画像から前記表示画角の画像を切り出す画像切り出し部、
    　前記の切り出した画像を補正する画像補正部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
     
PCT/JP2013/073484 2012-11-02 2013-09-02 画像表示装置及び画像表示方法、並びにコンピューター・プログラム Ceased WO2014069090A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-242934 2012-11-02
JP2012242934 2012-11-02

Publications (1)

Publication Number Publication Date
WO2014069090A1 true WO2014069090A1 (ja) 2014-05-08

Family

ID=50627011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/073484 Ceased WO2014069090A1 (ja) 2012-11-02 2013-09-02 画像表示装置及び画像表示方法、並びにコンピューター・プログラム

Country Status (1)

Country Link
WO (1) WO2014069090A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3021285A3 (en) * 2014-10-21 2016-08-24 Honeywell International Inc. Low latency augmented reality display
JP2016167699A (ja) * 2015-03-09 2016-09-15 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
WO2017164695A1 (en) 2016-03-24 2017-09-28 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
JP2019120853A (ja) * 2018-01-10 2019-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124245A (ja) * 1996-10-18 1998-05-15 Ricoh Co Ltd ペン型入力装置
JP2000029617A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 映像表示装置
JP2000213934A (ja) * 1999-01-22 2000-08-04 Caterpillar Inc 傾斜センサ―及びその精度を調整する方法
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
JP2004085476A (ja) * 2002-08-28 2004-03-18 Sony Corp ヘッドトラッキング方法及び装置
JP2010074228A (ja) * 2008-09-16 2010-04-02 Nikon Corp 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124245A (ja) * 1996-10-18 1998-05-15 Ricoh Co Ltd ペン型入力装置
JP2000029617A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 映像表示装置
JP2000213934A (ja) * 1999-01-22 2000-08-04 Caterpillar Inc 傾斜センサ―及びその精度を調整する方法
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
JP2004085476A (ja) * 2002-08-28 2004-03-18 Sony Corp ヘッドトラッキング方法及び装置
JP2010074228A (ja) * 2008-09-16 2010-04-02 Nikon Corp 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3021285A3 (en) * 2014-10-21 2016-08-24 Honeywell International Inc. Low latency augmented reality display
US9659410B2 (en) 2014-10-21 2017-05-23 Honeywell International Inc. Low latency augmented reality display
JP2016167699A (ja) * 2015-03-09 2016-09-15 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
WO2017164695A1 (en) 2016-03-24 2017-09-28 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
EP3433660A4 (en) * 2016-03-24 2019-03-13 Samsung Electronics Co., Ltd. SYSTEMS AND METHOD FOR CORRECTING A VEHICLE-INDUCED DIRECTION CHANGE
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
EP4206788A1 (en) * 2016-03-24 2023-07-05 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
JP2019120853A (ja) * 2018-01-10 2019-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7066414B2 (ja) 2018-01-10 2022-05-13 キヤノン株式会社 画像処理装置、表示システム、画像処理方法及びプログラム

Similar Documents

Publication Publication Date Title
JP6540691B2 (ja) 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム
US10310595B2 (en) Information processing apparatus, information processing method, computer program, and image processing system
US11914147B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
EP3008691B1 (en) Head-mountable apparatus and systems
US20170111636A1 (en) Information processing apparatus, information processing method, computer program, and image display system
EP3008548B1 (en) Head-mountable apparatus and systems
CN120722577A (zh) 头戴式显示器跟踪系统
WO2015098211A1 (ja) 姿勢測定装置及び姿勢測定方法、画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
EP3333808A1 (en) Information processing device
WO2016013272A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
JP6768933B2 (ja) 情報処理装置、情報処理システム、および画像処理方法
WO2014069090A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
CN108153417B (zh) 画面补偿方法及采用该方法的头戴式显示装置
WO2018123074A1 (ja) 撮影装置
EP4312106B1 (en) Predicting a position or a posture of a head-mounted display.
JP2021022075A (ja) 映像表示制御装置、方法およびプログラム
US20240329666A1 (en) Apparatus for holding a display screen
WO2024185429A1 (ja) ヘッドマウントディスプレイおよび画像表示方法
WO2024185428A1 (ja) ヘッドマウントディスプレイおよび画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13852095

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13852095

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP