[go: up one dir, main page]

WO2013190766A1 - 画像表示装置、画像表示プログラム及び画像表示方法 - Google Patents

画像表示装置、画像表示プログラム及び画像表示方法 Download PDF

Info

Publication number
WO2013190766A1
WO2013190766A1 PCT/JP2013/003067 JP2013003067W WO2013190766A1 WO 2013190766 A1 WO2013190766 A1 WO 2013190766A1 JP 2013003067 W JP2013003067 W JP 2013003067W WO 2013190766 A1 WO2013190766 A1 WO 2013190766A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
user
image display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/003067
Other languages
English (en)
French (fr)
Inventor
岩津 健
博隆 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201380030892.3A priority Critical patent/CN104380369B/zh
Priority to EP13807617.9A priority patent/EP2863382A4/en
Priority to JP2014520884A priority patent/JP6201990B2/ja
Priority to US14/407,298 priority patent/US20150168724A1/en
Publication of WO2013190766A1 publication Critical patent/WO2013190766A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • the present technology relates to an image display device, an image display program, and an image display method according to generation of an image displayed on a transmissive display. About.
  • Head-mounted display that can be worn on the user's head and includes a display placed in front of the user's eye.
  • Head-mounted displays include non-transmissive head-mounted displays with opaque displays and transmissive head-mounted displays with transparent displays.
  • Patent Document 1 discloses “head-mounted type that can superimpose the information on the field of view of the user by displaying characters (such as subtitles of a movie) on a transmissive display disposed in front of the user's eyes. Display is disclosed.
  • the image displayed on the display may block the user's view. Therefore, although the user can use such a head mounted display in a safe environment, for example, indoors, it is used, for example, in an environment where it is necessary to view the outside world when walking or driving an automobile etc. It was difficult to do.
  • an object of the present technology to provide an image display device, an image display program, and an image display method capable of securing a field of view of a user.
  • An image display device includes a transmissive display, an image generation unit, and an image display unit.
  • the transmissive display is disposed in front of the user's eyes.
  • the image generation unit generates a display image divided into a non-display area in which the image is not displayed and a display area in which the image is displayed.
  • the image display unit displays the display image on the transmissive display.
  • the user since the image is not displayed in the non-display area in the transmissive display, the user can visually recognize the outside world through the non-display area. On the other hand, since the image is displayed in the display area, the user can visually recognize the image. That is, the user can simultaneously view the outside world and the image displayed on the transmissive display.
  • the image generation unit may generate the display image by superimposing a mask layer on an original image including display information presented to the user.
  • the area corresponding to the image mask included in the mask layer can be set as the non-display area. Since the image layer is forcibly applied to the original image by the mask layer, a non-display area is set regardless of which application the original image is output from, and the view of the user is secured.
  • the image capturing unit may further include an image capturing unit capable of capturing a captured image, and the display information may be generated based on the captured image.
  • the image display device can generate display information based on information included in the captured image, for example, character information acquired by character recognition, QR code (registered trademark), etc., and can present it to the user It becomes.
  • the image generation unit may set the display image as a semi-transmissive image.
  • the user can visually recognize the external world through the display area and can visually recognize the external world through the semi-transmissive image of the display area, that is, the image display apparatus can display the external world by the display image. It is possible to prevent a decrease in visibility.
  • the image generation unit may change the transmittance of the display image according to the brightness around the image display device.
  • the image display device can acquire the brightness around the image display device from the output of an illuminance sensor or an image pickup unit provided in the image display device.
  • the display information may be generated based on a result of character recognition for characters included in the captured image.
  • the image display device can provide the user with a dictionary or the like for the recognized character as display information.
  • the user can refer to the display information displayed in the display area while browsing the text through the non-display area.
  • the display information may be route navigation.
  • the user can refer to route navigation when walking or driving a car or the like. According to this configuration, since the view of the user is secured by the non-display area as described above, the view is not blocked even while the user is moving, and it is possible to secure the safety of the user.
  • the display information may be manufacturing support information.
  • the user can perform the manufacturing while referring to the manufacturing support information such as the manufacturing procedure and the measurement result, and can shorten the manufacturing learning period, improve the manufacturing accuracy, and improve the workability. .
  • the display information may be biological information measured for the user.
  • the image display device can present the user with biological information measured for the user, such as walking speed, number of steps, heart rate, blood pressure, etc., and can assist the user's exercise. It is.
  • the image display apparatus may further include a biological information measurement unit that measures the biological information.
  • the image display device can present the user with the biological information measured by the biological information measurement unit as display information. Since the image display apparatus is mounted on the head of the user, the biological information measurement unit can measure pulse, body temperature, respiratory pace, posture, psychological state based on pupil, brain waves, etc., and use it as display information. .
  • An image display program includes an image generation unit and an image display unit.
  • the image generation unit generates a display image divided into a non-display area in which the image is not displayed and a display area in which the image is displayed.
  • the image display unit displays the display image on a transmissive display disposed in front of the user's eyes.
  • an image generation unit generates a display image divided into a non-display area in which an image is not displayed and a display area in which an image is displayed.
  • the image display unit displays the display image on a transmissive display disposed in front of the user's eyes.
  • an image display device As described above, according to the present technology, it is possible to provide an image display device, an image display program, and an image display method capable of securing the field of view of the user.
  • FIG. 1 is a schematic view showing the appearance of the image display device 1.
  • the image display device 1 is configured of a head brace 11 and an operation device 12.
  • the head brace 11 and the operation device 12 are connected by wire or wirelessly.
  • the head brace 11 is configured to be attachable to the head of the user, includes a display placed in front of the user's eye when the head brace 11 is attached to the user's head, and displays an image on the display .
  • the head brace 11 is composed of a support 111, displays 112 (112R and 112L), image generation units 113 (113R and 113L), and a camera 114.
  • the support 111 supports the head brace 11 on the user's head, and can be in contact with the user's ear or nose.
  • the shape, material, and the like of the support 111 can be arbitrary.
  • the display 112 is supported by the support 111 and disposed in front of the user's eye, and displays the image generated by the image generation unit 113.
  • the display 112 may be transparent and may be a transmissive display that does not block the user's field of view when not displaying an image.
  • the display 112 may not be completely transparent.
  • the display 112 may be configured by a right display 112R disposed in front of the user's right eye and a left display 112L disposed in front of the left eye, as shown in FIG.
  • the display may be an integrated display disposed in front of the eyes of the user.
  • the image generation unit 113 is supported by the support 111, generates an image (hereinafter referred to as a display image) displayed on the display 112, and supplies the image to the display 112 for display. Further, the image generation unit 113 may be connected to the camera 114 to acquire an image captured by the camera 114.
  • the image generation unit 113 is configured by a right image generation unit 113R that supplies a display image to the right display 112R as shown in FIG. 1 and a left image generation unit 113L that supplies a display image to the left display 112L. be able to. Further, the image generation unit 113 may be integrally configured.
  • the camera 114 is supported by the support 111 and captures an image.
  • the camera 114 may be arranged such that its field of view and the field of view of the user when the head brace 11 is mounted on the user's head substantially match, for example, the right display 112R and the left display An intermediate position of 112 L is preferred.
  • the camera 114 may be provided independently of the image display device 1.
  • the operation device 12 receives a user's operation input to the head brace 11.
  • the operating device 12 is not particularly limited, and may be an information processing apparatus such as a smartphone or a remote controller.
  • the controller device 12 can function as a device for supplying the head brace 11 with an image (hereinafter, referred to as an original image) which is a source of a display image displayed on the display 112.
  • the controller device 12 supplies a user's operation input and an original image (described later) to the image generation unit 113.
  • the image display apparatus 1 can have the above configuration.
  • the configuration of the image display device 1 is not limited to the above.
  • the function corresponding to the operation device 12 may be mounted on the head brace 11.
  • the image display device 1 may also include a biological information measurement unit that measures biological information of the user (pulse, body temperature, breathing pace, posture, psychological state based on pupil, brain waves, etc.).
  • FIG. 2 is a schematic view showing a functional configuration of the image display device 1.
  • the image display device 1 includes an image acquisition unit 101, an image generation unit 102, and an image display unit 103. Each of these configurations can be incorporated in the image generation unit 113.
  • the image display unit 103 is connected to the display 112 (the right display 112R and the left display 112L), and the image acquisition unit 101, the image generation unit 102, and the image display unit 103 are mutually connected.
  • the image acquisition unit 101 acquires an original image that is the source of the display image displayed on the display 112.
  • the original image may be an image generated by the application of the operation device 12 or an image acquired by the operation device 12 from another device.
  • the original image may be, for example, an image including information (hereinafter, display information) presented to the user such as movie subtitles and car navigation.
  • the display information included in the original image may be generated based on the captured image captured by the camera 114.
  • the image acquisition unit 101 can also acquire an original image including, as display information, a dictionary for characters acquired by character recognition.
  • the captured image includes a QR code (registered trademark) or the like
  • the image acquisition unit 101 can also acquire an original image including information acquired by reading as display information.
  • the image acquisition unit 101 supplies the acquired original image to the image generation unit 102.
  • the image generation unit 102 generates a display image from the original image.
  • the display image is a non-display area in which the image is not displayed when the display image is displayed on the display 112, and a display area in which the image is displayed when the display image is displayed on the display 112. including.
  • the image generation unit 102 sets a region of the original image corresponding to the image mask as a non-display region and a region of the original image not corresponding to the image mask as a display region by superimposing a mask layer including the image mask on the original image. be able to.
  • the image generation unit 102 supplies the generated display image to the image display unit 103.
  • the image display unit 103 supplies a display image to the display 112 for display.
  • the image is not displayed in the non-display area corresponding to the image mask in the display image
  • the display 112 is a transmissive display
  • the user can visually recognize the outside world through the non-display area.
  • the original image is displayed in the display area
  • the user can visually recognize the display information included in the original image. That is, the user can view the display information displayed on the display 112 while visually recognizing the outside world through the non-display area.
  • FIG. 3 is a flowchart showing the operation of the image display device 1.
  • the image acquisition unit 101 acquires an original image (St101).
  • the image acquisition unit 101 can acquire an image generated by an application of the operation device 12 or an image acquired by the operation device 12 from another device as an original image.
  • An example of the acquired original image is shown as an original image A in FIG. It is assumed that the original image A includes display information B presented to the user.
  • the image generation unit 102 generates a display image (St102).
  • the image generation unit 102 can generate a display image by superimposing a mask layer on the original image A.
  • FIG. 5 is a schematic view showing the mask layer C. As shown in FIG. As shown in the figure, the mask layer C includes an image mask M. The arrangement of the image mask M in the mask layer can be appropriately changed according to the application of the image display apparatus 1 as described later.
  • FIG. 6 is a schematic view showing generation of a display image by the image generation unit 102.
  • FIG. 6A is a schematic view in the case where the mask layer C is not superimposed
  • FIG. 6B is a schematic view in the case where the mask layer C is superimposed.
  • the image generation unit 102 sets the original image A as the display image D as it is.
  • the image generation unit 102 superimposes the mask layer C on the original image A to generate a display image D.
  • the image generation unit 102 superimposes the mask layer C on the original image A output from the video buffer, so that the original image A is an image generated from any application. Even in this case, the image mask M can be forcibly applied.
  • FIG. 7 is a schematic view showing a display image D generated by the image generation unit 102.
  • the image generation unit 102 when the image generation unit 102 superimposes the original image A and the mask layer C, a display image D in which a part of the original image A is covered by the image mask M is generated.
  • the image generation unit 102 supplies the display image D to the image display unit 103.
  • the image display unit 103 displays the display image D on the display 112 (St103).
  • FIG. 8 is a schematic view showing a display image D displayed on the display 112.
  • the area corresponding to the image mask M is a non-display area (referred to as a non-display area D1) in which the image is not displayed, and the area not corresponding to the image mask M is the original image A displayed And a display area (display area D2). Since the display 112 is a transmissive display, the user can view the outside through the non-display area D1 and can also view the display information B displayed in the display area D2 at the same time.
  • the image display unit 103 can also set the display image D as a semi-transmissive image. Thereby, the user can visually recognize the outside world through the original image A, which is a semi-transparent image, also in the display area D2. Furthermore, the image display unit 103 obtains the brightness around the image display device 1 from the output of an illumination sensor (not shown) provided in the image display device 1 or the camera 114, and the transmittance of the display image D according to the brightness. It is also possible to adjust the
  • the image display device 1 may display the display image D on any one of the displays 112 and may not display any image on the other display 112. Furthermore, the image display device 1 can display the display image D on any one of the displays 112 and display the original image A as it is on the other display.
  • FIGS. 9 to 14 are schematic diagrams showing variations of the arrangement of the non-display area D1 and the display area D2. Although illustration of display information B is omitted in Drawing 9 thru / or Drawing 14, display information B shall be displayed on display field D2. As shown in these figures, the arrangement of the non-display area D1 and the display area D2 can be set as appropriate, and can be set by, for example, designation by a user or designation by an application.
  • the image display device 1 When the user views a movie, a stage (opera, kabuki, theater, etc.), the image display device 1 displays words as the display information B on the left and right of the display 112 in accordance with the position of the person, or Narration, lyrics and the like can be displayed at the top and bottom of the display 112. (See FIGS. 9 (a) to 10 (b)).
  • the image display device 1 can set the central portion of the display image D as the non-display area D1 so as not to interfere with visual recognition of a movie or a stage.
  • the image display device 1 can improve the visibility of the display image by changing the transmittance of the display image displayed in the display region D2 around the non-display region D1 according to the brightness of the stage etc. .
  • the image display device 1 changes the transmittance of the display image D according to the brightness of each scene.
  • the image display device 1 can use a fixed value set in advance for transmittance adjustment, and can also use the brightness acquired by the illuminance sensor for transmittance adjustment.
  • the image display device 1 can display a dictionary of unknown words or kanji as the display information B. In addition, the image display device 1 can display an advertisement depending on the content.
  • the image display device 1 arranges the display area D2 vertically for horizontal books and vertically for horizontal books, it does not interfere with reading.
  • the image display device 1 arranges the display area D2 around the display 112 when the user views a wide area such as a magazine at one time (see FIGS. 9A to 10B).
  • the image display device 1 can recognize characters included in a captured image captured by the camera 114 and can automatically perform dictionary display. In addition, the image display device 1 can automatically read a QR code (registered trademark) of a magazine or the like and display information desired by the reader as the display information B. The user can use the central non-display area D1 for reading. If the user wants to concentrate on reading, it is also possible to lower the transmittance of the display image D to limit the field of view.
  • a QR code registered trademark
  • the image display device 1 displays an image such as a rearview mirror on the left and right of the display 112, a room mirror on the top, and a back camera on the bottom as an auxiliary function of surrounding recognition. 9 (a) to 10 (b)).
  • the image display device 1 can adjust the transmittance using a variable filter to such an extent that the display image D can be viewed.
  • the image display device 1 causes the user to visually sense the speed of an automobile or the like and the rotational speed of the engine in a bar graph or the like that changes in the vertical direction using left and right, displays numerical values on the top and bottom of the display 112, and corrects the user Can be made aware of.
  • the image display apparatus 1 displays route navigation arrows or the like on the left and right of the display 112 or displays a horizontal map on the lower part of the display 112 so that the user can use the route navigation without moving his eyes. Can.
  • the image display apparatus 1 displays measurement values (biological information) such as heart rate, blood pressure, blood flow, etc. on the display 112. It can be displayed vertically and horizontally (see FIGS. 9A to 10B).
  • the image display device 1 includes a biological information measurement unit that measures the biological information of the user, and displays the measured biological information, for example, pulse, body temperature, respiratory pace, posture, psychological state based on pupil, brain waves, etc. It is also possible to display at 112.
  • the image display device 1 can adjust the transmittance using a variable filter to such an extent that the display image D can be viewed.
  • the image display device 1 can perform the transmittance adjustment by the illuminance sensor in addition to the time information.
  • the user can use the route navigation without moving his or her eyes by the image display device 1 displaying an arrow or the like of the route navigation on the left and right of the display 112 or a horizontal map at the bottom of the display 112 .
  • the image display apparatus 1 can display manufacturing support information such as a manufacturing procedure or a measurement result on the display 112 when the user performs manufacturing, and can support the manufacturing. Specifically, when the user confirms the manufacturing procedure, information such as the procedure is displayed on the display 112 without the image mask M, and the image mask M is displayed in the range necessary for the operation when the user starts the operation. It is possible to arrange it and make it easy for the user to view it. For example, the user confirms which line is to be connected with the display of the display 112 for wiring when assembling an airplane, and when performing wiring work, the image mask M is placed at the center of the display 112 because it interferes with the work. It is possible to raise the certainty of work by making it completely transparent.
  • the user checks the measurement results while operating the television receiver. At this time, it is also possible to arrange the image mask M in the center of the display 112 to make it easy to operate the television receiver and to output the measurement result to the end of the display 112.
  • the image display apparatus 1 causes the user to perform shooting while confirming the range to be actually shot by displaying the shot image of the shooting device in the central portion of the display 112. it can.
  • the image display device 1 can measure the distance to the object to be photographed by a sensor, and can arrange the photographed image in the central portion of the display 112. As a result, the user can determine the optimal composition while confirming the photographed range in the entire field of view (see FIG. 13).
  • the image display apparatus 1 can display an enlarged image of a portion viewed by the user in the display area D2, so that the user can reliably capture and capture a distant object (see FIG. 14).
  • the camera may be independent of the image display device 1 or may be provided in the image display device 1.
  • the camera is independent of the image display device 1, the user can always confirm the photographed image while confirming the surroundings.
  • the image display apparatus 1 can also perform shooting of eye-following by causing the camera to follow in the direction viewed by the user.
  • shooting in the direction of the line of sight can be performed, and when the image captured with the zoom function is enlarged and displayed, a shooting effect using a telescope can also be obtained.
  • the camera's battery exhaustion and recording media shortage are important information leading to shooting failure.
  • the image display apparatus 1 can grasp the information without the user always watching the camera / video or looking through the finder.
  • the image display device 1 sets the upper part of the display 112 as the non-display area D1 and sets the lower part not in view of the user as the display area D1.
  • the convenience is improved.
  • the image display device 1 sets the upper part of the display 112 as the non-display area D1 and the lower part not in view as the display area D2. be able to.
  • the image display apparatus 1 can display constellation and aurora information as display information (see FIG. 10C).
  • the image display device 1 sets the upper part of the display 112 as the display area D2 and the lower part as the non-display area D1. (See FIG. 11 (a)).
  • the user can refer to the weather and salt list, and display information of the fish finder when carrying out fishing, and when watching sports, he / she can look at display information information such as TV broadcasting and scores. You can watch the game.
  • the present technology can also adopt the following configuration.
  • a transmissive display placed in front of the user's eyes; An image generation unit that generates a display image divided into a non-display area in which an image is not displayed and a display area in which the image is displayed; An image display unit configured to display the display image on the transmissive display.
  • the image display unit generates the display image by superimposing a mask layer on an original image including display information presented to a user.
  • the image display device according to any one of (1) to (6) above,
  • the display information is a route navigation image display device.
  • the image display device is manufacturing support information.
  • the image display apparatus according to any one of (1) to (8) above,
  • the display information is biological information measured for the user.
  • An image display apparatus further comprising a biological information measurement unit that measures the biological information.
  • An image generation unit that generates a display image divided into a non-display area in which an image is not displayed and a display area in which the image is displayed;
  • the image display program which makes a computer function as an image display part which displays the said display image on the transmissive
  • the image generation unit generates a display image divided into a non-display area in which the image is not displayed and a display area in which the image is displayed; An image display method, the image display part displaying the said display image on the transmissive

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 ユーザの視界を確保することが可能な画像表示装置、画像表示プログラム及び画像表示方法を提供する。 画像表示装置は、透過型ディスプレイと、画像生成部と、画像表示部とを具備する。透過型ディスプレイは、ユーザの眼前に配置される。画像生成部は、画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する。画像表示部は、表示画像を透過型ディスプレイに表示させる。

Description

画像表示装置、画像表示プログラム及び画像表示方法
 本技術は、透過型ディスプレイに表示される画像の生成に係る画像表示装置、画像表示プログラム及び画像表示方法に関する。
に関する。
 ユーザの頭部に装着可能であり、ユーザの眼前に配置されるディスプレイを供えるヘッドマウントディスプレイがある。ヘッドマウントディスプレイには、不透明なディスプレイを備えた非透過型のヘッドマウントディスプレイと、透明なディスプレイを備えた透過型のヘッドマウントディスプレイがある。
 例えば、特許文献1には、ユーザの眼前に配置される透過型ディスプレイに文字(映画の字幕等)を表示することによって、ユーザの視界に当該情報を重畳させることが可能な「頭部装着型ディスプレイ」が開示されている。
特開2011-53468号公報
 しかしながら、このようなヘッドマウントディスプレイでは、ディスプレイに表示された画像によってユーザの視界が遮られるおそれがある。したがって、ユーザは安全な環境、例えば室内等においてこのようなヘッドマウントディスプレイを利用することはできるものの、例えば、歩行し、あるいは自動車等を運転する際等、外界を視認する必要がある環境において利用することは困難であった。
 以上のような事情に鑑み、本技術の目的は、ユーザの視界を確保することが可能な画像表示装置、画像表示プログラム及び画像表示方法を提供することにある。
 本技術の一形態に係る画像表示装置は、透過型ディスプレイと、画像生成部と、画像表示部とを具備する。
 上記透過型ディスプレイは、ユーザの眼前に配置される。
 上記画像生成部は、画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する。
 上記画像表示部は、上記表示画像を上記透過型ディスプレイに表示させる。
 この構成によれば、透過型ディスプレイにおいて非表示領域には画像が表示されないためユーザは非表示領域を介して外界を視認することができる。一方で、表示領域には画像が表示されるため、ユーザはその画像を視認することができる。即ちユーザは、外界と透過型ディスプレイに表示される画像とを同時に視認することが可能となる。
 上記画像生成部は、ユーザに提示される表示情報を含む元画像に、マスクレイヤーを重畳させることで上記表示画像を生成してもよい。
 この構成によれば、表示情報が含まれる元画像のうち、マスクレイヤーに含まれる画像マスクに相当する領域を上記非表示領域とすることができる。マスクレイヤーによって元画像に強制的に画像マスクが施されるため、元画像がいかなるアプリケーションから出力されたものであっても非表示領域が設定され、ユーザの視界が確保される。
 撮像画像の撮像が可能な画像撮像部をさらに具備し、上記表示情報は、上記撮像画像に基づいて生成されてもよい。
 この構成によれば、画像表示装置は、撮像画像に含まれる情報、例えば文字認識によって取得した文字情報やQRコード(登録商標)等に基づいて表示情報を生成し、ユーザに提示することが可能となる。
 上記画像生成部は、上記表示画像を半透過画像としてもよい。
 この構成によれば、ユーザは、表示領域を介して外界を視認できると共に、表示領域の半透過画像を介しても外界を視認することが可能となり、即ちこの画像表示装置は表示画像による外界の視認性の低下を防止することが可能である。
 上記画像生成部は、上記画像表示装置の周囲の明るさに応じて、上記表示画像の透過率を変更してもよい。
 この構成によれば、表示画像に対するユーザの視認性を向上させることが可能となる。画像表示装置は、画像表示装置に設けられた照度センサや画像撮像部の出力から、画像表示装置の周囲の明るさを取得することが可能である。
 上記表示情報は、上記撮像画像に含まれる文字に対する文字認識の結果に基づいて生成されてもよい。
 この構成によれば、画像表示装置は、認識した文字についての辞書等を表示情報としてユーザに提供することが可能となる。これにより、ユーザは、非表示領域を介して文章を閲覧しながら、表示領域に表示される表示情報を参照することが可能となる。
 上記表示情報は、ルートナビゲーションであってもよい。
 この構成によれば、ユーザは、歩行あるいは自動車等の運転等の際に、ルートナビゲーションを参照することが可能となる。本構成によれば、上述のように非表示領域によりユーザの視界が確保されるので、ユーザが移動中であっても視界が遮断されず、ユーザの安全を確保することが可能である。
 上記表示情報は、製造支援情報であってもよい。
 この構成によれば、ユーザは、製造手順や測定結果等の製造支援情報を参照しながら製造を実施することができ、製造習得期間の短縮や製造の正確性、作業性の向上が可能である。
 上記表示情報は、上記ユーザについて測定された生体情報であってもよい。
 この構成によれば、画像表示装置は、ユーザについて測定された生体情報、例えば歩行速度や歩数、心拍数、血圧等をユーザに提示することが可能であり、ユーザの運動を補助することが可能である。
 上記画像表示装置は、上記生体情報を測定する生体情報測定部をさらに具備していてもよい。
 この構成によれば、画像表示装置は、生体情報測定部によって測定された生体情報を表示情報としてユーザに提示することが可能である。画像表示装置はユーザの頭部に装着されるため、生体情報測定部によって、脈拍、体温、呼吸ペース、姿勢、瞳孔に基づく心理状態、脳波等を測定し、表示情報とすることが可能となる。
 本技術の一形態に係る画像表示プログラムは、画像生成部と、画像表示部とを具備する。
 上記画像生成部は、画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する。
 上記画像表示部は、上記表示画像を、ユーザの眼前に配置される透過型ディスプレイに表示させる。
 本技術の一形態に係る画像表示方法は、画像生成部が、画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する。
 画像表示部が、上記表示画像を、ユーザの眼前に配置される透過型ディスプレイに表示させる。
 以上のように、本技術によれば、ユーザの視界を確保することが可能な画像表示装置、画像表示プログラム及び画像表示方法を提供することが可能となる。
本技術の実施形態に係る画像表示装置の外観を示す模式図である。 同画像表示装置の機能的構成を示す模式図である。 同画像表示装置の動作を示すフローチャートである。 同画像表示装置の画像取得部によって取得される元画像の例である。 同画像表示装置の画像生成部によって表示画像の生成に利用されるマスクレイヤーの例である。 同画像表示装置の画像生成部による表示画像の生成を示す模式図である。 同画像表示装置の画像生成部によって生成される表示画像の例である。 同画像表示装置の画像表示部によってディスプレイに表示された表示画像の例である。 同画像表示装置の画像生成部によって生成される表示画像の、非表示領域と表示領域の配置のバリエーションを示す模式図である。 同画像表示装置の画像生成部によって生成される表示画像の、非表示領域と表示領域の配置のバリエーションを示す模式図である。 同画像表示装置の画像生成部によって生成される表示画像の、非表示領域と表示領域の配置のバリエーションを示す模式図である。 同画像表示装置の画像生成部によって生成される表示画像の、非表示領域と表示領域の配置のバリエーションを示す模式図である。 同画像表示装置の画像生成部によって生成される表示画像の、非表示領域と表示領域の配置のバリエーションを示す模式図である。 同画像表示装置の画像生成部によって生成される表示画像の、非表示領域と表示領域の配置のバリエーションを示す模式図である。
 [画像表示装置の構成]
 本技術の実施形態に係る画像表示装置について説明する。図1は、画像表示装置1の外観を示す模式図である。同図に示すように、画像表示装置1は、頭部装具11と操作機器12によって構成されている。頭部装具11と操作機器12は、有線又は無線によって接続されている。
 頭部装具11は、ユーザの頭部に装着可能に構成されており、ユーザの頭部に装着された際にユーザの眼前に配置されるディスプレイを備え、当該ディスプレイに画像を表示するものである。具体的には、頭部装具11は、支持体111、ディスプレイ112(112R及び112L)、画像生成ユニット113(113R及び113L)、カメラ114によって構成されている。
 支持体111は、頭部装具11をユーザの頭部に支持するものであり、ユーザの耳や鼻に当接するものとすることができる。支持体111の形状や素材等は任意のものとすることができる。
 ディスプレイ112は、支持体111に支持されてユーザの眼前に配置され、画像生成ユニット113によって生成された画像を表示する。ディスプレイ112は、透明であり、画像を表示していない状態において、ユーザの視界を遮らない透過型ディスプレイであるものとすることができる。なお、ディスプレイ112は完全に透明でなくてもよい。ディスプレイ112は、図1に示すように、ユーザの右眼の眼前に配置される右ディスプレイ112Rと、左眼の眼前に配置される左ディスプレイ112Lによって構成されているものとすることができ、また、ユーザの両眼の眼前に配置される一体型のディスプレイであってもよい。
 画像生成ユニット113は、支持体111に支持され、ディスプレイ112に表示される画像(以下、表示画像とする)を生成すると共にディスプレイ112に供給し、表示させる。また、画像生成ユニット113は、カメラ114と接続され、カメラ114によって撮像された画像を取得するものとすることができる。画像生成ユニット113は、図1に示すように右ディスプレイ112Rに表示画像を供給する右画像生成ユニット113Rと、左ディスプレイ112Lに表示画像を供給する左画像生成ユニット113Lによって構成されているものとすることができる。また、画像生成ユニット113は一体的に構成されているものであってもよい。
 カメラ114は、支持体111に支持され、画像を撮像する。カメラ114は、その視野と、頭部装具11がユーザの頭部に装着された際のユーザの視界が概ね一致するように配置されるものとすることができ、例えば、右ディスプレイ112Rと左ディスプレイ112Lの中間位置が好適である。また、カメラ114は、画像表示装置1から独立して設けられているものであってもよい。
 操作機器12は、頭部装具11に対するユーザの操作入力を受け付ける。操作機器12は特に限定されず、スマートフォン等の情報処理装置やリモートコントローラであるものとすることができる。また、操作機器12は、ディスプレイ112に表示される表示画像の元となる画像(以下、元画像とする)を頭部装具11に供給する機器として機能するものとすることができる。操作機器12は、ユーザの操作入力や元画像(後述)を、画像生成ユニット113に供給する。
 画像表示装置1は以上のような構成を有するものとすることができる。なお、画像表示装置1の構成は上述のものに限定されない。例えば、操作機器12に相当する機能は頭部装具11に搭載されているものとすることも可能である。また、画像表示装置1は、ユーザの生体情報(脈拍、体温、呼吸ペース、姿勢、瞳孔に基づく心理状態、脳波等)を測定する生体情報測定部を備えるものとすることも可能である。
 [画像表示装置の機能的構成]
 画像表示装置1においては上述の構成と、ソフトウェアの協働によって次のような機能的構成が実現されている。図2は画像表示装置1の機能的構成を示す模式図である。同図に示すように画像表示装置1は、画像取得部101、画像生成部102及び画像表示部103を有する。これらの各構成は、画像生成ユニット113に内蔵されているものとすることができる。画像表示部103は、ディスプレイ112(右ディスプレイ112R及び左ディスプレイ112L)に接続され、画像取得部101、画像生成部102及び画像表示部103はそれぞれ相互に接続されている。
 画像取得部101は、ディスプレイ112に表示される表示画像の元となる元画像を取得する。元画像は、操作機器12のアプリケーションによって生成された画像や、操作機器12が他の機器から取得した画像であるものとすることができる。元画像は、例えば、映画の字幕、カーナビゲーション等のユーザに提示される情報(以下、表示情報)を含む画像であるものとすることができる。
 元画像に含まれる表示情報は、カメラ114によって撮像された撮像画像に基づいて生成されるものとすることも可能である。具体的には、画像取得部101は、撮像画像に文字が含まれる場合に、文字認識によって取得した文字についての辞書を表示情報として含む元画像を取得するものとすることも可能である。また、画像取得部101は、撮像画像にQRコード(登録商標)等が含まれる場合に、読み取りによって取得した情報を表示情報として含む元画像を取得するものとすることも可能である。画像取得部101は、取得した元画像を画像生成部102に供給する。
 画像生成部102は、上記元画像から表示画像を生成する。表示画像は、表示画像がディスプレイ112に表示された際に、画像が表示されない領域である非表示領域と、表示画像がディスプレイ112に表示された際に、画像が表示される領域である表示領域を含む。画像生成部102は、元画像に画像マスクを含むマスクレイヤーを重畳させることによって、画像マスクに相当する元画像の領域を非表示領域とし、画像マスクに相当しない元画像の領域を表示領域とすることができる。画像生成部102は、生成した表示画像を画像表示部103に供給する。
 画像表示部103は、表示画像をディスプレイ112に供給し、表示させる。表示画像において画像マスクに相当する非表示領域には画像が表示されないが、ディスプレイ112は透過型ディスプレイであるので、ユーザは非表示領域を介して外界を視認することができる。一方で、表示領域には元画像が表示されるため、ユーザは元画像に含まれる表示情報を視認することができる。即ち、ユーザは、非表示領域を介して外界を視認しつつ、ディスプレイ112に表示される表示情報を参照することが可能となる。
 [画像表示装置の動作]
 画像表示装置1の動作について説明する。図3は、画像表示装置1の動作を示すフローチャートである。
 まず、画像取得部101が元画像を取得する(St101)。画像取得部101は、操作機器12のアプリケーションによって生成された画像や、操作機器12が他の機器から取得した画像を元画像として取得するものとすることができる。図4に取得された元画像の例を元画像Aとして示す。元画像Aには、ユーザに提示される表示情報Bが含まれているものとする。
 続いて、画像生成部102が表示画像を生成する(St102)。画像生成部102は、元画像Aにマスクレイヤーを重畳させることにより、表示画像を生成するものとすることができる。図5はマスクレイヤーCを示す模式図である。同図に示すように、マスクレイヤーCには画像マスクMが含まれている。画像マスクMのマスクレイヤーにおける配置は、後述するように画像表示装置1の用途等に応じて適宜変更されるものとすることが可能である。
 図6は、画像生成部102による表示画像の生成を示す模式図である。図6(a)はマスクレイヤーCを重畳させない場合、図6(b)はマスクレイヤーCを重畳させる場合の模式図である。図6(a)に示すように、画像生成部102は、マスクレイヤーCを元画像Aに重畳させない場合、元画像Aをそのまま表示画像Dとする。これに対し本実施形態においては、図6(b)に示すように画像生成部102は、マスクレイヤーCを元画像Aに重畳させ、表示画像Dを生成する。ここで、図6に示すように、画像生成部102は、ビデオバッファから出力された元画像AにマスクレイヤーCを重畳させることにより、元画像Aがどのようなアプリケーションから生成された画像であっても、強制的に画像マスクMを施すことが可能となる。
 図7は、画像生成部102によって生成される表示画像Dを示す模式図である。同図に示すように、画像生成部102が元画像AとマスクレイヤーCを重畳させることにより、元画像Aの一部が画像マスクMによって被覆された表示画像Dが生成される。画像生成部102は、表示画像Dを画像表示部103に供給する。
 画像表示部103は、表示画像Dをディスプレイ112に表示させる(St103)。図8は、ディスプレイ112に表示された表示画像Dを示す模式図である。同図に示すように、表示画像Dにおいて、画像マスクMに相当する領域は画像が表示されない非表示領域(非表示領域D1とする)となり、画像マスクMに相当しない領域は元画像Aが表示される表示領域(表示領域D2とする)となる。ディスプレイ112は透過型ディスプレイであるので、ユーザは、非表示領域D1を介して外界を視認することができ、同時に表示領域D2に表示される表示情報Bを視認することが可能である。
 画像表示部103は、表示画像Dをディスプレイ112に表示させる際、表示画像Dを半透過画像とすることも可能である。これにより、ユーザは表示領域D2においても、半透過画像とされた元画像Aを介して外界を視認することが可能である。さらに画像表示部103は、画像表示装置1に設けられた図示しない照度センサあるいはカメラ114の出力から画像表示装置1の周囲の明るさを取得し、その明るさに応じて表示画像Dの透過率を調節するものとすることも可能である。
 なお、上述の説明においては、右ディスプレイ112Rと左ディスプレイ112Lのいずれかに表示される表示画像Dについて説明したが、他方のディスプレイ112についても同様である。また、例えば、画像表示装置1は、ディスプレイ112のいずれか一方に表示画像Dを表示し、他方のディスプレイ112には何らの画像も表示しないものとすることも可能である。さらに、画像表示装置1は、ディスプレイ112のいずれか一方に表示画像Dを表示し、他方のディスプレイには元画像Aをそのまま表示するものとすることも可能である。
 [非表示領域の配置について]
 上述の説明において、表示画像Dは非表示領域D1と表示領域D2を有するものとしたが、非表示領域D1と表示領域D2の配置には各種のバリエーションが考えられる。図9乃至図14は、非表示領域D1と表示領域D2の配置のバリエーションを示す模式図である。なお、図9乃至図14において、表示情報Bの図示は省略するが、表示情報Bは表示領域D2に表示されているものとする。これらの図に示すように、非表示領域D1と表示領域D2の配置は適宜設定することが可能であり、例えばユーザによる指定や、アプリケーションによる指定によって設定されるものとすることが可能である。
 [画像表示装置の使用例]
 ユーザが映画、舞台(オペラ、歌舞伎、演劇など)等を鑑賞する際、画像表示装置1は、表示情報Bとして、セリフを人物の位置に合わせてディスプレイ112の左右に表示したり、また、ナレーションや歌詞などをディスプレイ112の上部や下部に表示することができる。(図9(a)~図10(b)参照)。画像表示装置1は、映画や舞台の視認を妨げないように表示画像Dの中央部を非表示領域D1とすることができる。
 画像表示装置1は、非表示領域D1の周囲の表示領域D2に表示される表示画像の透過率を舞台等の明るさに応じて変化させることにより、表示画像の視認性を向上させることができる。また、映画等はシーンに応じて明るさの変化が大きいものがあるため、画像表示装置1はシーンごとの明るさに応じて表示画像Dの透過率を変化させると効果的である。画像表示装置1は、予め設定された固定値を透過率調整に利用することができ、また、照度センサによって取得した明るさを透過率調整に利用することもできる。
 画像表示装置1は、ユーザが本を読む際、分からない単語や漢字の辞書を表示情報Bとして表示するものとすることができる。また、画像表示装置1は、コンテンツによっては広告を表示するものとすることができる。画像表示装置1が、横書きの本は上下に、縦書きの本は左右に表示領域D2を配置すると読書の邪魔にならない。画像表示装置1は、ユーザが雑誌の様な広範囲を一度に見る場合はディスプレイ112の周囲に表示領域D2を配置する(図9(a)~図10(b)参照)。
 画像表示装置1は、カメラ114で撮像された撮像画像に含まれる文字を認識し、自動的に辞書表示を行うことができる。また、画像表示装置1は、雑誌等のQRコード(登録商標)を自動的に読み取って読者が知りたい情報を表示情報Bとして表示させることができる。ユーザは、中央の非表示領域D1を読書のために利用することができる。ユーザが読書に集中したい場合は、表示画像Dの透過率を下げて視界を制限することも可能である。
 ユーザが自動車、自転車、自動二輪車等を運転する際、画像表示装置1は、周囲認識の補助機能としてディスプレイ112の左右にバックミラー、上部にルームミラー、下部にバックカメラ等の映像を表示する(図9(a)~図10(b)参照)ことができる。画像表示装置1は、表示画像Dが視認できる程度に可変フィルタを使って透過率を調整するものとすることができる。画像表示装置1は、自動車等の速度やエンジン回転数を左右を使って上下方向に変化する棒グラフ等でユーザに体感的に認識させ、ディスプレイ112の上下に数値を表示して正確な値をユーザに認知させることができる。また、画像表示装置1が、ルートナビゲーションの矢印等をディスプレイ112の左右に表示したり、水平方向の地図をディスプレイ112の下部に表示することにより、ユーザは視線を動かさずにルートナビゲーションを使うことができる。
 画像表示装置1は、ユーザが自転車に乗ったり、走ったり、歩いたりの運動をする際に、速度や歩数、また、心拍数、血圧、血流などの測定値(生体情報)をディスプレイ112の上下左右に表示する(図9(a)~図10(b)参照)ことができる。また、画像表示装置1は、ユーザの生体情報を測定する生体情報測定部を具備し、測定された生体情報、例えば、脈拍、体温、呼吸ペース、姿勢、瞳孔に基づく心理状態、脳波等をディスプレイ112に表示するものとすることも可能である。画像表示装置1は、表示画像Dが視認できる程度に可変フィルタを使って透過率を調整することができる。昼や夜など明るさが違う場合は、画像表示装置1は、時間情報に加えて照度センサにより透過率調整を行うことができる。画像表示装置1が、ルートナビゲーションの矢印等をディスプレイ112の左右に表示したり、水平方向の地図をディスプレイ112の下部に表示することにより、ユーザは視線を動かさずにルートナビゲーションを使うことができる。
 画像表示装置1は、ユーザが製造を実施する際に、製造手順や測定結果等の製造支援情報をディスプレイ112に表示し、製造を支援するものとすることができる。具体的には、ユーザが製造の手順を確認するときに、画像マスクMなしで手順等の情報をディスプレイ112に表示し、ユーザが作業に取り掛かるときに、作業に必要な範囲に画像マスクMを配置し、ユーザが視認しやすくする使い方が可能である。例えば、ユーザは、飛行機組立時の配線について、どの線を結線するかをディスプレイ112の表示で確認し、結線作業をするときは、作業の邪魔になるのでディスプレイ112の中央に画像マスクMを配置して完全透過させることにより、作業の確実性を挙げることが可能である。また、テレビジョン受像機の検査工程ではユーザがテレビジョン受像機を操作しながら測定結果をチェックする。このとき、ディスプレイ112の中央に画像マスクMを配置してテレビジョン受像機を操作しやすくし、ディスプレイ112の端に測定結果を出すようにすることも可能である。
 ユーザがカメラ、ビデオ等の撮影機器を用いて撮影を実施する際、撮影機器の光学ファインダーを覗いたり、また、撮影機器の表示画面を見て撮影を行う際には、肉眼で撮影対象を見ることができない。それを解決するために、画像表示装置1が、ディスプレイ112の中央部に撮影機器の撮影画像を表示させることにより、ユーザは、実際に撮影される範囲を確認しながら、撮影を実施することができる。
 画像表示装置1は、ユーザがズームを使って構図を決める際に、撮影対象物までの距離をセンサで計り、撮影画像をディスプレイ112の中央部に配置することができる。これによりユーザは、視界全体の中の撮影される範囲を確認しながら最適な構図を決めることができる(図13参照)。また、画像表示装置1は、ユーザが見ている箇所の拡大画像を表示領域D2に表示することで、ユーザは遠くのものを確実に捉えて撮影することが可能となる(図14参照)。
 カメラは画像表示装置1と独立している場合と、画像表示装置1に設けられている場合がある。カメラが画像表示装置1と独立している場合は、ユーザは、周囲を確認しながら常に撮影画像確認ができる。また、画像表示装置1はユーザの見る方向にカメラを追従させて視線追従の撮影も行うことができる。カメラが画像表示装置1に設けられている場合は、視線方向の撮影が行え、ズーム機能で撮影されている映像を拡大表示すると望遠鏡を使った撮影効果も得られる。
 カメラのバッテリー切れや記録メディア残量不足などは撮影失敗に繋がる重要な情報である。画像表示装置1は、このような情報を表示情報としてディスプレイ112に表示することで、ユーザは常にカメラ/ビデオを見たり、ファインダーを覗いたりしなくてもこれらの情報を把握することができる。ユーザが野鳥撮影の様な長い時間遠くの被写体を狙って撮影する場合、画像表示装置1は、ディスプレイ112の上部を非表示領域D1とし、ユーザの視界にかからない下部を表示領域D1として拡大映像を表示する(図10(c)参照)と利便性が向上する。
 ユーザが天体観測を実施する際には、ユーザの視線は上方に向くと考えられるので、画像表示装置1は、ディスプレイ112の上部を非表示領域D1とし、視界にかからない下部を表示領域D2とすることができる。画像表示装置1は星座やオーロラ情報を表示情報として表示するものとすることができる(図10(c)参照)。
 また、ユーザが釣りやスポーツ観戦を実施する際には、ユーザの視線は下方に向くと考えられるので、画像表示装置1は、ディスプレイ112の上部を表示領域D2とし、下部を非表示領域D1とすることができる(図11(a)参照)。ユーザは、釣りを実施する際には天候や塩見表、また、魚群探知機の表示情報を参照することができ、スポーツ観戦を実施する際には、TV放送やスコア等の表示情報情報を見ながら観戦することができる。
 本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。
 なお、本技術は以下のような構成も採ることができる。
 (1)
 ユーザの眼前に配置される透過型ディスプレイと、
 画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する画像生成部と、
 上記表示画像を上記透過型ディスプレイに表示させる画像表示部と
 を具備する画像表示装置。
 (2)
 上記(1)に記載の画像表示装置であって、
 上記画像生成部は、ユーザに提示される表示情報を含む元画像に、マスクレイヤーを重畳させることで上記表示画像を生成する
 画像表示装置。
 (3)
 上記(1)又は(2)に記載の画像表示装置であって、
 撮像画像の撮像が可能な画像撮像部をさらに具備し、
 上記表示情報は、上記撮像画像に基づいて生成される
 画像表示装置。
 (4)
 上記(1)から(3)のいずれか一つに記載の画像表示装置であって、
 上記画像生成部は、上記表示画像を半透過画像とする
 画像表示装置。
 (5)
 上記(1)から(4)のいずれか一つに記載の画像表示装置であって、
 上記画像生成部は、上記画像表示装置の周囲の明るさに応じて、上記表示画像の透過率を変更する
 画像表示装置。
 (6)
 上記(1)から(5)のいずれか一つに記載の画像表示装置であって、
 上記表示情報は、上記撮像画像に含まれる文字に対する文字認識の結果に基づいて生成される
 画像表示装置。
 (7)
 上記(1)から(6)のいずれか一つに記載の画像表示装置であって、
 上記表示情報は、ルートナビゲーションである
 画像表示装置。
 (8)
 上記(1)から(7)のいずれか一つに記載の画像表示装置であって、
 上記表示情報は、製造支援情報である
 画像表示装置。
 (9)
 上記(1)から(8)のいずれか一つに記載の画像表示装置であって、
 上記表示情報は、上記ユーザについて測定された生体情報である
 画像表示装置。
 (10)
 上記(1)から(9)のいずれか一つに記載の画像表示装置であって、
 上記生体情報を測定する生体情報測定部をさらに具備する
 画像表示装置。
 (11)
 画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する画像生成部と、
 上記表示画像を、ユーザの眼前に配置される透過型ディスプレイに表示させる画像表示部と
 としてコンピュータを機能させる画像表示プログラム。
 (12)
 画像生成部が、画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成し、
 画像表示部が、上記表示画像を、ユーザの眼前に配置される透過型ディスプレイに表示させる
 画像表示方法。
 1…画像表示装置
 101…画像取得部
 102…画像生成部
 103…画像表示部
 112…ディスプレイ
 114…カメラ

Claims (12)

  1.  ユーザの眼前に配置される透過型ディスプレイと、
     画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する画像生成部と、
     前記表示画像を前記透過型ディスプレイに表示させる画像表示部と
     を具備する画像表示装置。
  2.  請求項1に記載の画像表示装置であって、
     前記画像生成部は、ユーザに提示される表示情報を含む元画像に、マスクレイヤーを重畳させることで前記表示画像を生成する
     画像表示装置。
  3.  請求項2に記載の画像表示装置であって、
     撮像画像の撮像が可能な画像撮像部をさらに具備し、
     前記表示情報は、前記撮像画像に基づいて生成される
     画像表示装置。
  4.  請求項1に記載の画像表示装置であって、
     前記画像生成部は、前記表示画像を半透過画像とする
     画像表示装置。
  5.  請求項4に記載の画像表示装置であって、
     前記画像生成部は、前記画像表示装置の周囲の明るさに応じて、前記表示画像の透過率を変更する
     画像表示装置。
  6.  請求項3に記載の画像表示装置であって、
     前記表示情報は、前記撮像画像に含まれる文字に対する文字認識の結果に基づいて生成される
     画像表示装置。
  7.  請求項2に記載の画像表示装置であって、
     前記表示情報は、ルートナビゲーションである
     画像表示装置。
  8.  請求項2に記載の画像表示装置であって、
     前記表示情報は、製造支援情報である
     画像表示装置。
  9.  請求項2に記載の画像表示装置であって、
     前記表示情報は、前記ユーザについて測定された生体情報である
     画像表示装置。
  10.  請求項9に記載の画像表示装置であって、
     前記生体情報を測定する生体情報測定部をさらに具備する
     画像表示装置。
  11.  画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成する画像生成部と、
     前記表示画像を、ユーザの眼前に配置される透過型ディスプレイに表示させる画像表示部と
     としてコンピュータを機能させる画像表示プログラム。
  12.  画像生成部が、画像が表示されない非表示領域と画像が表示される表示領域とに区分された表示画像を生成し、
     画像表示部が、前記表示画像を、ユーザの眼前に配置される透過型ディスプレイに表示させる
     画像表示方法。
PCT/JP2013/003067 2012-06-18 2013-05-14 画像表示装置、画像表示プログラム及び画像表示方法 Ceased WO2013190766A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380030892.3A CN104380369B (zh) 2012-06-18 2013-05-14 图像显示设备和图像显示方法
EP13807617.9A EP2863382A4 (en) 2012-06-18 2013-05-14 PICTURE DISPLAY, PICTURE DISPLAY PROGRAM AND PICTURE DISPLAY PROCESS
JP2014520884A JP6201990B2 (ja) 2012-06-18 2013-05-14 画像表示装置、画像表示プログラム及び画像表示方法
US14/407,298 US20150168724A1 (en) 2012-06-18 2013-05-14 Image display apparatus, image display program, and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-136622 2012-06-18
JP2012136622 2012-06-18

Publications (1)

Publication Number Publication Date
WO2013190766A1 true WO2013190766A1 (ja) 2013-12-27

Family

ID=49768381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003067 Ceased WO2013190766A1 (ja) 2012-06-18 2013-05-14 画像表示装置、画像表示プログラム及び画像表示方法

Country Status (5)

Country Link
US (1) US20150168724A1 (ja)
EP (1) EP2863382A4 (ja)
JP (2) JP6201990B2 (ja)
CN (1) CN104380369B (ja)
WO (1) WO2013190766A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188566A (ja) * 2014-03-28 2015-11-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2016061829A (ja) * 2014-09-16 2016-04-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
NL2013234B1 (en) * 2014-07-22 2016-08-16 Modus Holding S À R L Head mounted display assembly comprising a sensor assembly having a rear view sensing area direction.
JP2017224244A (ja) * 2016-06-17 2017-12-21 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018018089A (ja) * 2012-06-18 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体
JP2018109934A (ja) * 2016-12-30 2018-07-12 天曙 續 模擬カードスクイーズシステム
WO2018135135A1 (ja) * 2017-01-18 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 シースルー型表示装置、システム、プログラム及び情報処理方法
JP2022040118A (ja) * 2020-08-26 2022-03-10 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム
JP2024114720A (ja) * 2019-09-30 2024-08-23 マクセル株式会社 ヘッドマウントディスプレイ

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275642B2 (en) 2013-07-12 2019-04-30 DISH Technologies L.L.C. Context-sensitive information presentation
JP2016180885A (ja) * 2015-03-24 2016-10-13 株式会社東芝 表示システム、情報処理装置および情報処理方法
KR102193036B1 (ko) * 2016-07-05 2020-12-18 삼성전자주식회사 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04151691A (ja) * 1990-10-16 1992-05-25 Fujitsu Ltd 液晶ディスプレイ制御装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2008099834A (ja) * 2006-10-18 2008-05-01 Sony Corp 表示装置、表示方法
WO2010087293A1 (ja) * 2009-01-27 2010-08-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010218405A (ja) * 2009-03-18 2010-09-30 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011053468A (ja) 2009-09-02 2011-03-17 Sony Corp 映像/文字同時表示装置及び頭部装着型ディスプレイ
JP2011091789A (ja) * 2009-09-24 2011-05-06 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011118531A (ja) * 2009-12-01 2011-06-16 Brother Industries Ltd ヘッドマウントディスプレイ

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
JPH1039745A (ja) * 1996-07-19 1998-02-13 Casio Comput Co Ltd 天体表示装置
US20040210444A1 (en) * 2003-04-17 2004-10-21 International Business Machines Corporation System and method for translating languages using portable display device
US7253391B2 (en) * 2003-09-19 2007-08-07 Semiconductor Energy Laboratory Co., Ltd. Optical sensor device and electronic apparatus
US20050166158A1 (en) * 2004-01-12 2005-07-28 International Business Machines Corporation Semi-transparency in size-constrained user interface
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
US7920144B2 (en) * 2005-01-18 2011-04-05 Siemens Medical Solutions Usa, Inc. Method and system for visualization of dynamic three-dimensional virtual objects
US8140197B2 (en) * 2005-02-17 2012-03-20 Lumus Ltd. Personal navigation system
US7479967B2 (en) * 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
JP2006309314A (ja) * 2005-04-26 2006-11-09 Konica Minolta Photo Imaging Inc 翻訳装置
JP4745724B2 (ja) * 2005-06-08 2011-08-10 キヤノン株式会社 画像処理方法、画像処理装置
JP5309448B2 (ja) * 2007-01-26 2013-10-09 ソニー株式会社 表示装置、表示方法
JP5536999B2 (ja) * 2008-08-11 2014-07-02 キヤノン株式会社 映像表示装置及びその制御方法
JP5346650B2 (ja) * 2009-03-31 2013-11-20 株式会社エクォス・リサーチ 情報表示装置
JP5223835B2 (ja) * 2009-09-30 2013-06-26 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9091851B2 (en) * 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US20120038663A1 (en) * 2010-08-12 2012-02-16 Harald Gustafsson Composition of a Digital Image for Display on a Transparent Screen
US20120050044A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with biological state detection
JP5464130B2 (ja) * 2010-11-18 2014-04-09 日本電気株式会社 情報表示システム、装置、方法及びプログラム
CN104380369B (zh) * 2012-06-18 2017-10-13 索尼公司 图像显示设备和图像显示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04151691A (ja) * 1990-10-16 1992-05-25 Fujitsu Ltd 液晶ディスプレイ制御装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2008099834A (ja) * 2006-10-18 2008-05-01 Sony Corp 表示装置、表示方法
WO2010087293A1 (ja) * 2009-01-27 2010-08-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010218405A (ja) * 2009-03-18 2010-09-30 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011053468A (ja) 2009-09-02 2011-03-17 Sony Corp 映像/文字同時表示装置及び頭部装着型ディスプレイ
JP2011091789A (ja) * 2009-09-24 2011-05-06 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011118531A (ja) * 2009-12-01 2011-06-16 Brother Industries Ltd ヘッドマウントディスプレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2863382A4

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018018089A (ja) * 2012-06-18 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2015188566A (ja) * 2014-03-28 2015-11-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
NL2013234B1 (en) * 2014-07-22 2016-08-16 Modus Holding S À R L Head mounted display assembly comprising a sensor assembly having a rear view sensing area direction.
JP2016061829A (ja) * 2014-09-16 2016-04-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017224244A (ja) * 2016-06-17 2017-12-21 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体
JP2018109934A (ja) * 2016-12-30 2018-07-12 天曙 續 模擬カードスクイーズシステム
WO2018135135A1 (ja) * 2017-01-18 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 シースルー型表示装置、システム、プログラム及び情報処理方法
JPWO2018135135A1 (ja) * 2017-01-18 2019-12-19 ソニーセミコンダクタソリューションズ株式会社 シースルー型表示装置、システム、プログラム及び情報処理方法
JP7069047B2 (ja) 2017-01-18 2022-05-17 ソニーセミコンダクタソリューションズ株式会社 シースルー型表示装置、システム、プログラム及び情報処理方法
JP2024114720A (ja) * 2019-09-30 2024-08-23 マクセル株式会社 ヘッドマウントディスプレイ
JP7777190B2 (ja) 2019-09-30 2025-11-27 マクセル株式会社 ヘッドマウントディスプレイ
JP2022040118A (ja) * 2020-08-26 2022-03-10 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム
JP7285904B2 (ja) 2020-08-26 2023-06-02 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム

Also Published As

Publication number Publication date
EP2863382A1 (en) 2015-04-22
JP2018018089A (ja) 2018-02-01
JP6201990B2 (ja) 2017-09-27
CN104380369B (zh) 2017-10-13
JPWO2013190766A1 (ja) 2016-02-08
CN104380369A (zh) 2015-02-25
US20150168724A1 (en) 2015-06-18
EP2863382A4 (en) 2016-02-24

Similar Documents

Publication Publication Date Title
JP6201990B2 (ja) 画像表示装置、画像表示プログラム及び画像表示方法
US11231897B2 (en) Display system, display device, information display method, and program
KR20230117236A (ko) 수화-음성 번역을 포함하는 아이웨어
EP3697086A1 (en) Information processing device, information processing method, and program
US20190258058A1 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
RU2018142013A (ru) Системы и способы генерирования стереоскопических изображений дополненной и виртуальной реальности
US20170205240A1 (en) Communication system, control method, and storage medium
CN205038406U (zh) 可调焦距的头戴式显示设备
KR20090069335A (ko) 표시 장치, 표시 방법
WO2016054860A1 (zh) 针对视觉障碍患者的头戴式视觉辅助系统
JP2010061265A (ja) 人物検索登録システム
CN110572632A (zh) 一种基于视线跟踪的增强现实显示系统、头盔和方法
CN104483753A (zh) 自配准透射式头戴显示设备
CN115715177A (zh) 具有几何危险物检测的盲人辅助眼镜
JP2017191490A (ja) 技能伝承システム及び方法
JP2018121686A (ja) 内視鏡操作支援システム
CA2875261A1 (en) Apparatus and method for a bioptic real time video system
JP2015149552A (ja) ウェアラブル型電子機器
CN106154548A (zh) 透视型头戴式显示装置
US20160091717A1 (en) Head-mounted display system and operation method thereof
WO2016101861A1 (zh) 头戴式显示装置
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
CN109791294A (zh) 用于运行具有数据眼镜的显示系统的方法和设备
JP5971298B2 (ja) 表示装置、表示方法
WO2023244267A1 (en) Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13807617

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014520884

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013807617

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14407298

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE