JP2018151459A - Stereoscopic vision device - Google Patents
Stereoscopic vision device Download PDFInfo
- Publication number
- JP2018151459A JP2018151459A JP2017046204A JP2017046204A JP2018151459A JP 2018151459 A JP2018151459 A JP 2018151459A JP 2017046204 A JP2017046204 A JP 2017046204A JP 2017046204 A JP2017046204 A JP 2017046204A JP 2018151459 A JP2018151459 A JP 2018151459A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- stereoscopic
- lens unit
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】 ユーザの眼精疲労や3D酔いを低減させつつ、輻輳調節矛盾を軽減する立体画像を視認することが可能なステレオ立体視装置を提供する。【解決手段】 モバイル端末20の表示画面に表示された複数の画像を用いて、ユーザに立体画像を視認させるステレオ立体視装置10は、モバイル端末20が、表示画面21を下方向にして設置されるモバイル端末装着部13と、ユーザが視認する立体画像を拡大するレンズ部12と、装着されたモバイル端末20の表示画面21に表示された複数の画像に対し、レンズ部12からの距離から算出されるユーザの眼100の調整力の差が所定値以下の状態でユーザの視線の奥行き方向に複数重なり合うように虚像を生成させることで、ユーザにより視認される多層の立体画像を生成させる複数のミラー群111、112とを備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a stereoscopic stereoscopic device capable of visually recognizing a stereoscopic image which reduces congestion inconsistency while reducing eye strain and 3D motion sickness of a user. A stereo stereoscopic device 10 that allows a user to visually recognize a stereoscopic image using a plurality of images displayed on a display screen of a mobile terminal 20 is installed with the mobile terminal 20 with a display screen 21 facing downward. The mobile terminal mounting unit 13, the lens unit 12 that magnifies the stereoscopic image visually recognized by the user, and the plurality of images displayed on the display screen 21 of the mounted mobile terminal 20 are calculated from the distance from the lens unit 12. A plurality of virtual stereoscopic images that are visually recognized by the user are generated by generating virtual images so that a plurality of virtual images are overlapped in the depth direction of the user's line of sight when the difference in the adjustment power of the user's eyes 100 that is equal to or less than a predetermined value. The mirror groups 111 and 112 are provided. [Selection diagram] Figure 1
Description
輻輳調節矛盾を軽減した立体視を実現するステレオ立体視装置に関する。 The present invention relates to a stereo stereoscopic apparatus that realizes stereoscopic viewing with reduced congestion adjustment contradiction.
従来、ヘッドマウントディスプレイ(HMD)等のステレオ立体視を用いたバーチャルリアリティ(VR)デバイスが市販されている。近年は、スマートフォンやタブレット等のモバイル端末を表示装置として用いた、簡易的で安価なステレオ立体視装置も市販されている。 Conventionally, a virtual reality (VR) device using stereo stereoscopic vision such as a head mounted display (HMD) is commercially available. In recent years, a simple and inexpensive stereo stereoscopic device using a mobile terminal such as a smartphone or a tablet as a display device is also commercially available.
モバイル端末のように広く普及している装置を用いたステレオ立体視デバイスは、手軽に利用できる点、低コスト化が可能である点、アプリケーションや動画等のコンテンツを配信するためのインフラが整っている点、ユーザへのアピールが容易な点等、多くの利点があり、VR体験をユーザに広く普及させるために、重要な役割を果たすと考えられている。 Stereo stereoscopic devices using widely used devices such as mobile terminals can be used easily, can be reduced in cost, and have an infrastructure for distributing content such as applications and videos. There are many advantages such as being easy to appeal to users, and it is considered to play an important role in spreading the VR experience widely to users.
ステレオ立体視を行う際、ユーザの眼では、輻輳調整と焦点調整とがリンクして行われている。上述したステレオ立体視によるVRデバイスを利用する際には、輻輳調整により、表示装置の表示面とは異なる奥行き位置に表示対象を知覚し、当該位置までの奥行き距離に応じて両眼の軸を合わせている。一方、焦点調整は表示面上にピントが合うように、眼のレンズ(水晶体)の形状が変化している。 When performing stereo stereoscopic viewing, convergence adjustment and focus adjustment are performed by linking with the user's eyes. When using the stereo stereoscopic VR device described above, the display target is perceived at a depth position different from the display surface of the display device by convergence adjustment, and the axes of both eyes are adjusted according to the depth distance to the position. It is matched. On the other hand, in the focus adjustment, the shape of the eye lens (crystal lens) is changed so that the focus is on the display surface.
このように、既存のVRデバイスの多くでは、ステレオ立体視を行う際にはユーザの眼における輻輳調整系と焦点調整系との間で、表示対象と表示面までの奥行き距離に矛盾が生じる。この現象は、眼精疲労や3D酔いをもたらすため、子供へのHMDの使用制限等、ステレオ立体視体験普及の妨げになっている。 As described above, in many existing VR devices, there is a contradiction in the depth distance between the display target and the display surface between the convergence adjustment system and the focus adjustment system in the user's eye when performing stereo stereoscopic viewing. This phenomenon causes eyestrain and 3D sickness, which hinders the spread of stereo stereoscopic experiences such as restrictions on the use of HMD for children.
また、この問題を解決するため、立体視のコンテンツ作成ガイドラインでは、立体視で表示対象を奥行き方向に前後させる範囲に対応する視差角(人間の左眼と右眼を基準とした際の表示面と表示対象の角度差)を1度以下にするよう規定されている。しかし、この規定をもとに立体視のコンテンツを作成する場合、焦点調整が最も活用されるユーザからの視距離が短い範囲(2m〜3m以内)を再現することができないという問題があった。 In order to solve this problem, according to the content creation guidelines for stereoscopic vision, the parallax angle corresponding to the range in which the display object is moved back and forth in the depth direction in stereoscopic vision (the display surface when the left and right human eyes are used as a reference) And the angle difference between the display objects) is set to be 1 degree or less. However, when creating stereoscopic content based on this rule, there is a problem in that it is impossible to reproduce a short range (within 2 m to 3 m) from a user who is most utilized for focus adjustment.
また、輻輳調整系と焦点調整系との間の矛盾を解決するため、(1) 表示対象からの光線を点光源としてではなく光線方向まで再現する技術、(2) ユーザから表示面までの距離を制御する技術、(3) 表示面を奥行き方向に物理的に多層に重ねる技術 等を用いて立体画像を再生する技術が開発されている。上記(1)の技術を用いたものとしては、干渉現象を用いたホログラフィーや、ライトフィールドを再現するテンソルディスプレイなどがある。また上記(2)の技術を用いたものとしては、焦点距離を変えられるレンズを用いたり、表示面をモータ等で物理的に移動させたりするHMDがある。また上記(3)の技術を用いたものとして、ピクセルの3次元版であるボクセルを構築したり、複数レイヤを重ね合わせるマルチレイヤ構造を用いたりするステレオ立体視ディスプレイがある。 Also, in order to resolve the contradiction between the convergence adjustment system and the focus adjustment system, (1) a technology that reproduces the light from the display object in the direction of the light, not as a point light source, and (2) the distance from the user to the display surface Technology that reproduces stereoscopic images using (3) technology that physically overlays the display surface in the depth direction has been developed. Examples of using the technique (1) include holography using an interference phenomenon and a tensor display that reproduces a light field. In addition, as a technique using the technique (2), there is an HMD that uses a lens whose focal length can be changed, or physically moves the display surface by a motor or the like. Further, as a technique using the technique (3), there is a stereoscopic display that constructs a voxel that is a three-dimensional version of a pixel or uses a multi-layer structure in which a plurality of layers are overlapped.
しかし、これらの技術を用いるためにはレーザ光源や透過液晶等の特殊な機材が必要であったり、テンソル計算等の負荷の高い計算処理が必要であったり、または、モータやレンズの制御を行うための構成により小型化が困難であったりすることにより、モバイル端末を用いた手軽なステレオ立体視装置への適用は困難であるという問題があった。 However, in order to use these technologies, special equipment such as a laser light source and transmissive liquid crystal is required, a heavy calculation process such as tensor calculation is required, or motors and lenses are controlled. Therefore, there is a problem that it is difficult to apply to a simple stereoscopic apparatus using a mobile terminal due to the difficulty in downsizing due to the configuration.
本発明は上記事情を鑑みてなされたものであり、輻輳調節矛盾を軽減することで、ユーザの眼精疲労や3D酔いを低減させた立体画像を再現することが可能なステレオ立体視装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a stereo stereoscopic device capable of reproducing a stereoscopic image with reduced eye strain and 3D sickness by reducing congestion adjustment contradiction. The purpose is to do.
上記の課題を解決するための、本発明のステレオ立体視装置は、表示面が1平面の表示装置の表示面を分割して複数の画像を表示し、ユーザに立体画像を視認させるステレオ立体視装置において、前記表示装置の装着部と、ユーザが視認する画像を拡大するレンズ部と、前記表示装置の複数の画像に対し、前記レンズ部からの距離から算出されるユーザの眼の調整力の差が所定値以下の状態でユーザの視線の奥行き方向に複数の虚像が重なり合うよう生成させることで立体画像を生成させる2枚以上のミラーとを備える。 In order to solve the above-described problems, a stereo stereoscopic device according to the present invention is a stereo stereoscopic device that displays a plurality of images by dividing a display surface of a display device having a single display surface and allows a user to visually recognize a stereoscopic image. In the apparatus, the mounting unit of the display device, a lens unit for enlarging an image visually recognized by the user, and the adjustment power of the user's eye calculated from a distance from the lens unit with respect to a plurality of images of the display device. And two or more mirrors that generate a stereoscopic image by generating a plurality of virtual images overlapping in the depth direction of the user's line of sight in a state where the difference is equal to or less than a predetermined value.
本発明のステレオ立体視装置によれば、輻輳調節矛盾を軽減することで、ユーザの眼精疲労や3D酔いを低減させた立体画像を再現することが可能になる。 According to the stereo stereoscopic device of the present invention, it is possible to reproduce a stereoscopic image with reduced eye strain and 3D sickness by reducing congestion adjustment contradiction.
本発明のモバイル端末を用いたステレオ立体視装置に利用する技術として、複数画像を用いてユーザに立体画像を視認させるマルチレイヤ構造について説明する。 As a technique used in a stereo stereoscopic device using the mobile terminal of the present invention, a multilayer structure that allows a user to visually recognize a stereoscopic image using a plurality of images will be described.
マルチレイヤ構造を用いてユーザに立体画像を視認させる際は、図2に示すように、ユーザの視線方向でありユーザの眼100からの距離が異なる位置に、2次元画像情報で構成された複数のレイヤ(第1レイヤ101、第2レイヤ102、および第3レイヤ103)が配置される。第1レイヤ101は、奥行きを有する表示対象物の前方部分の画像情報であり、第3レイヤ103は、当該表示対象物の後方部分の画像情報であり、第2レイヤ102は、第1レイヤ101と第3レイヤ103との間の中間部分の画像情報である。
When making a user visually recognize a stereoscopic image using a multi-layer structure, as shown in FIG. 2, a plurality of two-dimensional image information composed of two-dimensional image information at positions where the distance from the user's
ユーザは、第1レイヤ101〜第3レイヤ103が重なり合った状態で視認することにより、表示対象の立体画像の虚像110を認識することができる。その際、ユーザの眼100から各レイヤまでの距離の逆数により算出されるユーザの眼100の調整力の差が、表示対象と各レイヤの位置関係が前後0.3D(ディオプター)以下に収まるよう、各レイヤを0.6D間隔で配置することで、輻輳調整矛盾を軽減した立体視効果が得られることが先行研究で確認されている。例えば、ユーザの眼100から第2レイヤ102までの距離から算出される調整力を1D(=1m)とした場合に、第1レイヤ101までの距離を1.6D(=62.5cm)とし、第3レイヤ103までの距離を0.4D(=2.5m)とし、表示対象を、その奥行き距離がレイヤの前後0.3Dに収まるレイヤに表示することで、ユーザが表示対象を適切に立体画像として認識することができる。
The user can recognize the virtual image 110 of the stereoscopic image to be displayed by visually recognizing the first layer 101 to the third layer 103 in an overlapping state. At that time, the difference in the adjustment power of the user's
このマルチレイヤ構造の技術を、モバイル端末を用いたステレオ立体視装置に利用する場合について、図3を参照して説明する。 The case where this multilayer technology is used for a stereo stereoscopic device using a mobile terminal will be described with reference to FIG.
図3に示すステレオ立体視装置200は、モバイル端末として汎用のスマートフォン300を利用するものであり、立体画像の虚像を生成させる本体部210と、本体部210内に生成される立体画像の虚像を拡大してユーザに視認させるためのレンズ部220とを備える。本体部210の上部には、スマートフォン300を、表示画面310を下に向けた状態で設置するためのスマートフォン装着部230を有する。レンズ部220は、視認するユーザの視線方向が、スマートフォン300の表示画面310の表示方向である下方向に対して交差するように設置される。本実施形態においては、ユーザの視線方向と表示画面310の表示方向とが90°で交わるように構成しているが、交差する角度であればこれには限定されない。また、例としてスマートフォン300の向きは下向きで説明するが、装置全体が回転すれば向きは必ずしも下向きに限らない。 A stereo stereoscopic device 200 shown in FIG. 3 uses a general-purpose smartphone 300 as a mobile terminal, and generates a main body 210 that generates a virtual image of a stereoscopic image and a virtual image of the stereoscopic image generated in the main body 210. And a lens unit 220 for enlarging and visually recognizing the user. On the upper part of the main body part 210, there is a smartphone mounting part 230 for installing the smartphone 300 with the display screen 310 facing down. The lens unit 220 is installed so that the line-of-sight direction of the visually recognizing user intersects the downward direction that is the display direction of the display screen 310 of the smartphone 300. In the present embodiment, the viewing direction of the user and the display direction of the display screen 310 are configured to intersect at 90 °. Moreover, although the direction of the smart phone 300 is demonstrated as an example as a downward direction, if the whole apparatus rotates, a direction will not necessarily be downward.
スマートフォン300は1平面の表示画面310を有し、この表示画面310には、搭載されたアプリケーションにより、奥行きを有する表示対象物の前方部分の第1画像情報311と、当該表示対象物の中央部分の第2画像情報312と、当該表示情報の後方部分の第3画像情報313とが、分割された異なる領域に並べられて表示されている。これらの画像情報は、スマートフォン300がスマートフォン装着部230に装着されたときに、レンズ部220から近い順に、第1画像情報311、第2画像情報312、第3画像情報313となるように、表示画面310に表示されている。 The smartphone 300 has a one-plane display screen 310. The display screen 310 includes a first image information 311 of a front portion of a display object having a depth and a center portion of the display object, depending on the installed application. The second image information 312 and the third image information 313 in the rear part of the display information are displayed side by side in different divided areas. These pieces of image information are displayed so as to be first image information 311, second image information 312, and third image information 313 in order from the lens unit 220 when the smartphone 300 is attached to the smartphone attachment unit 230. It is displayed on the screen 310.
ステレオ立体視装置200の本体部210内には、装着されたスマートフォン300の表示画面310内の第1画像情報311の下部位置に斜め方向に設置される第1ハーフミラー211と、第2画像情報312の下部位置に斜め方向に設置される第2ハーフミラー212と、レンズ部220から最も遠い第3画像情報313の下部位置に斜め方向に設置されるフルミラー213とを有する。 In the main body 210 of the stereo stereoscopic device 200, a first half mirror 211 installed in an oblique direction at a lower position of the first image information 311 in the display screen 310 of the smartphone 300 attached, and second image information. The second half mirror 212 installed in the oblique direction at the lower position of 312 and the full mirror 213 installed in the oblique direction at the lower position of the third image information 313 farthest from the lens unit 220.
第1ハーフミラー211は、第1画像情報311を反射して、レンズ部220からのユーザの視線上に虚像を生成させるように、表示画面310に対して略45°傾けて設置される。同様に第2ハーフミラー212は、第2画像情報312を反射して、レンズ部220からのユーザの視線上に虚像を生成させるように、表示画面310に対して略45°傾けて設置される。同様に、フルミラー213は、第3画像情報313を反射して、レンズ部220からのユーザの視線上に虚像を生成させるように、表示画面310に対して略45°傾けて設置される。 The first half mirror 211 is installed at an angle of approximately 45 ° with respect to the display screen 310 so as to reflect the first image information 311 and generate a virtual image on the user's line of sight from the lens unit 220. Similarly, the second half mirror 212 is installed at an angle of approximately 45 ° with respect to the display screen 310 so as to reflect the second image information 312 and generate a virtual image on the user's line of sight from the lens unit 220. . Similarly, the full mirror 213 is installed at an angle of approximately 45 ° with respect to the display screen 310 so as to reflect the third image information 313 and generate a virtual image on the user's line of sight from the lens unit 220.
このようにステレオ立体視装置200を構成することにより、ユーザがレンズ部220から本体部210内を見ると、レンズ部220から第1ハーフミラー211までの距離に、第1ハーフミラー211から第1画像情報311までの距離を加算した距離x1分、離れた位置に、第1画像情報311の虚像が第1レイヤ311aとして認識される。 By configuring the stereoscopic device 200 in this way, when the user looks inside the main body 210 from the lens unit 220, the first half mirror 211 to the first half mirror 211 are arranged at a distance from the lens unit 220 to the first half mirror 211. A virtual image of the first image information 311 is recognized as the first layer 311a at a position separated by a distance x1 obtained by adding the distance to the image information 311.
同様に、レンズ部220から第2ハーフミラー212までの距離に、第2ハーフミラー212から第2画像情報312までの距離を加算した距離x2分、離れた位置に、第2画像情報312の虚像が第2レイヤ312aとして認識される。 Similarly, the virtual image of the second image information 312 is located at a position separated by a distance x2 obtained by adding the distance from the second half mirror 212 to the second image information 312 to the distance from the lens unit 220 to the second half mirror 212. Is recognized as the second layer 312a.
同様に、レンズ部220からフルミラー213までの距離に、フルミラー213から第3画像情報313までの距離を加算した距離x3分、離れた位置に、第3画像情報313の虚像が第3レイヤ313aとして認識される。 Similarly, a virtual image of the third image information 313 is formed as a third layer 313a at a position separated by a distance x3 obtained by adding the distance from the full mirror 213 to the third image information 313 to the distance from the lens unit 220 to the full mirror 213. Be recognized.
そして、第1レイヤ311a、第2レイヤ312a、および第3レイヤ313aは、ユーザの視線方向に重なるように配置されるため、ユーザは表示対象物の前方部分、中央部分、後方部分を重ねて視認して、当該表示対象の立体画像の虚像を認識することができる。 And since the 1st layer 311a, the 2nd layer 312a, and the 3rd layer 313a are arrange | positioned so that it may overlap in a user's gaze direction, the user visually recognizes the front part of the display target object, the center part, and the back part. Thus, a virtual image of the stereoscopic image to be displayed can be recognized.
上述したステレオ立体視装置200の場合、利用時にユーザの眼100の位置となるレンズ部220から各レイヤまでの距離の差(x2−x1)および(x3−x2)は、最も間隔を短くした場合でもレンズ部220による拡大前の虚像の高さ分になる。
In the case of the above-described stereo stereoscopic device 200, the difference (x2-x1) and (x3-x2) in the distance from the lens unit 220, which is the position of the user's
一方、前述した適切な立体視の効果を得るために、レンズ部220で拡大されたときにレンズ部220から各レイヤまでの距離から算出されるユーザの眼100の調整力の差を0.6D以下にするためには、拡大前の状態において各レイヤが数mm間隔で配置されていなければならない。
On the other hand, in order to obtain the above-described appropriate stereoscopic effect, the difference in the adjustment force of the user's
しかし、上述したようなスマートフォン300を用いたステレオ立体視装置200では、各レイヤ間の間隔は虚像の高さ以下に設定することができないため、レンズ部220による拡大前の状態で各レイヤが数mm間隔になるように配置することが困難である。 However, in the stereo stereoscopic device 200 using the smartphone 300 as described above, the interval between the layers cannot be set below the height of the virtual image. It is difficult to arrange them so that the distance is mm.
そこで、以下に、本発明の一実施形態として、スマートフォンを表示装置として用いて、適切な立体視の効果を得ることができるステレオ立体視装置について説明する。 Therefore, hereinafter, as an embodiment of the present invention, a stereo stereoscopic device capable of obtaining an appropriate stereoscopic effect using a smartphone as a display device will be described.
〈一実施形態によるモバイル端末を利用するステレオ立体視装置の構成〉
本発明の一実施形態によるモバイル端末を利用するステレオ立体視装置の構成について、図1を参照して説明する。
<Configuration of Stereoscopic Stereoscopic Device Using Mobile Terminal According to One Embodiment>
A configuration of a stereo stereoscopic device using a mobile terminal according to an embodiment of the present invention will be described with reference to FIG.
本実施形態によるステレオ立体視装置10は、モバイル端末としてスマートフォン20を装着して利用されるものであり、表示対象の立体画像の虚像を生成させる本体部11と、本体部11内に生成される立体画像の虚像を拡大してユーザに視認させるためのレンズ部12とを備える。本体部11の上部には、スマートフォン20を、表示画面21を下に向けた状態で設置するためのスマートフォン装着部13を有する。レンズ部12は、視認するユーザの視線方向が、スマートフォン20の表示画面21の表示方向である下方向に対して90°になるように設置される。
The stereo
スマートフォン20の表示画面21には、搭載されたアプリケーションにより、表示対象物の前方部分の第1画像情報21−1と、当該表示対象物の後方部分の第2画像情報21−2と、当該表示情報の中央部分の第3画像情報21−3とが、レンズ部12に近い領域から順に並べられて同時に表示されている。
On the
ステレオ立体視装置10の本体部11内には、装着されたスマートフォン20の表示画面21内の第1画像情報21−1の下部位置に、レンズ部12から第1画像情報21−1の虚像が視認されるようするために設置される第1ミラー群111がある。また、表示画面21内の第2画像情報21−2の下部位置に、レンズ部12から第2画像情報21−2の虚像が視認されるようにするために設置される第2ミラー群112がある。また、表示画面21内の第3画像情報21−3の下部位置に、レンズ部12から第3画像情報21−3の虚像が視認されるようにするために設置される第3フルミラー113がある。
In the
第1ミラー群111は、第1フルミラー111aと、第1ハーフミラー111bとで構成される。第1フルミラー111aは、表示画面21内の第1画像情報21−1に対向する位置に表示画面21と平行に設置され、第1画像情報21−1を反射させる。第1ハーフミラー111bは、第1フルミラー111aで反射された第1画像情報21−1を反射させてレンズ部12からのユーザの視線上に虚像を生成させるように、表示画面310および第1フルミラー111aに対して略45°傾けて設置される。
The
同様に、第2ミラー群112は、第2フルミラー112aと、第2ハーフミラー112bとで構成される。第2フルミラー112aは、表示画面21内の第2画像情報21−2に対向する位置に表示画面21と平行に設置され、第2画像情報21−2を反射させる。第2ハーフミラー112bは、第2フルミラー112aで反射された第2画像情報21−2を反射させてレンズ部12からのユーザの視線上に虚像を生成させるように、表示画面310および第2フルミラー112aに対して略45°傾けて設置される。第1フルミラー111aおよび第2フルミラー112aの詳細な設置位置については、後述する。
Similarly, the second mirror group 112 includes a second
第3フルミラー113は、ステレオ立体視装置200の場合と同様に、第3画像情報21−3を反射してレンズ部12からのユーザの視線上に虚像を生成させるように、表示画面310に対して略45°傾けて設置される。
As in the case of the stereo stereoscopic device 200, the third
このようにステレオ立体視装置10を構成することにより、ユーザがレンズ部12から本体部11内を見ると、レンズ部12から第1ハーフミラー111bまでの距離に、第1ハーフミラー111bから第1フルミラー111aまでの距離、および第1フルミラー111aから第1画像情報21−1までの距離を加算した距離X1分、離れた位置に、第1画像情報の虚像が第1レイヤ21−1aとして認識される。
By configuring the stereo
同様に、レンズ部12から第2ハーフミラー112bまでの距離に、第2ハーフミラー112bから第2フルミラー112aまでの距離、および第2フルミラー112aから第2画像情報21−2までの距離を加算した距離X2分、離れた位置に、第2画像情報の虚像が第2レイヤ21−2aとして認識される。
Similarly, the distance from the
また、レンズ部12から第3フルミラー113までの距離に、第3フルミラー113から第3画像情報21−3までの距離を加算した距離X3分、離れた位置に、第3画像情報21−3の虚像が第3レイヤ21−3aとして認識される。
Further, the third image information 21-3 is located at a position separated by a distance X3 obtained by adding the distance from the third
そして、第1レイヤ21−1a、第2レイヤ21−2a、および第3レイヤ21−3aは、ユーザの視線の奥行き方向に重なるように配置されるため、ユーザは表示対象物の前方部分、中央部分、後方部分を重ねて視認して、当該表示対象の多層の立体画像の虚像を認識することができる。 And since the 1st layer 21-1a, 2nd layer 21-2a, and 3rd layer 21-3a are arrange | positioned so that it may overlap in the depth direction of a user's eyes | visual_axis, a user is a front part of a display target object, center. The virtual image of the multilayer stereoscopic image of the display target can be recognized by visually recognizing the part and the rear part.
このときに、距離X1およびX2はそれぞれ、第1フルミラー111aの位置および第2フルミラー112aの位置を変えることで調整可能である。これを用いて、[レンズ部12から第1レイヤまでの距離から算出されるユーザの眼100の調整力]と[レンズ部12から第3レイヤまでの距離から算出されるユーザの眼100の調整力]との差、および、[レンズ部12から第3レイヤまでの距離から算出されるユーザの眼100の調整力]と[レンズ部12から第2レイヤまでの距離から算出されるユーザの眼100の調整力]との差が0.6D以下になるように、第1フルミラー111aおよび第2フルミラー112aの位置を決定しておくことで、適切な立体視の効果を得ることができるようになる。この「ユーザの眼100の調整力」は、レンズ部12による拡大後の各虚像の奥行き距離の逆数により、算出される。レンズ部12による拡大後の各虚像の奥行き距離から算出されるユーザの眼100の調整力の差を0.6D以下にするには、各レイヤが数mm間隔で配置されるように、第1フルミラー111aおよび第2フルミラー112aの位置が決定される。
At this time, the distances X1 and X2 can be adjusted by changing the position of the first
以上の本実施形態によれば、表示装置としてスマートフォンを用いたステレオ立体視装置において、マルチレイヤ構造による立体画像表示技術を用いることにより、ユーザの眼精疲労や3D酔いを低減させるとともに、フルミラーとハーフミラーとを組み合わせて表示対象物の立体表示に用いる複数の画像情報の虚像位置を調整することにより、より正確な立体視の効果を得ることができる。これにより、輻輳調整と焦点調整との間の矛盾が少ない、自然なステレオ立体視を実現することができる。例えば、上述した実施形態によるステレオ立体視装置10をバーチャルリアリティデバイスとして用いて、スポーツを観戦したりコンサートを視聴したりすることにより、ユーザがリアルタイムで選手やアーティストのすぐ近くで鑑賞しているように、自然な立体視が実現される。
According to the above embodiment, in a stereoscopic stereoscopic device using a smartphone as a display device, stereoscopic image display technology with a multi-layer structure is used to reduce user's eye strain and 3D sickness, A more accurate stereoscopic effect can be obtained by adjusting the virtual image positions of a plurality of pieces of image information used for stereoscopic display of a display object in combination with the half mirror. As a result, it is possible to realize natural stereo stereoscopic vision with less contradiction between the convergence adjustment and the focus adjustment. For example, by using the stereo
近年は視野角を360°とした全天周のバーチャルリアリティ技術が開発されているが、この技術を用いると視野角が広いものの奥行きを示す深度再現性は低くなる。これに対し上述した本実施形態では、視野角に制限はあるものの深度再現性を高くすることができ、特定の表示対象を鑑賞する用途に適している。 In recent years, a virtual reality technology with an all-sky circumference with a viewing angle of 360 ° has been developed. However, when this technology is used, the depth reproducibility indicating the depth of a wide viewing angle is low. On the other hand, in the above-described embodiment, the depth reproducibility can be increased although the viewing angle is limited, and it is suitable for the purpose of viewing a specific display target.
また、上述した実施形態によるステレオ立体視装置をオーギュメントリアリティ(AR)デバイスとして用いて、生成された立体画像を、現実空間と重畳させてユーザに視認させることもできる。例えば、現実空間である部屋に仮想のインテリアの立体画像を重畳させることにより、実際に部屋にこのインテリアが置かれているかのような自然な画像情報を、ユーザが視認することができる。 In addition, by using the stereoscopic stereoscopic device according to the above-described embodiment as an augmented reality (AR) device, the generated stereoscopic image can be superimposed on the real space and visually recognized by the user. For example, by superimposing a three-dimensional image of a virtual interior in a room that is a real space, the user can visually recognize natural image information as if the interior is actually placed in the room.
具体的には、図5に示すように、ステレオ立体視装置10の本体部11内に、第4ハーフミラー14を設置し、ユーザの視線方向の外景の光線はこの第4ハーフミラー14を透過させ、上記の虚像によるマルチレイヤの光線は反射させてユーザに同時に提示する。この際、スマートフォン20に搭載されたカメラ装置22で撮影された撮像情報を元に、マルチレイヤで表示する表示対象や表示位置を制御することで、現実空間を背景として矛盾のない奥行き位置に立体画像が重畳された状態を、ユーザが視認することができる。
Specifically, as shown in FIG. 5, a fourth half mirror 14 is installed in the
図5では第4ハーフミラー14を用いることで外景に表示対象を重畳する例を示したが、第4ハーフミラー14を全反射ミラーとし、カメラ装置22で取得した映像に表示対象を重畳して表示面に表示することでもARデバイスとして機能する。 FIG. 5 shows an example in which the display target is superimposed on the outside scene by using the fourth half mirror 14, but the fourth half mirror 14 is a total reflection mirror, and the display target is superimposed on the image acquired by the camera device 22. Displaying on the display surface also functions as an AR device.
また、各レイヤに表示対象を分割して表示する際に、各レイヤ間に存在する画素の奥行きを再現する手法として、レイヤ間の輝度を線形に変化させる手法が提案されているが、線形輝度変化では、ユーザの眼から表示対象物までの距離が長くなり焦点距離が大きくなると、ユーザの眼で視認される表示対象物のボケ幅が大きくなるという特性が反映されない。そこで、上述した実施形態において、ユーザの眼(レンズ部)から各レイヤまでの距離に応じて、それぞれの画像情報の虚像の輝度分布を変化させる輝度制御部を追加することで、線形輝度変化よりも精度の高い立体画像をユーザに視認させることができる。 In addition, a method for linearly changing the luminance between layers has been proposed as a method for reproducing the depth of pixels existing between the layers when the display target is divided and displayed on each layer. In the change, when the distance from the user's eyes to the display object becomes long and the focal distance becomes large, the characteristic that the blur width of the display object visually recognized by the user's eyes becomes large is not reflected. Therefore, in the above-described embodiment, by adding a luminance control unit that changes the luminance distribution of the virtual image of each image information in accordance with the distance from the user's eye (lens unit) to each layer, the linear luminance change. In addition, it is possible to make the user visually recognize a highly accurate stereoscopic image.
また、上述した実施形態において、フルミラーの反射率を1としたときの第1ハーフミラー111bおよび第2ハーフミラー112bの反射率:透過率を0.5:0.5(透過率50%)として設定すると、ユーザが視認する立体画像を構成する画像情報のうち、第2画像情報21−2の輝度が低くなってしまう。具体的には、ハーフミラーによる輝度吸収率を無視すると、第1画像情報21−1と第2画像情報21−2と第3画像情報21−3との輝度比は、0.25:0.125:0.25になり、立体画像の中心となる中央部分輝度が低くなってしまう。これは、第2ハーフミラー112bを透過して第2フルミラー112aで反射された第2画像情報21−2は、さらに第1ハーフミラー111bも透過してユーザにより視認されるためである。
In the above-described embodiment, when the reflectance of the
そこで、レンズ部12に近い程、ミラー群のハーフミラーの透過率が高くなるように、第1ハーフミラー111bの反射率:透過率を0.25:0.75(透過率75%)とし、第2ハーフミラー112bの反射率:透過率を0.5:0.5(透過率50%)として設定することにより、第1画像情報21−1と第2画像情報21−2と第3画像情報21−3との輝度比が、0.1875:0.1875:0.375となり、立体画像の中心となる中央部分の輝度が低減することを防止してさらに精度の高い立体画像をユーザに視認させることができる。
Therefore, the second half mirror is configured such that the closer the
また、図4に示すように、上述した実施形態によるステレオ立体視装置10内で、スマートフォン20の表示画面21に表示された3つの画像情報のうち、第1画像情報21−1の下部位置には、第1フルミラー111aおよび、反射率:透過率が0.5:0.5(透過率50%)の第1ハーフミラー111bで構成される第1ミラー群111を設置し、第2画像情報21−2の下部位置には反射率:透過率が0.5:0.5(透過率50%)の第2ハーフミラー112bのみを設置するようにしてもよい。このとき、第2ハーフミラー112bは、第2画像情報21−2を、レンズ部220からのユーザの視線上に虚像を生成させるように、表示画面310に対して45°傾けて設置される。このように構成することにより、第1画像情報21−1と第2画像情報21−2と第3画像情報21−3との輝度比が、0.25:0.25:0.25となり、バランスのとれた立体画像情報を視認させることができる。
Moreover, as shown in FIG. 4, in the stereo
このとき、レンズ部12から第2レイヤ21−2aまでの距離は調整できなくなるが、第1レイヤ21−1aを第2レイヤ21−2aと第3レイヤ21−3aとの間になるように調整することで、レンズ部12から各レイヤまでの距離に関するディオプターの差を0.6D以下にすることができる場合もある。
At this time, the distance from the
また、上述したいずれの実施形態においては、スマートフォンに表示させた3個の画像情報を用いて立体画像表示を行う場合について説明したが、画像情報の数はこれには限定されず、2個または4個以上の画像情報を用いて立体画像表示を行うようにしてもよい。例として、図4の光学素子111の系と光学素子112の系での2レイヤや光学素子111と光学素子113の2レイヤ、もしくは光学素子111の系を増やすことでの3レイヤ以上の構成なども容易に考えられる。
Moreover, in any embodiment mentioned above, although the case where a three-dimensional image display was performed using three image information displayed on the smart phone was demonstrated, the number of image information is not limited to this, Two or A stereoscopic image display may be performed using four or more pieces of image information. As an example, two layers in the system of the
また、上述した実施形態では、表示装置としてスマートフォンを用いたステレオ立体視装置について説明したが、タブレット端末やモバイルディスプレイ等を用いて構成してもよい。 In the above-described embodiments, the stereo stereoscopic device using a smartphone as the display device has been described. However, the display device may be configured using a tablet terminal, a mobile display, or the like.
10 ステレオ立体視装置
11 本体部
12 レンズ部
13 スマートフォン装着部(表示装置の装着部)
20 スマートフォン
21 表示画面
21−1 第1画像情報
21−1a 第1レイヤ
21−2 第2画像情報
21−2a 第2レイヤ
21−3 第3画像情報
21−3a 第3レイヤ
22 カメラ装置
100 ユーザの眼
111 第1ミラー群
111a 第1フルミラー
111b 第1ハーフミラー
112 第2ミラー群
112a 第2フルミラー
112b 第2ハーフミラー
113 第3フルミラー
DESCRIPTION OF
20
Claims (8)
前記表示装置の装着部と、
ユーザが視認する画像を拡大するレンズ部と、
前記表示装置の複数の画像に対し、前記レンズ部からの距離から算出されるユーザの眼の調整力の差が所定値以下の状態でユーザの視線の奥行き方向に複数重なり合うよう虚像を生成させることで立体画像を生成させる2枚以上のミラーと、
を備えることを特徴とするステレオ立体視装置。 In a stereo stereoscopic device that displays a plurality of images by dividing a display surface of a display device having a single display surface, and allows a user to visually recognize a stereoscopic image.
A mounting portion of the display device;
A lens unit for enlarging an image viewed by the user;
Generating, for a plurality of images of the display device, a virtual image so that a plurality of overlaps in a depth direction of the user's line of sight in a state where a difference in adjustment power of the user's eye calculated from a distance from the lens unit is a predetermined value or less; Two or more mirrors that generate a stereoscopic image with
A stereo stereoscopic apparatus comprising:
ことを特徴とする請求項1に記載のステレオ立体視装置。 The plurality of mirrors are arranged in parallel to the display surface at a position facing any one of the images and reflect the image, and reflect the image reflected by the full mirror to form a virtual image in the user's line-of-sight direction. The stereo stereoscopic device according to claim 1, further comprising: a half mirror installed so as to be generated.
ことを特徴とする請求項2に記載のステレオ立体視装置。 3. The stereo according to claim 2, wherein the plurality of mirrors are installed at positions adjusted such that a difference in reciprocal of a depth distance of each virtual image after magnification by the lens unit is a predetermined value or less. Stereoscopic device.
ことを特徴とする請求項2または3に記載のステレオ立体視装置。 The stereo stereoscopic device according to claim 2, wherein the half mirror has a higher transmittance as it is closer to the lens unit.
ことを特徴とする請求項1〜4いずれか1項に記載のステレオ立体視装置。 The mirror corresponding to the image at the position farthest from the lens unit is configured by a full mirror installed so as to reflect the image and generate a virtual image in the user's line-of-sight direction. 4. The stereo stereoscopic device according to claim 1.
前記ミラー群は、対応する第1画像に対向する位置に前記表示面と平行に設置され、当該第1画像を反射させるフルミラーと、当該フルミラーで反射された画像を反射させ、ユーザの視線方向に虚像を生成させるように設置されたハーフミラーとで構成される
ことを特徴とする請求項1に記載のステレオ立体視装置。 The plurality of mirrors are installed corresponding to a third image located at a position furthest from the lens unit and a third mirror image installed corresponding to the first image located closest to the lens unit. And a full mirror that generates a virtual image in the direction of the user's line of sight, and a second image that is installed corresponding to the second image between the first image and the third image and reflects the second image to the user's line of sight It consists of a half mirror that generates a virtual image in the direction,
The mirror group is installed in parallel to the display surface at a position facing the corresponding first image, reflects the first image, reflects the image reflected by the full mirror, and in the direction of the user's line of sight The stereo stereoscopic device according to claim 1, comprising a half mirror installed so as to generate a virtual image.
前記複数のミラー群により生成された立体画像を、前記撮像情報表示部で表示された撮像情報を背景としてユーザに視認させるように重畳させる撮像情報重畳部とをさらに備える
ことを特徴とする請求項1〜6いずれか1項に記載のステレオ立体視装置。 An imaging information display unit that displays imaging information captured by a camera device mounted on a mobile terminal including the display device;
The imaging information superimposing unit that superimposes the stereoscopic image generated by the plurality of mirror groups so that the user visually recognizes the imaging information displayed on the imaging information display unit as a background. The stereo stereoscopic device according to any one of 1 to 6.
ことを特徴とする請求項1〜7いずれか1項に記載のステレオ立体視装置。 8. The luminance control unit according to claim 1, further comprising: a luminance control unit that changes a luminance distribution so as to reduce a blur width of each virtual image according to a distance from the lens unit to each virtual image. Stereo stereoscopic device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017046204A JP6712557B2 (en) | 2017-03-10 | 2017-03-10 | Stereo stereoscopic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017046204A JP6712557B2 (en) | 2017-03-10 | 2017-03-10 | Stereo stereoscopic device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018151459A true JP2018151459A (en) | 2018-09-27 |
| JP6712557B2 JP6712557B2 (en) | 2020-06-24 |
Family
ID=63681600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017046204A Active JP6712557B2 (en) | 2017-03-10 | 2017-03-10 | Stereo stereoscopic device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6712557B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756723A (en) * | 2018-12-14 | 2019-05-14 | 深圳前海达闼云端智能科技有限公司 | Method and device for acquiring image, storage medium and electronic device |
| WO2020241862A1 (en) * | 2019-05-30 | 2020-12-03 | 京セラ株式会社 | Display device and mobile body |
| JP2022533714A (en) * | 2019-05-23 | 2022-07-25 | マジック リープ, インコーポレイテッド | Blended mode three-dimensional display system and method |
| US11635625B2 (en) | 2020-03-24 | 2023-04-25 | Seiko Epson Corporation | Virtual image display device and optical unit |
| US12315120B2 (en) | 2020-04-27 | 2025-05-27 | Sony Group Corporation | Display apparatus and display method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54500070A (en) * | 1977-11-21 | 1979-11-22 | ||
| JP2000214413A (en) * | 1998-05-21 | 2000-08-04 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional display method and device |
| US20020126396A1 (en) * | 1996-08-16 | 2002-09-12 | Eugene Dolgoff | Three-dimensional display system |
| WO2007091373A1 (en) * | 2006-02-06 | 2007-08-16 | Nippon Telegraph And Telephone Corporation | 3-dimensional display device and image presentation method |
| JP2014228595A (en) * | 2013-05-20 | 2014-12-08 | コニカミノルタ株式会社 | Augmented reality space display device |
| JP3202424U (en) * | 2015-11-20 | 2016-02-04 | 和矢 橋口 | Augmented reality provider |
| WO2017038091A1 (en) * | 2015-08-31 | 2017-03-09 | 日本電信電話株式会社 | Spatial image display device |
-
2017
- 2017-03-10 JP JP2017046204A patent/JP6712557B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54500070A (en) * | 1977-11-21 | 1979-11-22 | ||
| US20020126396A1 (en) * | 1996-08-16 | 2002-09-12 | Eugene Dolgoff | Three-dimensional display system |
| JP2000214413A (en) * | 1998-05-21 | 2000-08-04 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional display method and device |
| WO2007091373A1 (en) * | 2006-02-06 | 2007-08-16 | Nippon Telegraph And Telephone Corporation | 3-dimensional display device and image presentation method |
| JP2014228595A (en) * | 2013-05-20 | 2014-12-08 | コニカミノルタ株式会社 | Augmented reality space display device |
| WO2017038091A1 (en) * | 2015-08-31 | 2017-03-09 | 日本電信電話株式会社 | Spatial image display device |
| JP3202424U (en) * | 2015-11-20 | 2016-02-04 | 和矢 橋口 | Augmented reality provider |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756723A (en) * | 2018-12-14 | 2019-05-14 | 深圳前海达闼云端智能科技有限公司 | Method and device for acquiring image, storage medium and electronic device |
| US11076144B2 (en) | 2018-12-14 | 2021-07-27 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method and apparatus for obtaining image, storage medium and electronic device |
| JP2022533714A (en) * | 2019-05-23 | 2022-07-25 | マジック リープ, インコーポレイテッド | Blended mode three-dimensional display system and method |
| JP7426413B2 (en) | 2019-05-23 | 2024-02-01 | マジック リープ, インコーポレイテッド | Blended mode three-dimensional display system and method |
| WO2020241862A1 (en) * | 2019-05-30 | 2020-12-03 | 京セラ株式会社 | Display device and mobile body |
| JPWO2020241862A1 (en) * | 2019-05-30 | 2020-12-03 | ||
| JP7208378B2 (en) | 2019-05-30 | 2023-01-18 | 京セラ株式会社 | Display device and moving body |
| US11635625B2 (en) | 2020-03-24 | 2023-04-25 | Seiko Epson Corporation | Virtual image display device and optical unit |
| US12315120B2 (en) | 2020-04-27 | 2025-05-27 | Sony Group Corporation | Display apparatus and display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6712557B2 (en) | 2020-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11350079B2 (en) | Wearable 3D augmented reality display | |
| US9230500B2 (en) | Expanded 3D stereoscopic display system | |
| US10297071B2 (en) | 3D light field displays and methods with improved viewing angle, depth and resolution | |
| WO2018175780A1 (en) | Dynamic field of view variable focus display system | |
| KR20190043999A (en) | Three dimensional glasses free light field display using eye location | |
| CN104981839A (en) | Improvements in and relating to image making | |
| JP6712557B2 (en) | Stereo stereoscopic device | |
| US20180018943A1 (en) | Dual display immersive screen technology | |
| Liu et al. | Super multi-view near-eye 3D display with enlarged field of view | |
| JP7577760B2 (en) | Display device, system, and method | |
| Pan et al. | 3D displays: their evolution, inherent challenges and future perspectives | |
| Chang et al. | Towards occlusion-aware multifocal displays | |
| Hua | Advances in Head‐Mounted Light‐Field Displays for Virtual and Augmented Reality | |
| JP4283232B2 (en) | 3D display method and 3D display device | |
| US20180234670A1 (en) | Display device | |
| CN104432922A (en) | Helmet suitable for virtual reality | |
| Wu et al. | Design of stereoscopic viewing system based on a compact mirror and dual monitor | |
| JP2009237310A (en) | False three-dimensional display method and false three-dimensional display apparatus | |
| CN108957769B (en) | Naked eye 3D image automatic generation display system | |
| JP2005099425A (en) | 3D display device | |
| JP2002159025A (en) | 3D display method | |
| JP2006285113A (en) | 3D display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6712557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |