CN1295655C - 从2d图像序列生成立体图像序列 - Google Patents

Abstract

本发明说明用于从两维图像序列生成三维图像的一种方法和一个装置，该方法的特征尤其在于，对两维的图像从其景像类型方面进行分析，并根据所求出的景像类型来选择分配给该景像类型的变形，用该变形使所述的两维图像变形，并输送给至少一个观察信道。此外还规定了不同的过渡功能，用这些过渡功能达到了从一种变形连续和无干扰地过渡到任何新的变形。

Description

从2D图像序列生成立体图像序列

本发明涉及用于从两维图像序列生成三维(3D)图像的一种方法和一种装置。

尤其在医学和自然科学中，人们常常利用三维图像的生成来用于分析研究对象。对于一般的消费者领域也已开发了不同的方法，用这些方法尤其可以三维再现电视图像。

人们在此基础上区分图像顺序传输和并行传输，在图像顺序传输时交替地相继传输右眼和左眼的图像，或存储在存储媒体中，而在并行传输时在两个分开的信道上传输图像。

图像顺序传输与常规电视系统相结合的特别的缺点在于，每个眼睛的图像重复率降低到了每秒25个图像。因此对于观察者产生了一种不舒服的闪烁。虽然在通过各自一个自己的(左或右的)信道来并行传输图像序列时不出现这种限制。但是在同步两个信道时，以及通过对必须同时接收和处理两个分开信道的接收机所提出的要求在此可能产生问题。这在市面上通常的系统中是不可能的。

在未来的电视系统中应该完全数字式进行信号传输和处理。在此情况下，每个图像分解为各个数字化传输的像点。为了降低必要的带宽，在此采用相应的压缩方法，这些压缩方法却对于立体传输提出了问题。

在数据块编码法中，例如在合宜的压缩比时一般不可能准确地重建图像的每个单个的行。此外，例如像MPEG-2那样的帧间编码不能实现图像顺序地传输或存储立体图像，因为来自一个图像的图像信息还含有在另一个图像中，并因此导至所谓的串音效应，这些串音效应使得将右图像从左图像清晰地分开成为不可能。

在DE 35 30 610和EP 0 665 697中公布了其它的方法，用其从两维图像序列生成三维图像序列。在EP 0 520 179中说明了用图像内插法的自动立体系统，而在″Huang著：图像序列分析″(Springer出版社)中论述了在图像序列中识别运动范围的问题。

从US-PS 6,108,005中公开了一种用于生成合成的立体图像的方法，在该方法中从一个所输送的图像生成至少两个图像，其中，相对于所输送的图像来放大、缩小、旋转、移动、或以这种方式来改变图像中的至少一个，使得与一个另外图像中相对应的部分相比较，至少部分的图像相对于图像的另外部分移动了。不过在此不利的是，是否通过合适地选择所述的改变对观察者产生准确或自然的立体的图像印象，这在很大程度上依赖于操作人员的技术。

本发明所基于的任务在于，创造开始时所述类型的一种方法和一种装置，用该方法/装置基本上可以没有通过操作人员或观察者的介入，来生成具有特别自然的三维图像印象的3D图像。

用根据权利要求1的方法和根据权利要求11的装置来解决该任务。

从属权利要求的内容为本发明的有利改进方案。

从以下的借助图的优选实施形式的说明中，得出本发明的其它的细节、特征和优点：

图1展示了本发明电路装置示意的方框电路图；

图2展示了用于通过球面投影来阐述变形的示意图；和

图3展示了本发明方法的流程图。

图1中示意地示出了本发明装置的主要部件和它们彼此间的连接。装置包括一个输入端E，通过该输入端E将由摄像机摄取和数字化的两维图像输送给第一图像存储器1，该第一图像存储器1用于暂存至少一个各自当前的图像。

从第一图像存储器1中将所输送的图像传输到与此相连接的第二图像存储器2中，安排该第二图像存储器2用于存储预先可规定数量的相继图像和用于这些图像的内插。

此外，用于景像(Szene)分析的装置3还与第一图像存储器1相连接，用该景像分析的装置对当前的、存储在第一图像存储器1中的图像从其内容方面进行分析研究，以便将图像分配给例如像″近距摄像″、″正常摄像″(中等摄像(Mediumaufnahme))或″广角摄像″那样的某种景像类型。

用于景像分析的装置3与用于图像变形的装置4相连接，用该装置按照用装置3所求出的景像类型，使从第一图像存储器1中所输送的图像经受分配给该类型的图像变形。

第二图像存储器2也与装置4相连接，使得同样可以将通过先前图像的内插所生成的图像变形。

在图像变形存储器5中存储了这种图像变形用的不同的样板，和它们对至少一个景像类型的分配，从该图像变形存储器5中通过用于图像变形的装置4可以调用样板。

相位转换器6最后与装置4的一个输出端相连接，给该相位转换器6可以传送来自第一图像存储器1中的未变形的图像和从中用装置4所生成的变形的图像。这些图像于是施加在相位转换器6的第一和第二输出端A1，A2上，并分别形成图像的第一或第二序列，这些图像的第一或第二序列输送给左或右立体图像的左或右观察信道B_L，B_R。

由此那么其中一个图像序列由未改变的输送图像所组成，而另一个图像序列由从中生成的、施加了变形的图像所组成(非对称的变形)。替代地，也可以对两个图像序列的图像施加变形(对称的变形)。另一种可能性最后在于，附加或替代地给装置4输送一个在第二图像存储器2中内插的图像，并从中(以变形的和/或未变形的形式)组成第一和/或第二图像序列。

为此目的，通过内插存储在第二图像存储器2中的图像序列x(i，j，α)，例如通过全部像点的线性样条(Spline)近似、或更高阶或多项式的近似来计算出内插的图像，其中，α是近似变量，并表示当前图像的时间间隔，在该时间间隔中生成一个合成(内插的)图像。为此优选采用在WO 01/76258中所说明的方法。所以在此通过引用，使该文献的内容成为本公布的组成部分。

用本发明装置因此可以从施加在输入端E上的两维地摄取并数字化图像的序列中，生成第一和第二图像序列，当第一和第二图像序列输送给左眼或右眼时，所述第一和第二图像序列共同实现了原始两维图像的三维观察。

以下首先说明用于通过″非对称的″图像变形来生成立体图像序列的第一方法，在该″非对称的″图像变形中将所输送的图像序列基本上不改变地，即施加″零变形″地用作为第一图像序列，并通过第一图像序列的图像的变形来生成第二图像序列。

随后说明用于通过″对称的″图像变形来生成立体图像序列的第二方法，在该方法中第一图像序列的图像也是变形的图像。

于是最后说明，如何通过景像分析以实时地按照图像内容(景像类型)可以对图像变形进行选择和匹配或优化，以及如何优选进行不同图像变形之间的过渡，使得不出现干扰的过渡效应。

A)设x_ij为第一图像序列在时刻t的数字化图像(第一立体图像)，具有水平分辨率I和垂直分辨率J。如下从中得出第二立体图像x^*(i^*，j^*)：

[i^*：＝i+i_Index(i，j)bzw.j^*：＝j+j_Index(i，j).式中Index＝下标，bzw.＝或]

这意味着，通过在i和j方向上的移动得出新的像点i^*和j^*。原则上可以将所有的数学函数采用于此。所以以下所述的变形只应理解为这种函数的实例。

I.)对于第一方法阐述三种不同的变形：

1.)俯仰(Tilt)变形：

在此，按以下的公式水平连续增加从上向下扩张新图像的像点：

                      i_Index(i，j)：＝0；

j_Index(i，j)：＝(1-(tL-i)/tL)((0，5Ppl-j)/0，5PpL)·Tilt

            für i：＝0，…，tL und j：＝0，…，PpL

在此意味着：tL为行的数量，PpL为每行的像点数量，以及″Tilt″为决定扩张程度的任意的标度常数。

2.)球面变形：

在此，按以下的公式使新图像的像点同心地从图像的中心点向边缘畸变：

i_Index(i，j)：＝((0，5PpL-j)/0，5PpL)(1-(4/tLu)(0，5tL-i)²)·Sphere

j_Index(i，j)：＝((0，5tL-i)/0，5tL)(1-(4/PpL²)(0，5Ppl-j)²)·Sphere

对于i：＝0，…，tL和j：＝0，…，PpL

在此意味着：tL为行的数量，PpL为每行的像点数量，以及″Sphere″为决定畸变程度的任意的标度常数。

3.)球面-俯仰变形：

在此，按以下的公式使新图像的像点同时从上向下和同心地从图像的中心点畸变和扩张：

i_Index(i，j)：＝((0，5PpL-j)/0，5PpL)(1-(4/tL²)(0，5tL-i)²)·Sphere

j_Index(i，j)：＝((0，5tL-i)/0，5tL)(1-(4/PpL²)(0，5Ppl-j)²)·Sphere

              +((tL-i)/tL)((0，5PpL-j)/0，5PpL)·Tilt

对于i：＝0，…，tL和j：＝0，…，PpL

在此意味着：tL为行的数量，PpL为每行的像点数量，以及″Sphere″为决定畸变程度的任意的标度常数，和″Tilt″为决定扩张程度的任意的标度常数。

II.)第二方法用对称的图像变形来工作，在对称的图像变形中附加地也使当前的原始图像变形，即几何上畸变。以根据图2的一般形式，将图像平面B的当前像点0至PpL的映像示出到拱形面F(映射面)上，其中，以距离D从左眼和右眼A1，A2的两个观察点来观察该映像。从观察者出发，以对两个眼睛A1，A2不同的方式(j′和x_M′对于A1，或j″和x_M″对于A2)，将映射面F上的像点(例如z(j)或范围x_M)反回投影到图像平面B上。头脑因而获得从两个视角来观察图像的印象。

原则上在此也又可以应用任意的数学函数或投影的面。以下应示范性地说明两种变形：

1.)球面投影：

图像面在此是一个向外呈拱形的球面。对于每个原始的像点x(i，j)得出在对着观察者呈凸弧的球面上″合成的″像点z(i，j)：

z(i，j)：＝(1-(4/PpL²)(0，5PpL-j)²)(1-(4/tL²)(0，5tL-i)²)·Sphere

在此意味着：t L为行的数量，PpL为每行的像点数量，以及″Sphere″为决定畸变程度的任意的标度常数。

按照射束定理将左观察者位置E_l的j-Index(下标)映射到：

              j′：＝{(j-E_l)/(1-z(i，j)/D)}+E_l

由于适用0≤z(i，j)≤Sphere(球面)，人们发现，常数″Sphere″必须总是小于等于观察者距离D。

对于右观察者位置E_r得出：

              j″：＝{(j-E_r)/(1-z(i，j)/D)}+E_r

2.)圆柱面投影：

图像面在此是一个向外呈拱形的圆柱面。对于每个原始的像点x(i，j)得出在对着观察者呈凸弧的圆柱面上″合成的″像点z(i，j)：

         z(i，j)：＝(1-(4/PpL²)(0，5PpL-j)²)·Sphere

在此意味着：PpL为每行的像点数量，以及″Sphere″为决定畸变程度的任意的标度常数。

对于新的下标j′和j″又像对于球面投影那样，对于左观察者位置El得出：

                 j′：＝{(j-E_l)/(1-z(i，j)/D)}+E_l

而对于右观察者位置Er得出：

                 j″：＝{(j-E_r)/(1-z(i，j)/D)}+E_r

观察者位置的数量不局限于二，这适用于球面投影和圆柱面投影。更确切地说，基本上可以计算出任意多的左和右观察者位置E_k(k＝1，…n)来代替只有左和右观察者位置。这对于自动立体的多观察者监视器尤其是重要的。

由于通过两个上述下标的值j′和j″有可能未给新图像的全部下标分配值，必须通过连接在后面的平滑法和内插法来补偿或″充填″由此形成的″孔隙″。

通过下标i_Index和j_Index来准确说明每种单个的变形，这适用于两种方法(I.和II.)。在图像变形存储器5中，对于每种变形存储了从每个像点移动用的上述公式中得出的值(移动值)。

B.)以下现在说明方法，用这些方法执行景像分析，和根据所求出的景像类型可以动态控制或选出所采用的图像变形。

优选为此规定三种不同的景像类型，分析研究图像的这些景像类型。但是原则上也可以规定更大数量的景像类型。

在这里示范性地说明的景像类型是近距摄影N、广角摄影W和中等摄影(正常摄影)M。

在近距摄影中假设物体置放到了图像中心点上，并遮盖了图像从中心点出发的最大部分。在此情况下，球面投影最好地适合于变形(转换)。以此也达到了某种″弹出(Pop-out)″效应，在该效应中图像的中心看起来从图像中走出来。

在广角摄影中常常涉及风景摄影。在此情况下，一般用俯仰变形达到最好的三维效应。

如果涉及一个在图像中心的、用摄像机以某个距离跟踪的物体组(正常摄影或中等摄影)，则一般用球面-俯仰变形产生最好的三维印象。

对于以下的规定首先设P为一个固定的常数，式中P：＝0.2(0≤P≤0.5)。

1.)景像类型″近距摄影″(N)的规定：

设x_N为在具有总图像x_G的例如60％全部像点的范围中的、当前图像的矩形子图像。

设δ_G ²为总图像x_G＝x(i，j)的均方标准偏差(方差)，和此外设δ_N ²为子图像x_N的均方标准偏差(方差)。如果δ_N ²≤Pδ_G ²，则确定了景像类型近距摄影N。在此适用：

                 δ_N ²：＝∑(x_ij- x_N)²überi，j∈x_N

式中，平均值 x_N：＝(1/|x_N|)∑x_ijüber i，j∈x_N。

2.)景像类型″正常摄影或中等摄影″(M)的规定：

设x_M为在具有总图像x_G的例如40％全部像点的范围中的、当前图像的矩形子图像。

设δ_G ²为总图像x_G＝x(i，j)的均方标准偏差(方差)，和此外设δM²为子图像x_M的均方标准偏差(方差)。如果δ_M ²≤Pδ_G ²，则确定了景像类型中等摄影M。在此适用：

              δ_M ²：＝∑(x_ij- x_M)2über i，j∈x_M

式中，平均值 x_M：＝(1/|x_M|)∑x_ijüber i，j ∈x_M。

3.)景像类型″广角摄影″(W)的规定：

设x₁和x₂为左和右上部图像范围中的两个矩形子图像，而y₁和y₂为左和右下部图像范围中的两个矩形子图像。此外还将X图像范围之间的互相关性的绝对值定义为

$k_X:=|\left(\mathrm{\Σ}{x}_{1i}{x}_{2i}\right)/\left(\sqrt{\left(\mathrm{\Σ}{x_{1i}}^2\mathrm{\Σ}{x_{2i}}^2\right)}\right)|$

和将Y图像范围之间的互相关性的绝对值定义为

$k_y:=|(\mathrm{\Σ}{y}_{1i}{y}_{2i})/\left(\sqrt{\left(\mathrm{\Σ}{y_{1i}}^2\mathrm{\Σ}{y_{2i}}^2\right)}\right)|$

如果k_x≥1-P和k_y≥1-P，X范围和Y范围则高度相关。这被规定为广角摄影W。

C.)在应用图像变形时应考虑到，在景像类型相对于以前的景像类型变化时，不应简单地在所分配的变形函数之间进行转接。也就是这会由观察者感觉为干扰、或″仃顿″、或″抖动(Ruckeln)″。

在此情况下宁可通过一个过渡功能(bergangsfunktion)来安排，将迄今的变形分布到约二至三个图像上，比较平滑或连续地过渡到新的变形中去。因此要对变形与新的图像内容进行动态匹配。

为此目的，对于从一种″旧的″变形到另一种″新的″变形的每种过渡规定一种过渡变形，该过渡变形例如同样存放在图像变形存储器5中。通过预先规定数量K的过渡矩阵来形成这种过渡变形，通过优选线性地内插对于旧的和新的变形所存储的每个像点的移动值来计算出和同样来存储这些过渡矩阵的值。

在变化景像类型时，因此用过渡功能施加于所传输的、已改变其景像类型的图像，该过渡功能由过渡变形以及随后的新的变形所组成，该过渡变形通过数量K的过渡矩阵来规定，而该随后的新的变形分配给了所求出的新的景像类型。在此情况下，在应用过渡功能期间不考虑景像分析的在这期间所输送的其它结果。

例如设出发点在于，正在传输的图像的景像类型是″广角摄影″，而事先传输的图像曾是景像类型″近距摄影″。因而应该从分配给近距摄影的(旧的)图像变形″球面″转接到了分配给广角摄影的(新的)图像变形″俯仰″。此外还设数量K＝2，并因此确定了两个过渡矩阵。

在应用新的图像变形之前，因此用第一过渡矩阵施加于正在传输的图像，并随后用第二过渡矩阵施加于下一个图像，这两个过渡矩阵共同形成过渡变形。

通过按照数量K的过渡矩阵来线性地内插旧的图像变形(球面)和新的图像变形(俯仰)的移动值，得出了各个值，这些值含有过渡矩阵，并且这些值分别是像点的过渡移动。如果例如对于一个像点，旧图像变形的移动值为0，而新图像变形的移动值为6.0，则对于该像点K＝2，在第一过渡矩阵中得出2.0的移动值，而在第二过渡矩阵中得出4.0的移动值。

对于在景像类型之间的，和因而在各自分配的变形之间的所有可能的过渡，可以预先计算出并在图像变形存储器5中存储全部的过渡矩阵。

在此要考虑的是，在从第二变形过渡到第一变形的情况下，将对从第一变形到第二变形的过渡所存储的过渡矩阵，以相反的顺序应用到所传输的图像上。

图3展示了本发明方法的流程图。

在接通装置之后，用第一步骤10首先在用于图像变形的装置4中，将第一状态″当前变形″到开始变形上，确定为应用的变形，该应用的变形例如是圆柱形变形。于是用第二步骤11，例如同样将第二状态″新的变形″到标准变形或规定变形(设定变形)上，设置到圆柱形变形上，并随后借助用于景像分析的装置3根据以上的说明来求出当前(所输送)图像的景像类型。

于是用第三步骤12来查询，是否作为景像类型已求出了近距摄影N。如果是这种情况，则根据第四步骤13设置第二状态″新的变形：＝球面″，并用(第九)步骤18继续该第二状态。

如果在第三步骤12中否定地回答了查询，则用第五步骤14来查询，是否作为景像类型已求出了媒体摄影M。如果是这种情况，则根据第六步骤15设置第二状态″新的变形：＝球面-俯仰″，并用(第九)步骤18继续该第二状态。

如果在第五步骤14中否定地回答了查询，则用第七步骤16来查询，是否作为景像类型已求出了广角摄影W。如果是这种情况，则根据第八步骤17设置第二状态″新的变形：＝俯仰″，并用(第九)步骤18继续该第二状态。

如果在第七步骤16中同样否定地回答了查询，则用第九步骤18继续，用该第九步骤18查询，用第一和第二状态所设置的变形是否是相同的。

以用于景像分析的装置3执行这些步骤11至18。

如果肯定地回答了用第九步骤18的查询，则根据第十步骤19借助用于图像变形的装置4使当前的图像经受(未改变的)图像变形，并作为第二图像序列的图像来输出。于是用第二步骤11对于下一个图像重复该方法过程。

如果否定地回答了用第九步骤18的查询，则应该应用过渡功能，并根据第十一步骤20首先将计数器的值k设置到k：＝0上。

随后用第十二步骤21，应用第一过渡矩阵来将图像存储器1的当前的图像变形，并作为第二图像序列的图像来输出。此外将计数器的值提高1(k：＝k+1)。于是用第十三步骤22查询，计数器读数k是否大于过渡矩阵的数量K。

如果不是这种情况，则重复第十二步骤21，并将图像存储器1的现在当前的图像变形，并且也就是现在用第二(下一个)过渡矩阵来使图像存储器1的现在当前的图像变形，以便然后作为(第二)图像序列的下一个图像来输出。

在应用了规定数量K的过渡矩阵之后，在过渡变形结束时使得当前的图像，经受新的根据步骤13，15或17设置的图像变形，并又将计数器读数值提高1。于是肯定地回答用第十三步骤22跟随的查询，使得用第十四步骤23来继续，用该步骤将第一状态″当前的变形″设置到新的变形上。随后通过向第二步骤11的回跳，用下一个所输送的图像重复所述的方法。

优选在数字式图像处理系统中实施了图1所示的装置，该图像处理系统用于从两维传输或存储的图像来生成三维的再现。

优选以一个或多个计算机程序的形式来实施所述的方法，这些计算机程序具有用于用计算机，尤其是用微处理机单元来执行各个方法步骤的程序码装置。

所述的方法也可以实施为具有存储在机器可读载体上的、用于实施方法步骤的程序码的计算机程序产品，如果将该程序码装载到可编程的微处理机单元的存储器中，或在计算机上实施该程序码，该微处理机单元/计算机是数字式图像处理系统的组成部分。

Claims (11)

1.用于从两维图像序列生成三维(3D)图像的方法，其特征在于，对两维图像从其景像类型方面进行分析，选择分配给所限定的景像类型的变形，利用该变形使所述两维图像变形，由此由所述变形的图像不同的视角而产生第一和第二观察信道，并且将所述两维图像输送给至少一个观察信道。

2.按照权利要求1所述的方法，其特征在于，将近距摄影、正常摄影和广角摄影规定为景像类型。

3.按照权利要求2所述的方法，其特征在于，将球面变形分配给所述近距摄影景像类型，其中，变形图像的像点从所述图像的中心点向外同心地畸变。

4.按照权利要求2所述的方法，其特征在于，将球面-俯仰变形分配给所述正常摄影景像类型，其中，变形图像的像点同时从上向下和从所述图像的中心点同心地畸变和扩张。

5.按照权利要求2所述的方法，其特征在于，将俯仰变形分配给所述广角摄影景像类型，变形图像的像点水平连续增加地从上向下扩张。

6.按照前述任一权利要求所述的方法，其特征在于，对于至少一个观察信道经受了变形的所述两维图像，是一个通过内插可预先规定数量的相继图像而产生的图像。

7.用于从两维图像序列生成三维(3D)图像的方法，其特征在于，对两维图像从其景像类型方面进行分析，选择分配给所限定的景像类型的变形，利用该变形使所述两维图像变形，并且将所述两维图像输送给至少一个观察信道，其中在第二图像的景像类型相对于前一图像的景像类型变化时，使所述第二图像经受过渡功能的作用，将该第二图像从分配给所述以前景像类型的变形类型连续地调整到分配给所述新景像类型的变形类型，以避免不自然的图像印象。

8.按照权利要求7所述的方法，其特征在于，通过预先规定数量K的过渡变形以及所述新的图像变形来形成所述过渡功能，其中通过所述以前的变形和所述新的变形的线性内插为每个像点计算出所述过渡变形。

9.用于实施从两维图像序列生成三维(3D)图像的方法的装置，其中对两维图像从其景像类型方面进行分析，选择分配给所限定的景像类型的变形，利用该变形使所述两维图像变形，并且将所述两维图像输送给至少一个观察信道，其特征在于，用于对装载的图像的景像分析的装置(3)具有至少以下其中一种特征：

(i)以总图像的中心附近的可变尺寸规定至少一个局部图像，并计算所述局部图像和总图像的均方根标准偏差，以便根据此计算将景像类型规定为近距摄影或正常摄影，和

(ii)在所述总图像的边缘附近规定多个局部图像，并计算所述图像的不同区域之间的相关性的绝对值，以便根据此计算将景像类型规定为广角摄影。

10.按照权利要求9所述的装置，其特征在于，图像变形存储器(5)用于存储多个景像类型，为每个景像类型分配一种变形类型，为两个变形之间的每个过渡分配一种过渡变形类型。

11.用于从两维格式传输或存储的图像生成三维再现的数字式图像处理系统，其特征在于包括一个按权利要求9和10的其中任一所述的装置。

Images