[go: up one dir, main page]

CN109716750B - 平面数字图像传感器 - Google Patents

平面数字图像传感器 Download PDF

Info

Publication number
CN109716750B
CN109716750B CN201780057031.2A CN201780057031A CN109716750B CN 109716750 B CN109716750 B CN 109716750B CN 201780057031 A CN201780057031 A CN 201780057031A CN 109716750 B CN109716750 B CN 109716750B
Authority
CN
China
Prior art keywords
digital image
pixels
layer
view
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780057031.2A
Other languages
English (en)
Other versions
CN109716750A (zh
Inventor
K·梅拉卡里
M·尤霍拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109716750A publication Critical patent/CN109716750A/zh
Application granted granted Critical
Publication of CN109716750B publication Critical patent/CN109716750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种装置包括处理单元，该处理单元被配置成获得由数字图像传感器捕获的初步数字图像帧的初步图像数据，该数字图像传感器包括传感器层，该传感器层包括像素阵列；遮挡层，该遮挡层包括定位在对应于光敏像素的定位和大小的孔径域(aperture sites)内的微孔径阵列；以及透镜层，该透镜层包括定位在透镜域(lens sites)内的微透镜阵列。微孔径定位在孔径域中由孔径密度函数限定的孔径位置处。处理单元被进一步配置成获得孔径密度函数；以及遮挡层相对于透镜层的当前定位与其参考相对定位之间的位置差异；并且基于初步图像数据、位置差异和孔径密度函数来重构输出数字图像帧。

Description

平面数字图像传感器
背景
具有光敏像素阵列、带有微孔径阵列的遮挡层、带有彼此叠加的微透镜阵列的透镜层的平面数字图像传感器设计可允许实现非常薄的数字相机组装件，以允许例如将数码相机集成在显示组装件中。在这种薄且平的数字图像传感器中，每个像素可以具有部分视野，其中所述部分视野的宽度和方向由与其相关联的微孔径和微透镜确定。图像传感器的整体视野可以由像素的部分视野形成。
具有微透镜和开口的分别预定定位的微透镜阵列和具有微孔径阵列的遮挡层可被以高精度制造。然而，平面数字图像传感器的成像性能可能对遮挡层和像素阵列的相对定位非常敏感。即使相对于所设计的相对定位的小偏差也可能强烈地影响图像质量。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。
公开了一种装置，其包括处理单元，该处理单元被配置成获得初步图像数据，该初步图像数据是由数字图像传感器捕获的对象场景的初步数字图像帧的图像数据，该数字图像传感器可以是平面数字图像传感器。
用于捕获初步数字图像帧的数字图像传感器包括传感器层，该传感器层包括光敏像素阵列；传感器层前面的遮挡层，该遮挡层包括定位在对应于光敏像素的定位和大小的孔径域内的微孔径阵列；以及透镜层，该透镜层包括遮挡层前面的微透镜阵列，该微透镜定位在对应于光敏像素的定位和大小的透镜域内，其中传感器层的像素具有由与该像素相关联的微孔径和微透镜限定的部分视野，该部分视野具有由相关联的微孔径相对于相应微透镜的相对水平位置限定的查看方向，数字图像传感器的整体视野由各像素的部分视野形成。微孔径定位在孔径域中由孔径密度函数限定的孔径位置处。
处理单元被配置成获得孔径密度函数；获得遮挡层相对于透镜层的当前定位与其参考相对定位之间的位置差异；并且基于初步图像数据、位置差异和孔径密度函数来重构表示对象场景的输出数字图像帧。
许多附带特征将变得更容易领会，因为这些附带特征通过参考结合附图考虑的以下详细描述而变得更好理解。
附图描述
根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
图1示意性地例示了具有数字图像传感器的装置；
图2示意性地例示了数字图像传感器；
图3示意性地例示了对图1的装置的操作；
图4例示了用于重构数字图像帧的方法的流程图；
图5示意性地例示了具有数字图像传感器的装置；
图6和7示意性地例示了数字图像传感器；
图8示意性地例示了其装置和操作；并且
图9示意性地例示了具有数字图像传感器的装置和显示器。
详细描述
下面结合附图提供的详细描述旨在作为多个实施例的描述，而并非旨在表示其中各实施例可以被构建、实现或利用的唯一形式。
至少一些实施例可以允许例如对于平面数字图像传感器的遮挡层和透镜层的相对定位的不准确性的增大的容差。一些实施例可以进一步允许利用源自传感器层的不同像素组的图像数据之间的视差的各种有利的图像处理操作。
图1的装置100包括处理单元110和与其相连的数字图像传感器120，以允许数字图像传感器和处理单元之间的数据传输。
“数字图像传感器”(下文中也被称作“图像传感器”)是指能够捕捉由包括图像传感器的数字相机装置拍摄的对象场景的数字图像帧的光敏组件或元件。图像传感器可包括例如CMOS(互补金属氧化物半导体)、CCD(电荷耦合器件)或任何其他合适类型的传感器元件作为有源光检测传感器元件或传感器层。通常，传感器元件或传感器层被划分成诸如光敏像素之类的操作上离散的光敏子元件，其用于接收光能并将所接收的光能转换成电信号的实际光感测操作。一个单个像素可包括例如针对不同颜色的不同子像素。
“数字图像帧”(或简称为“帧”)是指经由图像传感器的像素或(一个或多个)某种其他光敏元件的曝光来捕捉的数据内容。帧因而包括如下图像数据：其允许在该图像数据的基础上合成可显示的数字图像。数字图像帧的图像数据可包括例如与由图像传感器的像素接收到的光的能量和波长有关的信息。帧可被捕获为静止图像的一帧或者视频序列或某种其他帧序列或帧组的一帧。
行动或操作“基于”一个或多个因素来执行是指在行动或操作中用以下方式来考虑那些因素：行动或操作的结果取决于那些因素，那些因素因而影响执行行动或操作的方式。相应地，某种实体“基于”或“根据”一个或多个因素来限定是指那些因素影响由此限定的实体的属性。
数字图像传感器包括传感器层130，其用于通过接收光来捕获实际图像。传感器层包括像素阵列131，即光敏像素132的阵列。
数字图像传感器进一步包括传感器层130前面的遮挡层140，该遮挡层包括孔径阵列141，即定位在对应于光敏像素的定位和大小的孔径域143内的微孔径142阵列。遮挡层可以由例如某种金属或形成不透明层的某种其他材料形成。遮挡层可以具有光学黑色表面以减少来自该表面的光的反射。遮挡层可以具有例如20μm至几百微米范围内的厚度。“孔径”是指在遮挡层的厚度方向上延伸穿过该遮挡层的开口或孔。
数字图像传感器120进一步包括遮挡层前面的透镜层150，该透镜层包括透镜阵列151，即微透镜152阵列，该微透镜阵列定位在对应于光敏像素的定位和大小的透镜域153内。在图1的示例中，微透镜152中心地定位在透镜域153内(即透镜的中心与透镜域的中心水平对齐)，并覆盖透镜域的整个宽度。在其他实施例中，透镜在透镜域中的其他类型的定位可被使用，并且对于透镜阵列151的不同透镜，定位可以是不同的。此外，在一些实施例中，透镜可以比透镜域窄。
透镜层可以由用于光学组件的任何合适的玻璃(例如，诸如BK7之类的任何合适类型的冠状玻璃)形成，该透镜层具有在透镜层中或透镜层上所形成的固定的微透镜。替代地，它可包括电可调谐微透镜或电可切换微透镜，诸如定位在两个玻璃板之间的液晶微透镜阵列。
遮挡层定位在传感器层“前面”是指遮挡层定位在传感器层的一侧，传感器层被配置成从该侧接收光，即图像传感器向传感器层的该侧“观察”，即使其“查看方向”朝向该侧。该侧限定了传感器层的“前”侧。相应地，透镜层定位在遮挡层的前面是指透镜层定位在遮挡层的一侧，遮挡层被配置成从该侧接收光并通过微孔径将其传递给传感器层。
“孔径域”和“透镜域”分别指遮挡层或透镜层的区域或范围，微孔径或透镜定位在该区域或范围内。那些域的定位和大小与光敏像素132的定位和大小之间的对应关系是指像素132和孔径/透镜域143、153具有相同的空间重复率，并且它们的中心是对齐的，即在水平方向上处于同一位置。
“微”是指像素、微孔径和微透镜的最大尺寸在水平方向上介于微米范围内，即在1μm至100μm范围内，优选地在5μm至50μm范围内。
“水平”是指虚构平面的横向方向，传感器层、遮挡层和透镜阵列沿该方向(即平行于该方向)延伸(即具有它们的“宽度”尺寸)。相应地，“垂直”是指垂直于这个平面的方向，即那些元件的“厚度”方向。
实际图像传感器110可以被认为是平面图像传感器，平面图像传感器是指具有大致平坦设计的一种传感器类型，其允许选择图像传感器的水平尺寸(即宽度)而基本上不影响垂直方向上图像传感器的整体厚度。实现这一点的一个重要特征是将关键光学元件实现为基本上薄的微透镜的薄阵列的方式，其中一个微透镜针对一个像素或针对几个像素，而不是一个较大的透镜针对整个像素阵列。缩放平面图像传感器的大小可以基本上仅通过调整光敏像素、微孔径和微透镜阵列的元件的尺寸和数量来实现。
图1的装置可被实现为例如膝上型计算机、平板计算机、智能电话、移动电话和可穿戴电子设备，并且不限于这些示例。基本上，该装置可以是需要数字图像传感器的任何类型的装置，特别是仅具有可用于图像传感器组装件的有限厚度的装置或者由于某些其他原因需要平面图像传感器类型的装置。
在图1的实际图像传感器110中，对于每个光敏像素132，存在与其相关联的微孔径142和微透镜152。一个单个像素与相关联的微孔径和微透镜一起形成能够捕获对象场景的部分视图的部分成像单元。这由具有部分视野160的数字图像传感器的像素来实现，该部分视野160由与该像素相关联的微孔径和微透镜限定。
部分视野160具有查看方向161。由与像素相关联的微孔径和微透镜限定是指部分视野的方向和宽度由相关联的微孔径和微透镜的属性和定位得到。例如，微透镜的类型、形状和材料与微孔径的形状和大小一起主要确定了部分视野的宽度。
至于部分视野的查看方向161，它由以下因素来限定(即影响它的主要因素是)：相关联的微孔径相对于相应微透镜(与同一像素相关联的微透镜)的相对水平位置。例如，在微孔径位于孔径域143的中心处(即具有其孔径位置144)且该孔径域进而与相应微透镜对齐的情况下，部分视野可以直接指向前方，即朝向传感器层的前侧，相对于传感器层垂直。孔径位置离孔径域143的中心的偏移导致部分视野160的查看方向161与该垂直向前方向的偏差。因此，可以通过适当地设计遮挡层的孔径位置来选择像素的查看方向。
数字图像传感器具有确定对象场景122处的图像区域126(即对数字图像传感器可见的对象场景的区域)的整体视野121。例如，整体视野的宽度可被限定为例如由视野121限定的图像区域126的对角线上限定的角度范围123。
数字图像传感器能够捕获对象场景的初步数字图像帧，该初步数字图像帧的图像区域由数字图像传感器的整体视野限定并形成。
传感器层的不同像素的部分视野160为整体视野121作贡献，使得在对象平面124处，数字图像传感器的整体视野由像素的部分视野形成。
孔径位置144根据孔径密度函数定位在孔径域中。孔径密度函数可以是数学上确定孔径位置的任何类型的函数，微孔径根据该孔径位置在遮挡层的制造或成形期间形成在该遮挡层中。通常根据以下参考图6所讨论的，孔径密度函数可以是例如伪随机函数或伪噪声函数。
孔径密度函数可以借助于孔径位置144离孔径域143的中心的偏移来限定孔径位置。在其他实施例中，孔径密度函数可以基于确定孔径域中的孔径位置的任何其他适当的方式。作为单独指定不同孔径域的孔径位置的替换或附加，孔径密度函数可以限定孔径位置相对于(诸)毗邻孔径域的(诸)孔径位置的位置。
孔径密度函数可以根据任何预期的微孔径定位方案来确定。该确定可被例如自动地执行，以产生传感器层的各像素的部分视野的任何预期分布。一旦确定，孔径密度函数可以在由任何适当的制造方法制造遮挡层的过程中被使用。
孔径密度函数可以有利地提供关于不同孔径域的微孔径的定位的信息，并且因而提供关于传感器层的不同像素的部分视野的查看方向的信息。该信息可以允许具有指向任何适当方向的部分视野，而不需要毗邻像素正查看对象场景中的毗邻范围或区域，并仍基于由数字图像传感器捕获的对象场景的初步图像数据来重构表示对象场景的输出数字图像帧。该重构甚至可以是可能的，而不管可能的制造不精准导致传感器层和遮挡层之间的未对准。
对于这种重构，可以基于孔径密度函数来创建相关器运算符或相关函数，该相关器运算符或相关函数确定初步图像数据的像素的图像数据与所捕获的对象场景的实际视图之间的关系。因此，像素映射可被执行，其中初步数字图像帧的像素的图像数据可被重新排列，以形成表示所捕获的对象场景的输出数字图像帧。
如图2所示，为了控制遮挡层240的微孔径与透镜层250的微透镜之间的相对定位，遮挡层相对于透镜层的参考定位246可被确定，数字图像传感器根据该参考定位246来组装和制造。制造数字图像传感器的制造或组装过程中的不精确性可能导致未对准，即遮挡层相对于透镜层的当前(即实际的或实现的)定位247与参考相对定位246之间的位置差异d。
这种位置差异可能导致初步图像数据的图像数据与所捕获的对象场景的实际视图之间的相关性可能与假定的相关性不同。然后，根据预定的相关器运算符或相关函数执行像素映射，而不考虑这种位置差异，将不会在输出数字图像帧中得到对象场景的真实表示。然而，从孔径密度函数的角度来看，位置差异可以仅被视为孔径密度函数与透镜阵列或传感器阵列之间，或孔径密度函数与初步图像帧的图像数据之间的相位差。
图3例示了在考虑到这种位置差异或相位差的输出数字图像帧的重构中，图1的装置的处理单元110的操作。
处理单元110被配置成获得孔径密度函数F(i,pi)，该孔径密度函数针对每个微孔径i限定其在其孔径域中的位置pi。此外，处理单元被配置成接收传感器层相对于透镜层的当前定位与其参考相对定位之间的位置差异d；以及初步图像数据，即由图1的数字图像传感器120捕获的对象场景122的初步数字图像帧170的图像数据。
在其他实施例中，不带任何数字图像传感器的装置可被实现。然后，用于捕获初步数字图像帧的如上所讨论的数字图像传感器可被包括在某种其他装置或设备中。
在初步数字图像帧170中，图像内容被部分地混合，使得由传感器阵列的边缘区域成像的对象场景的一部分被错误地定位。
处理单元被进一步配置成基于初步图像数据、位置差异d和孔径密度函数F(i,pi)来重构表示对象场景的输出数字图像帧171。在输出数字图像帧中，所述混合被校正，使得输出数字图像帧的图像数据形成对象场景的真实表示。
位置差异d和孔径密度函数可以以适合于自动数据处理的任何适当的信号或数据类型被安排。相应地，初步数字图像帧和输出数字图像帧的图像数据可以以任何适当的数字图像帧数据格式被构造。
处理单元110可以是专门为上述各操作设计的较大单元或模块的专用单元或子单元。替代地，该处理单元可以是还被配置成执行其他操作和动作的该装置的通用单元或子单元。
“被配置成”执行以上或以下所讨论的操作是指处理单元对于这类操作的能力和适用性。这可以用各种方式来实现。例如，处理单元可包括至少一个处理器和耦合到所述至少一个处理器的至少一个存储器，所述存储器存储程序代码指令，所述程序代码指令在所述至少一个处理器上运行时使所述处理器执行所讨论的(一个或多个)动作。替代地或附加地，在功能上描述的特征可以至少部分由一个或多个硬件逻辑组件来执行。作为示例而非限制，可使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
配置以上或以下所讨论的处理单元以执行的操作构成示例方法的操作，该操作还可由任何适当类型的其他装置自动执行。此外，以上或以下所讨论的方法可以由装置及其(诸)处理器执行，所述装置和处理器通常是根据以上或以下所讨论的那些中的任一者。那些装置进而通常可以根据以上或以下所讨论的方法中的任一者来操作。
以上或以下参考任何装置、设备或处理器所讨论的限定和优点经必要修正后也适用于以上或以下所讨论的方法。反之也适用。
以上或以下所讨论的方法中的任一者可以是计算机实现的方法，即由计算机或至少一个处理器、以及在适当时连接到计算机或至少一个处理器的任何适当的装备(诸如合适的数字图像传感器)执行的方法。
图4的方法包括在操作401中获得初步图像数据，即由数字图像传感器捕获的对象场景的初步数字图像帧的图像数据，该数字图像传感器可以是根据以上或以下所讨论的那些中的任一者。在一些实施例中，该方法可以进一步包括捕获初步数字图像帧，其可以形成获得该初步数字图像帧的操作的一部分，或者可被单独地执行。
在操作402中，获得孔径密度函数。在操作403中，获得遮挡层相对于透镜层的当前定位与其参考相对定位之间的位置差异。401至403的操作可以按任何适当的次序来执行。
在操作404中，基于初步图像数据、相位差和孔径密度函数自动地重构输出数字图像帧，该输出数字图像帧表示对象场景。
“自动地”执行一个或多个操作是指由一个或多个合适的数据处理单元或模块(诸如以上参考图1至3所讨论的处理单元)根据预定规则或规程来执行所讨论的(诸)操作，而无需包含这一单元或模块的装置或设备的用户提供任何贡献或执行任何判定。除了特别声明自动执行的那些操作之外，还可完全或部分自动地执行其他操作。
如图2所示，为了当遮挡层相对于透镜层250的实际相对定位247存在未对准时使整个像素阵列也能够正确地曝光，透镜层可以具有透镜层物理宽度wl，微透镜阵列包括分布于透镜层物理宽度的j个微透镜252；并且遮挡层具有大于透镜层物理宽度的遮挡层物理宽度wm，微孔径阵列相应地包括分布于遮挡层物理宽度的多于j(图2的示例中，j+1)个微孔径242。然后，遮挡层和透镜层之间的轻微未对准不一定使透镜阵列后面的传感器层的边缘区域处的像素变得不正确地曝光，但是在每个微透镜后面可以存在微孔径。
图1的装置500可以是通常根据以上参考图1至3所讨论的装置。如图5所示，孔径密度函数可以限定孔径位置，其导致毗邻像素5321、5322的部分视野5601、5602指向被其他(诸)像素所查看的(诸)区域分开的对象场景522处的区域5251、5152。因此，初步数字图像帧的图像数据不直接允许形成示出所捕获的对象场景的数字图像，但是初步数字图像帧的整个图像数据对应于由遮挡层和透镜层之间的未对准导致的混合被再次“混合”。然而，执行如上参考图3所讨论的操作的处理单元510可以重构正确地表示对象场景的输出数字图像帧。
其中类似于图5的示例，孔径密度函数限定孔径位置并且其中如以上参考图2和3所讨论的，传感器层此外存在未对准的各实施例也是可能的。然后，输出数字图像帧也可以通过利用孔径密度函数和传感器层相对于透镜层的当前定位与其参考相对定位之间的位置差异d来正确地重构。
“获得”位置差异、孔径密度函数、图像数据、或者任何其他信号或数据实体是指提供可用的此类信号或数据实体以用于自动数据处理和/或存储目的的任何适当方式。例如，此类信号或数据实体或者此类信号或数据实体的一部分可经由任何适当的有线或无线数据传输路径从另一设备或装置或同一装置的另一单元、从外部数据服务器或者例如从云服务来获得。此类信号或数据实体或者此类信号或数据实体的一部分也可以存储在任何适当的数据存储单元、元件、介质或设备之中或之上，其中处理单元可以从中获得数据内容。
获得传感器层相对于透镜层的当前定位与其参考相对定位之间的位置差异可包括获得确定完毕的位置差异。替代地，处理单元可被配置成通过执行确定位置差异的过程来获得该位置差异。这一过程可包括例如获得由数字图像传感器捕获的测试图案的测试数字图像帧的图像数据，其中测试图案和数字图像传感器之间具有参考定位。此外，参考数字图像帧的图像数据可被获得，该参考数字图像帧是由参考数字图像传感器捕获测试图案而得到的，该参考数字图像传感器包括透镜层和遮挡层(类似于数字图像传感器中的那些)，该透镜层和遮挡层根据它们的参考相对定位来定位。参考数字图像传感器可以是真实存在的图像传感器。替代地，它可以是模拟图像传感器，基于该模拟图像传感器可以生成模拟参考数字图像帧。
可以将测试数字图像帧的图像数据自动与参考数字图像帧的图像数据进行比较，并且可以基于在比较中发现的差异和孔径密度函数来确定位置差异。这是基于：参考数字图像帧的图像数据表示具有零位置差异的理想情况，并且测试数字图像帧的图像数据的偏差指示非零位置差异，当确定不同像素的部分视野的查看方向的孔径密度函数已知时，该非零位置差异可被确定。
测试图案可以是适用于基于测试数字图像帧来确定位置差异的任何已知图案。
可以在以上所讨论的任何装置中使用并且在图6中部分示出(没有任何透镜层)的数字图像传感器620包括传感器层630和遮挡层640。微孔径642根据孔径密度函数F(i,pi)定位在遮挡层中孔径位置处，该孔径密度函数限定了不同孔径位置的双向序列648，该序列的各孔径位置限定了各部分视野660，这些部分视野一起覆盖(仅示出一个部分视野)对象平面处的数字图像传感器的整体视野621。
图6的示例的孔径密度函数限定了针对第一方向x的不同孔径位置的第一序列648x，以及针对垂直于第一方向的第二方向y的不同孔径位置的第二序列648y，第一和第二序列是正交的。那些序列是伪噪声序列或伪随机序列。则密度函数可以被认为是伪噪声函数或伪随机函数。第一部分和第二部分的正交性以及特别是其伪噪声性质均可以有利地有助于消除例如由以下原因导致的重复错误：遮挡层、透镜层或传感器阵列的可能的制造不精确性；覆盖一个或多个像素的局部传感器层故障；或者数字图像传感器顶部上的对象。在具有周期性内部结构的(诸)序列的情况下，这种缺陷可以导致最终数字图像中的重复错误，该重复错误对于人眼来说容易看见。
在其他实施例中，除伪噪声序列之外的其他序列类型可被使用，并且/或者可以不必使第一序列和第二序列正交。
在图6的数字图像传感器620中，光敏像素632阵列在x方向上具有n个像素的宽度，并且在y方向上具有m个像素的宽度，并且第一序列和第二序列648x、648y分别是具有n和m的长度的重复序列。
图7的数字图像传感器720至少在以下各方面与图6的数字图像传感器不同：光敏像素732阵列在x方向上具有n个像素的宽度，并且在y方向上具有m个像素的宽度，并且第一序列和第二序列748x、748y是具有n/2和m/2的长度的重复序列，其中像素阵列具有四个不同的像素组7381、7382、7383、7384，每组像素的部分视野覆盖数字图像传感器的整体视野7211、7212，其中在不同区域的整体视野之间具有小视差。为了附图的清楚起见，图7中仅例示了两个区域的整体视野。然后，对象场景的每个区域725由至少两个不同区域的相应像素从略微不同的方向来查看。相应地，处理单元可以获得源自所有像素组7381、7382、7383、7384的初步图像数据。输出数字图像帧可以基于仅源自一个单个像素组的图像数据来重构。替代地，输出数字图像帧可以基于源自两个或更多个不同像素组的图像数据来重构。
在其他实施例中，第一序列和第二序列中仅一个可以具有各自地n/2或m/2的长度。此外，在一个或两个方向上，序列可以具有n/(2*k)或m/(2*k)的任何长度，其中k可以是高于或等于2的任何整数。
将孔径阵列划分成序列使得处理单元能够执行各种有利的操作，其中每个序列覆盖图像传感器的整体视野的整个宽度或区域。在一个示例中，在重构输出数字图像帧时，处理单元被配置成基于源自查看对象场景的同一区域的至少两个不同区域的相应像素的图像数据来生成对应于虚拟附加像素的人工图像数据。用那种方式，例如超分辨率数字图像帧可被生成。
作为另一示例，视差(即像素阵列的不同组的部分不同指向的部分视野)可被利用，以从输出数字图像帧中移除存在于源自不同像素组中的仅一个或仅一些的图像数据中的任何特征。这种特征可以例如由一个或多个缺陷像素或由靠近数字图像传感器或在数字图像传感器上的诸如小杂质颗粒之类的物体导致，并因此仅对像素阵列的一组或一些组可见。在图7中，该示例由位于数字图像传感器720上的杂质颗粒780表示。
在图8中，根据以上参考图3所讨论的操作，基于源自传感器层730的四个像素组738的图像数据重构的四个不同的中间数字图像帧8721、8722、8723、8724被示出。仅一个中间数字图像帧的图像数据包括由该杂质颗粒导致的特征881。
如图8所示，装置800的处理单元810被配置成重构输出数字图像帧871，使得特征881从中被省略。
在又一示例中，视差可被利用，其中处理单元被进一步配置成基于源自光敏像素阵列的至少两个不同区域的图像数据来确定至少一个对象位置在对象场景中相对于参考位置的深度。
“深度”通常是指存在于对象场景中的对象的三维特征。“参考位置”是指在虚拟参考平面上的位置，对象位置的深度相对于该平面被确定。位于与该参考平面平行的任何单个平面上的所有对象位置都具有相同的零深度。另一方面，对象位置与此类参考深度的偏差导致对象位置的非零深度。
通常，参考位置可被限定为与装置或其数字图像传感器的位置一致或以其他方式与装置或其数字图像传感器的位置相关。然后，对象相对于此类参考位置的“深度”可被视为对象位置距装置或距相对于设备限定的另一参考位置的距离。例如，此类方式可被用于距离测量应用，其中存在于目标区域中的对象或此类对象的特定点距设备的距离将被测量。在替换方法中，参考位置可以位于对象场景内。在这两种情况下，可针对多个对象位置确定深度信息，由此确定存在于对象场景中对象的三维轮廓可以是可能的。深度信息可被用于各种应用，诸如对设备周围环境的三维映射，或识别存在于目标区域中的人或人的身体部分的姿势或存在。在实际深度判定中，已知用于基于视差的深度感测的任何算法、方法和原理可被应用。
图9的装置900通常可以是根据以上所讨论的装置中的任一者。该装置包括显示器组装件990，该显示器组装件990包括显示器元件991，该显示器元件991具有可操作显示区域992并且被配置成将来自显示区域的视觉信息朝向前方向F显示。
显示器元件可包括任何适当的显示器元件类型，诸如液晶显示器(LCD)元件或有机发光二极管(OLED)显示器元件。显示器具有视觉上透明的有源层(未单独示出)，即从其发射光以形成所显示的视觉信息的层。
装置900的数字图像传感器920位于透明有源层后面的显示器组件中，其中整体视野921指向前方F。
在其他实施例中，显示器元件可以具有不透明的有源层，在这种情况下，数字图像传感器可以位于这类有源层的前面。
在图9的示例中，数字图像传感器920基本上位于可操作显示区域992的中心。基本上中心的定位可以允许有利的效果，例如允许捕获查看显示器的装置的用户的图像，其中用户的视线直接指向数字图像传感器。在其他实施例中，数字图像传感器可以不同地定位。
以下进一步简短地讨论一些实施例。
在第一方面，一种装置包括处理单元，该处理单元被配置成获得初步图像数据，该初步图像数据是由数字图像传感器捕获的对象场景的初步数字图像帧的图像数据，该数字图像传感器具有整体视野并包括：传感器层，该传感器层包括光敏像素阵列；传感器层前面的遮挡层，该遮挡层包括定位在对应于光敏像素的定位和大小的孔径域内的微孔径阵列；以及透镜层，该透镜层包括遮挡层前面的微透镜阵列，该微透镜定位在对应于光敏像素的定位和大小的透镜域内；传感器层的像素具有由与该像素相关联的微孔径和微透镜限定的部分视野，该部分视野具有由相关联的微孔径相对于相应微透镜的相对水平位置限定的查看方向，数字图像传感器的整体视野由各像素的部分视野形成；微孔径定位在孔径域中由孔径密度函数限定的孔径位置处。
此外，处理单元被配置成获得孔径密度函数；获得遮挡层相对于透镜层的当前定位与其参考相对定位之间的位置差异；并且基于初步图像数据、位置差异和孔径密度函数来重构表示对象场景的输出数字图像帧。
在第一方面的实施例中，该装置包括被配置成捕获初步数字图像帧的数字图像传感器。
在可以根据前一实施例的第一方面的实施例中，透镜层具有透镜层物理宽度，微透镜阵列包括分布于传感器层物理宽度的j个微透镜；并且遮挡层具有大于传感器层物理宽度的遮挡层物理宽度，微孔径阵列相应地包括分布于遮挡层物理宽度的多于j个微孔径。
在可以根据第一方面的前述实施例中的任一者的第一方面的实施例中，孔径密度函数限定孔径位置，从而导致毗邻像素的部分视野指向对象场景处被由其他(诸)像素查看的(诸)区域分开的区域。
在可以根据第一方面的前述实施例中的任一者的第一方面的实施例中，孔径密度函数限定不同孔径位置的双向序列，序列的各孔径位置限定各部分视野以覆盖整体视野。
在根据前一实施例的第一方面的实施例中，序列是伪噪声序列。
在根据两个前述实施例中任一者的第一方面的实施例中，二维序列包括针对第一方向的不同孔径位置的第一序列，以及针对垂直于第一方向的第二方向的不同孔径位置的第二序列，第一序列和第二序列是正交的。
在根据三个前述实施例中任一者的第一方面的实施例中，光敏像素阵列具有n个像素的宽度，并且序列具有n的长度。
在根据前一实施例之前的三个实施例中的任一者的第一方面的替换实施例中，光敏像素阵列具有n个像素的宽度，并且序列是具有n/(2*k)的长度的重复序列，其中k是整数，由此像素阵列具有至少两个不同的像素组，其中每组的各像素的部分视野覆盖整体视野，并且对象场景的每个区域由该至少两个不同组的相应像素从略微不同的方向查看。
在根据前一实施例的第一方面的实施例中，在重构输出数字图像帧时，处理单元被配置成基于源自查看对象场景的同一区域的至少两个不同像素组的相应像素的图像数据来生成对应于虚拟附加像素的人工图像数据。
在根据前一实施例之前的实施例的第一方面的实施例中，其可以进一步根据前一实施例，在重构输出数字图像帧时，处理单元被配置成检测在源自至少两个不同像素组中的一个或多个像素组的图像数据中存在并在源自该至少两个不同像素组中的一个或多个其他像素组的图像数据中不存在的特征，并且在输出数字图像帧中省略该特征。
在根据前两个实施例之前的实施例的第一方面的实施例中，其可以进一步根据前两个实施例中的任一者，处理单元被进一步配置成基于源自至少两个不同像素组的图像数据来确定至少一个对象位置在对象场景中相对于参考位置的深度。
在根据第一方面的前述实施例中的任一者的第一方面的实施例中，其中该装置包括数字图像传感器，该装置进一步包括显示器组装件，该显示器组装件包括具有可操作显示区域并被配置成将来自显示区域的视觉信息朝向前方向显示的显示器元件；该数字图像传感器位于显示器组装件中，其中整体视野指向前方。
在根据前一实施例的第一方面的实施例中，数字图像传感器基本上定位在可操作显示区域的中心。
在可以根据第一方面的前述实施例中的任一者的第一方面的实施例中，该装置被实现为膝上型计算机、平板计算机、智能手机、移动电话以及可穿戴电子设备中的一个。
在第二方面，具有整体视野的数字图像传感器包括：传感器层，该传感器层包括光敏像素阵列；光敏像素阵列前面的遮挡层，该遮挡层包括定位在对应于光敏像素的定位和大小的孔径域内的微孔径阵列；以及遮挡层前面的微透镜阵列，该微透镜定位在对应于光敏像素的定位和大小的透镜域内；传感器层的像素具有由与该像素相关联的微孔径和微透镜限定的部分视野，数字图像传感器的整体视野由各像素的部分视野形成，像素的部分视野由相关联的微孔径相对于相应微透镜的相对水平位置限定；微孔径定位在孔径域中由孔径密度函数限定的孔径位置处，该孔径密度函数限定了不同孔径位置的双向序列，该序列的各孔径位置限定各部分视野以覆盖整体视野。
在第二方面的实施例中，透镜层具有透镜层物理宽度，微透镜阵列包括分布于传感器层物理宽度的j个微透镜；并且遮挡层具有大于传感器层物理宽度的遮挡层物理宽度，微孔径阵列相应地包括分布于遮挡层物理宽度的多于j个微孔径。
在可以根据前一实施例的第二方面的实施例中，孔径密度函数限定孔径位置，从而导致毗邻像素的部分视野指向对象场景处被由其他(诸)像素查看的(诸)区域分开的区域。
在可以根据第二方面的前述实施例中的任一者的第二方面的实施例中，由密度函数限定的序列是伪噪声序列。
在可以根据第二方面的前述实施例中的任一者的第二方面的实施例中，二维序列包括针对第一方向的不同孔径位置的第一序列，以及针对垂直于第一方向的第二方向的不同孔径位置的第二序列，第一序列和第二序列是正交的。
在可以根据第二方面的前述实施例中的任一者的第二方面的实施例中，光敏像素阵列具有n个像素的宽度，并且序列具有n的长度。
在可以根据前一实施例之前的第二方面的实施例中的任一者的第二方面的替换实施例中，光敏像素阵列具有n个像素的宽度，并且序列是具有n/(2*k)的长度的重复序列，其中k是整数。然后，像素阵列具有至少两个不同的像素组，其中每组的各像素的部分视野覆盖整体视野，并且对象场景的每个区域由该至少两个不同组的相应像素从略微不同的方向查看。
在第三方面，一种方法包括获得初步图像数据，该初步图像数据是由数字图像传感器捕获的对象场景的初步数字图像帧的图像数据，该数字图像传感器具有整体视野并包括：传感器层，该传感器层包括光敏像素阵列；传感器层前面的遮挡层，该遮挡层包括定位在对应于光敏像素的定位和大小的孔径域内的微孔径阵列；以及透镜层，该透镜层包括遮挡层前面的微透镜阵列，该微透镜定位在对应于光敏像素的定位和大小的透镜域内；传感器层的像素具有由与该像素相关联的微孔径和微透镜限定的部分视野，该部分视野具有由相关联的微孔径相对于相应微透镜的相对水平位置限定的查看方向，数字图像传感器的整体视野由各像素的部分视野形成；微孔径定位在孔径域中由孔径密度函数限定的孔径位置处。
该方法进一步包括获得孔径密度函数；获得遮挡层相对于透镜层的当前定位与其参考相对定位之间的位置差异；并且基于初步图像数据、相位差和孔径密度函数来自动重构表示对象场景的输出数字图像帧。
在第三方面的实施例中，该方法进一步包括自动捕获初步数字图像帧。
在可以根据前一实施例的第三方面的实施例中，透镜层具有透镜层物理宽度，微透镜阵列包括分布于传感器层物理宽度的j个微透镜；并且遮挡层具有大于传感器层物理宽度的遮挡层物理宽度，微孔径阵列相应地包括分布于遮挡层物理宽度的多于j个微孔径。
在可以根据第三方面的前述实施例中的任一者的第三方面的实施例中，孔径密度函数限定孔径位置，从而导致毗邻像素的部分视野指向对象场景处被由其他(诸)像素查看的(诸)区域分开的区域。
在可以根据第三方面的前述实施例中的任一者的第三方面的实施例中，孔径密度函数限定不同孔径位置的双向序列，序列的各孔径位置限定各部分视野以覆盖整体视野。
在根据前一实施例的第三方面的实施例中，序列是伪噪声序列。
在根据两个前述实施例中任一者的第三方面的实施例中，二维序列包括针对第一方向的不同孔径位置的第一序列，以及针对垂直于第一方向的第二方向的不同孔径位置的第二序列，第一序列和第二序列是正交的。
在根据三个前述实施例中任一者的第三方面的实施例中，光敏像素阵列具有n个像素的宽度，并且序列具有n的长度。
在根据前一实施例之前的三个实施例中的任一者的第三方面的替换实施例中，光敏像素阵列具有n个像素的宽度，并且序列是具有n/(2*k)的长度的重复序列，其中k是整数，由此像素阵列具有至少两个不同的像素组，其中每组的各像素的部分视野覆盖整体视野，并且对象场景的每个区域由该至少两个不同组的相应像素从略微不同的方向查看。
在根据前一实施例的第三方面的实施例中，该方法包括在重构输出数字图像帧时，基于源自查看对象场景的同一区域的至少两个不同像素组的相应像素的图像数据来自动生成对应于虚拟附加像素的人工图像数据。
在根据前一实施例之前的实施例的第三方面的实施例中，其可以进一步根据前一实施例，该方法包括在重构输出数字图像帧时，自动检测在源自至少两个不同像素组中的一个或多个像素组的图像数据中存在并在源自该至少两个不同像素组中的一个或多个其他像素组的图像数据中不存在的特征，并且在输出数字图像帧中省略该特征。
在根据前两个实施例之前的实施例的第三方面的实施例中，其可以进一步根据前两个实施例中的任一者，该方法进一步包括基于源自至少两个不同像素组的图像数据来自动确定至少一个对象位置在对象场景中相对于参考位置的深度。
在另一方面，一种计算机程序包括程序代码，当该程序代码由被纳入装置中的至少一个处理器执行时，使得该至少一个处理器和/或该装置执行第三方面或其任何实施例的方法的操作。
这类装置可包括根据第二方面或其任何实施例的数字图像传感器的数字图像传感器。在又一方面，一种计算机可读介质包括如上所讨论的计算机程序。
本文所示出和所描述的实施例以及本文未具体描述但在权利要求的方面的范围内的实施例的处理单元构成了用于重构表示对象场景的输出数字图像帧的示例装置，基于以下几方面来执行该重构：由数字图像传感器捕获的对象场景的初步数字图像帧的图像数据，该数字图像传感器可以是平面数字图像传感器并包括传感器层、具有微孔径阵列的遮挡层、以及包括微透镜层的透镜层；遮挡层与透镜层之间的当前相对定位与参考相对定位之间的位置差异；以及孔径密度函数，该孔径密度函数确定其中微孔径定位在遮挡层中的孔径位置。
虽然本发明的各实施例中的一些可被描述为并被解说为在智能电话、移动电话、或平板计算机中实现，但是这些只是设备的示例而非限制。本领域的技术人员将领会，本发明的各实施例适用在各种不同类型的设备(诸如便携式装置和便携式设备)中，例如适用在膝上型计算机、平板计算机、游戏控制台、或游戏控制器、各种可穿戴设备等中。
虽然用结构特征和/或方法动作专用的语言描述了本发明主题，但应当理解，所附权利要求书中限定的主题不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。
应当理解，以上所描述的益处及优点可以涉及一个实施例或可以涉及若干实施例。各实施例并不限于解决所阐述的问题中的任何或全部问题的那些实施例、或者具有所阐述的益处和优点中的任何或全部益处和优点的那些实施例。将进一步理解，对“一个”项目的提及是指那些项目中的一个或多个。
术语“包括”在本说明书中被用来意指包括此后伴随的(一个或多个)特征或(一个或多个)动作，而不排除一个或多个附加特征或动作的存在。

Claims (20)

1.一种包括处理单元的装置，所述处理单元被配置成：
获得初步图像数据，所述初步图像数据是由数字图像传感器捕获的对象场景的初步数字图像帧的图像数据，所述数字图像传感器具有整体视野并包括
传感器层，所述传感器层包括光敏像素阵列；
所述传感器层前面的遮挡层，所述遮挡层包括定位在对应于所述光敏像素的定位和大小的孔径域内的微孔径阵列，以及
所述遮挡层前面的包括微透镜阵列的透镜层，所述微透镜定位在对应于所述光敏像素的定位和大小的透镜域内；
所述传感器层的像素具有由与所述像素相关联的微孔径和微透镜限定的部分视野，所述部分视野具有由相关联的微孔径相对于相应微透镜的相对水平位置限定的查看方向，所述数字图像传感器的整体视野由所述各像素的部分视野形成；
所述微孔径定位在所述孔径域中由孔径密度函数限定的孔径位置处；
获得所述孔径密度函数；
获得所述遮挡层相对于所述透镜层的当前定位与其参考相对定位之间的位置差异；以及
基于所述初步图像数据、所述位置差异、以及所述孔径密度函数来重构表示所述对象场景的输出数字图像帧。
2.根据权利要求1所述的装置，其特征在于，包括被配置成捕获所述初步数字图像帧的所述数字图像传感器。
3.根据权利要求2所述的装置，其特征在于，进一步包括显示器组装件，所述显示组装件包括显示器元件，所述显示器元件具有可操作显示区域并被配置成将来自所述显示区域的视觉信息朝向前方向显示；所述数字图像传感器位于所述显示器组装件中，其中所述整体视野指向所述前方。
4.根据权利要求3所述的装置，其特征在于，所述数字图像传感器定位在所述可操作显示区域的中心处。
5.根据权利要求1所述的装置，其特征在于，所述透镜层具有透镜层物理宽度，所述微透镜阵列包括分布于所述传感器层物理宽度的j个微透镜；并且所述遮挡层具有大于所述传感器层物理宽度的遮挡层物理宽度，所述微孔径阵列相应地包括分布于所述遮挡层物理宽度的多于j个微孔径。
6.根据权利要求1所述的装置，其特征在于，所述孔径密度函数限定孔径位置，从而导致毗邻像素的部分视野指向所述对象场景处被由其他(诸)像素查看的(诸)区域分开的区域。
7.根据权利要求1所述的装置，其特征在于，所述孔径密度函数限定不同孔径位置的二维序列，所述序列的各孔径位置限定各部分视野以覆盖所述整体视野。
8.根据权利要求7所述的装置，其特征在于，所述序列是伪噪声序列。
9.根据权利要求7所述的装置，其特征在于，所述二维序列包括针对第一方向的不同孔径位置的第一序列，以及针对垂直于所述第一方向的第二方向的不同孔径位置的第二序列，所述第一序列和所述第二序列是正交的。
10.根据权利要求7所述的装置，其特征在于，所述光敏像素阵列具有n个像素的宽度，并且所述序列具有n的长度。
11.根据权利要求7所述的装置，其特征在于，所述光敏像素阵列具有n个像素的宽度，并且所述序列是具有n/(2*k)的长度的重复序列，其中k是整数，由此所述像素阵列具有至少两个不同的像素组，其中每个像素组的各像素的部分视野覆盖所述整体视野，并且所述对象场景的每个区域由所述至少两个不同组的相应像素从略微不同的方向查看。
12.根据权利要求11所述的装置，其特征在于，在重构所述输出数字图像帧时，所述处理单元被配置成基于源自查看所述对象场景的同一区域的所述至少两个不同像素组的相应像素的图像数据来生成对应于虚拟附加像素的人工图像数据。
13.根据权利要求11所述的装置，其特征在于，在重构所述输出数字图像帧时，所述处理单元被配置成检测在源自所述至少两个不同像素组中的一个或多个像素组的图像数据中存在并在源自所述至少两个不同像素组中的一个或多个其他像素组的图像数据中不存在的特征，并且在所述输出数字图像帧中省略所述特征。
14.根据权利要求11所述的装置，其特征在于，所述处理单元被进一步配置成基于源自至少两个不同像素组的图像数据来确定至少一个对象位置在所述对象场景中相对于参考位置的深度。
15.根据权利要求1所述的装置，其特征在于，被实现为膝上型计算机、平板计算机、智能电话、移动电话和可穿戴电子设备中的一者。
16.一种数字图像传感器，所述数字图像传感器具有整体视野并包括
传感器层，所述传感器层包括光敏像素阵列；
所述光敏像素阵列前面的遮挡层，所述遮挡层包括定位在对应于所述光敏像素的定位和大小的孔径域内的微孔径阵列，以及
所述遮挡层前面的微透镜阵列，所述微透镜定位在对应于所述光敏像素的定位和大小的透镜域内；
所述传感器层的像素具有由与所述像素相关联的微孔径和微透镜限定的部分视野，所述数字图像传感器的整体视野由所述各像素的部分视野形成，所述像素的部分视野由相关联的微孔径相对于相应微透镜的相对水平位置限定，所述微孔径定位在所述孔径域中由孔径密度函数限定的孔径位置处，所述孔径密度函数限定不同孔径位置的双向序列，所述序列的各孔径位置限定各部分视野以覆盖所述整体视野，其中所述遮挡层相对于所述透镜层的当前定位与其参考相对定位之间的位置差异和所述孔径密度函数被用于将由所述数字图像传感器捕获的对象场景的初步数字图像帧重构为表示所述对象场景的输出数字图像帧。
17.根据权利要求16所述的数字图像传感器，其特征在于，由所述密度函数定义的所述序列是伪噪声序列。
18.根据权利要求16所述的数字图像传感器，其特征在于，所述光敏像素阵列具有n个像素的宽度，并且所述序列是具有n/(2*k)的长度的重复序列，其中k是整数。
19.一种用于平面数字图像传感器的成像的方法，包括：
获得初步图像数据，所述初步图像数据是由数字图像传感器捕获的对象场景的初步数字图像帧的图像数据，所述数字图像传感器具有整体视野并包括：
传感器层，所述传感器层包括光敏像素阵列；
所述传感器层前面的遮挡层，所述遮挡层包括定位在对应于所述光敏像素的定位和大小的孔径域内的微孔径阵列，以及
所述遮挡层前面的包括微透镜阵列的透镜层，所述微透镜定位在对应于所述光敏像素的定位和大小的透镜域内；
所述传感器层的像素具有由与所述像素相关联的微孔径和微透镜限定的部分视野，所述部分视野具有由相关联的微孔径相对于相应微透镜的相对水平位置限定的查看方向，所述数字图像传感器的整体视野由所述各像素的部分视野形成；
所述微孔径定位在所述孔径域中由孔径密度函数限定的孔径位置处；
获得所述孔径密度函数；
获得所述遮挡层相对于所述透镜层的当前定位与其参考相对定位之间的位置差异；以及
基于所述初步图像数据、所述位置差异、以及所述孔径密度函数来自动重构表示所述对象场景的输出数字图像帧。
20.根据权利要求19所述的方法，其特征在于，进一步包括自动捕获所述初步数字图像帧。
CN201780057031.2A 2016-09-15 2017-09-12 平面数字图像传感器 Active CN109716750B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/267,135 2016-09-15
US15/267,135 US10270947B2 (en) 2016-09-15 2016-09-15 Flat digital image sensor
PCT/US2017/051036 WO2018052859A1 (en) 2016-09-15 2017-09-12 Flat digital image sensor

Publications (2)

Publication Number Publication Date
CN109716750A CN109716750A (zh) 2019-05-03
CN109716750B true CN109716750B (zh) 2021-01-22

Family

ID=59930802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057031.2A Active CN109716750B (zh) 2016-09-15 2017-09-12 平面数字图像传感器

Country Status (4)

Country Link
US (1) US10270947B2 (zh)
EP (1) EP3513550B1 (zh)
CN (1) CN109716750B (zh)
WO (1) WO2018052859A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616453B2 (en) * 2017-01-11 2020-04-07 Nokia Technologies Oy Audio and visual system including a mask functioning for a camera module and an audio transducer module
FR3084207B1 (fr) * 2018-07-19 2021-02-19 Isorg Systeme optique et son procede de fabrication
US10701280B1 (en) * 2019-01-28 2020-06-30 Eagle Technology, Llc Optical device including pinhole array aperture and related methods
US11356583B2 (en) * 2019-06-05 2022-06-07 Shanghai Harvest Intelligence Technology Co., Ltd. Image capturing apparatus, electronic equipment and terminal
CN112468684B (zh) * 2019-09-09 2025-05-09 北京小米移动软件有限公司 摄像头模组和具有该摄像头模组的移动终端
US11595575B2 (en) * 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
WO2022174409A1 (zh) * 2021-02-20 2022-08-25 京东方科技集团股份有限公司 图像获取设备、图像获取装置、图像获取方法及制作方法
US12477203B2 (en) 2022-06-13 2025-11-18 Samsung Electronics Co., Ltd. Method and apparatus with image quality improvement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345826A (zh) * 2007-07-13 2009-01-14 索尼株式会社 图像拾取设备
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
CN102062991A (zh) * 2009-11-09 2011-05-18 佳能株式会社 焦点检测设备
CN103155543A (zh) * 2010-10-01 2013-06-12 富士胶片株式会社 成像设备
US8619179B2 (en) * 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
EP2637400A3 (de) * 2012-03-09 2014-06-18 Sick Ag Bildsensor und Verfahren zur Aufnahme eines Bildes

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7606548A (nl) 1976-06-17 1977-12-20 Philips Nv Werkwijze en inrichting voor het uitrichten van een i.c.-patroon ten opzichte van een halfgelei- dend substraat.
US4354111A (en) 1981-03-10 1982-10-12 Veeco Instruments Incorporated Screen lens array system
US4966446A (en) 1989-04-28 1990-10-30 At&T Bell Laboratories Mask controlled coupling of inter-substrate optical components
JP2884458B2 (ja) * 1992-05-11 1999-04-19 キヤノン株式会社 液晶表示パネルの製造方法
US6329987B1 (en) 1996-12-09 2001-12-11 Phil Gottfried Lenticular image and method
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
US6829087B2 (en) 1998-04-15 2004-12-07 Bright View Technologies, Inc. Micro-lens array based light transmitting screen with tunable gain
US6967779B2 (en) 1998-04-15 2005-11-22 Bright View Technologies, Inc. Micro-lens array with precisely aligned aperture mask and methods of producing same
JP3531494B2 (ja) * 1998-10-05 2004-05-31 株式会社日立製作所 投写型画像ディスプレイ装置及びそれに用いるスクリーン
AU2002258402A1 (en) 2001-02-07 2002-10-08 Corning Incorporated High-contrast screen with random microlens array
TWI285295B (en) 2001-02-23 2007-08-11 Asml Netherlands Bv Illumination optimization in lithography
US6924899B2 (en) * 2002-05-31 2005-08-02 Optical Physics Company System for measuring wavefront tilt in optical systems and method of calibrating wavefront sensors
JP2004032172A (ja) 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
DE102004003013B3 (de) 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
US7808706B2 (en) * 2004-02-12 2010-10-05 Tredegar Newco, Inc. Light management films for displays
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
EP1880524B1 (en) 2005-04-21 2013-10-30 William Marsh Rice University Method and apparatus for compressive imaging device
KR100662558B1 (ko) * 2005-12-13 2006-12-28 삼성전자주식회사 마스크 및 이를 이용한 디스플레이장치의 제조방법
DE102006004802B4 (de) 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
DE102006005000B4 (de) * 2006-02-01 2016-05-04 Ovd Kinegram Ag Mehrschichtkörper mit Mikrolinsen-Anordnung
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US8194657B2 (en) * 2007-05-22 2012-06-05 Actiontec Electronics, Inc. Systems and methods for dynamic quality of service
US8106906B1 (en) * 2007-05-25 2012-01-31 Pixar Optical system effects for computer graphics
US20090046037A1 (en) 2007-08-17 2009-02-19 The University Of British Columbia High resolution display of 3d images
CN101226325B (zh) * 2008-02-03 2010-06-02 李志扬 基于随机相长干涉的三维显示方法及装置
WO2009104416A1 (ja) * 2008-02-22 2009-08-27 パナソニック株式会社 撮像装置
US7780364B2 (en) * 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
JP5388544B2 (ja) * 2008-11-05 2014-01-15 キヤノン株式会社 撮像装置およびそのフォーカス制御方法
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system
US8298586B2 (en) * 2009-07-22 2012-10-30 Acell Inc Variable density tissue graft composition
US8629389B2 (en) * 2009-07-29 2014-01-14 Geoffrey Louis Barrows Low profile camera and vision sensor
US20110026141A1 (en) * 2009-07-29 2011-02-03 Geoffrey Louis Barrows Low Profile Camera and Vision Sensor
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
DE112011100627T5 (de) * 2010-02-22 2013-04-18 William Marsh Rice University Verbesserte Pixelzahl in Detektoranordnungen unter Verwendung von komprimierterAbtastung
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8405763B2 (en) 2010-12-23 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Video camera for reconstructing varying spatio-temporal resolution videos
JP2012182332A (ja) * 2011-03-02 2012-09-20 Sony Corp 撮像素子および撮像装置
JP5857474B2 (ja) * 2011-06-29 2016-02-10 デクセリアルズ株式会社 透明電極素子、情報入力装置、および電子機器
KR101853817B1 (ko) * 2011-07-20 2018-05-02 삼성전자주식회사 촬상 소자
US9528819B2 (en) 2011-10-14 2016-12-27 Iee International Electronics & Engineering S.A. Spatially selective detection using a dynamic mask in an image plane
JP2013093692A (ja) * 2011-10-25 2013-05-16 Sony Corp 撮像装置、撮像方法
CN104221149B (zh) * 2012-03-28 2016-08-24 富士胶片株式会社 摄像元件以及摄像装置
US9300932B2 (en) * 2012-05-09 2016-03-29 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
EP2865179A4 (en) 2012-06-20 2016-03-02 Nokia Technologies Oy DISPLAY CAMERA OPERATION
US9667846B2 (en) * 2012-11-27 2017-05-30 Nokia Technologies Oy Plenoptic camera apparatus, a method and a computer program
CN103384300A (zh) 2013-07-03 2013-11-06 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统
US9219867B2 (en) * 2014-03-27 2015-12-22 Xerox Corporation Method and apparatus for compressive imaging of a scene using a single pixel camera
WO2016080258A1 (ja) * 2014-11-21 2016-05-26 コニカミノルタ株式会社 レンズアレイおよび光源ユニット
US20160255334A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Generating an improved depth map using a multi-aperture imaging system
KR20170109651A (ko) * 2015-03-25 2017-09-29 애플 인크. 광학 이미지 센서 위의 핀 홀 어레이 마스크를 포함하는 전자 디바이스 및 관련 방법
DE102015112960B3 (de) * 2015-08-06 2016-10-20 Till I.D. Gmbh Vorrichtung für die konfokale Beleuchtung einer Probe

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345826A (zh) * 2007-07-13 2009-01-14 索尼株式会社 图像拾取设备
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
CN102062991A (zh) * 2009-11-09 2011-05-18 佳能株式会社 焦点检测设备
CN103155543A (zh) * 2010-10-01 2013-06-12 富士胶片株式会社 成像设备
US8619179B2 (en) * 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
EP2637400A3 (de) * 2012-03-09 2014-06-18 Sick Ag Bildsensor und Verfahren zur Aufnahme eines Bildes

Also Published As

Publication number Publication date
EP3513550A1 (en) 2019-07-24
US20180077322A1 (en) 2018-03-15
US10270947B2 (en) 2019-04-23
EP3513550B1 (en) 2022-04-06
CN109716750A (zh) 2019-05-03
WO2018052859A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN109716750B (zh) 平面数字图像传感器
Zhou et al. Computational cameras: convergence of optics and processing
KR102785831B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
CN107194965B (zh) 用于处理光场数据的方法和设备
JP6713549B2 (ja) 撮像装置及び撮像モジュール
US20120162410A1 (en) 3d image sensor
JP6509914B2 (ja) 深度推定のための画像センサ
Hahne et al. Baseline and triangulation geometry in a standard plenoptic camera
US20110175981A1 (en) 3d color image sensor
JP6189061B2 (ja) 固体撮像装置
JP2016128816A (ja) プレノプティック・カメラを使った表面属性の推定
KR20170134502A (ko) 심도 촬상 장치, 방법 및 응용
US12320672B2 (en) Sensing element having pixels exposed by apertures increasing along different directions
US20180075615A1 (en) Imaging device, subject information acquisition method, and computer program
KR20230096057A (ko) 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인
Štolc et al. Depth and all-in-focus imaging by a multi-line-scan light-field camera
GB2540922B (en) Full resolution plenoptic imaging
WO2023092545A1 (zh) 显示方法及显示装置
Varghese Angle sensitive imaging: A new paradigm for light field imaging
Jonscher et al. Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching
US20240007759A1 (en) Video user interface and method for use in determining depth information relating to a scene
CN118247240A (zh) 一种基于线扫描光场相机的工业检测方法、系统和设备
Zhao et al. A novel refocusing distance measurement method using super‐resolved light field images
US9442296B2 (en) Device and method for determining object distances
Choi et al. CMOS image sensor with off-center circular apertures for depth extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant