CN109479099A

CN109479099A - 用于光传感器的子像素单元、光传感器、用于感测光信号的方法和用于生成图像的方法

Info

Publication number: CN109479099A
Application number: CN201780043168.2A
Authority: CN
Inventors: U·赛格; M·格泽
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-07-13
Filing date: 2017-06-21
Publication date: 2019-03-15
Anticipated expiration: 2037-06-21
Also published as: EP3485633A1; CN109479099B; WO2018010921A1; JP2019521603A; US10880502B2; US20190253645A1; DE102016212776A1; JP6902563B2

Abstract

本发明涉及一种用于光传感器的子像素单元(1)。子像素单元(1)包括：光电二极管(1200)，该光电二极管用于将光信号(1202)转换成光电二极管信号(1204)；调制器单元(1206)，该调制器单元用于在使用光电二极管信号(1204)的情况下产生调制器信号(1208)；存储器单元(1210)，该存储器单元用于存储调制器信号(1208)的时间限界的积分值(1212)，以及用于由采样值重构空间上时间上的光信号的装置。

Description

用于光传感器的子像素单元、光传感器、用于感测光信号的方法和用于生成图像的方法

技术领域

本发明从根据独立权利要求的类别的一种设备或一种方法出发。本发明的内容也是一种计算机程序。

背景技术

图像传感器的采样通常借助与所得帧速率相比相对较短的曝光时间来实现。曝光时间在此用作低通滤波器，其在理想情况下能够被视为时域中的矩形。

发明内容

在所述背景下，借助在此提出的方案，提供根据独立权利要求的一种用于光传感器的子像素单元、一种光传感器、一种用于感测光信号的方法、一种用于生成图像的方法，此外还提供一种使用这些方法中至少任一项的设备，以及最后提供一种相应的计算机程序。通过在从属权利要求中列举的措施，能够实现在独立权利要求中说明的设备的有利的扩展方案和改善方案。

在此提供一种用于光传感器的子像素单元，其中，该子像素单元具有如下特征：

光电二极管，该光电二极管用于将光信号转换成光电二极管信号；

调制器单元，该调制器单元用于在使用光电二极管信号的情况下产生调制器信号；

存储器单元，该存储器单元用于存储调制器信号的时间限界的积分值。

子像素单元可以理解为用于感测光信号的单元。子像素单元可以是光传感器的或图像传感器的光传感器的包括多个子像素单元的像素的一部分。光电二极管可以理解为用于将光子流转换成电子流的光敏的可能复杂的元件。光信号可以理解为例如具有任何空间上和时间上的变化速率的时间连续和非恒定的电磁信号。光电二极管信号可以理解为光电二极管的电输出信号。视实施方式而定，光电二极管信号例如可以是连续的或时间离散的信号。调制器单元例如可以理解为连续的或时间离散的调制器。替代或附加地，调制器单元例如也可以构造成时间离散的复用器。调制器信号可以理解为调制器单元的输出信号。存储器单元可以是例如电容器。

在此提出的方案基于如下认知：通过使用由各一个调制器结合至少一个存储器单元构成的子像素，可以实现可参数化的时间上的低通滤波器。为此，利用空间上的低通滤波器借助多个光传感器(像素)在时域和空间域中正确采样光信号，所述多个光传感器以规则的网格结构布置在图像传感器上。

这如此实现，其方式是利用了以下事实：通过空间上分离的子像素单元实现光信号的必要的时间上叠加的积分，其方式是：这些子像素单元在时间上相互叠加地产生积分信号。

此外在此所述的方案能实现用于由采样值重构空间上时间上的光信号的装置。

根据一种实施方式，光电二极管可以构造用于给调制器单元提供具有时间方案(Zeitschema)的时间离散的信号作为光电二极管信号。调制器单元可以构造成时间离散的调制器，或者附加或替代地构造成时间离散的复用器，以便使用时间方案来产生调制器信号。由此可以实现时间离散的低通调制器，该低通调制器用于在脉冲式的曝光时间下进行时间脉冲式积分。根据一种实施方式，仅设置两种可能性：时间离散的调制器和时间连续的调制器，其中，复用器不出现。

此外，光电二极管可以构造用于给调制器单元提供连续信号作为光电二极管信号。调制器单元可以构造成连续调制器，以便产生时间上调制的电流作为调制器信号。由此可以实现用于连续积分的时间连续的低通调制器。

根据另一实施方式，子像素单元可以具有用于缓存光电二极管信号的缓存单元。调制器单元可以构造用于在使用由缓存单元所缓存的光电二极管信号的情况下产生调制器信号。缓存单元例如可以是电容器。由此，可以缓存光电二极管信号的脉冲，以用于收集电子。

调制器单元还可以构造用于在使用乘法因子的情况下改变光电二极管信号来产生调制器信号。复用器例如可以是时间有关的。由此可以放大或衰减光电二极管信号。

此外，在此描述的方案实现一种光传感器，该光传感器具有由多个像素单元构成的网格结构，其中，这些像素单元分别被划分成至少两个根据上述实施方式中任一项所述的子像素单元，并且为了光传感器的相移采样，各一个像素单元的子像素单元被分配给各一个不同的时间相位。

根据一种实施方式，光传感器可以借助由传感器层和信号处理层构成的层复合物(Lagerverbund)实现。子像素单元的光电二极管可以布置在传感器层中，而子像素单元的调制器单元或者(附加地或替代地)存储器单元可以布置在信号处理层中。传感器层和信号处理层例如分别可以是硅基的功能单元或晶片。由此，可以高效地和成本有利地使光传感器小型化。

此外，光传感器或图像传感器可以具有信号处理单元，所述信号处理单元用于处理由子像素单元的存储器单元所存储的积分值。由此可以执行复杂的信号预处理。

根据一种实施方式，信号处理单元可以布置在信号处理层中。由此可以简化光传感器的制造。

在此所述的方案还提供一种用于借助子像素单元来感测光信号的方法，其中，该子像素单元具有光电二极管、调制器单元和存储器单元，其中，所述方法包括如下步骤：

借助光电二极管将光信号转换成光电二极管信号；

借助调制器单元在使用光电二极管信号的情况下产生调制器信号；

借助存储器单元存储调制器信号的时间限界的积分值。

此外，在此所述的方案还提供一种用于在使用根据上述实施方式所述的光传感器的情况下生成图像的方法，其中方法包括如下步骤：

通过光传感器的相移采样读取被分配给各一个不同的相位的子像素单元，以便存储子像素单元的相应的调制器信号的积分值；

处理积分值，以便生成图像。

这些方法例如可以实现以软件实现或以硬件实现或以软件和硬件构成的混合形式(例如在控制设备中)实现。

在此提出的方案还提供一种设备，该设备构造用于在相应的装置中执行、操控或实现在此提出的方法中的变型方案。而且通过本发明的设备形式的这些实施变型方案，可以快速和高效地解决本发明所基于的任务。

为此，该设备可以具有：至少一个用于处理信号或数据的运算单元、至少一个用于存储信号或数据的存储器单元、至少一个用于从传感器读取传感器信号或用于将数据信号或控制信号输出到执行器的至传感器或执行器的接口和/或至少一个用于读取或输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器或类似物，其中，所述存储器单元可以是闪存、EPROM或磁性存储器单元。通信接口可以构造用于无线地和/或有线地读取或输出数据，其中，可以读取或输出有线数据的通信接口例如可以电学地或光学地从相应数据传输线路中读取所述数据或将所述数据输出到相应的数据传输线路中。

在此，设备可以理解为电设备，所述电设备处理传感器信号并且根据所述传感器信号输出控制信号和/或数据信号。所述设备可以具有可以以硬件形式和/或软件形式构造的接口。在硬件形式的构造中，所述接口例如可以是所谓的系统专用集成电路的一部分，该部分包含所述设备的各种各样的功能。然而也能够实现，所述接口是独立的集成电路或至少部分地由分立的构件组成。在软件形式的构造中，所述接口可以是软件模块，所述软件模块例如和另外的软件模块存在于微控制器上。

在一种有利的构型中，通过所述设备实现对控制信号的控制。为此，所述设备例如可以获取传感器信号、例如至少获取对象信号。通过诸如读取装置和输出装置的执行器来实现所述控制。

也有利的是一种计算机程序产品或具有程序代码的计算机程序，所述程序代码能够存储在机器可读的载体或存储介质上，例如半导体存储器、硬盘存储器或光学存储器并且用于尤其当所述程序产品或程序在计算机或设备上实施时，执行、实现和/或操控根据上面所描述的实施方式之一所述的方法的步骤。

附图说明

本发明的实施例在附图中示出并且在接下来的说明中进一步阐明。附图示出：

图1示出目前常见的时间采样的示意图；

图2示出期望采样的低通特性以及理想时间采样的曝光方案的示意图；

图3至10示出根据不同实施例的光传感器的示意图；

图11示出在具有矩形积分时间的交错三相方案中的原理性采样的示意图；

图12示出根据一种实施例的子像素单元的示意图；

图13示出根据一种实施例的子像素单元的示意图；

图14示出根据一种实施例的光传感器的示意图；

图15示出根据一种实施例的装置的示意图；

图16示出根据一种实施例的方法的流程图；

图17示出根据一种实施例的方法的流程图。

在本发明的有利实施例的以下描述中，对于在不同附图中示出的并且作用相似的元素使用相同或相似的附图标记，其中，省去对这些元素的重复性描述。

具体实施方式

图1示出目前常见的时间采样的示意图。示出的是具有附图标记100的帧1和具有附图标记102的帧2，它们分别代表一个曝光时间t_exp。

图2示出期望采样的的低通特性200以及借助相应叠加的低通滤波器来进行理想时间采样的曝光方案202的示意图，在此借助三角函数示出时间调制。

图3示出根据一种实施例的光传感器300的示意图，在此是单色滤波阵列。在此示出如下像素结构的原理性示意图：该像素结构用于以叠加的4式方案(4er-Schema)在时间上进行正确采样。光传感器300具有由多个在此矩形成形的像素单元302构成的网格结构，这些像素单元分别被划分成四个子像素单元1、2、3、4，这四个子像素单元分别被分配给一个不同的相位。子像素单元1、2、3、4示例性地同样矩形地成形。通过将像素单元302分别如此划分成四个子像素单元1、2、3、4，可以以四相时移地并且由此时间叠加地读取光传感器300。

图4示出根据一种实施例的光传感器300的示意图。与图3不同，光传感器300在此实现成四通道颜色滤波阵列，所述四通道颜色滤波阵列具有示例性的通道红色(R)、绿色(G)、蓝色(B)和无色(C)。

图5示出根据一种实施例的光传感器300的示意图。光传感器如在图3中那样实现成单色滤波阵列。与图3不同，各个像素单元302在此仅划分成两个子像素单元1、2，其中，像素单元302要么被水平地划分、要么被垂直地划分。通过将像素单元302分成分别两个子像素单元1、2，能实现以两相时移地、时间叠加地进行读取。

图6示出根据一种实施例的光传感器300的示意图。光传感器300基本上相应于根据图5所述的光传感器，不同之处在于，光传感器300类似于在图4中那样实现成四通道颜色滤波阵列。

图7示出根据一种实施例的光传感器300的示意图。与图3至图6不同，根据该实施例的像素单元302划分成三个子像素单元1、2、3，以用于以三相时移地、时间叠加地进行读取。示出的是像素结构的原理性结构，该像素结构用于在不具有颜色滤波阵列的单色光传感器300中在六边形网格结构中以叠加的三相方案来进行时间上的正确采样。

图8示出根据一种实施例的光传感器300的示意图。示出的是如图7中那样的用于在时间上进行正确采样的像素结构的原理性结构，然而在此，该采样是在不具有颜色滤波阵列的单色光传感器300中在六边形网格结构中以叠加的两相方案进行的。与图7不同，像素单元302在此仅划分成两个子像素单元1、2，以用于以两相时移地、时间叠加地进行读取。

图9示出根据一种实施例的光传感器300的示意图。光传感器300基本上相应于根据图8所述的光传感器，不同之处在于，光传感器300在此实施成具有三通道颜色滤波阵列。

图10示出根据一种实施例的光传感器300的示意图。光传感器300基本上相应于根据图7所述的光传感器，不同之处在于，光传感器300在此实施成具有三通道颜色滤波阵列。

图11示出以具有矩形积分时间的交错三相方案来进行原理性采样的示意图。示出的是，借助三个子像素单元1、2、3来实现具有相同加权积分的低通滤波器。除了子像素单元1、2、3以外，还示出子像素单元1、2、3的相应输出信号。

图12示出根据一种实施例的子像素单元1的示意图。子像素单元1可以是之前根据图3至11所述的光传感器的部件。子像素单元1包括：光电二极管1200、调制器单元1206以及存储器单元1210，所述光电二极管用于将光信号1202转换成光电二极管信号1204，所述调制器单元用于在使用光电二极管信号1204的情况下产生调制器信号1208，所述存储器单元在此是电容器形式的存储电容，该存储器单元用于存储调制器信号1208的时间限界的积分值1212。根据该实施例，调制器单元1206实现成用于连续积分的时间连续的低通调制器。

图13示出根据一种实施例的子像素单元1的示意图。与图12不同，在此示出如下子像素单元1的原理性结构：该子像素单元具有时间离散的低通调制器作为调制器单元1206。根据该实施例，调制器单元1206是用于在脉冲式曝光时间下进行时间脉冲式积分的时间离散的调制器或复用器。为此，在光电二极管1200与调制器单元1206之间连接有可选择的缓存单元1300，该缓存单元用于缓存光电二极管信号1202的脉冲。相应地，调制器单元1206构造用于在使用由缓存单元1300所缓存的脉冲的情况下产生调制器信号1208。存储器单元1210被用作结果存储器。

图14示出根据一种实施例的光传感器300的示意图，该光传感器例如是以上根据图3至13所述的光传感器。根据该实施例，光传感器300实现成具有由传感器层1400和信号处理层1402构成的层复合物，该传感器层用于借助子像素单元1、2、3、4的相应光电二极管1200进行光子/电子转换，该信号处理层用于复杂的信号预处理，信号处理层1402也称为信号预处理层。在信号处理层1402中布置有子像素单元1、2、3、4的相应调制器单元1206。附加地，信号处理层1402实现成具有信号处理单元1404，该信号处理单元用于处理相应的调制器信号1208。为了存储积分值，存储器单元例如集成到信号处理单元1404中。

根据该实施例，层复合物1400包括用于连续积分的第一区段1406和在此与第一区段相邻布置的用于时间离散积分的第二区段1408。属于第二区段1408的缓存单元1300例如布置在传感器层1400中。

在图14中示出的将像素结构分成用于光子/电子转换的传感器层1400和用于信号预处理的信号处理层1402例如以晶片堆叠技术实现。

图15示出根据一种实施例的设备1404的示意图，该设备之前也称为信号处理单元。设备1404包括读取单元1510，该读取单元用于通过光传感器的相移采样来读取分别被分配给各一个不同相位的子像素单元。在此，读取单元1510接收由子像素单元的相应存储器单元所存储的积分值1212。处理单元1520构造用于处理用于生成图像1525的积分值1212。

图16示出根据一种实施例的方法1600的流程图。例如可以借助如之前根据图3至15所述的子像素单元来执行用于感测光信号的方法1600。在此，在步骤1610中，借助光电二极管将光信号转换成光电二极管信号。在另一步骤1620中，在使用光电二极管信号的情况下产生调制器信号。最后，在步骤1630中，借助存储器单元存储调制器信号的时间限界的积分值。

图17示出根据一种实施例的方法1700的流程图。例如可以借助之前根据图15所述的设备来执行用于生成图像的方法1700。在此，在步骤1710中，通过光传感器的相移采样来读取分别被分配给不同相位的子像素单元，以便存储子像素单元的相应调制器信号的积分值。在另一步骤1720中，处理积分值，以便生成图像。

以下，根据图1至17以另一表达方式再次描述在此提出的方案。

在此提出的方案提供一种像素读取方案和所属的空间像素结构，通过它们能实现光信号的时间上的正确采样。为此提供如下硬件结构：所述硬件结构能够实现时间低通滤波器的参数化并且因此实现正确的采样。

现代图像传感器通常根据以下原理运行。光学器件在平面传感器(也称为图像传感器或成像器)上产生光图像。图像传感器在空间上和时间上采样该图像。时间上的采样由帧速率确定，在一些设计中也由个体化的光传感器采样速率确定。

在此，通常的摄像机构件实现如下功能。光学器件用作空间上的低通滤波器。光传感器目前由几百万的单个的光传感器构成，其中，每个光传感器示出空间上的一个采样点。曝光时间用作时间上的低通滤波器。

为了进行无混叠采样，低通滤波器应如此匹配于采样频率，使得采样频率根据香农-奈奎斯特采样定理至少是低通滤波器的截止频率两倍。此外，信号在采样之前应始终通过低通滤波器。

如果这没有发生，则采样的信号通常包含混叠伪像。空间上的混叠效应通常能够通过如下方式被识别到：在具有高对比度的边缘被识别为彩色边纹(Farbsaum)、在点状对象上通过消失和再现被识别到，而在具有均匀周期性图案的对象上作为所谓的莫尔效应(Moire-Effekte)被识别到。

在时间信号中，混叠效应(Aliasing-Effekt)通过滚动快门效应、车轮效应(Wagon-Wheel-Effekt)表明，在滚动快门效应中，可运动的直线对象被弯曲地成像，在车轮效应中，车轮看起来从确定的速度开始向后转动，并且混叠效应通过拍摄脉冲式光源(例如LED交通标志或车辆尾灯)时的出现问题所表明。这样的效应也出现在人的视觉中，并且意味着：即使在此也无法完全阻止时间上的混叠效应。

对于在机器视觉领域中的应用，光流是一个重要的辅助参量。光流可以通过时间上正确采样的信号在其质量方面得到显著提高。

当前图像传感器的工作方式基于与所得帧速率相比相对较短的曝光时间。曝光时间用作低通滤波器，该低通滤波器在理想情况下可以视为时域中的矩形。

在频域中，具有宽度t_exp的矩形低通滤波器是si函数：

Si曲线的第一过零点在：

πft_exp.＝π，其中并且这同时表示低通滤波器的截止频率的常见近似。

如果将t_exp≈500μ秒的常见曝光时间与t_frame≈1/30≈33毫秒的常见图像重复速率或采样频率进行比较，则得到如下采样频率f_sample和低通滤波器的截止频率f_Nyq.：

f_sample＝30

然而，根据采样定理存在：

f_Grenz≈f_Nyq.

图1示出当前常见的采样方案。由此显著违反奈奎斯特定理。只要在世界中不出现高频率，例如在缓慢运动的云或摄影的情况下这是不成问题的。

在基于视频的驾驶员辅助领域中，情景中的快速变化(特别在标准应用情况下)是特别重要的，这例如可以是计算行人四肢上的光流的情况或对LED灯(例如刹车灯或可变交通标志)进行探测的情况。因此，也应时间正确地采样光信号。此外重要的是，获得违反采样定理的提示。

对于时间上准确的采样应满足：

由此自然也得出：

2f_Nyq.≤f_Sample

这表示：正确采样的曝光时间应该持续常见帧的两倍长。附加地，对于改善的低通滤波器来说，还需要在时间上匹配的信号建模。

图2示出遵守奈奎斯特的采样方案。

在遵守奈奎斯特的情况下，实际的帧速率取决于低通滤波器的宽度。在常见的图像传感器中，由于诸如SNR或夜晚友好设计的边界条件，比1毫秒更长的积分时间在日间难以实现。由此，在时间上准确采样的情况下，帧速率也显著提高(需要超过1千赫兹)。

这种高的数据速率是难以处理的，因此应事先降低到常见的30赫兹。这例如可以通过连接在后面的信号处理来完成。

然而，准确的下采样在此再次需要低通滤波器，紧跟着的是以期望帧速率进行采样。因为输出信号不包含混叠效应，所以在正确的下采样的情况下，即使具有减小的帧速率，最终信号也不包含混叠。

然而，可能发生的是，降低到低帧速率的图像信号也意味着在空间尺寸上包含比高帧速率情况下更低的边缘清晰度。这尤其通过如下方式而产生：帧速率的无混叠降低在根据现有技术的实施方案中引起较长的虚拟曝光时间，这导致在该区域中图像信号的混合。

在光信号的时间采样中，使用时间上的低通滤波器。该低通滤波器一方面通过曝光时间给定。

在空间采样中，已经在概念“标准采样”的范畴内已知：标准帧速率和曝光时间不足以达到此目的。虽然在空间上，光学器件的模糊确保信号超越像素大小地被低通滤波，但是缺少用于时间维度的相应对立物。

根据在此所述的方案，时间上准确的采样现在按如下方式实现：一方面通过时间偏移作为像素平面中的空间实现，另一方面通过适当的像素设计来实现时间上的低通滤波器。

然而根据上述实施方案，光信号必须在每个空间采样点上、在时间上的拍摄时刻不同地加权然后积分，以便实现时间上准确的采样。在此，在时间上不同地加权是低通滤波器的特性。在此，时间上不同的加权和测量值生成可以如此实现，使得连续的光信号在每个时刻总是影响至少两个或多个生成的时间采样测量值。这也能够从图2明显看出。

通过时间采样的叠加，实际上需要两个或更多的存储器单元。这些存储器单元例如通过电子电容器实现。在第一采样时刻还没有结束其时间上的积分期间，第二采样时刻已经被积分。第一帧结束时，则第三帧开始其积分，依此类推。因为第一帧的测量值也需要有限的读取时间，所以在实践中很可能不仅使用两个而是三个存储器单元。以下描述时间叠加的采样值的实现。

在信号生成模块中充分详尽设计的后处理中，现在可以由三个存储器单元的信号在第一时刻与最后时刻之间的任意期望时刻重构信号。通过这些重构步骤的相继连接或扩展，可以在结束时实现目标帧速率。

然而，正确的下采样在此需要再次使用低通滤波器，然后以期望帧速率进行采样。因为输出信号不包含混叠效应，因此在正确的下采样的情况下，即使具有减小的帧速率的最终信号也不包含混叠。这一点可以通过如下方式抵消：使用空间时间滤波器来计算图像信号。该滤波器可以具有任意的复杂性并且还具有如下特征：

-将所考虑的输入参数限于来自受限邻域的测量值，所述受限邻域例如是直接邻域或过度邻域；

-将所考虑的输入参数限于受限时间窗口的测量值，所述测量值例如是仅最后五个时间测量值；

-根据输入值的位置清算(verrechnen)输入值；

-根据输入值的拍摄时刻清算输入值；

-借助非线性运算(例如最小、最大、平均)清算输入值；

-借助线性运算(例如卷积、乘法和加法)清算输入值；

-在明确考虑空间上和时间上的关系的情况下清算输入值；

-在考虑不同模型假设的情况下借助自由度、重复速率、占空比和对于当前帧速率的相位清算输入值，尤其考虑用于空间或时间定位脉宽调制光源(例如可变交通标志的发光二极管和机动车中的尾灯)的模型。

此外，信号生成模块例如计算附加信号特征，所述附加信号特征例如是信号在两个时刻之间的平均时间变化和/或空间(局部)变化，这会导致数据速率的降低。此外，可选地，由各个曝光帧1至3计算：信号的时间和/或空间(局部)方差多大。

由上述中间测量值可以通过使用可参数化的阈值提取具有几位的信息内容的特征。尤其可以使用一个或多个阈值，以便将空间/时间信号量标记为闪烁的(即脉冲式的)光源，例如通过在时间平均值方面分析处理时间信号方差。

例如，如果传感器元件的信号在一个采样周期中偏差大于25％，则可以借助标记位(Marker-Bit)将该信号标记为波动的，这有助于探测人工光源。阈值应该能够合理地在时间上或地点上被匹配。

除了时间上无混叠的采样之外，还存在另外的应用示例，这些应用示例可以在后处理单元中完成，例如在结构化照明中，例如在不同车辆类型及其特征的分类器中，通过分析处理空间/时间信号量或者通过确定用于再处理的不同光源的时间特性(例如频率或占空比)来得出准确深度估计。了解车辆尺寸尤其对于基于视频的驾驶员辅助是非常重要的。

在此提出的方案的核心构思在于，将时间叠加的积分时间传递到空间域中。为此充分利用了光学器件是空间上的低通滤波器的事实，该低通滤波器能实现对空间进行采样，而不存在显著的混叠伪像。如果该空间上的低通滤波器现在如此实施，使得空间采样产生过采样，那么光传感器场可以分为N个规则网格，这些规则网格中，每个子网格在时间上与其他子网格叠加地实施积分。必要时，在积分时间期间建立信号的时间相乘，以便改善时间低通特性。

如上所述，需要至少三个存储器单元。图3至图6示意性示出了具有不同颜色滤波阵列类型的各种实施可能性的典型矩形像素的这种结构，不同颜色滤波阵列类型在此是单色滤波阵列和具有通道无色、蓝、红和绿的四通道颜色滤波阵列。

结合六边形网格，尤其可以在使用三个光传感器的情况下，实现在所需传感器表面方面节省的设计。图7至10示例性示出具有六边形像素的六边形光传感器网格中的实施方案的结构。示出的实现可能性仅仅是示例性的选择。原则上，可以根据以下原理实现多种不同的组合：

-颜色滤波阵列的通道数量(x-通道CFA)；

-所需的叠加时间相(例如2、3或4叠加)的数量；

-像素在空间网格中的形状和布置。

在此描述的方法可以通过如下方式实现：光传感器300在传感器表面上被划分成多组。这些组中的每个相应于空间表示中的相移采样网格。这些采样网格中的每个能够借助相对于其他网格的时间相移单独操控。

产生的光信号通常表示电容器中收集的大量电子。现在应该将叠加曝光时间的信号相互清算，以便获得无混叠的信号。附加地，也可以一并考虑给定设计的空间结构和时间低通滤波器的特性。在数学上，光学低通滤波器和时间低通滤波器是如下单元：通过该单元描述空间/时间光信号的低通滤波。在实现随后的信号重构时应该考虑这一点。

如果如目前常见的那样，光传感器以恒定的时间交错的曝光时间进行读取，那么低通滤波器在频域中是Sinc函数。理想的是频域中的矩形滤波器，这在时域中需要Sinc调制。低通特性例如也可以借助Lancos滤波器或由三角滤波器和Sinc滤波器的混合实现。图11示出相同加权的积分的实施方案。

用于实现可参数化的时间低通滤波器的一种可能性是将时间连续的光电二极管信号1204提供给低通调制器。该低通调制器产生时间上调制的电流，该电流在电容1210中被积分，并且由该处提供给再处理或空间时间光信号重构。图12示意地示出这种结构。

用于实现可参数化的时间低通滤波器的一种可能性可以通过光电二极管信号1204的时间离散化来实现。为此，光电二极管1200在低通期间被读取几百次。

例如，首先根据低通滤波器的时间上当前权重，例如借助时间相关的乘法因子(其也可以是负的)放大所收集的电子。这例如通过缓存在小电容中，然后进行放大，并且重新转换成电流来实现。因此，所生成的信号针对每个脉冲被加权并且被提供给存储器电容，在那里将信号积分。附加地，在该结构中，也可以根据低通特性来匹配脉冲长度，以便实现改善的信噪比。

在经典半导体工艺中，电路以2D结构相继制造。然而，现代半导体工艺能够叠置和连接多个电路。这称为晶片堆叠技术。对于时间上正确的采样的情况来说，需要比当前图像传感器中更复杂的硬件结构。因此，根据一种实施例，光子到电子的转换在上层1400中发生，而低通调制以及可能的再处理步骤(例如梯度形成或信号重构)在帧时刻转移到较深的层1402中。该较深的层1402可选择地以不同于上层1400的制造技术(例如以14纳米或7纳米技术)制造，由此能实现复杂得多的标准信号预处理步骤。

如果一个实施例包括第一特征与第二特征之间的“和/或”连接，则这可以如此解读，该实施例根据一种实施方式不仅具有第一特征而且具有第二特征，而根据另一实施方式要么仅具有第一特征要么仅具有第二特征。

Claims

1.一种用于光传感器(300)的子像素单元(1，2，3，4)，其中，所述子像素单元(1，2，3，4)具有如下特征：

光电二极管(1200)，所述光电二极管用于将光信号(1202)转换成光电二极管信号(1204)；

调制器单元(1206)，所述调制器单元用于在使用所述光电二极管信号(1204)的情况下产生调制器信号(1208)；

存储器单元(1210)，所述存储器单元用于存储所述调制器信号(1208)的时间限界的积分值(1212)。

2.根据权利要求1所述的子像素单元(1，2，3，4)，在所述子像素单元中，所述光电二极管(1200)构造用于给所述调制器单元(1206)提供具有时间方案的时间离散的信号作为所述光电二极管信号(1204)，其中，所述调制器单元(1206)构造成时间离散的调制器和/或时间离散的复用器，以便使用所述时间方案来产生所述调制器信号(1208)。

3.根据上述权利要求中任一项所述的子像素单元(1，2，3，4)，其中，所述光电二极管(1200)构造用于给所述调制器单元(1206)提供连续信号作为所述光电二极管信号(1204)，其中，所述调制器单元(1206)构造成连续调制器，以便产生时间上调制的电流作为所述调制器信号(1208)。

4.根据上述权利要求中任一项所述的子像素单元(1，2，3，4)，所述子像素单元具有缓存单元(1300)，所述缓存单元用于缓存所述光电二极管信号(1204)，其中，所述调制器单元(1206)构造用于在使用由所述缓存单元(1300)所缓存的光电二极管信号(1204)的情况下产生所述调制器信号(1208)。

5.根据上述权利要求中任一项所述的子像素单元(1，2，3，4)，在所述子像素单元中，所述调制器单元(1206)构造用于在使用乘法因子的情况下改变所述光电二极管信号(1204)来产生所述调制器信号(1208)。

6.一种光传感器(300)，所述光传感器具有由多个像素单元(302)构成的网格结构，其中，所述像素单元(302)分别被划分成至少两个根据上述权利要求中任一项所述的子像素单元(1，2)，其中，为了所述光传感器(300)的时间相移采样，各一个像素单元(302)的子像素单元(1，2)被分配给各一个不同的时间相位。

7.根据上述权利要求中任一项所述的光传感器(300)，所述光传感器具有由传感器层(1400)和信号处理层(1402)构成的层复合物，其中，所述子像素单元(1，2，3，4)的光电二极管(1200)布置在所述传感器层(1400)中，并且所述子像素单元(1，2，3，4)的调制器单元(1206)和/或存储器单元(1210)布置在所述信号处理层(1402)中。

8.根据权利要求6或7所述的光传感器(300)，所述光传感器具有信号处理单元(1404)，所述信号处理单元用于处理由所述子像素单元(1，2，3，4)的存储器单元(1210)所存储的积分值(1212)。

9.根据权利要求7或8所述的光传感器(300)，在所述光传感器中，所述信号处理单元(1404)布置在所述信号处理层(1402)中。

10.一种用于借助子像素单元(1，2，3，4)感测光信号(1202)的方法(1600)，其中，所述子像素单元(1，2，3，4)具有光电二极管(1200)、调制器单元(1206)和存储器单元(1210)，其中，所述方法(1600)包括如下步骤：

借助光电二极管(1200)将所述光信号(1202)转换(1610)成光电二极管信号(1204)；

借助所述调制器单元(1206)在使用所述光电二极管信号(1204)的情况下产生(1620)调制器信号(1208)；

借助所述存储器单元(1210)存储(1630)所述调制器信号(1208)的时间限界的积分值(1212)。

11.一种用于在使用根据权利要求6至9中任一项所述的光传感器(300)的情况下生成图像(1525)的方法(1700)，其中，所述方法(1700)包括如下步骤：

通过所述光传感器(300)的相移采样来读取(1710)被分配给各一个不同相位的子像素单元(1，2，3，4)，以便存储所述子像素单元(1，2，3，4)的相应的调制器信号(1208)的积分值(1212)；

处理(1720)所述积分值(1212)，以便生成所述图像(1525)。

12.一种具有单元(1510，1520)的设备(1404)，所述单元构造用于实施和/或操控根据权利要求11所述的方法(1404)。

13.一种计算机程序，所述计算机程序构造用于实施和/或操控根据权利要求10所述的方法(1600)和/或根据权利要求11所述的方法(1700)。

14.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求13所述的计算机程序。