CN109803096A - 一种基于脉冲信号的显示方法和系统 - Google Patents

Abstract

本申请公开了一种基于脉冲信号的显示方法和系统，包括：分析单个像素位置对应的脉冲序列，脉冲发放信息；获取单个脉冲发放时间之前的多个脉冲发放时间所对应的各像素值，将其累加作为第一累加像素值；与所述像素位置的所述单个脉冲发放时间相对应地设定第一特定量，叠加第一特定量与第一累加像素值，得到所述像素位置的第一像素值；比较第一像素值与像素阈值范围的关系，调整第一特定量得到第二特定量；叠加第一累加像素值与第二特定量得到所述像素位置的第二像素值，使用各第二像素值生成图像。通过利用脉冲信号的时域特性计算像素值，构成高质量的图像并输出任意连续时刻的图像；根据像素阈值范围调整像素值，提高生成图像的质量。

Description

一种基于脉冲信号的显示方法和系统

技术领域

本申请涉及信号处理技术领域，尤其涉及一种基于脉冲信号的显示方法和系统。

背景技术

基于传统图像传感器的机器视觉算法，在智能安防、智能交通等许多领域得到了广泛应用。然而传统的图像传感器由于其自身的设计理念，已经越来越不能满足于当前的视觉任务需求。这些传感器通常以帧为单位，按照预设的固定频率对场景进行完整采样。这种基于固定帧率的采样，不能反映场景的动态变化，容易对当前场景过采样或欠采样，导致视频数据冗余大、时域分辨率低、高速运动下易模糊等问题。受启发于生物视网膜的视觉采样机制，采集脉冲阵列信号的新型摄像机进入人们视野，包括基于光照强度变化发放脉冲信号的传感器，如动态视觉传感器(Dynamic Vision Sensor,DVS)、基于异步时间的图像传感器(Asynchronous Time-based image Sensor,ATIS)、动态有源像素视觉传感器(Dynamic and Active Pixel Vision Sensor,DAVIS)等，基于光照强度累积强度发放信号的传感器，如光强累积传感器等。这种摄像机的传感器采集一定时间，一定区域内光信号的信息，具有高动态范围，高时间分辨率等优点。

把信号转换为人类可视化的显示形式是直观了解脉冲信号的第一步，由于大部分现有的机器学习算法无法直接将脉冲信号作为数据源进行处理，因此，需要提供一种能够将脉冲信号可视化的技术。

发明内容

为解决以上问题，本申请提出了一种基于脉冲信号的显示方法和系统。

一方面，本申请提出一种基于脉冲信号的显示方法，包括：

分析单个像素位置对应的脉冲序列，得到脉冲序列的脉冲发放信息，所述脉冲发放信息包括多个脉冲发放时间；

获取单个脉冲发放时间之前的多个脉冲发放时间所对应的各像素值，将其累加作为第一累加像素值；

与所述像素位置的所述单个脉冲发放时间相对应地，设定第一特定量，叠加第一特定量与第一累加像素值，得到所述像素位置的第一像素值；

比较第一像素值与像素阈值范围的关系，调整第一特定量，得到第二特定量；

叠加第一累加像素值与第二特定量，得到所述像素位置的第二像素值。

优选地，所述获取单个脉冲发放时间之前的多个脉冲发放时间所对应的各像素值，将其累加作为第一累加像素值，包括：

确定所述单个脉冲发放时间之前的累加时长；

获取所述累加时长中的各脉冲发放时间所对应的各像素值；

计算各像素值到达所述单个脉冲发放时间时的衰减后的各衰减值；

叠加各所述衰减值，得到第一累加像素值。

优选地，所述获取所述累加时长中的各脉冲发放时间所对应的各像素值，包括：

若所述累加时长中无脉冲发放时间，则第一累加像素值为0。

优选地，所述比较第一像素值与像素阈值范围的关系，调整第一特定量，得到第二特定量，包括：

若所述第一像素值不在像素阈值范围内，调整第一特定量的值，得到第二特定量；

若所述第一像素值在像素阈值范围内，则第一特定量即为第二特定量。

优选地，所述像素阈值范围包括：设定像素阈值范围为固定值、和/或根据全局像素值大小进行归一化后确定像素阈值范围、和/或根据图像理想的动态范围确定像素阈值范围。

优选地，所述设定第一特定量包括将其设定为固定值。

优选地，所述各像素值是随脉冲发放时间衰减的函数，包括：按照固定比例衰减、按照固定大小衰减和/或按照函数递减部分递减进行衰减。

优选地，所述叠加第一累加像素值与第二特定量，得到所述像素位置的第二像素值，之后还包括：根据单个像素位置上的各像素值在时间上的相邻关系，对第二像素值进行滤波。

优选地，其特征在于，还包括取同一脉冲发放时间所有像素位置的第二像素值生成图像，包括：

取同一脉冲发放时间所有像素位置的第二像素值直接恢复成图像，和/或

根据所有像素位置在空间上的相邻关系，对各第二像素值进行滤波后构成图像，和/或

根据所有像素位置在时空域上的相邻关系，对各第二像素值进行滤波后构成图像。

第二方面，本申请提出一种基于脉冲信号的显示系统，包括：顺次连接的脉冲分析模块、动态调整模块和图像显示模块；

所述脉冲分析模块，用于分析脉冲数据，得到对应各像素位置的各脉冲序列的脉冲发放信息；

动态调整模块，用于根据脉冲发放信息确定像素阈值范围，计算各像素位置的像素值；

所述图像显示模块，用于生成图像并输出。

本申请的优点在于：通过分析脉冲数据，得到各脉冲序列的脉冲发放信息，根据脉冲发放信息计算像素值，可以依据生物神经元脉冲发放机制对脉冲信号进行可视化显示，有效的利用了脉冲信号的时域特性，构成高质量的图像并输出任意连续时刻的图像。通过对脉冲信号中的发放信息(发放频率)进行计算可统计，对各像素位置的累加时长中的像素值以及整各画面的全局像素值进行计算，确定各像素位置的像素阈值范围，能够对各像素位置上的像素根据时间和空间的关系，分别设定对应的像素阈值，使各像素位置的像素阈值相对独立，能够有效提高输出图像的质量，在第一像素和像素阈值范围之间的差值较小时，调整像素阈值范围使其包含第一像素值，有利于最终生成图像的质量提升。根据像素阈值范围调整最终构成图像的像素值，能够减少图像过亮或者过暗造成的不清楚。通过对各像素位置的累加时长中的像素值进行计算，动态地调整第一特定量，能够方便后续步骤中对像素的处理。本方法适用于各种脉冲形式的数据，包括生成彩色图像。构成的图像能够作为机器学习算法以及其他图像和视频识别算法的数据源。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：

图1是本申请提供的一种基于脉冲信号的显示方法的步骤示意图；

图2是本申请提供的一种基于脉冲信号的显示方法的像素和脉冲序列示例图；

图3是本申请提供的一种基于脉冲信号的显示方法的脉冲序列示意图；

图4是本申请提供的一种基于脉冲信号的显示方法的输出图像示意图；

图5是本申请提供的一种基于脉冲信号的显示系统的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本申请的实施方式，提出一种基于脉冲信号的显示方法，如图1所示，包括：

分析单个像素位置对应的脉冲序列，得到脉冲序列的脉冲发放信息，所述脉冲发放信息包括多个脉冲发放时间；

获取单个脉冲发放时间之前的多个脉冲发放时间所对应的各像素值，将其累加作为第一累加像素值；

与所述像素位置的所述单个脉冲发放时间相对应地，设定第一特定量，叠加第一特定量与第一累加像素值，得到所述像素位置的第一像素值；

比较第一像素值与像素阈值范围的关系，调整第一特定量，得到第二特定量；

叠加第一累加像素值与第二特定量，得到所述像素位置的第二像素值。

所述获取单个脉冲发放时间之前的多个脉冲发放时间所对应的各像素值，将其累加作为第一累加像素值，包括：

确定所述单个脉冲发放时间之前的累加时长；

获取所述累加时长中的各脉冲发放时间所对应的各像素值；

计算各像素值到达所述单个脉冲发放时间时的衰减后的各衰减值；

叠加各所述衰减值，得到第一累加像素值。

所述获取所述累加时长中的各脉冲发放时间所对应的各像素值，包括：

若所述累加时长中无脉冲发放时间，则第一累加像素值为0。

对于每个位置的像素，如果在当前t₀时刻出现脉冲，则该像素在此时刻的像素值大小I(t₀)变化为：

其中，I(t₀)为像素初始(第一像素值)大小，Δ为延迟因子，τ为模型参数，exp为以自然常数e为底的指数函数。

当像素值在脉冲出现时刻叠加后，叠加量会随着时间的推移逐渐衰减，在时刻t时(t>t₀)，像素大小为：

I(t)为第一像素值在t时刻时的衰减后的值，通过调整模型参数τ和延迟因子τ，可以调节像素值的上下限和衰减速率。

所述比较第一像素值与像素阈值范围的关系，调整第一特定量，得到第二特定量，包括：

若所述第一像素值不在像素阈值范围内，调整第一特定量的值，得到第二特定量；

若所述第一像素值在像素阈值范围内，则第一特定量即为第二特定量。

所述调整第一特定量的值包括：增大或减小第一特定量的值，使其在叠加第一累加像素值后得到的值在像素阈值范围内。

所述像素阈值范围包括：设定像素阈值范围为固定值、和/或根据全局像素值大小进行归一化后确定像素阈值范围、和/或根据图像理想的动态范围确定像素阈值范围。每个像素都有相对独立的像素阈值范围。

根据全局像素值大小进行归一化后确定像素阈值范围包括：根据同一时刻各像素位置的脉冲发放情况以及各第一像素进行判断，判断此时刻各第一像素值中的大多数是否过小或者过大，若是，则根据全局像素值大小，对第一像素值进行归一化后确定像素阈值范围。防止生成的图片过亮或者过暗，导致内容显示不清楚。

若所述第一像素值在像素阈值范围外，但与像素阈值范围非常接近的情况下，则改变像素阈值范围，使其阈值范围包括第一像素值。

所述设定第一特定量包括将其设定为固定值。所述固定值包括随时间进行衰减的函数。

所述第一特定量在没有脉冲发放时，为0。

所述第一特定量还能够根据所述单个脉冲发放时间之前的累加时长进行动态调整。当所述单个脉冲发放时间之前的累加时长中出现多个密集的脉冲发放时，则对第一特定量的值进行动态缩小。

所述各像素值是随脉冲发放时间衰减的函数，包括：按照固定比例衰减、按照固定大小衰减和/或按照函数递减部分递减进行衰减。

所述函数包括：高斯函数、指数函数和对数函数。

所述叠加第一累加像素值与第二特定量，得到所述像素位置的第二像素值，之后还包括：根据单个像素位置上的各像素值在时间上的相邻关系，对第二像素值进行滤波。

所述方法还包括：取同一脉冲发放时间所有像素位置的第二像素值生成图像。

所述取同一脉冲发放时间所有像素位置的第二像素值生成图像，包括：

取同一脉冲发放时间所有像素位置的第二像素值直接恢复成图像，和/或根据所有像素位置在空间上的相邻关系，对各第二像素值进行滤波后构成图像，和/或根据所有像素位置在时空域上的相邻关系，对各第二像素值进行滤波后构成图像。

以显示脉冲数据中某一时刻的某一像素位置的脉冲信号为例。设某一时刻为t时刻，某一像素位置为像素P位置。

分析像素P位置对应的脉冲序列，得到脉冲序列的脉冲发放信息，所述脉冲发放信息包括多个脉冲发放时间。图2为像素P位置对应的脉冲序列。

获取t时刻之前的多个脉冲发放时间所对应的像素值的第一累加像素值。

如图3所示为P位置的脉冲序列。

根据脉冲发放信息，确定所述t时刻之前的历史时间，设Δt为所述t时刻之前的累加时长。

获取所述累加时长(Δt)中的各脉冲发放时间所对应的各像素值，计算各像素值到达所述单个脉冲发放时间(t时刻)时的衰减后的各衰减值，

叠加各所述衰减值，得到第一累加像素值。如图3所示，在t时刻之前的Δt时间内共有14个累加时刻，分别设为t1时刻至t14时刻。计算各像素值到达所述单个脉冲发放时间时的衰减后的各衰减值。在t3时刻、t8时刻和t10时刻，分别有脉冲发放，设t3时刻脉冲的为累加第一脉冲，t8时刻脉冲为累加第二脉冲，t10时刻脉冲为累加第三脉冲。

分别在t3时刻、t8时刻和t10时刻增加一个特定量，计算各时刻的各特定量到t时刻时的各衰减后的值，得到所述3个累加时刻的各衰减后的像素值，叠加所述三个衰减后的像素值得到第一累加像素值。

若在Δt时间内没有脉冲发放，则第一累加像素值为0。

与像素P位置的所述单个脉冲发放时间(t时刻)相对应地，设定第一特定量，叠加第一特定量与第一累加像素值，得到像素P位置的第一像素值。

比较第一像素值与像素阈值范围的关系，调整第一特定量。通过设定像素阈值范围和/或根据全局像素值大小进行归一化后确定像素值范围和/或根据图像理想的动态范围确定像素值范围，计算像素P的像素阈值范围。根据像素P位置对应的像素阈值范围判断所述第一像素值是否在范围内。

若所述第一像素值不在像素阈值范围内，调整第一特定量的值，得到第二特定量。

若所述第一像素值在像素阈值范围内，则第一特定量即为第二特定量。

叠加像素P位置的第一累加像素值与第二特定量，得到像素P位置的第二像素值。

依据需要，还可以根据时间上的相邻关系，对像素P位置的第二像素值进行滤波。根据像素P位置上的各像素值在时间上的相邻关系，即计算像素P位置在t时刻之前的各累加时刻的各第二像素值，得到各累加时刻对应的各第二像素值的曲线，根据所述曲线对t时刻的第二像素值进行滤波，得到滤波后的第二像素值。

所述根据时间上的相邻关系进行滤波包括：对全局所有像素位置的第二像素在时间上的相邻关系进行滤波，或只对某些像素位置上的第二像素在时间上的相邻关系进行滤波。

根据上述方法计算t时刻上所有像素位置的第二像素值，使用所有位置的第二像素值构成t时刻的图像。

所述使用所有位置的第二像素值构成t时刻的图像包括：

取同一脉冲发放时间所有像素位置的第二像素值直接恢复成图像，和/或根据所有像素位置在空间上的相邻关系，对各第二像素值进行滤波后构成图像，和/或根据所有像素位置在时空域上的相邻关系，对各第二像素值进行滤波后构成图像。

图4为使用脉冲数据恢复(生成)的高速旋转的转盘上的清晰图像。

根据本申请的实施方式，还提出一种基于脉冲信号的显示系统，如图5所示，包括：顺次连接的脉冲分析模块、动态调整模块和图像显示模块；

所述脉冲分析模块，用于分析脉冲数据，得到对应各像素位置的各脉冲序列的脉冲发放信息；

动态调整模块，用于根据脉冲发放信息确定像素阈值范围，计算各像素位置的像素值；

所述图像显示模块，用于生成图像并输出。

本申请的一种基于脉冲信号的显示方法，通过分析脉冲数据，得到各脉冲序列的脉冲发放信息，根据脉冲发放信息计算像素值，可以依据生物神经元脉冲发放机制对脉冲信号进行可视化显示，有效的利用了脉冲信号的时域特性，构成高质量的图像并输出任意连续时刻的图像。通过对脉冲信号中的发放信息(发放频率)进行计算可统计，对各像素位置的累加时长中的像素值以及整各画面的全局像素值进行计算，确定各像素位置的像素阈值范围，能够对各像素位置上的像素根据时间和空间的关系，分别设定对应的像素阈值，使各像素位置的像素阈值相对独立，能够有效提高输出图像的质量，在第一像素和像素阈值范围之间的差值较小时，调整像素阈值范围使其包含第一像素值，有利于最终生成图像的质量提升。根据像素阈值范围调整最终构成图像的像素值，能够减少图像过亮或者过暗造成的不清楚。通过对各像素位置的累加时长中的像素值进行计算，动态地调整第一特定量，能够方便后续步骤中对像素的处理。本方法适用于各种脉冲形式的数据，包括生成彩色图像。构成的图像能够作为机器学习算法以及其他图像和视频识别算法的数据源。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于脉冲信号的显示方法，其特征在于，包括：

分析单个像素位置对应的脉冲序列，得到脉冲序列的脉冲发放信息，所述脉冲发放信息包括多个脉冲发放时间；

获取单个脉冲发放时间之前的多个脉冲发放时间所对应的各像素值，将其累加作为第一累加像素值；

与所述像素位置的所述单个脉冲发放时间相对应地，设定第一特定量，叠加第一特定量与第一累加像素值，得到所述像素位置的第一像素值；

比较第一像素值与像素阈值范围的关系，调整第一特定量，得到第二特定量；

叠加第一累加像素值与第二特定量，得到所述像素位置的第二像素值。

2.如权利要求1所述的一种基于脉冲信号的显示方法，其特征在于，所述获取单个脉冲发放时间之前的多个脉冲发放时间所对应的各像素值，将其累加作为第一累加像素值，包括：

确定所述单个脉冲发放时间之前的累加时长；

获取所述累加时长中的各脉冲发放时间所对应的各像素值；

计算各像素值到达所述单个脉冲发放时间时的衰减后的各衰减值；

叠加各所述衰减值，得到第一累加像素值。

3.如权利要求2所述的一种基于脉冲信号的显示方法，其特征在于，所述获取所述累加时长中的各脉冲发放时间所对应的各像素值，包括：

若所述累加时长中无脉冲发放时间，则第一累加像素值为0。

4.如权利要求1所述的一种基于脉冲信号的显示方法，其特征在于，所述比较第一像素值与像素阈值范围的关系，调整第一特定量，得到第二特定量，包括：

若所述第一像素值不在像素阈值范围内，调整第一特定量的值，得到第二特定量；

若所述第一像素值在像素阈值范围内，则第一特定量即为第二特定量。

5.如权利要求1所述的一种基于脉冲信号的显示方法，其特征在于，所述像素阈值范围包括：设定像素阈值范围为固定值、和/或根据全局像素值大小进行归一化后确定像素阈值范围、和/或根据图像理想的动态范围确定像素阈值范围。

6.如权利要求1所述的一种基于脉冲信号的显示方法，其特征在于，所述设定第一特定量包括将其设定为固定值。

7.如权利要求2所述的一种基于脉冲信号的显示方法，其特征在于，所述各像素值是随脉冲发放时间衰减的函数，包括：按照固定比例衰减、按照固定大小衰减和/或按照函数递减部分递减进行衰减。

8.如权利要求1所述的一种基于脉冲信号的显示方法，其特征在于，所述叠加第一累加像素值与第二特定量，得到所述像素位置的第二像素值，之后还包括：根据单个像素位置上的各像素值在时间上的相邻关系，对第二像素值进行滤波。

9.如权利要求1-8中任一项所述的一种基于脉冲信号的显示方法，其特征在于，还包括取同一脉冲发放时间所有像素位置的第二像素值生成图像，包括：

取同一脉冲发放时间所有像素位置的第二像素值直接恢复成图像，和/或

根据所有像素位置在空间上的相邻关系，对各第二像素值进行滤波后构成图像，和/或

根据所有像素位置在时空域上的相邻关系，对各第二像素值进行滤波后构成图像。

10.一种基于脉冲信号的显示系统，其特征在于，包括：顺次连接的脉冲分析模块、动态调整模块和图像显示模块；

所述脉冲分析模块，用于分析脉冲数据，得到对应各像素位置的各脉冲序列的脉冲发放信息；

动态调整模块，用于根据脉冲发放信息确定像素阈值范围，计算各像素位置的像素值；

所述图像显示模块，用于生成图像并输出。