CN111667416B - 图像处理方法、装置、学习模型制造方法和图像处理系统 - Google Patents

Abstract

公开了图像处理方法、装置、学习模型制造方法和图像处理系统。一种图像处理方法，包括：第一步骤，被配置成获得第一真实图像和第一训练图像；第二步骤，被配置成通过将相互相关的噪声施加到第一真实图像和第一训练图像来生成第二真实图像和第二训练图像；以及第三步骤，被配置成使神经网络基于第二真实图像和第二训练图像进行学习。

Description

图像处理方法、装置、学习模型制造方法和图像处理系统

技术领域

本发明一般涉及被配置成抑制与图像处理相关联的图像噪声变化的图像处理方法。

背景技术

日本专利公开No.(“JP”)2011-123589公开了一种方法，该方法通过使用基于维纳(Wiener)滤波器的处理校正由像差引起的模糊来从捕获的图像中获得高分辨率图像。

然而，JP 2011-123589中公开的方法由于不能区分对象与噪声，所以随着分辨率和对比度变高而放大图像噪声。

发明内容

本发明提供了可以抑制与图像处理相关联的图像噪声变化的图像处理方法等。

根据本发明的一个方面的图像处理方法包括：第一步骤，被配置成获得第一真实图像和第一训练图像；第二步骤，被配置成通过将相互相关的噪声施加到第一真实图像和第一训练图像来生成第二真实图像和第二训练图像；以及第三步骤，被配置成使神经网络基于第二真实图像和第二训练图像进行学习。

遵循上述图像处理方法的制造已学习模型的方法构成本发明的另一方面。

作为本发明的一个方面的图像处理方法包括以下步骤：将捕获的图像输入到神经网络，并且生成估计的图像，对该估计的图像执行了分辨率增强处理、对比度增强处理和亮度改善处理中的至少一个，并且对基于估计的图像的图像执行去噪处理。

被配置成执行上述图像处理方法的图像处理装置也构成本发明的另一方面。

通过以下参考附图对示例性实施例的描述，本发明的更多特征将变得清楚。

附图说明

图1是示出根据第一实施例的神经网络学习的流程的图。

图2是根据第一实施例的图像处理系统的框图。

图3是根据第一实施例的图像处理系统的外部视图。

图4是与根据第一实施例的权重学习有关的流程图。

图5是与根据第一实施例的输出图像生成有关的流程图。

图6是根据第二实施例的图像处理系统的框图。

图7是根据第二实施例的图像处理系统的外部视图。

图8是与根据第二实施例的权重学习有关的流程图。

图9是示出根据第二实施例的神经网络学习的流程的图。

图10是与根据第二实施例的输出图像的生成有关的流程图。

图11是示出在生成根据第二实施例的输出图像时噪声图像的生成的图。

图12是根据第三实施例的图像处理系统的框图。

图13是与根据第三实施例的输出图像的生成有关的流程图。。

具体实施方式

现在参考附图，将给出根据本发明的实施例的详细描述。各附图中的对应元件将由相同的附图标记表示，并且将省略其描述。

首先，在具体描述实施例之前，将给出本发明的要点。本发明使用用于图像处理的多层神经网络，以便抑制与图像处理相关联的图像噪声变化(分辨率增强、对比度增强、亮度改善等)。其中权重(诸如滤波器和偏置)被用在多层神经网络中的权重学习将相互相关的噪声施加到第一真实图像和第一训练图像，并生成第二真实图像和第二训练图像。相互相关的噪声例如是基于相同的随机数。例如，当要执行的图像处理是分辨率增强时，第一训练图像是低分辨率图像，并且第一真实图像是高分辨率图像。第二训练图像被输入到多层神经网络中，并且权重被优化以便在输出与第二真实图像之间的误差小。在这种情况下，第二真实图像和第二训练图像具有例如基于相同的随机数的相互相关的噪声。因此，神经网络可以在抑制噪声变化的同时学习用于分辨率增强的权重。即，可以生成能够在抑制噪声变化的同时增强分辨率的已学习模型。

虽然已经以分辨率增强为例进行了描述，但是以下实施例也可以应用于诸如对比度增强、亮度改善、散焦模糊转换和照明转换之类的图像处理，同时抑制噪声变化。

第一实施例

现在，将描述根据本发明的第一实施例的图像处理系统。该实施例使多层神经网络学习并执行模糊校正。然而，本发明不限于模糊校正，而是可应用于其它图像处理。

图2是根据该实施例的图像处理系统100的框图。图3是图像处理系统100的外部视图。图像处理系统100包括学习装置(图像处理装置)101、成像装置102、图像估计装置(图像处理装置)103、显示装置104、记录介质105、输出装置106和网络107。学习装置101包括存储器101a、获得器101b、生成器101c和更新器(学习器)101d。

成像装置102包括光学系统102a和图像传感器102b。光学系统102a会聚从对象空间进入成像装置102的光。图像传感器102b接收(光电转换)经由光学系统102a形成的光学图像(对象图像)，并获得捕获的图像。图像传感器102b例如是CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器。由成像装置102获得的捕获的图像包括由光学系统102a的像差和衍射引起的模糊以及由图像传感器102b引起的噪声。

图像估计装置103包括存储器103a、获得器103b、模糊校正器(估计器)103c和去噪器103d。图像估计装置103获得捕获的图像、在抑制噪声变化的同时执行模糊校正，并且生成估计的图像。模糊校正使用多层神经网络，并且权重信息被从存储器103a中读取。在学习装置101中学习了权重(权重信息)，并且图像估计装置103预先经由网络107从存储器101a中读出权重信息，并将权重信息记录在存储器103a上。要记录的权重信息可以是权重值本身，或者可以是编码格式。稍后将描述与权重学习和使用权重的去模糊处理有关的细节。图像估计装置103通过对估计的图像校正模糊并调整去噪(去噪处理)的强度来生成输出图像。

输出图像被输出到显示装置104、记录介质105和输出装置106中的至少一个。显示装置104例如是液晶显示器或投影仪。用户可以经由显示装置104在检查正被处理的图像的同时执行编辑工作等。记录介质105例如是半导体存储器、硬盘驱动器、网络上的服务器等。输出装置106是打印机等。图像估计装置103具有根据需要执行显影处理或其它图像处理的功能。

现在参考图1和图4，将给出在该实施例中由学习装置101执行的权重(权重信息)学习方法(制造已学习模型的方法)的描述。图1示出了神经网络的权重学习的流程。图4是与权重学习有关的流程图。主要地，学习装置101的获得器101b、生成器101c或更新器101d执行图4中的每个步骤。

首先，在图4的步骤S101中，获得器101b获得真实补片(第一真实图像)和训练补片(第一训练图像)。在该实施例中，真实补片是具有由光学系统102b的像差和衍射引起的少量模糊的高分辨率(高质量)图像。具有与真实补片的捕获的对象相同的捕获的对象的训练补片是具有由光学系统102b的像差和衍射引起的大量模糊的低分辨率(低质量)图像。即，真实补片是具有相对少量的模糊的图像，并且训练补片是具有相对大量的模糊的图像。

补片是指具有预定数量的像素(例如，64×64像素)的图像。真实补片和训练补片的像素数可以不必彼此相等。该实施例将小批量学习用于多层神经网络的权重学习。步骤S101获得多组真实补片和训练补片。然而，本发明不限于此，并且可以使用在线学习或批量学习。

该实施例使用以下方法获得真实补片和训练补片，但是本发明不限于此。该实施例使用在存储器101a上作为对象记录的多个原始图像来执行成像模拟，并且生成基本上既没有像差也没有衍射的多个高分辨率捕获的图像以及具有像差和衍射的多个低分辨率捕获的图像。通过从多个高分辨率捕获的图像和低分辨率捕获的图像中的每个中提取在相同位置处的部分区域来获得多个真实补片和训练补片。在该实施例中，原始图像是未显影的RAW(原始)图像，并且真实补片和训练补片也是RAW图像。然而，本发明不限于此，并且可以使用显影的图像。部分区域的位置指示部分区域的中心。多个原始图像是具有各种对象的图像，即，具有各种强度和方向的边缘、纹理、渐变、平坦部分等的图像。原始图像可以是捕获的图像或者可以是由CG(计算机图形)生成的图像。

原始图像可以具有比图像传感器102b的亮度饱和度值高的信号值。当成像装置102在特定曝光条件下执行成像时，甚至实际对象也可能不落在亮度饱和度值之内。通过缩小原始图像并且在图像传感器102b的亮度饱和值处剪切信号来生成高分辨率捕获的图像。具体地，当捕获的图像被用作原始图像时，该捕获的图像已由于像差和衍射而被模糊了，并且缩小可以减小模糊效果并提供高分辨率(高质量)图像。如果原始图像充分地包含高频分量，那么无法进行缩小。通过以与高分辨率捕获的图像的缩小相同的方式缩小、通过施加由光学系统102a的像差和衍射引起的模糊并且通过在亮度饱和值处剪切图像来生成低分辨率捕获的图像。光学系统102a取决于多个透镜状态(变焦、光圈和聚焦的状态)、像高和方位角而具有不同的像差和不同的衍射。因此，通过对原始图像施加由不同的透镜状态、像高和方位角的像差和衍射引起的模糊来生成多个低分辨率捕获的图像。

缩小和模糊施加的次序可以颠倒。当模糊被首先施加时，有必要考虑到缩小而使模糊的采样率变高。在PSF(点扩展函数)的情况下，可以使空间中的采样点更精细，并且在OTF(光传递函数)的情况下，可以使最大频率更高。如果有必要，那么包括在成像装置101中的诸如光学低通滤波器之类的组件可以被添加到要施加的模糊。在低分辨率捕获的图像的生成期间要施加的模糊不包括畸变。如果畸变大，那么对象的位置改变，并且对象在真实补片与训练补片之间可能有所不同。因此，该实施例在神经网络学习期间不校正畸变。在模糊校正之后，使用双线性插值、双三次插值等单独地校正畸变。

接下来，从生成的高分辨率捕获的图像中提取指定像素尺寸的部分区域，并将其用作真实补片。在低分辨率捕获的图像中从与提取出的位置相同的位置提取部分区域，并将其用作训练补片。为了使用小批量学习，该实施例从多个生成的高分辨率捕获的图像和生成的低分辨率捕获的图像中获得多个真实补片和训练补片。在实际成像中，在图像传感器102b中发生噪声，但是在稍后描述的步骤S103中执行噪声施加。然而，原始图像可能具有噪声分量。在这种情况下，可以认为是通过假设原始图像中包括噪声的对象是对象来生成真实补片和训练补片。因此，原始图像中的噪声并不特别重要。

接下来，在步骤S102中，生成器101c生成随机数序列。生成器101c基于生成的随机数序列将噪声施加到真实补片和训练补片。使用与图像传感器102b的噪声特性相对应的随机数生成器来生成随机数序列。该实施例使用正常随机数来生成随机数序列，但是本发明不限于此，并且可以使用利用统一随机数或无理数的伪随机数生成器。随机数序列中的元素数量与真实补片和训练补片的像素数中的较大者相同。即，由随机数生成的一个数值被指派给真实补片和训练补片的每个像素。由于除了在极低可能性的情况之外并非随机数序列的所有元素都具有相同的数值，因此不同的数值被指派给真实补片(和训练补片)的至少两个像素。当真实补片和训练补片具有多个通道时，为每个通道指派一个数值。由于获得了多个真实补片和训练补片，因此该实施例生成了对应数量的不同的随机数序列。步骤S101和步骤S102的次序可以颠倒。

在步骤S103中，生成器101c生成噪声真实补片(第二真实图像)和噪声训练补片(第二训练图像)。图1示出了从步骤S103到步骤S105的流程。生成器101c将基于随机数序列203的噪声施加到真实补片201和训练补片202，并且生成噪声真实补片211和噪声训练补片212。以下表达式(1)被用于施加噪声。

s_noise(x,y)＝s_org(x,y)+σ(x,y)r(x,y) (1)

在表达式(1)中，(x,y)是二维空间坐标，s_org(x,y)是真实补片201(或训练补片202)的在(x,y)处的像素的信号值。r(x,y)是随机数序列203在(x,y)处的数值，并且s_noise(x,y)是噪声真实补片211(或噪声训练补片212)的在(x,y)处的像素的信号值。σ(x,y)表示噪声的标准偏差(σ²(x,y)是离差)并且由以下表达式(2)给出。

在表达式(2)中，s₀是光学黑色(黑电平处的图像)的信号值，S_ISO是ISO感光度，并且k₁和k₀是比例系数和用于在ISO感光度为100处的信号值的常量。k₁指示散粒噪声的影响，并且k₀指示暗电流和读取噪声的影响。图像传感器102b的噪声特性确定k₁和k₀的值。根据相应信号值的噪声基于共同的随机数被施加到真实补片201和训练补片202的每个对应的像素(在下文中被称为对应的像素)，并且生成噪声真实补片211和噪声训练补片212。对应的像素是在对象空间中对相同位置进行成像的像素。可替代地，对应的像素是在真实补片201和训练补片202中的对应位置处的像素。通过类似地将噪声施加到在步骤S101中获得的多个真实补片201和训练补片202来生成多个噪声真实补片211和噪声训练补片212。当图像传感器102b支持各种ISO感光度时，不同ISO感光度的噪声被施加到多个真实补片201和训练补片202。该实施例基于真实补片201和训练补片202的每个信号值施加噪声，但是可以将相同的噪声施加到两者。由于捕获的图像与训练补片202相对应，因此使用表达式(1)为训练补片202计算噪声σ(x,y)·r(x,y)，并且噪声σ(x,y)·r(x,y)被施加到真实补片201。

接下来，在步骤S104中，生成器101c将噪声训练补片(第二训练图像)212输入到多层神经网络中，并生成估计的补片(估计的图像)213。估计的补片213是噪声变化被抑制并且模糊被校正的噪声训练补片212，并且可以与噪声真实补片(第二真实图像)211一致。该实施例使用图1中所示的神经网络配置，但是本发明不限于此。在图1中，CN表示卷积层，并且DC表示去卷积层。CN和DC中的每个计算输入和滤波器的卷积以及与偏置之和，并使用激活函数对结果执行非线性变换。滤波器的每个分量和偏置的初始值是任意的，并且在该实施例中由随机数确定。作为激活函数，例如，可以使用ReLU(修正线性单元)或S形函数。除最后一层外，每层的输出都被称为特征图。跳过连接222和223组合从不连续的层输出的特征图。特征图的组合可以是每个元素之和，或者可以在通道方向上连接(级联)。该实施例采用每个元素的和。跳过连接221通过取噪声训练补片212与噪声真实补片211的估计的残差与噪声训练补片212之和来生成估计的补片213。针对多个噪声训练补片212中的每个生成估计的补片213。

接下来，在步骤S105中，更新器101d基于在估计的补片213与噪声真实补片(第二真实图像)211之间的误差来更新用于神经网络的权重(权重信息)。权重包括每层的偏置和滤波器分量。使用反向传播方法来更新权重，但是本发明不限于此。由于是小批量学习，因此计算多个噪声真实补片211与对应的估计的补片213的误差，并且权重被更新。例如，可以使用L2范数或L1范数作为误差函数(损失函数)。

在步骤S106中，更新器101d确定权重学习是否完成了。可以基于学习(权重更新)的迭代次数是否达到了指定值或者更新期间的权重变化量是否小于指定值来确定完成。如果确定权重学习尚未完成，那么处理返回到步骤S101以便重新获得多个真实补片和训练补片。另一方面，如果确定完成了权重学习，那么学习装置101(更新器101d)终止学习，并将权重信息记录在存储器101a上。使用施加了基于相同随机数的噪声的噪声训练补片和噪声真实补片来学习模糊校正，神经网络可以通过分离对象与施加的噪声来学习，并且可以在抑制噪声变化的同时仅校正对象模糊。

现在参考图5，将给出由该实施例中的图像估计装置103生成的输出图像的描述。图5是与输出图像的生成有关的流程图。主要地，图像估计装置103中的获得器103b、模糊校正器103c或去噪器103d执行图5中的每个步骤。

在步骤S201中，获得器103b获得关于捕获的图像和权重的信息。在该实施例中，捕获的图像以及学习是未显影的RAW图像，并且从成像装置102发送。权重信息已从学习装置101发送并记录在存储器103a上。

接下来，在步骤S202中，模糊校正器103c将捕获的图像输入到施加了获得的权重的多层神经网络中，并且生成估计的图像。估计的图像是从捕获的图像获得的图像，在该估计的图像中在噪声变化被抑制的同时由光学系统102a的像差和衍射引起的模糊被校正。因此，捕获的图像中的噪声量等同于估计的图像中的噪声量。具有与图1所示相同的配置的神经网络生成估计的图像。当捕获的图像被输入到神经网络中时，无需将捕获的图像切成与用于学习的训练补片相同的尺寸。

在步骤S203中，模糊校正器103c基于用户的选择来调整模糊校正的强度。使用由以下表达式(3)表示的捕获的图像I_org和估计的图像I_inf的加权平均值来调整模糊校正的强度。

I_out＝(1-α)I_org+αI_inf (3)

在表达式(3)中，I_out是模糊校正的强度被调整的输出图像，并且权重α基于用户的选择而取从0到1的任意值。权重α越接近1，模糊校正强度越大。由于与捕获的图像I_org相比在估计的图像I_inf中噪声变化被抑制，因此作为两者的加权平均值的输出图像I_out的噪声变化被抑制。

在步骤S204中，去噪器103d基于用户的选择来调整用于输出图像的去噪强度。去噪方法不限于该实施例中的方法。作为去噪方法，例如，可以使用利用双边滤波器、NLM(非局部均值)滤波器、BM3D(块匹配和3D滤波)的方法或使用多层神经网络的方法。可以基于捕获的图像的光学黑色信号值来确定用于确定去噪强度的参数(去噪参数)。可以使用光学黑色信号值来估计存在于捕获的图像中的噪声量。由于本发明可以抑制与模糊校正相关联的噪声变化，因此捕获的图像的噪声量与估计的图像的噪声量基本上彼此一致。因此，可以通过基于关于捕获的图像的光学黑色的信息确定的去噪参数来确定输出图像的去噪。在对输出图像执行的去噪期间使用的去噪参数可以与在对捕获的图像进行去噪期间使用的参数相同。由于输出图像是RAW图像，因此根据需要执行显影处理。

根据上述配置，由于去模糊和去噪被分开处理，因此用户可以单独地设置相应的强度并按预期执行编辑。如果噪声训练补片被输入到神经网络中并且使用在估计的补片与不具有噪声的真实补片之间的误差来执行学习，那么神经网络学习模糊校正和去噪两者。如果在步骤S203中在该神经网络中去模糊强度被调整，那么去噪强度也同时改变。即，在这种情况下，去模糊和去噪强度可能无法被单独地设置，并且用户可能无法按预期执行编辑。因此，实现具有抑制的噪声变化的模糊校正并且在模糊校正之后对图像分开执行去噪的配置可以确保编辑的灵活性并且支持用户按预期的编辑。

现在将给出如果基于不同随机数的噪声被施加到真实补片和训练补片那么估计的图像如何改变的描述。在这种情况下，噪声真实补片和噪声训练补片中的噪声彼此不相关。神经网络被训练以将噪声训练补片中的噪声分量改变为不同的噪声。对于多个补片组(噪声真实补片和噪声训练补片的组)中的每个补片组，噪声随机地改变。图1中所示的CNN(卷积神经网络)学习随机变化的平均值。即，通过学习多个补片组来对要输出的随机噪声求平均，结果，估计的图像为去噪图像。因此，在这种情况下，如上所述，编辑灵活性对于用户而言降低了。

虽然该实施例描述了由像差和衍射引起的模糊的校正，但是本发明对于由其它因素(散焦、抖动等)引起的模糊同样有效。在学习中，通过将要施加于训练补片的模糊改变为用于散焦，抖动等的模糊，在噪声变化被抑制的同时由散焦等引起的模糊可以被校正。

除了去模糊以外，本发明还可应用于使分辨率更高的上采样。现在将以一维上采样率为2为例给出进行学习的详细描述。通过以与模糊校正相同的方式基于随机数序列将噪声施加到真实补片来获得噪声真实补片。随后，通过从真实补片中每两个像素采样一个像素(在一维中下采样到1/2)来生成训练补片。类似地，随机数序列被交替采样，并且通过基于下采样的随机数序列将噪声施加到训练补片来获得噪声训练补片。在先前的上采样中，生成的噪声训练补片被直接原样输入到神经网络中，以便计算误差并学习权重。在先前的上采样中，双线性插值等对噪声训练补片执行上采样，并且噪声训练补片被输入到神经网络中并执行误差计算和权重学习。

本发明可应用于诸如外围光量校正之类的亮度改善处理。此时，神经网络按如下学习。对于一个相同的原始图像，生成通过根据外围光衰减来减小亮度而生成的捕获的等效图像以及没有亮度减小(或者比捕获的等效图像的亮度的减小少)的理想等效图像。从多个生成的捕获的等效图像和生成的理想等效图像中提取多个训练补片和真实补片，并且以与第一实施例的学习相同的方式进行学习即使在亮度改善处理期间也可以抑制噪声变化。

本发明可应用于散焦模糊转换。散焦模糊转换是将捕获的图像中的散焦模糊转换成用户期望的形状和分布的处理。捕获的图像中的散焦模糊可以包含由渐晕引起的碎裂、双线模糊、由非球面透镜的切割痕迹引起的环形图案、由折反射光学系统引起的遮蔽的中心等。神经网络将这些散焦模糊转换成用户期望的形状和分布(例如，平面圆形或正态分布函数)。该神经网络按如下学习。对于相同的原始图像，针对多个散焦量中的每个，生成通过施加在捕获的图像中生成的散焦模糊而获得的捕获等效图像和通过施加用户期望的散焦模糊而获得的理想等效图像。然而，由于要求散焦模糊转换不影响在对焦距离处的对象，因此也生成具有零散焦量的理想等效图像和捕获的等效图像。通过从生成的多个捕获的等效图像和理想等效图像中的每个提取多个训练补片和真实补片并且通过以与第一实施例的学习相同的方式进行学习，即使在散焦模糊转换期间噪声变化也可以被抑制。

本发明可应用于照明转换。照明转换是指将捕获的图像的照明改变成不同的照明的处理。神经网络通过以下方法学习照明转换。通过在捕获的图像中假设的光源环境下渲染相同法线图的原始图像来生成捕获的等效图像。类似地，通过在由用户期望的光源环境下渲染法线图来生成理想等效图像。分别从捕获的等效图像和理想等效图像中提取多个训练补片和真实补片并且以与第一实施例的学习相同的方式进行学习，即使在照明转换期间也可以抑制噪声变化。

本发明还可应用于对比度改善处理。这将在第二实施例中具体描述。

该实施例描述了学习装置101和图像估计装置103是分开的构件的示例，但是本发明不限于该实施例。学习装置101和图像估计装置103可以彼此集成。即，可以在一个集成装置中执行学习(图4所示的处理)和估计(图5所示的处理)。

根据以上配置，该实施例可以提供抑制与图像处理相关联的图像噪声变化的图像处理系统。

第二实施例

接下来，描述根据本发明的第二实施例的图像处理系统。该实施例使多层神经网络学习并执行除雾，这使对比度更高。然而，该实施例与第一实施例一样可适用于其它图像处理。

图6是根据该实施例的图像处理系统300的框图。图7是图像处理系统300的外部视图。图像处理系统300包括经由网络303连接的学习装置(图像处理装置)301和成像装置302。学习装置301包括存储器301、获得器312、生成器313和更新器(学习器)314，并且学习权重(权重信息)以在神经网络中执行除雾。成像装置302通过对对象空间进行成像来获得捕获的图像，并使用读取的权重信息从捕获的图像中去除雾。将给出由学习装置301执行的权重学习和由成像装置302执行的除雾的详细描述。成像装置302包括光学系统321和图像传感器322。由图像传感器322获得的捕获的图像中的对象的对比度由于对象空间中存在的雾而减小。图像估计器323包括获得器323a和估计器323b，并且使用记录在存储器324上的权重信息对捕获的图像执行除雾。

权重信息由学习装置301预先学习，并且被存储在存储器311中。成像装置302经由网络303从存储器311读出权重信息，并将该权重信息记录在存储器324中。记录介质325记录执行了除雾的捕获的图像(输出图像)。当用户发出关于输出图像的显示单元的指令时，记录的输出图像被读出并显示在显示单元326上。已记录在记录介质325上的捕获的图像可以被读出，并且图像估计器323可以执行除雾。系统控制器327执行以上控制。

现在参考图8和图9，将给出在该实施例中由学习装置301进行的权重学习(权重信息)的描述。图8示出了神经网络中权重学习的流程。图9是与权重学习有关的流程图。主要地，学习装置301中的获得器312、生成器313或更新器314执行图8中的每个步骤。

第一实施例将噪声施加到具有预定数量像素的补片。相比之下，该实施例将噪声施加到具有比补片大的尺寸的图像，并从中提取补片。该实施例不仅将噪声训练补片(具有雾和噪声的补片)而且还将噪声参考补片(表示用于特定信号值的噪声量的补片)输入到神经网络。该实施例通过噪声参考补片将噪声量直接输入到神经网络中，并且增大了抗噪声的稳健性。

首先，在图8的步骤S301中，获得器312获取无雾图像(第一真实图像)401和有雾图像(第一训练图像)402。与第一实施例一样，使用模拟，该实施例通过将各种浓度的雾施加到记录在存储器311上的一个或多个原始图像来生成一组或多组无雾图像401和有雾图像402。有雾图像402是由雾引起的散射光而使得对比度低于无雾图像401的发白图像。无雾图像和有雾图像是未显影的RAW图像。

在步骤S302中，生成器313生成随机数序列。该实施例针对一组无雾图像401和有雾图像402生成两个随机数序列。随后的步骤基于第一随机数序列404将噪声施加到无雾图像401和有雾图像402，并且基于第二随机数序列405生成噪声图像413。第一随机数序列404和第二随机数序列405具有彼此不同的数值。第一随机数序列404的元素数与无雾图像401或有雾图像402中的像素数一致。第二随机数序列405的元素数为N₀，并且不必与第一随机数序列404的元素数一致。当存在多组无雾图像401和有雾图像402时，针对每个组生成第一随机数序列404和第二随机数序列405。每个组的第一随机数序列404具有不同的数值。这同样适用于第二随机数序列405。

在步骤S303中，生成器313生成具有噪声的无雾图像(第二真实图像)411、具有噪声的有雾图像(第二训练图像)412以及噪声图像413。通过将基于第一随机数序列404的噪声施加到无雾图像401来生成具有噪声的无雾图像411。通过以相同方式将噪声施加到有雾图像402来生成具有噪声的有雾图像412。施加噪声的方法与第一实施例的方法相同。基于相同随机数的噪声被施加到在对象空间中捕获了相同位置的有雾图像402和无雾图像401的像素。通过将基于第二随机数序列405的噪声施加到特定信号值来生成噪声图像413。虽然对特定信号值没有特别限制，但是该实施例使用图像传感器322中的光学黑色的信号值s₀。基于第二随机数序列405的噪声被施加到像素数为N₀并且信号值为s₀的图像403。噪声图像413是施加了噪声的图像被布置成使得该图像具有与第二训练图像412相同的像素数的图像。施加到噪声图像413的噪声的标准偏差在与生成了第二训练图像412相同的条件下被确定。因此，在噪声图像413与第二训练图像412中的信号值为s₀的像素之间的噪声标准偏差相同。当存在多组无雾图像401和有雾图像402时，对每个组执行相同的处理。

随后，在步骤S304中，生成器313提取多个噪声真实补片421、噪声训练补片422和噪声参考补片423。从第二真实图像411中提取噪声真实补片421，从第二训练图像412中提取噪声训练补片422，并且从噪声图像413中提取噪声参考补片423。噪声真实补片421和噪声训练补片422中的每个都包括对对象空间中的相同位置进行成像的区域，但是像素的数量可以不必彼此相等。噪声训练补片422和噪声参考补片423分别是在第二训练图像412和噪声图像413中的相同位置处的部分区域，并且两者都具有N₀的像素数。针对第二真实图像411和第二训练图像412的每个组，提取多个补片组(每个补片组包括噪声真实补片421、噪声训练补片422和噪声参考补片423)。

在步骤S305中，获得器312选择用于在小批量学习中使用的补片组。在该实施例中，获得器312从在步骤S304中提取出的多个补片组中选择两个或更多个补片组。在步骤S306中，生成器313将来自所选择的补片组的噪声训练补片422和噪声参考补片423输入到多层神经网络，并且生成估计的补片424。噪声训练补片422和噪声参考补片423在通道方向上连接并且被输入到多层神经网络中。跳过连接432和433与第一实施例的那些相同。跳过连接431计算最终层的输出与噪声训练补片422的每个元素之和。针对多个所选择的补片组中的每个，执行相同的处理。

在步骤S307中，更新器314根据在估计的补片424与噪声真实补片421之间的误差来更新神经网络的权重。接下来，在步骤S308中，更新器314确定学习是否完成了。如果确定学习未完成，那么处理返回到步骤305，并且重新选择多个补片组。如果确定学习完成了，那么更新器314将权重信息记录在存储器311上。

现在参考图10，将给出由根据该实施例的图像估计器323执行的捕获的图像的除雾处理的描述。图10是与除雾处理(由图像估计器323进行的输出图像生成)有关的流程图。主要地，图像估计器323中的获得器323a或估计器323b执行图10中的每个步骤。

首先，在步骤S401中，获得器323a获得关于捕获的图像和权重的信息。在步骤S402中，获得器323a从捕获的图像的光学黑色(黑电平图像)提取部分区域，并生成噪声图像。将参考图11对此进行描述。图11示出了在生成根据该实施例的输出图像时噪声图像的生成。捕获的图像501是未显影的RAW图像，并且具有图像区域502和光学黑色503。获得器323a从光学黑色503提取部分区域504。每个部分区域504的像素数为N₀，并且部分区域504被布置为生成噪声图像505。噪声图像505具有与图像区域502的像素数相同的像素数。图像区域502和噪声图像505在通道方向上连接并且被输入到神经网络中。然而，本发明不限于此。例如，噪声图像505可以具有与捕获的图像501的像素数相同的像素数，并且两者可以连接并且被输入到神经网络中。

在图10的步骤S403中，估计器323b通过使用学习到的权重利用神经网络连接图像区域和噪声图像来生成用于输入的估计的图像。该实施例不调整除雾强度，而是原样使用估计的图像作为输出图像。以上处理可以在噪声变化被抑制的同时高精确度地估计雾被去除的高对比度图像。在通过诸如雾气之类的另一散射体进行成像时，相同的处理可以获得相同的效果。该实施例可以提供抑制与图像处理相关联的图像噪声变化的图像处理系统。

第三实施例

现在将给出根据本发明的第三实施例的图像处理系统的描述。与第一实施例和第二实施例不同，根据该实施例的图像处理系统包括处理装置(计算机)，该处理装置将作为图像处理目标的捕获的图像发送到图像估计装置，并且从图像估计装置接收经处理的输出图像。

图12是根据该实施例的图像处理系统600的框图。图像处理系统600包括学习装置601、成像装置602、图像估计装置603和处理装置(计算机)604。学习装置601和图像估计装置603例如是服务器。计算机604例如是用户终端(个人计算机或智能电话)。计算机604经由网络605连接到图像估计装置603。图像估计装置603经由网络606连接到学习装置601。即，计算机604和图像估计装置603可以彼此通信，并且图像估计装置603和学习装置601可以彼此通信。计算机604与第一装置相对应，并且图像估计装置603与第二装置相对应。学习装置601的配置与第一实施例中的学习装置101的配置相同，并且将省略其描述。成像装置602的配置与第一实施例中的成像装置102的配置相同，并且将省略其描述。

图像估计装置603包括存储器603a、获得器603b、模糊校正器603c、去噪器603d和通信器(接收器)603e。存储器603a、获得器603b、模糊校正器603c和去噪器603d分别与第一实施例中的图像估计装置103中的存储器103a、获得器103b、模糊校正器103c和去噪器103d相对应。通信器603e具有接收从计算机604发送的请求的功能，以及将由图像估计装置603生成的输出图像发送到计算机604的功能。

计算机604包括通信器(发送器)604a、显示单元604b、图像处理器604c和记录器604d。通信器604a具有将请求发送到图像估计装置603用于使图像估计装置603处理捕获的图像的功能，以及接收由图像估计装置603处理的输出图像的功能。显示单元604b具有显示各种信息的功能。显示在显示单元604b上的信息例如包括发送到图像估计装置603的捕获的图像以及从图像估计装置603接收的输出图像。图像处理器604c具有对从图像估计装置603接收的输出图像执行进一步的图像处理的功能。记录器604d记录从成像装置602获得的捕获的图像、从图像估计装置603接收的输出图像等。

接下来，将参考图13描述根据该实施例的图像处理。该实施例中的图像处理等同于第一实施例中描述的去模糊处理(图5)。图13是与输出图像的生成有关的流程图。当用户经由计算机604发出开始图像处理的指令时，图13中所示的图像处理开始。将描述计算机604的操作。

在步骤S701中，计算机604向图像估计装置603发送处理捕获的图像的请求。将要处理的捕获的图像发送到图像估计装置603的方法并不重要。例如，捕获的图像可以与步骤S701同时被上传到图像估计装置603，或者可以在步骤S701之前被上传到图像估计装置603。捕获的图像可以是记录在与图像估计装置603不同的服务器上的图像。在步骤S701中，计算机604可以将用于验证用户的ID信息等与处理捕获的图像的请求一起发送。

在步骤S702中，计算机604接收在图像估计装置603中生成的输出图像。与第一实施例类似，输出图像是通过对捕获的图像去模糊而获得的图像。

接下来，将描述图像估计装置603的操作。在步骤S801中，图像估计装置603从计算机604接收处理捕获的图像的请求。图像估计装置603确定指示了处理(去模糊)捕获的图像，并且在步骤S802和后续步骤中对其进行处理。

在步骤S802中，图像估计装置603获得权重信息。权重信息是使用与第一实施例相同的方法(图4)学习到的信息(已学习模型)。图像估计装置603可以从学习装置601获得权重信息，或者可以获得已预先从学习装置601获取并记录在存储器603a中的权重信息。步骤S803至步骤S805与第一实施例的步骤S202至步骤S204相同。在步骤S806中，图像估计装置603将输出图像发送到计算机604。

虽然该实施例描述了第一实施例的去模糊处理，但是本发明类似地可应用于第二实施例的除雾处理(图10)。在该实施例中，描述了图像估计装置603同时调整去模糊和去噪(噪声减小)强度的示例，但是计算机604c中的图像处理器604c也可以对其进行调整。当图像估计装置603如该实施例中那样执行去噪处理时，图像估计装置603可以承担去噪处理的处理负荷，并且可以减小计算机604上所需的处理能力。当计算机604中的图像处理器604c执行去噪处理时，用户不需要在每次执行去噪处理时都操作以与图像估计装置603通信。

如上所述，如在该实施例中那样，可通信地连接到图像估计装置603的计算机604可以被配置成控制图像估计装置603。

如上所述，在每个实施例中，图像处理装置(学习装置101和301)包括获得器(获得器101b和312)、生成器(生成器101c和313)以及学习器(更新器101d和314)。在第一步骤中，获得器获得第一真实图像和第一训练图像。在第二步骤中，生成器通过将相互相关的噪声施加到第一真实图像和第一训练图像来生成第二真实图像和第二训练图像。在第三步骤中，学习器基于第二真实图像和第二训练图像使多层神经网络进行学习。

第二步骤可以通过将相关的噪声分别施加到第一真实图像和第一训练图像中的每个对应像素来生成第二真实图像和第二训练图像。对应像素可以是对第一真实图像和第一训练图像的每个中的对象空间中的相同位置进行成像的图像。对应像素可以是在第一真实图像和第一训练图像中的相同位置处的像素。

噪声可以是基于相同的随机数。对于第一真实图像中的至少两个像素，随机数可以具有不同的值。在噪声当中，可以基于第一真实图像中的像素的信号值来确定施加到第一真实图像的噪声，并且在噪声当中，可以基于第一训练图像中的像素的信号值来确定施加到第一训练图像的噪声。噪声的离差可以包括与第一真实图像和第一训练图像的每个中的像素的信号值成比例的比例分量，以及常数分量。

给予第一真实图像和第一训练图像的噪声可以相同。可以基于第一训练图像中的像素的信号值来确定噪声。学习器可以将第二训练图像的至少一部分和基于与所述噪声不同并基于所述噪声生成的噪声生成的噪声参考补片输入到多层神经网络。学习器将输出的估计的补片与第二真实图像的至少一部分进行比较。

第一真实图像和第一训练图像中的每个可以是通过对相同的原始图像执行不同的处理而生成的(通过模拟创建的)图像。第一训练图像中的分辨率、对比度和亮度的值中的至少一个可以低于第一真实图像中的分辨率、对比度和亮度的值。第一真实图像和第一训练图像可以是基于相同原始图像生成的图像。第一训练图像是对原始图像执行了下采样处理、模糊处理、对比度减小处理和亮度减小处理中的至少一个的图像。学习器可以使多层神经网络进行学习，使得多层神经网络具备有上采样处理、去模糊处理、对比度改善处理和亮度改善处理中的至少一个功能。第一真实图像和第一训练图像中的每个可以是通过对相同原始图像的至少一部分施加不同的模糊而生成的图像。第一真实图像和第一训练图像可以是通过在不同光源环境下渲染相同法线图而生成的图像。

在每个实施例中，图像处理装置(图像估计装置103和图像估计器323)包括估计器(模糊校正器103c和估计器323b)和处理器(去噪器103d和估计器323b)。估计器将捕获的图像输入到多层神经网络，并且生成执行了分辨率增强处理、对比度改善处理和亮度改善处理中的至少一个的估计的图像。处理器对基于估计的图像的图像执行去噪处理。捕获的图像中的噪声量和估计的图像中的噪声量可以基本相同。在本文中，“基本相同”不仅指示严格意义上噪声量相同的情况，而且还指示噪声量被评估为基本相同(等同)的情况。多层神经网络可以是基于使用学习方法学习到的已学习模型，该学习方法包括第一步骤、第二步骤和第三步骤。

在每个实施例中，图像处理系统包括第一装置和与第一装置可通信的第二装置。第一装置具有被配置成发送使第二装置处理捕获的图像的请求的发送器。第二装置包括：接收器，被配置成接收由发送器发送的请求；以及估计器，被配置成将捕获的图像输入到多层神经网络，并且被配置成生成估计的图像，对该估计的图像执行分辨率增强处理、对比度增强处理和亮度改善处理中的至少一个。第一装置和第二装置中的至少一个还包括被配置成对基于估计的图像的图像执行去噪处理的去噪器。

其它实施例

本发明的(一个或多个)实施例还可以通过读出并执行记录在存储器介质(其也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过例如从存储器介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而通过由系统或装置的计算机执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储器介质提供给计算机。存储器介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据以上实施例，可以提供可以抑制与图像处理相关联的图像噪声变化的图像处理方法等。

虽然已经参考示例性实施例描述了本发明，但是应该理解的是，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最广泛的解释，以涵盖所有这些修改以及等同的结构和功能。

Claims (14)

1.一种图像处理方法，其特征在于包括：

第一步骤，被配置成获得第一真实图像和第一训练图像，其中，通过对相同的原始图像执行不同的处理来分别生成第一真实图像和第一训练图像；

第二步骤，被配置成通过将相互相关的噪声施加到第一真实图像和第一训练图像来生成第二真实图像和第二训练图像；以及

第三步骤，被配置成使神经网络基于第二真实图像和第二训练图像进行学习，其中，通过将第二训练图像的至少一部分输入到神经网络中来生成估计的图像，并且基于所述估计的图像和第二真实图像的至少一部分之间的误差来更新神经网络的权重信息。

2.根据权利要求1所述的图像处理方法，其特征在于，第二步骤通过将相互相关的噪声施加到第一真实图像和第一训练图像中的对应像素来生成第二真实图像和第二训练图像。

3.根据权利要求1所述的图像处理方法，其特征在于，噪声是基于相同的随机数的。

4.根据权利要求3所述的图像处理方法，其特征在于，随机数对于第一真实图像中的至少两个像素是不同的值。

5.根据权利要求1所述的图像处理方法，其特征在于，在噪声当中，基于第一真实图像中的像素的信号值来确定施加到第一真实图像的噪声，以及

基于第一训练图像中的像素的信号值来确定施加到第一训练图像的噪声。

6.根据权利要求1所述的图像处理方法，其特征在于，噪声的离差包括：

分别与第一真实图像和第一训练图像中的像素的信号值成比例的比例分量；以及

常数分量。

7.根据权利要求1所述的图像处理方法，其特征在于，施加到第一真实图像和第一训练图像的噪声是相同的。

8.根据权利要求7所述的图像处理方法，其特征在于，基于第一训练图像中的像素的信号值来确定噪声。

9.根据权利要求1所述的图像处理方法，其特征在于，第三步骤将第二训练图像的至少一部分和噪声参考补片输入到神经网络中，所述噪声参考补片是根据与所述噪声中的至少一个噪声不同并基于所述至少一个噪声生成的噪声而生成的，并且将输出的估计的补片与第二真实图像的至少一部分彼此进行比较，

其中，所述补片是具有预定数量的像素的图像。

10.根据权利要求1所述的图像处理方法，其特征在于，在第一训练图像中，分辨率、对比度和亮度的值中的至少一个低于第一真实图像中的分辨率、对比度和亮度的值中的所述至少一个。

11.根据权利要求1所述的图像处理方法，其特征在于，基于相同的原始图像来生成第一真实图像和第一训练图像，以及

通过对原始图像执行下采样处理、模糊处理、对比度减小处理和亮度减小处理中的至少一个来形成第一训练图像。

12.根据权利要求11所述的图像处理方法，其特征在于，第三步骤使神经网络进行学习，使得神经网络具有上采样处理、去模糊处理、对比度增强处理和亮度增强处理中的至少一个的功能。

13.根据权利要求1至12中任一项所述的图像处理方法，包括：

第四步骤，被配置成通过将输入图像输入到在第三步骤处更新了权重信息的神经网络来生成经校正的图像。

14.一种图像处理装置，其特征在于包括：

获得器，被配置成获得第一真实图像和第一训练图像，其中，通过对相同的原始图像执行不同的处理来分别生成第一真实图像和第一训练图像；

生成器，被配置成通过将相互相关的噪声施加到第一真实图像和第一训练图像来生成第二真实图像和第二训练图像；以及

学习器，被配置成使神经网络基于第二真实图像和第二训练图像进行学习，其中，通过将第二训练图像的至少一部分输入到神经网络中来生成估计的图像，并且基于所述估计的图像和第二真实图像的至少一部分之间的误差来更新神经网络的权重信息。